IT干货网

延迟调度总结

wyy 2022年03月15日 编程设计 182 0

流式计算的调度复杂性在于需要考虑公平性和数据本地化。

FIFO调度
FIFO是一个简单的调度策略,适合用于作业并发少,或者无作业并发,且作业的map任务数量大,最好是大于等于集群的slot数量。FIFO调度中经典的两个问题

head-of-line
小作业,多作业并发的场景,量化数据本地化的公式为,为总的slot,为map任务需要的slot

sticky slots
大作业,多作业并发,slot数量小于总作业所需的slot数。作业能达到的最大本地化是

延迟调度
适用于大作业、适用于小作业、适用于长作业。延迟调度是一个综合表现比较好的调度策略。注意:大量作业并发也会存在数据本地化偏低的情况。

Hadoop延迟调试

1. 多级延迟调度

2. map任务做延迟调度,reduce任务不做延迟调度

3. 本地化公式:=73%

D:每秒能释放的slot=S/T


评论关闭
IT干货网

微信公众号号:IT虾米 (左侧二维码扫一扫)欢迎添加!

使用Nexus3搭建Maven私服+上传第三方jar包到本地maven仓库