一种短作业环境下的延迟调度算法
【作者】
刘强
[1] ;
董小社
[1] ;
朱正东
[1] ;
王寅峰
[2]
【关键词】
云计算
延迟调度算法
短作业
【摘要】针对短作业场景下YARN平台中延迟调度算法基于静态时间等待阈值,不能进行合理等待的问题,提出了一种云计算环境中基于本地性资源预测的延迟调度算法(locality resource forecast delay scheduling,LRFD)。该算法综合考虑短作业和资源可用性动态变化的特点进行任务调度,根据节点上任务的完成进度和作业未处理数据在集群中的分布状况预估作业的本地性资源信息,从而判断是否需要进行等待以提高系统性能,实现了对本地性资源的合理等待。实验结果表明:在短作业场景下,LRFD算法的性能和稳定性均优于已有的延迟算法,作业性能平均提升约10%,最大加速比可达3倍以上。
上一篇:采用模糊层次聚类的社会网络重叠社区检测算法
下一篇:最后一页