08 现在的位置:首页 > 期刊导读 > 2015 > 08 >

采用资源划分的云环境下Hadoop资源许可调度方法

【作者】 周墨颂 朱正东 董小社 陈衡 王寅峰    西安交通大学电子与信息工程学院 西安710049 深圳信息职业技术学院软件学院 广东深圳518172

【关键词】 云计算 HADOOP 资源划分 作业调度 混合负载

摘要】针对云计算环境中Hadoop平台由于节点计算能力差异、多样混合负载共存等原因而出现的性能不佳的问题,提出一种采用资源划分的资源许可方法。该方法在云计算环境下通过减少资源浪费或负载过重等情况的出现来提高系统性能。该方法采集资源信息并推测任务资源需求,根据可用计算资源和任务需求动态划分、调度资源;使用与资源无耦合的资源许可启动任务并控制任务数量调节资源利用率以适应云环境。使用该方法对比公平调度器在国家高性能计算中心(西安)进行测试发现:单作业在资源竞争环境中优于公平调度器的静态结果;混合负载在3种测试环境中完成时间分别平均减少了27.5%、37.1%和50.98%,性能显著提升。实验结果表明,该方法可以适应负载资源需求和可用计算资源的变化,灵活划分计算资源,解决Hadoop在云环境中的性能不佳问题。

上一篇:仿海蟹机器人游泳足水动力学分析与实验研究
下一篇:气动元件流量特性分析及实验研究

© 2015 《西安交通大学学报》编辑部  地址:西安市咸宁西路28号  邮编:710049
互联网备案号:陕ICP备07500839号