共被期刊论文引用了1次
您的检索式：您选中1篇文献正在查看引证文献汇总
|
|
|
题名
|
作者
|
年代
|
出处
|
被引量
|
| 1 | Hadoop环境下基于数据本地化的Reduce任务调度策略显示文摘在MapReduce模型任务处理过程中,当Reduce任务开始执行,远程拉取Map阶段的输出数据时,会消耗大量的网络带宽,甚至会出现网络瓶颈问题。本文提出基于数据本地化和负载均衡的任务分配策略。该策略中用户首先设置采样数据量M,在Map阶段对前M个数据块进行采样;其次根据采样结果,同时考虑数据本地化因素,将Reduce任务进行分配;然后基于负载均衡将Reduce任务进行再分配,通过任务分配,系统生成一个任务分配表;最后启动Reduce任务,系统开始数据拉取,未被采样的数据根据任务分配表进行任务分配。通过大量实验验证,基于数据本地化和负载均衡的任务分配策略,既能减少Shuffle阶段数据的传输量,又能降低网络带宽的消耗,同时可以避免出现某些节点空闲而其它节点任务量大甚至处理不了的情况,从而提高了集群处理数据的整体能力。 | 王浩 | 2016 | 计算机与现代化2016，，1： | 1 |
您所在的机构暂未开通此部分的功能，请联系管理员