转载

发表于 2016年03月13日
浏览 (549)
评论 (0)

[PDF]一种优化MapReduce系统能耗的任务分发算法

一种优化MapReduce系统能耗的任务分发算法

宋杰徐澍郭朝鹏鲍玉斌于戈

MapReduce是一种典型的分布式计算模型,一经提出就被迅速应用到大数据处理系统中.文中认为MapReduce系统在能耗方面存在优化空间.对于一个分布式并行计算系统,任务的并行性对任务执行性能影响显著,并行性保证方法在优化性能的前提下还应该考虑系统能耗.在MapReduce系统中,传统的Map任务分发算法采用"小任务多次分发的策略",这种策略虽然保证了并行性,但会浪费节点的处理能力,消耗额外的能量;而Reduce任务分发算法尚不能保证Reduce任务间的并行性.文中提出通过动态地调整Map任务和Reduce任务大小,也即任务处理数据量的规模来保证任务并行性,降低MapReduce系统的整体能耗.文中通过实验证明该方法能够有效地降低典型MapReduce作业的能耗.

一种优化MapReduce系统能耗的任务分发算法

[PDF]一种优化MapReduce系统能耗的任务分发算法

原文 http://www.chinacloud.cn/show.aspx?id=23105&cid=13

正文到此结束

所属分类：编程技术

本文标签： 大数据数据 UI map apr http src 空间
版权声明： 本文为互联网转载文章，出处已在文章中说明(部分除外)。如果侵权，请联系本站长删除，谢谢。
本文海报： 生成海报一生成海报二

热门推荐

openfire数据库安装指南

浏览(12,884) 评论(0)
Caffe 深度学习框架上手教程

浏览(9,962) 评论(0)
ReactiveCocoa入门教程：第一部分

浏览(10,816) 评论(0)
开源HIDS-OSSEC使用实例:监测CC攻击

浏览(10,694) 评论(0)
Decorators in ES7

浏览(15,178) 评论(4)
用Electron（Atom编辑器的兄弟项目）开发桌面应用

浏览(28,120) 评论(0)
Windows下JetBrains CLion中文输出乱码的解决方法

浏览(11,622) 评论(1)
同步-@synchronized, NSLock, pthread, OSSpinLock性能比较

浏览(10,665) 评论(0)
Seaweedfs之Volume读请求重定向

浏览(24,921) 评论(3)
HTML、CSS及JavaScript ：有Promise，不会搞大肚子

浏览(12,789) 评论(0)

相关文章

阿里云首购8折

Loading...

其他链接

关于本站

本站定位：个人技术类博客

本站作用：写博客、记日志、闲聊扯淡鼓捣技术。

问题交流

[HBLOG]公众号

HBLOG

HBLOG