基本信息来源于合作网站,原文需代理用户跳转至来源网站获取       
摘要:
详细介绍了MapReduce编程框架,具体分析了MapReduce中shuffle阶段流程。分别从Map端数据压缩、重构远程数据拷贝传输协议、Reduce端内存分配优化三方面来优化和重构Shuffle。最后通过搭建Hadoop集群,运用MapReduce分布式算法测试实验数据。实验结果证明优化重构后的shuffle能显著提高MapReduce计算性能。
推荐文章
面向MapReduce计算的大规模集群通信优化
数据通信优化
MapReduce
软件定义网络
协同数据映射
基于机器学习的 MapReduce 资源调度算法
MapReduce
重叠阶段
自适应性
机器学习
贝叶斯分类器
基于PML结构文件的MapReduce算法优化
物联网
云计算
乳制品追溯
MapReduce
XGrind
多核处理器中基于MapReduce的哈希划分优化
数据划分
哈希处理
多核处理器
MapReduce模型
内容分析
关键词云
关键词热度
相关文献总数  
(/次)
(/年)
文献信息
篇名 MapReduce中shuffle优化与重构
来源期刊 中国科技论文 学科 工学
关键词 云计算 Hadoop MapReduce shuffle
年,卷(期) 2012,(4) 所属期刊栏目
研究方向 页码范围 241-245
页数 5页 分类号 TP311.5
字数 4984字 语种 中文
DOI 10.3969/j.issn.2095-2783.2012.04.001
五维指标
作者信息
序号 姓名 单位 发文数 被引次数 H指数 G指数
1 吴明晖 浙江大学城市学院 59 853 14.0 28.0
2 金苍宏 浙江大学计算机学院 6 76 3.0 6.0
3 彭辅权 浙江大学计算机学院 1 32 1.0 1.0
传播情况
(/次)
(/年)
引文网络
引文网络
二级参考文献  (2)
共引文献  (35)
参考文献  (3)
节点文献
引证文献  (32)
同被引文献  (19)
二级引证文献  (23)
2003(2)
  • 参考文献(1)
  • 二级参考文献(1)
2007(1)
  • 参考文献(0)
  • 二级参考文献(1)
2009(1)
  • 参考文献(1)
  • 二级参考文献(0)
2011(1)
  • 参考文献(1)
  • 二级参考文献(0)
2012(1)
  • 参考文献(0)
  • 二级参考文献(0)
  • 引证文献(1)
  • 二级引证文献(0)
2012(1)
  • 引证文献(1)
  • 二级引证文献(0)
2013(8)
  • 引证文献(8)
  • 二级引证文献(0)
2014(6)
  • 引证文献(5)
  • 二级引证文献(1)
2015(5)
  • 引证文献(5)
  • 二级引证文献(0)
2016(6)
  • 引证文献(4)
  • 二级引证文献(2)
2017(9)
  • 引证文献(5)
  • 二级引证文献(4)
2018(11)
  • 引证文献(4)
  • 二级引证文献(7)
2019(5)
  • 引证文献(0)
  • 二级引证文献(5)
2020(4)
  • 引证文献(0)
  • 二级引证文献(4)
研究主题发展历程
节点文献
云计算
Hadoop
MapReduce
shuffle
研究起点
研究来源
研究分支
研究去脉
引文网络交叉学科
相关学者/机构
期刊影响力
中国科技论文
月刊
2095-2783
10-1033/N
大16开
北京市海淀区中关村大街35号教育部科技发展中心
2006
chi
出版文献量(篇)
4942
总下载数(次)
10
总被引数(次)
14783
论文1v1指导