转载

[PDF]基于树型结构的MapReduce并行模型

基于树型结构的MapReduce并行模型

唐兵贺海武

MapReduce是Google提出的一种分布式计算模型，已在海量数据处理领域得到了广泛的应用，本文提出一种基于树型结构的新型MapReduce并行模型，该模型适合于利用Internet或Intranet环境下不可靠的桌面PC资源，进行海量科学数据分析，该模型以P2P的形式将计算节点进行组织，模型的底层采用了P2P-MPI框架，采用基于消息传递的模式来实现MapReduce应用层，在MapReduce应用层的实现中，在Map阶段采用广播的形式来分发数据块，在Reduce阶段建立反向二叉树来实现有效的结果合并和化简，将本文所提出的MapReduce模型与现有主流MapReduce模型进行了比较，结果表明，基于树型结构的 MapReduce并行模型在容错性能方面具有较优的性能，且系统简单，易于应用开发。

基于树型结构的MapReduce并行模型

正文到此结束