转载

发表于 2016年03月13日
浏览 (616)
评论 (0)

[期刊]Spark环境下的并行模糊C均值聚类算法

Spark环境下的并行模糊C均值聚类算法

王桂兰周国亮萨初日拉朱永利

针对聚类算法需要处理数据集的规模越来越大、时效性要求越来越高,对算法的大数据适应能力和性能要求更高的问题,提出一种在Spark分布式内存计算平台下的模糊C均值(FCM)算法Spark-FCM。首先对矩阵通过水平分割实现分布式存储,不同向量存储在不同节点;然后基于FCM算法的计算特点,设计了分布式和缓存敏感的常用矩阵操作,包括乘法、转置和加法等;最后基于矩阵操作和Spark平台特点,设计了Spark-FCM算法,主要数据结构采用分布式矩阵存储,具有节点间数据移动少和每个步骤分布式计算特点。通过在单机和集群环境下测试,算法具有良好的可扩展性,并可以适应大规模数据集,算法性能与数据量成线性关系,集群环境下性能比单机提高2~3倍。

Spark环境下的并行模糊C均值聚类算法

[期刊]Spark环境下的并行模糊C均值聚类算法

原文 http://www.chinacloud.cn/show.aspx?id=23107&cid=28

正文到此结束

所属分类：编程技术

本文标签： 大数据数据 UI 集群测试 http src
版权声明： 本文为互联网转载文章，出处已在文章中说明(部分除外)。如果侵权，请联系本站长删除，谢谢。
本文海报： 生成海报一生成海报二

热门推荐

openfire数据库安装指南

浏览(12,910) 评论(0)
Caffe 深度学习框架上手教程

浏览(9,967) 评论(0)
ReactiveCocoa入门教程：第一部分

浏览(10,822) 评论(0)
开源HIDS-OSSEC使用实例:监测CC攻击

浏览(10,703) 评论(0)
Decorators in ES7

浏览(15,192) 评论(4)
用Electron（Atom编辑器的兄弟项目）开发桌面应用

浏览(28,136) 评论(0)
Windows下JetBrains CLion中文输出乱码的解决方法

浏览(11,629) 评论(1)
同步-@synchronized, NSLock, pthread, OSSpinLock性能比较

浏览(10,675) 评论(0)
Seaweedfs之Volume读请求重定向

浏览(24,938) 评论(3)
HTML、CSS及JavaScript ：有Promise，不会搞大肚子

浏览(12,804) 评论(0)

相关文章

阿里云首购8折

Loading...

其他链接

关于本站

本站定位：个人技术类博客

本站作用：写博客、记日志、闲聊扯淡鼓捣技术。

问题交流

[HBLOG]公众号

HBLOG

HBLOG