基于Spark DataFrame的图数据库GraphFrame：用Spark SQL查询Graph
GraphFrame发布
GraphFrame基于Spark SQL的DataFrame，继承了DataFrame扩展性和高性能。并且可以提供支持Scala、Java和Python等语言的统一API。
什么是GraphFrame
GraphFrame是类似于Spark的GraphX库，支持图处理。但GraphFrame建立在Spark DataFrame之上，具有以下重要的优势：
支持Scala ，Java 和Python API：GraphFrame提供统一的三种编程语言APIs，而GraphX的所有算法支持Python和Java
方便、简单的图查询：GraphFrame允许用户使用Spark SQL和DataFrame的API查询
支持导出和导入图：GraphFrame支持DataFrame数据源，使得可以读取和写入多种格式的图，比如，Parquet、JSON和CSV格式。
社交网络的列子
社交网络中的人是以关系来互相连接的，我们能把这个网络看成一幅图，其中人看成顶点，人与人之间的关系看作是边，如图1所示：
图1在社交网络上，每个人可能由年龄和名字，每个人之间的关系也有不同类型。如表1和表2
表1
表2
图查询示列
由于GraphFrame的顶点和边存储为DataFrame，可以用DataFrame或SQL来很简单的查询图。比如，查询有多少年龄大于35的人？
g.vertices.filtr(“age > 35”)
比如，有多少人至少被2个人关注？
g.inDegrees.filter(“inDegree >=2”)
GraphFrames支持所有GraphX的算法，包括PageRank、Shortest Paths、Connected components、Strongly Connected components、Triangle count 和Label Propagation Algorithm（LPA）
GraphFrame和GraphX之间可以无损的来回转换。
val gx: Graph[Row, Row] = g.toGraphX() val g2: GraphFrame = GraphFrame.fromGraphX(gx)
更相信的GraphFrame API文档见 这里 。
感谢杜小芳对本文的审校。
给InfoQ中文站投稿或者参与内容翻译工作，请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博（@InfoQ，@丁晓昀），微信（微信号： InfoQChina ）关注我们，并与我们的编辑和其他读者朋友交流（欢迎加入InfoQ读者交流群 
（已满），InfoQ读者交流群（#2） ）。
正文到此结束
热门推荐
相关文章
Loading...
![[HBLOG]公众号](http://www.liuhaihua.cn/img/qrcode_gzh.jpg)
