欢迎来到天天文库
浏览记录
ID：56446864
大小：3.36 MB
页数：23页
时间：2020-06-18
《Spark GraphX技术应用与开发.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、SparkGraphx基本概念与操作图的产生社交关系网页链接表格与图的自由转换BSP模型传统图计算模型实现SuperStep计算，通信，同步(Barrier)优点：简单缺点：Barrier影响效率GAS模型SparkGraphX采用的模型Gather、Apply、Scatter单边粒度的操作，可以并行传统图计算SparkGraphx计算图切分Graphx采用点切分点切分法RandomVertexCutCanonicaRandomVertexCutEdgePartition1DEdgePartition2DGraphx属性Graphx编程·创建图Graph.edges为边，graph.v
2、ertices为点从文件创建图Graphx基本操作属性操作mapVertices、mapEdges、mapTriplets结构操作reversesubgraphmaskgroupEdges度计算inDegreesoutDegreesDegrees邻居collectNeighborIdscollectNeighbors连接操作Joinoutjoin成熟算法Pageranker最短路径三角数·社区发现淘宝应用度分布，检测超级节点，大客户，大商家2跳邻居数，更广传播，潜在利益连通图，发现社区多图合并，协同推荐能量传播，用户聚类未来图计算的前景就淘宝而言，未来Graphx模型将主要应用于用户网
3、络的社区发现、用户影响力、能量传播、标签传播等，提升用户黏性和活跃度推荐领域的标签推理、人群划分、年龄段预测、商品交易时序跳转，则可以提升推荐的丰富度和准确性。
此文档下载收益归作者所有
