云计算环境下的大规模图数据处理技术思考

《云计算环境下的大规模图数据处理技术思考》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、云计算环境下的大规模图数据处理技术思考目前，大规模图数据的管理应用中，所应用的数据模型主要为单图数据模型和超图数据模型，下面是小编搜集整理的一篇探究图数据处理技术应用的论文范文，供大家阅读参考。　　：云计算作为一种新型互联X相互的应用模式，云计算的应用革新了IT产业，为推动IT产业良好奠定基础。而近些年迅速崛起的生物信息X络、公司在互联X技术高速发展背景下提出的，将其定义为：可以同时描述一个系统平台或是一种类型的应用程序，核心为互联X。由此总结的云计算的技术特点为：　　1)虚拟化。云计算的运用是通过云计算服务器来实

2、现的，它是不具备有形的实体。对于云计算服务器的运用，则是用户的X络工具，如计算机、等在X络环境下，与云计算的服务器连接，进而利用云计算完成各种计算任务。　　2)通用性和可扩展性。因云计算具有多种功能，使得云计算平台可以支持不同的应用程序同时运行。而使云计算可以如此应用的原因是云计算集群规模具有动态伸缩性，可以满足各种应用程序的应用需求，同时也可以扩展应用。所以，云计算具有通用性和可扩展性。　　3)经济性高。因为云计算本身就具有超强的容错能力，所以利用廉价的云计算集群服务器就可以支撑大规模的云计算集群，促使云计算机集

3、群发挥作用。由此可以说明，云计算占据了低成本优势。这也是云计算能够广泛应用的原因之一[1]。　　1.2云计算的相关技术　　为了使云计算可以更加广泛且有效的应用，利用科学技术研究的云计算相关技术，在云计算应用的过程中起到非常重要的作用。　　1.2.1海量分布式存储技术　　此项技术是云计算存储数据的主要手段。海量分布是存储技术具有经济性高、安全性高、可用性高等特点，利用此项技术并采用冗余存储的方式，可以提高云计算数据存储量和数据存储的安全性。　　1.2.2数据管理技术　　云计算在高度运行的过程中需要对大量数据进行提取、

4、分析、比较、存储等。这一过程中，如若不能有效地管理数据，容易造成云计算数据丢失，给用户带来严重的损失。所以，云计算数据管理技术的应用是非常有必要的，可以对云计算中大量数据进行高效管理。　　1.2.3并行编程模式　　云计算并行编程模式的有效运用，可以对云计算并列运行的各种应用服务予以合理编程，促使云计算可以正确的执行多个并列程序，提高云计算运行质量、效率。所以，云计算并列编程模式有效实施也很有必要[2]。　　2云计算环境下大规模图数据处理技术应用优势　　基于以上对云计算的了解，笔者将重点分析和了解大规模图数据处理技术

5、在云计算环境下运用的优势。　　2.1有利于海量图数据存储和维护　　由于大规模图数据处理技术可以处理GB级别甚至是PB级别的图数据量。这远远大于传统的文件系统和数据库内存，使其无法在传统文件系统或数据库中运用。但云计算采用的是分布式存储模式，可以存储大规模的图数据。在云计算环境下利用大规模图数据处理技术，可以根据实际需要，集中进行海量图数据的存储、一致性的图数据维护、统一的图数据备份等处理，提高海量图数据的安全性。　　2.2提高大规模图数据应用性　　大规模图数据处理技术除了具有以上优点之外，还可以在云计算环境下，依据

6、云计算分布平行处理特点，对图数据进行分割处理，将图数据分割成若干子图，以便各个子图可以有效应用，提高图数据应用效果。所以，在云计算环境下利用大规模图数据处理技术来分割图数据，可以大大提高图数据应用性。　　2.3根据不同情况，合理处理大规模图数据　　从技术角度和经济角度讲，云计算环境具有良好的可伸缩性和灵活性，非常适合处理数据量弹性变化大的大规模图数据。而大规模图数据处理技术也具有可伸缩性和灵活性的特点，利用此项技术来处理大规模图数据，可以根据云中动态添加节点来扩展存储容量和计算资源，从而有效地处理大规模图数据[3]

7、。　　3云计算环境下大规模图数据处理技术的应用　　图属于一种非线性数据结构，具有十分鲜明的多对多结构关系，合理利用大规模图数据处理技术来对大规模图数据进行处理，才能使图数据所表达的语义更加清晰、准确、丰富。　　3.1基于云计算的图数据存储方式，合理存储图数据　　目前，大规模图数据的管理应用中，所应用的数据模型主要为单图数据模型和超图数据模型。两者唯一的区别是存储格式不同。在云计算分布式存储系统中，基于以上两种数据模型进行图数据存储，形成分布式文件系统和分布式数据库。基于云计算图数据存储方式，利用大规模图数据存储技术

8、来对大规模图形，则是根据数据模型的特点，对图数据进行合并、迁移处理，从而提高图数据的读取效率[4]。　　3.2基于云计算的图数据分割，对图数据进行分割处理　　由于图数据具有连通性特点，这使得图数据计算的耦合性较强。为了能利用大规模图数据处理技术来有效处理图数据，应当基于云计算图数据分割来进行。具体的做法是根据云计算分布式存储系统各个工作节点，对逻辑结构较强的