soa指导大数据分析管理手册.pdf

《soa指导大数据分析管理手册.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、SOA指导大数据分析管理手册SOA指导大数据分析管理手册近一年来，大数据的热潮席卷全球，我们无时无刻不在听着关于大数据的事情。大数据时代带来更理性、更可靠的决策，但究竟是什么魔力让大数据这一概念得到全球各国的普遍关注？如此巨大量的数据如何进行管理，分析，找到价值所在？SOA又能帮助大数据做一些什么？SOA管理大数据自从大数据出现以来，大数据的管理，问题一直是让企业头疼的一件事。那们让我们来看看如何应用SOA技术实现对大数据的管理，并通过预测分析技术从大数据中得到实时结果。∑应用SOA技术管理大数据和云数据∑预测分析技术可以从大数据中得到实时结果∑采用模式法实现大数据设计∑BPM带给大数

2、据运动大价值∑大数据灵活项目的及时雨：敏捷软件开发TTSOA技术专题之“SOA指导大数据分析管理手册”Page2of48大数据技能大数据价值虽大，但要从中提取出一些有用的，有价值的结果，也是一个艰巨的任务。那么面对大数据的分析，挖掘，大数据团队都要掌握哪些技能？这个技能清单将会很长很长，你准备好进行学习了吗？∑大数据技能：Hadoop/Pig/Cassandra∑大数据平台：Hadoop轻盈起舞∑大数据”分析：内存数据网格为之增加特性大数据案例在这个大数据的淘金年代，在这个人人都说大数据的时代，人人都想从大数据中捞的到“好处”的时代，是否有哪一家真的做到了，真正成功管理了大数据，并从大

3、数据中真正的捞到的金子？这里，我们看看Craigslist网站的大数据解决方案。∑Craigslist网站的大数据和NoSQL解决方案∑NoSQL/MySQL和MongoDB协调解决大数据问题∑大数据和分布式系统如何解决扩展性问题TTSOA技术专题之“SOA指导大数据分析管理手册”Page3of48应用SOA技术管理大数据和云数据我们需要的是以数据为中心的SOA还是以SOA为中心的数据？答案取决于如何处理的SOA-数据关系的三个不同模型来管理大数据、云数据和数据层次结构。在越来越多的虚拟资源中，将这些模型之间所有类型的数据进行最优拟合是SOA所面临的巨大挑战之一。本文详细介绍了每个SO

4、A模型管理数据的优点、选择和选项。SOA的三个数据中心模型分别是数据即服务(DaaS)模型、物理层次结构模型和架构组件模型。DaaS数据存取的模型描述了数据是如何提供给SOA组件的。物理模型描述了数据是如何存储的以及存储的层次图是如何传送到SOA数据存储器上的。最后，架构模型描述了数据、数据管理服务和SOA组件之间的关系。SOA和数据企业的例子也许以极限情况为开始是理解SOA数据问题的最好方式：一个企业的数据需求完全可以由关系数据库管理系统(RDBMS)中的条款来表示。这样一个企业可能会直接采用数据库设备或者将专用的数据库服务器和现有的查询服务连接到SOA组件（查询即服务，或QaaS）

5、上。这种设计理念五年前或者更早之前已经被人们所接受。该设计之所以成功是因为它平衡了上述三个模型之间的关系。QaaS服务模型不是机械地连接到存储器上；而是通过一个单一的架构——RDBMS（关系型数据库管理系统）。数据去重和完整性便于管理单一的架构。TTSOA技术专题之“SOA指导大数据分析管理手册”Page4of48通过大数据的例子可以更好地理解为什么这个简单的方法却不能在更大的范围内处理数据。多数的大数据是非关系型的、非交易型的、非结构化的甚至是未更新的数据。由于缺乏数据结构因此将其抽象成一个查询服务并非易事，由于数据有多个来源和形式因此很少按序存储，并且定义基础数据的完整性和去重过程

6、是有一些规则的。当作为大数据引入到SOA的应用程序中时，关键是要定义三种模型中的最后一种模型，SOA数据关系中的架构模型。有两种选择：水平方向和垂直方向。SOA和各类数据模型在水平集成数据模型中，数据收集隐蔽于一套抽象的数据服务器，该服务器有一个或多个接口连接到应用程序上，也提供所有的完整性和数据管理功能。组件虽不能直接访问数据，但作为一种即服务形式，就像他们在简单情况下的企业，其数据的要求是纯粹的RDBMS模型。应用程序组件基本上脱离了RDBMS与大数据之间数据管理的差异。尽管由于上述原因这种方法不能创建简单的RDBMS查询模型，但是它至少复制了我们上面提到的简单的RDBMS模型。垂

7、直集成的数据模型以更多应用程序特定的方式连接到数据服务上，该方式使得客户关系管理、企业资源规划或动态数据认证的应用程序数据很大程度在服务水平上相互分离，这种分离直接涉及到数据基础设施。在某些情况下，这些应用程序或许有可以直接访问存储/数据服务的SOA组件。为了提供更多统一的数据完整性和管理，管理服务器可以作为SOA组件来操作各种数据库系统，以数据库特定的方式执行常见的任务，如去重和完整性检查。这种方法更容易适应于遗留应用和数据TTSOA技术专题