云数据管理技术与挑战课件

《云数据管理技术与挑战课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、云数据管理技术与挑战中国人民大学主要内容2云计算与云数据管理概述各大公司的云数据管理技术人民大学研究团队的工作云数据管理的研究挑战CLOUDCOMPUTING云数据管理的新思维云数据管理准则（1）PartitionEverythingandkey-valuestorage切分万物以治之数据库的第一范式无法满足云数据管理准则（2）EmbraceInconsistency容不同乃成大同数据库的ACID的属性无法满足云数据管理准则（3）Backupeverythingwiththreecopies狡兔三窟方高枕每个数据都有三个备份，达到99.999999%的保障度

2、云数据管理准则（4）Scalableandhighperformance运筹沧海量兼容提供一个可伸缩的，处理和分析海量数据的平台拨云见日切分万物以治之容不同乃成大同狡兔三窟方高枕运筹沧海量兼容主要内容11云计算与云数据管理概述各大公司的云数据管理技术人民大学研究团队的工作云数据管理的研究挑战主要内容Google文件系统(GFS)适用于大规模数据密集型应用程序的可扩展分布式文件系统多个部署GFS的集群已经建成目前最大的集群为：10000多个存储节点300+PB的存储容量可供不同机器上的上百用户同时读取介绍：观察1控件的故障时常发生系统集成了实时监控、错误检测、容

3、错性和自动恢复等功能超大文件（与普通文件相比）GB大小的文件很正常介绍：观察2大部分文件修改都是添加新的内容需要考虑优化性能和保证原子性协同设计应用程序和API有利于增加整个系统的灵活性设计集群包含一个master和多个chunkservers，并且可供多个用户读取GAEWeb应用GAEWeb服务基础设施分布式存储服务应用程序运行时环境应用开发套件管理控制台GoogleAppEngine分布式存储服务GAE提供的分布式存储服务基于BigTable技术通过JavaJDO/JPA接口或Python数据库标准接口访问和操作数据库优势：成本低、支持伸缩、并发性好、易管

4、理采用乐观的并发控制应用程序运行时环境GAE的应用程序运行时环境是一个可伸缩的Web程序运行平台目前支持Python和Java可以使用Google提供的丰富的应用服务，如分布式存储服务、网页抓取、邮件、图像、Google账户等云端应用GoogleDocs是基于Web的文字处理和电子表格程序，支持在线协作、文档恢复、文档检索Gmail是有效的电子邮件工具，支持即时消息、视频聊天、会话检索等IBMEnsemblesIBMTSAMIBMWebSphereCloudBurstIBMLotusLiveIBMRC2云环境管理解决方案IBMTSAMIBMTivoliServ

5、iceAutomationManager(TSAM)管理应用服务生命周期的方案IBMWebSphereCloudBurstIBMWebSphereCloudBurstApplication(WCA)帮助用户创建和管理面向服务的私有云平台有效整合了云基础设施层和云平台层Web控制台基础设施管理虚拟化解决方案部署用户合格组管理虚拟器件镜像模板管理监控、审计和计费脚本包管理数据中心资源管理CRM系统ERP系统网上银行…WebSphereApplicationServerWebSphereProcessServerWebSpherePorialDB2数据中心管理员应用

6、系统SOA环境WebSphereCloudburstApplianceIBMLotusLive通过Web方式交付的服务会议服务LotusLiveMeetingsLotusLiveEvents办公协作服务LotusLiveEngageLotusLiveConnections电子邮件服务LotusLiveNotesIBMRC2IBMResearchComputeCloud东京北京新德里海法苏黎世纽约奥斯丁阿尔玛登AmazonWebServiceAmazonS3AmazonEC2AmazonSimpleDBAmazonSQSAmazonS3AmazonSimpleS

7、torageService(S3)云计算平台提供的可靠的网络存储服务通过互联网访问和管理安全性账户认证访问控制列表查询字符串认证可靠性冗余备份的存储机制AmazonSimpleDBAmazonSimpleDB是一种支持结构化数据存储和查询操作的轻量级数据库服务存储模型：域(Domain)、项(Item)、属性(Attribute)现有不足延迟较大不能保证顺序执行用户更新与关系型数据库兼容有限AmazonEC2AmazonEC2是一种云基础设施服务用户根据业务的需求自由地申请或者终止资源使用优势可伸缩性节省成本使用灵活安全可靠容错基础服务数据库服务应用开发服务应

8、用打包服务基础服务Force.com基