资源描述：
《hadoop最佳实践》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、Hadoop大数据技术最佳实践每天几百GB、几TB的资料，且持续成长中数量庞大和复杂的数据(结构化、半结构化和非结构化)数据是传统数据难以应付需要在一定时间内完成大量数据的处理运算洞察性,决策性信息处理超时，无法在合理时间内提取出帮助企业经营决策的资讯海量数据下,数据迁移,备份,安全保障难度大,系统可靠性差无法有效管控构建于传统数据库模式下,系统水平扩展难度高,技术复杂,风险大在数据量不断增长的环境中,系统运维,系统扩容成本居高不下,成本控制是关键问题存储计算管理成本面临挑战技术能力存储管理计算展
2、现技术能力存储NosqlSQLDFSKlausScratSuluIntegratedbackplane--------------SOADataCollectingAPIHDFS-优化后强劲的读写性能×50-NameNode高可用KFS稳定运行时间最长,数据量最大的KFS集群MongoDB含20个节点,共计20TB数据量的MongoDB集群,并基于该集群进行了大量的算法实验.Scrat分布式sql集群.100TB数据量上的query可在5秒内返回结果.Sulu数据备份系统.与Hadoop等系统配合
3、使用,增强数据安全.Klaus分布式内存数据库,解决单机内存不能满足需求的情况.技术能力管理集群管理的自动化集群状态的Dashboard业务Dashboard报警处理状态技术能力计算logsMQ/Kafka…CarrierStorm+Scrat/KlausHadoopScrat/KlausReport/DashboardDataMart存储Report/Dashboard层需要的数据及计算结果.使用Scrat和Klaus组装来实现;常用数据存储在Klaus中,不常用数据存储在Scrat中.支持SQ
4、L语法,少量数据查询可以在ms级返回,海量数据查询可以在s级返回.流式计算Storm结合分布式数据库实现.简单的计算指标可以在ms级计算得到结果,复杂指标在min级别计算得到结果.批处理计算基于Hadoop实现.批处理计算和流式计算的计算流程及计算指标由业务模型定制,使用不同的业务模型可以定制不同的计算结果.经过秒针优化后的Hadoop节点单节点的io吞吐能力可以提升50倍;并且相对标准Hadoop仍然存在的单点问题,秒针提供完全自动化的failover机制,解决NameNode的单点问题.数据发
5、布/订阅系统MQ/Kafka提供实时的发布/订阅机制,数据从产生到传输给计算模块只需要ms级的延迟,但是数据的一致性较弱;Carrier提供强一致性的数据传输,但是实时性较差.技术能力展现BrandCenter-基于HTML5的Dashboard系统Ipad版本,支持网页版数据每3s刷新一次Mingboard-基于Flex的Report系统网页版,可以打包成air发布到手机和pad灵活的模型定义,可以支撑任意的业务维度技术优势高效安全低成本易管理经过验证的Hadoop最佳实践技术优势高效卓越的实时
6、性，采用实时计算框架,数据响应毫秒级。强大的读写能力与高吞吐量。实施周期短安全从权限,高可用和高容灾方面保证数据的绝对安全高可用设计,故障自动转移分布式部署技术保证系统稳定性网络负载均衡技术降低负载易维护线性化的扩充能力,随时按需横向扩展。自主技术的集群监控软件，降低运维技术要求7*24的本地支持响应系统构建于开源系统提供高性价比的私有云方案本地化产品及服务，性价比高低成本我们的客户第三方互联网广告监控公司2012年秒针每天数据量大数据快速运算数据库交互频繁,无数据缓存实时计算平台数据存储平台存储
7、平台选用mongodbNoSql数据库,热点数据缓存于内存中,有效提高数据加载效率。优化前优化后报表解析时间长,数据计算串行化性能提升100倍+通过预加载技术,报表解析时间提升10倍。财经分析系统属于计算密集型，根据业务场景，进行多项优化，并采用mongodbNoSql作为存储平台。财经分析系统优化查询性能提升100倍以上，全部查询可达到10秒以内。原来需要30分钟生成的报表，现在只需10秒钟集团公司信息统一展示平台描述：该系统实现了集团公司”大统一”思想。将目前大多数生产数据,进行抽取,加工,统
8、一存储,集中展示。涉及业务系统多,数据源多,数据量大，对展示响应时间要求较高。案例展示案例展示实施运维咨询服务基于Hadoop的存储管理计算展现交流时间
