智慧城市集团大数据平台整体方案建议书v1.0(编辑)

《智慧城市集团大数据平台整体方案建议书v1.0(编辑)》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、集团大数据平台整体方案建议书目录1项目概述141.1建设背景141.1.1集团已有基础141.1.2痛点及需提升的能力141.1.3大数据趋势151.2建设目标151.2.1总体目标151.2.2分阶段建设目标161.3与相关系统的关系161.3.1数据分析综合服务平台161.3.2量收系统171.3.3金融大数据平台181.3.4各生产系统181.3.5CRM181.4公司介绍和优势特点181.4.1IDEADATA181.4.2TRANSWARP201.4.3我们的优势212业务需求分析242.1总体需求242.2数据管理

2、252.2.1数据采集262.2.2数据交换262.2.3数据存储与管理262.2.4数据加工清洗272.2.5数据查询计算272.3数据管控282.4数据分析与挖掘292.5数据展现292.6量收系统功能迁移303系统架构设计313.1总体设计目标313.2总体设计原则313.3案例分析建议323.3.1中国联通大数据平台323.3.2恒丰银行大数据平台393.3.3华通CDN运营商海量日志采集分析系统513.3.4案例总结563.4系统总体架构设计573.4.1总体技术框架573.4.2系统总体逻辑结构603.4.3平台组

3、件关系623.4.4系统接口设计673.4.5系统网络结构714系统功能设计734.1概述734.2平台管理功能734.2.1多应用管理734.2.2多租户管理774.2.3统一运维监控784.2.4作业调度管理974.3数据管理994.3.1数据管理框架994.3.2数据采集1014.3.3数据交换1044.3.4数据存储与管理1054.3.5数据加工清洗1234.3.6数据计算1244.3.7数据查询1394.4数据管控1584.4.1主数据管理1584.4.2元数据管理技术1604.4.3数据质量1634.5数据ETL1

4、704.6数据分析与挖掘1724.6.1数据分析流程1744.6.2R语言开发环境与接口1754.6.3并行化R算法支持1764.6.4可视化R软件包1794.6.5编程语言支持1814.6.6自然语言处理和文本挖掘1814.6.7实时分析1824.6.8分析管理1824.6.9分析支持1864.6.10指标维护1864.6.11分析流程固化1874.6.12分析结果发布1874.6.13环境支持1874.7数据展现1884.7.1交互式报表1904.7.2仪表盘1954.7.3即席查询1964.7.4内存分析1974.7.5

5、移动分析1984.7.6电子地图支持1985技术要求实现2005.1产品架构2005.1.1基础构建平台2035.1.2大数据平台组件功能介绍2045.1.3系统分布式架构2425.2运行环境支持2445.2.1系统操作支持以及环境配置2445.2.2与第三方软件平台的兼容说明2455.3客户端支持2465.3.1客户端支持2465.3.2移动端支持2465.4数据支持2465.5集成实现2485.6运维实现2505.6.1运维目标2505.6.2运维服务内容2515.6.3运维服务流程2535.6.4运维服务制度规范2555

6、.6.5应急服务响应措施2565.6.6平台监控兼容2565.6.7资源管理2575.6.8系统升级2595.6.9系统监控平台功能2605.7平台性能2685.7.1集群切换2685.7.2节点切换2705.7.3性能调优2715.7.4并行化高性能计算2765.7.5计算性能线性扩展2795.8平台扩展性2805.9可靠性和可用性2825.9.1单点故障消除2825.9.2容灾备份优化2845.9.3系统容错性2885.10开放性和兼容性2905.10.1高度支持开源2935.10.2操作系统支持以及软件环境配置3055.

7、10.3兼容性与集成能力3065.11安全性3075.11.1身份鉴别3085.11.2访问控制3085.11.3安全通讯3145.12核心产品优势3145.12.1高速运算、统计分析和精确查询3145.12.2有效的资源利用3165.12.3高并发、低延迟性能优化3175.12.4计算资源有效管控3185.12.5API设计和开发工具支持3195.12.6友好的运维监控界面3215.12.7扩容、备份、恢复机制3255.12.8集群自动负载均衡3275.12.9计算能力扩展3275.13自主研发技术优势3275.13.1高稳

8、定、高效的计算引擎Inceptor3285.13.2完整的SQL编译引擎3295.13.3高性能的SQL分析引擎3295.13.4SQL统计分析能力3305.13.5完整的CURD功能3315.13.6Hyperbase高效的检索能力3325.13.7基于Hyperbase和