格力大数据项目工作说明书.doc

《格力大数据项目工作说明书.doc》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、.格力大数据项目工作说明书北京西塔网络科技股份有限公司二零一六年一月精选word范本！.1项目目标32建设及服务内容42.1需求调研及数据标准化42.2大数据基础平台搭建42.3数据采集42.4分层存储设计52.5数据加工处理52.6数据分析挖掘52.7内存数据库52.8交互式探查分析62.9数据可视化应用62.10语音智能分析62.11文本、视频、图片存储62.12大数据平台运维监控62.13大数据平台任务调度72.14ETL过程可视化72.15培训工作73建设方案84时间进度与里程碑85费用支付9精选word范本！.6需求变更过程

2、96.1变更依据96.2变更请求处理流程97双方责任108项目组织架构129假定条件12精选word范本！.1项目目标在珠海格力电器股份有限公司的范围内，分期实现格力工业大数据平台项目的数据集成、连接、处理、分析、挖掘等相关功能。本期项目包括设计、搭建大数据平台，接入商技一部、商技二部、计算机中心的销售订单等相关数据，实现设备故障诊断、故障预测、产品统计、实时查询、营销支持、智能搜索等功能。故障诊断的业务目标：大数据平台处理、分析商用空调运行时采集回传的工况数据，及时、准确定位运行故障并给出大致原因，为维护部门维修空调设备和系统提供信

3、息支撑，降低故障定位的时间、范围和工作量，缩短停机时长并提高客户满意度、忠诚度。故障预测的业务目标：大数据平台利用数据挖掘、机器学习技术，通过学习业已存在的设备故障数据、信息，尤其是发生故障的前兆数据，归纳故障发生的特点、规律知识，并利用流计算相关技术及时发现潜在的故障及风险，及时预警，减少停机的次数及停机时长。另外发现停机模式、规律可以进一步应用到产品设计、改进过程中。产品统计的业务目标：大数据平台利用集成的产品及销售数据进行统计分析，用于分析产品的销售情况，客户情况，销售规律、特点及变化趋势，用于指导产品的个性化设计及产品的推广销

4、售。实时查询的业务目标：大数据平台利用NewSQL存储技术存放设备数据，提供特定编号设备、一段时间内工况信息的实时查询功能，用于业务人员分析、判断特定设备在查询时间范围内的工作状态，总结、发现业务规律。营销支持的业务目标：大数据平台利用集成的产品及销售数据进行分析，发现其中先后、重复购买及交叉购买情况和规律，提醒、推荐客户购买特定的产品和服务，提高产品和服务的销量。智能搜索的业务目标：精选word范本！.大数据平台提供通过语音输入完成产品及销售数据的查询、统计及分析的功能。1建设及服务内容以下所有内容基于1月19日版本的需求文档。详见

5、《格力大数据需求说明1.0》文档，建设内容为基于Hadoop生态系统构建大数据平台，内容包括商用空调、家用空调、销售等历史数据的入库，ETL处理，数据仓库、离线计算、内存计算、实时计算、即席查询、可视化展示等内容。具体内容如下：1.1需求调研及数据标准化包括功能商技一部、商技二部、销售、审计部门的需求调研、数据调研以及数据标准化。1.2大数据基础平台搭建基于Hadoop搭建大数据平台，包括HDFS、MapReduce、HBase、Hive、Spark，MySql集群。使用HDFS存储原始数据，供离线分析挖掘；使用Spark/MapRe

6、duce执行离线任务；使用HBase做实时查询；使用Hive/SparkSQL做数据仓库；使用MySql集群存储分析结果书，供上层应用查询。1.3数据采集大数据采集包括非结构化数据、结构化数据的采集，非结构化数据采用FlumeNG采集，Oracle/SQLServer/MySQL关系数据库中的结构化数据采用Sqoop收集。此外还有实时流数据采用分布式消息队列采集。Flume收集非结构化数据，Flume是一个高可用的，高可靠的，分布式的海量数据采集、聚合和传输的系统，Flume支持定制各类数据发送方，用于收集数据；同时，Flume提供对

7、数据进行简单处理，并写入到HDFS中。Sqoop收集结构化数据，Sqoop(发音：skup)，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如：MySQL,Oracle精选word范本！.,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。Sqoop，类似于其他ETL工具，使用元数据模型来判断数据类型并在数据从数据源转移到Hadoop时确保类型安全的数据处理。Sqoop专为大数据批量传输设计，能

8、够分割数据集并创建Hadoop任务来处理每个区块。实时数据处理，通过采集层数据通过消息队列组件Kafka接入到SparkStreaming里，SparkStreaming实时处理后把结果存到Hbase或Mysql等关系数