广州市白云区分局

《广州市白云区分局》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、广州市白云区分局门禁大数据平台扩建三期用户需求书511项目背景为贯彻落实《广州市出租屋门禁系统建设工作方案》和公安厅《关于进一步加快推进广州市“雪亮工程”工作方案》（穗政法综【2017】6号文）的有关文件精神，全面落实广州市推进来穗人员融合行动计划，稳步推进出租屋视频门禁管理系统建设。依据《广州市出租屋门禁系统建设工作方案》中建设规范，各区政府、区公安分局已积极部署动员各街道按照实际情况加快推进出租屋智慧社区门禁平台安装建设工作，充分利用创新信息化管理手段，通过对出租屋出入人员的信息采集及管理，全面提高

2、社会安全管理水平，有效提升来穗流动人口纳管率，加强平安广州建设。随着全区智慧社区门禁平台的逐步建立完善，系统产生了大量的门禁数据，这些数据对提高流动人口居所的安全性，提升政府相关部门服务管理水平，实现精细、科学的大数据管理非常有意义，因此有必要建立全白云区智慧社区门禁大数据管理平台，实现对各门禁系统数据的汇聚整合、分析利用，同时通过平台间的数据融合传输可丰富社会治安数据资源，充分发挥数据价值。511建设内容门禁大数据平台扩建三期建设费用，合计叁佰贰拾万捌仟元（小写：3,208,000元）。序号建设内容1

3、门禁大数据平台建设2门禁应用建设3平安白云APP应用建设（包括安卓版、苹果版）42名高级开发工程师驻场开发1年5商业报表工具1套6数据汇聚平台防火墙1台★要求提供具有自主知识产权的ETL工具，且可以根据白云分局实际需求进行功能二次开发。★要求门禁大数据平台能够无缝对接广州市公安局大数据平台，实现模型共享、应用共用。1.1门禁大数据平台功能要求51要求门禁大数据平台能够无缝对接广州市公安局大数据平台，实现模型共享、应用共用。1.1.1汇集库建设要求1.1.1.1汇集库建设要求汇集库按业务来源对数据进行分类

4、组织管理，并对数据进行标准化和数据清洗。汇集库的数据来源主要包括：l警综平台数据库：由警用综合平台通过多种技术手段共享交换来的警用信息资源，其结构也警综库保持一直，以便于数据共享交换。l情报平台数据库：由情报平台获取的案件、重点人员、车辆等相关信息资源。l各业务警种数据库：从治安、刑侦、人口、国保、技侦等各业务警种的业务系统中获取的各警种业务数据。l社会数据库：从外部获取的社会车辆、社保、教育等社会相关信息。l互联网数据：微博、互联网、微信、QQ、SNS等获取的互联网信息。汇集库尽量保留完整的原始业务信

5、息，主要解决标准化、时效性、一致性问题，不做复杂数据整合，不对外部应用提供查询服务，主要满足专题库快速批量获取数据需求。511.1.1.1汇集库建设流程要求首先，各类相关的数据集资源从来源数据库，经过抽取到汇集库。之后，从汇集库到关联库要做：清洗、整合、关联、规范化处理，有问题的数据可以反馈业务部门或人工审核，制定处理规则后进入关联库。关联库的特点是数据质量高、数据关联性强、并且符合政法的数据元标准。最后，再从关联库抽取到专题库中，专题库的构建需要与云平台相结合，重点是快速构建和发布。资源库建设要求包括

6、如下流程：1.1.1.1.1数据建库数据清洗、整合是按照公安业务资源管理的需要，通过ETL等技术对公安数据进行结构重组和规范化整合，整合形成结构统一、描述规范、面向业务的基础数据资源集合，丰富和充实公安业务数据资源构成，形成完整的、标准化的可满足公安业务需要的基础数据资源体系，为后续分析、共享发布服务提供完备的基础数据资源，即通过数据加工处理，实现数据完备性、一致性和权威性的基础数据库的过程。511.1.1.1.1数据抽取数据抽取是从数据源中抽取数据的过程。实际应用中，数据源较多采用的是关系数据库。从数

7、据库中抽取数据一般有以下几种方式：1.全量抽取2.增量抽取（1）触发器方式（又称快照式）：（2） 时间戳方式：（3）全表删除插入方式（4）全表比对方式：（5）日志表方式（6）Oracle变化数据捕捉（CDC方式）：1.1.1.1.2数据入库将转换和加工后的数据装载到目的库中通常是抽取工具过程的最后步骤。装载数据的最佳方法取决于所执行操作的类型以及需要装入多少数据。当目的库是关系数据库时，一般来说有两种装载方式：直接SQL语句进行insert、update、delete操作。采用批量装载方法，如bcp、b

8、ulk、关系数据库特有的批量装载工具或API。51大多数情况下使用第一种方法，因为它们进行了日志记录并且是可恢复的。但是，批量装载操作易于使用，并且在装入大量数据时效率较高。使用哪种数据装载方法取决于业务系统的需要。1.1.1.1.1数据更新汇集库的数据从类型方面进行划分，可分为传统的关系型数据以及非关系型数据（包含文本、资料、图片、流式数据、多媒体数据等大数据类型），在汇集库的数据更新维护方面，需要针对需要整合的数据类型，考虑多种数据更新