基于大数据平台的智能监控技术应用

《基于大数据平台的智能监控技术应用》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、基于大数据平台的智能监控技术应用高冠东1，2（1.中央司法警官学院信息管理系，河北保定071000；2.北京工业大学电子信息与控制工程学院，中国北京100124）【摘　要】本文通过对大数据的概念、特征及在各领域发展近况的介绍，分析了智能监控技术与大数据结合的几个关键因素，提出了一套适合大数据特点的低成本、最优化智能监控平台构建方案，对基于大数据平台的智能监控技术的发展加以展望。.jyqke）：数据量巨大；（2）多样化（variety）：数据类别多，数据来自多种数据源，由结构化数据、半结构化数据和非结构化数据组成；（3）快速化（velocit

2、y）：数据处理速度快；（4）价值化（value）：价值密度低，有用的数据持续时间短。大数据的这四个关键特征也称4V特征[4]。2012年发布的名为《大数据促发展:挑战与机遇》的联合国白皮书全面分析了各国特别是发展中国家在运用大数据促进社会发展方面所面临的历史机遇和挑战，并系统给出了在应用过程中正确运用大数据的策略建议[5]。2012年3月，奥巴马政府将“大数据战略”上升为最高国策，认为大数据是“未来的新石油”，将对数据的占有和控制作为陆权、海权、空权之外的另一种国家核心能力[6]。大数据给人们带来了巨大的社会价值。在大数据业务的协助下，科研

3、机构可以进行科学探索，如：农业、资源、环境、气象、生命等领域；在司法行政机构，大数据的使用，促进了数据信息的交互、共享和分析，提升了警务信息工作效率，并在行政管理、辅助决策、安全防范和应急响应等方面发挥了巨大的作用。企业方面，数据成为关注重点，计算机行业正在转变为真正的信息行业，关注重点从计算速度转变为大数据处理能力，软件也将从编程为主转变为以数据为中心[7]。2　大数据时代下的智能监控技术智能监控技术与大数据的结合必须要考虑以下几个关键要素：2.1　平台的规模性所谓规模，我们应该有如下的认识：首先，应该是一个可以管理无限增长接入需求的真正

4、有应用弹性的平台；再次，要看这个平台是否能够同时从多个存储管理设备进行查看或者管理不同的摄像机，并具备同时通过一个平台实现对所有NVR和客户端的监控和维护能力，即平台的规模扩展能力。２．２　如何存储大数据海量视频、音频以及相关的报警信息等大数据的存储需要在高清视频监控下完成，这将影响现有传统的存储方式。现有的数据库存储方式多采用单一文件存储方式，或者采用多个分割的系列文件存储方式。当高清摄像机的规模急剧扩大，若继续采用这种方式存储高帧率、全高清的数据，快速读写、快速检索等操作会造成数据库崩溃。原因是不能对非结构性数据进行，不能在读写数据过程

5、中的对数据进行保护以及恢复。当数据库崩溃恢复时平台需要在极短的时间内同时对原始数据、丢失的数据以及新数据进行操作，此外，还需要对错误数据进行删选等，这样会占用大量的时间和存储空间，降低读写速度。如此以来恢复过程可能会花费很长的时间，还可能造成新数据的存储失败。我们可以形成结构化文件以减少存储空间，提高读写效率，及FlatFile方式。通过视频片段实现对大数据的连接关系型数据库，以提高数据的组织效率[8]。而将视频分成多个小的片段方式进行存储和检索，大大降低了某个视频片段操作失败对整个视频造成的巨大影响。２．３　数据的安全性具体方案是可以通过

6、对流媒体数据实现到了国家密码管理局认证的加密和解密；在前端实现硬件加密，完成对网络高清流媒体的加密；在后端解密时采用混合应用方式，及双重密钥，除了软件解密还必须通过硬件才能实现解密，防止单一软件加密方式可能被破解的风险。既给用户带来了方便，也提高了监控的安全性。２．４　数据的处理大型监控系统的重要指标之一就是视频数据的智能分析的有效性，即如何对视频数据进行分析处理、提取及信息挖掘。２．５　监控系统的冗余问题传统的监控系统中对视频数据的存储结构较复杂，利用效率低。利用虚拟化计算及分布式存储，可以提高系统的可靠性，减少系统的冗余度。3　大数据与

7、智能监控技术相结合的优势基于大数据平台，能给大中型的高清智能视频监控系统带来很多益处。3.1　提高了系统的扩展性以Hadoop为主的大数据技术，核心特点是分布式存储架构。根据这一特点，可以在系统后期根据需求添加和删除节点，灵活转移节点任务。３．２　降低投资成本大数据技术的架构对底层硬件设备的要求并不高，所以可以采用价格低廉的通用硬件，这样可以大大降低了投资成本。而系统的可靠性由软件技术提供保障。３．３　高效分析视频视频数据存储于多个节点，大数据技术的架构是采用节点分布式，这样可以并行进行大量视频数据的分析和处理，实现了海量视频数据分析及关联

8、挖掘，提高了有效性。４　大数据平台整合方案研究以信息资源库为基础，以中间件技术、云存储和数据仓库技术为核心技术，研究了大数据平台整合设计方案和构建方法，提出了一套适合大数据特点的