基于云计算物联网的大数据搜集处理技术

《基于云计算物联网的大数据搜集处理技术》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、基于云计算物联网的大数据搜集处理技术摘要：随着云计算云储存物联网等新技术的应用，人们通过社交网络电子商务平台及移动智能终端等途径搜集，处理各种数据呈爆炸型增长，在容量关系和复杂性等方面已超出了传统的处理能力和认知范围。在解析物联网两层基本涵义的基础上,提出了包括底层网络分布、汇聚网关接入、互联网络融合、终端用户应用四部分的物联网系统架构;设计了由网络通信协议、网络控制平台、应用终端平台组成的面向物联网的网络协议体系,并从硬件和软件两个层面讨论了实现物联网的关键技术;在分析当前物联网标准、技术、安全以及应用

2、方面存在问题的基础上提出了未来物联网发展的六个重要理念。大数据时代已经来临数据已经成为经济增长和，社会价值创造的源泉为人们提供无限机遇。然而我们也应该注意到快速发展的数据挖掘与利用技术使个人在网络空间从匿民变成透明。关键词：云计算，物联网，大数据收集与处理引言：近年来，社交网络、电子商务、数字城市、在线视频等新一代大规模互联网应用发展迅猛。这些新兴的应用具有数据存储量大、业务增长速度快等特点。为了解决上述问题，2006年Google、Amazon等公司提出了“云计算”的构想。根据美国国家标准与技术研究院（

3、NIST）的定义，云计算是一种利用互联网实现随时随地、按需、便捷地访问共享资源池（如计设施、存储设备、应用程序等）的计算模式。到2018年互联网与经济社会各领域融合发展，进一步深化，基于互联网的新业态成为新的经济增长动力，互联网支撑大众创业万众创新的作用进一步增强，网络经济与实体经济协同互动的发展格局基本形成。无处不在的物联网通信时代即将来临，世界上所有的物体，从轮胎到牙刷从房顶到纸巾都可以通过互联网进行信息交换。物联网(InternetofThings,IoT)作为一种新兴网络技术和产业模式,在业界受到

4、广泛关注.从国际电信联盟(ITU)在信息社会世界峰会上发布的《互联网报告2005:物联网》中可以总结出物联网所体现的两层基本涵义:(1)目前的三大网络,包括互联网(Internet)、电信网、广播电视网是物联网实现和发展的基础,物联网是在三网基础上的延伸和扩展;(2)用户应用终端从人与人之间的信息交互与通信扩展到了人与物、物与物、物与人之间的沟通连接,因此,物联网技术能够使物体变得更加智能化.从目前的发展形势看,最有可能率先获得智能连接功能的物体包括家居设备、电网设备、物流设备、医疗设备以及农业设备,并基

5、于此实现人类与自然环境的系统融合开创经济，新时代。专家指出，当前我国经济进入新常态，平稳度过新旧产业与核动能转化期需要强劲有力和恒久持续的支持力量。抢占经济制高点，促进大众创业，万众创新，提升公共服务水平必须走互联网融合创新之路。一、云计算1.云计算基础云计算是并行计算（ParallelComputing）、分布式计算（DistributedComputing）、网格计算（GridComputing）的发展，或者说是这些计算机科学概念的商业实现。云计算是虚拟化（Virtualization）、效用计算（U

6、tilityComputing）、IaaS（基础设施及服务）、Paas（平台及服务）、SaaS（软件及服务）等概念混合演进并跃升的结果。2．云计算特点云计算有超大规模、虚拟化、高可靠性、通用性、高可扩展性、按需服务、极其廉价七大特点，具有涵盖了IaaS（基础设施及服务）、Paas（平台及服务）、SaaS（软件及服务）的IT能力以服务形式提供，网络化访问，提供开放的服务访问和管理接口，持续的服务更新与孵化，资源聚合成池，弹性扩展，自动化监管与快速支付，资源使用计量，用户自助服务九大特征。3.云计算关键技术⑴

7、虚拟化技术：云计算的虚拟化技术不同于传统的单一虚拟化，它是涵盖整个IT架构的，包括资源、网络、应用和桌面在内的全系统虚拟化，它的优势在于能够把所有硬件设备、软件应用和数据隔离开来，打破硬件配置、软件部署和数据分布的界限，实现IT架构的动态化，实现资源集中管理，使应用能够动态地使用虚拟资源和物理资源，提高系统适应需求和环境的能力。⑵分布式资源管理技术：信息系统仿真系统在大多数情况下会处在多节点并发执行环境中，要保证系统状态的正确性，必须保证分布数据的一致性。云计算中的分布式资源管理技术圆满解决了这一问题。G

8、oogle公司的Chubby是最著名的分布式资源管理系统，该系统实现了Chubby服务锁机制，使得解决分布一致性问题的不再仅仅依赖一个协议或者是一个算法，而是有了一个统一的服务(service)。⑶并行编程技术：云计算采用并行编程模式。在并行编程模式下，并发处理、容错、数据分布、负载均衡等细节都被抽象到一个函数库中，通过统一接口，用户大尺度的计算任务被自动并发和分布执行，即将一个任务自动分成多个子任务，并行地处理海量数据。二、