大数据挖掘方法的势科学研究.doc

《大数据挖掘方法的势科学研究.doc》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、大数据挖掘方法的势科学研究厉蕊陈素梅陈豪黄河科技学院郑州日产汽车有限公司上海汇金有限公司摘要：大数据已经是包罗万象，渗透到社会发展的很多领域，并且还在不断扩大屮。大数据研宂的难点在于提取数据，数据提取的核心在于网络中的相关关系，而势科学理论中的信息作用机制的“差别与联系”也体现了相关关系。通过计算与比较各种数据维度的信息势，就能有效认识大数据中各数据维度的相关关系，从而提高知识的提取能力。关键词：大数据;数据挖掘;势科学;收稿日期：2017-11-20Received：2017-11-20大数据泛指巨量的数据集，记录了众多信息主体的状态

2、、特征、行为、偏好和思想等方面，因可从中挖掘出有价值的信息而受到全世界关注。国外对大数据的权威定义为：由科学仪器、传感器、互联网电子商务、电子邮件、音视频软件和网络点击流等众多数据源生成的大规模、多元化、复杂、长期的分布式数据集。TBM将大数据特性归纳为4V:大量化(Volume),多样化(Variety),快速化(Velocity)和真实性(Veracity)。大数据的主要用途为进行分析预测和辅助决策，在政府管理、公共服务、金融投资、商业分析和企业管理等领域都己经有广泛应用。大数据目前应用的主要场景有:驱动企业营销创新，效率提升和策略

3、优化，改善客户体验和实现实时化，个性化产品与服务创新以及进行风险监控;帮助政府对重点管理领域进行实时跟踪和分析，提高监管和服务效率;对环境灾害和传染性疾病进行提前监测，做好灾害预警防备和疾病防治。人们平常说的大数据实际上只是简称，更准确的叫法应为大数据挖掘，不挖掘出大数据的价值大数据也就没有用处、没有意义。麦肯锡(MeKinsey)指出大数据挖掘是继云计算、物联网之后TT产业又一次颠覆性的技术变革，人数据将是提高创新、竞争、生产力的下一个前沿阵地。现阶段，大数据研宄与应用正从起步阶段开始进入深化发展阶段，但还有很多技术难题有待解决，支撑

4、的理论和方法也不够，研宄远远落后于应用的需求。大数据挖掘需要处理的数据不仅庞大而且多源异构，有结构化数据、半结构化数据和非结构化数据，在类型上又分为数字、文字、图片、文档、网页和视频等不同种类，并以数据流的形式快速、动态地产生，导致人数据各数据维度之间的差异悬殊，并缺乏条理性，同时也难以清洗冗余数据，给大数据研允带来了很大困难。如何从海量、碎片化的大数据中提取出知识点进行有效融合计算，并解决科研问题，是目前亟待解决的问题，也是当前的研究热点和难点。2势科学概述势科学是李德昌教授自创的科学理论，是以信息为棊本元的科学理论，信息是研宄一切自

5、然和社会现象及原理的基本元素，势科学总结信息的有序是知识，知识的有序是方法，方法的有序是智慧;知识不是简单的数据累计，而是有序的可以指导实践的信息。势科学理论指出只有既有差別又有联系的信息，才是有序的信息，才能从中提取出知识，再将知识融会贯通发现出规律从而解决复杂问题。势科学理论根植于我国传统文化，也与西方自然科学理论的研宄一脉相承，找到自然科学研宄与社会科学研宄的相同之处，在原理上也具有一致性，因此高度概括出核心概念“势”。势=差别x联系=差别+距离，势即梯度、导数和斜率,势科学的基本作用机制是势增原理“联系扩大差别，差别促进联系”，

6、差别最大即相反，联系最大即相同，即相反又相同，则为对称。对称是自然界最普适、最高级的状态，归于对称性原理的势科学为研允人类社会发展，提供了具有普适性的动力学原理。势科学理论在中国管理实践、区域发展、企业治理和高等教育上己经取得了丰硕研究成果。3势科学在大数据中的应用3.1势科学视角看大数据从势科学视角看大数据近儿年的高速发展来源于:差别促进联系，联系扩大差别,“势趋”不变，推动着大数据研究加速扩张和加速发展。另外，因为传统基于小样本数据挖掘出新的价值越来越难，在追逐创新的驱动下，针对大数据的挖掘顺势而來。在势科学理论屮，有序的消息称为信

7、息，信息量或信息势代表着有序信息的数量，并定义“创新”是系统过程在信息势作用下超过某个临界值，发生非平衡相变和非线性分叉所产生。正是大数据挖掘出的价值具有的信息势够大,超过了某个临界值，所以大数据挖掘被视为是重要创新并获得广泛追捧。因此在大数据研宄中，首先要找到信息量大的数据维度并根据研宄的问题提取出知识，再通过进一步分析挖掘出重要的信息，从而获得更大的信息势，产生出创新和带来更大价值。3.2大数据重点研究相关关系在小样本数据挖掘中，必须有明确的因果关系作支撑，冰能保证从小样本数据中得到的规律和价值信息是正确的。但在大数据挖掘时，因为样

8、本规模巨大、涵盖广阔，没有像小样木数据中那样以偏概全，所以仅需要分析大数据之间的相关关系，就能得到正确的结果。人数据主要也是研究相关关系，毕竟在人数据这种复杂系统屮，要解决的问题也很复杂，更多时候是众多相关