大数据环境下的高维数据挖掘技术研究.pdf

《大数据环境下的高维数据挖掘技术研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、大数据环境下的高维数据挖掘技术研究田祥宏，等倡大数据环境下的高维数据挖掘技术研究田祥宏，陈正宇（金陵科技学院计算机工程学院江苏南京，２１１１６９）摘要：在大数据时代的发展变化中，不仅体现了数据传输的密度低、速度快的方向，还体现了数据大、种类多的方式。在数据不断变化发展中，高维挖掘技术成为主要的研究方向。随着大数据在处理信息和分析数据方向上的改变，不论是人们在企业经营上，还是人们在生活中的应用都发挥着重要条件。所以本文对大数据发展下的高维数据挖掘技术进行讨论，从而实现数据、信息的变化和发展。关键词：大数据；高维数据；挖掘技术中图分类号：ＴＰ３１１畅１３文献标识码：ＡＤＯＩ编码：１０．１４０１

2、６／ｊ．ｃｎｋｉ．１００１－９２２７．２０１６．０３．１００Abstract：ｉｎｔｈｅｄｅｖｅｌｏｐｍｅｎｔｏｆｌａｒｇｅｄａｔａｅｒａ，ｎｏｔｏｎｌｙｒｅｆｌｅｃｔｓｔｈｅｌｏｗｄｅｎｓｉｔｙｏｆｄａｔａｔｒａｎｓｍｉｓｓｉｏｎ，ｔｈｅｄｉｒｅｃｔｉｏｎｏｆｔｈｅｓｐｅｅｄ，ｂｕｔａｌｓｏｒｅｆｌｅｃｔｓｔｈｅｌａｒｇｅｄａｔａ，ａｖａｒｉｅｔｙｏｆｗａｙｓ．Ｉｎｔｈｅｃｏｎｔｉｎｕｏｕｓｄｅｖｅｌｏｐｍｅｎｔｏｆｄａｔａ，ｈｉｇｈｄｉｍｅｎｓｉｏｎａｌｍｉｎｉｎｇｔｅｃｈｎｏｌｏｇｙｈａｓｂｅｃｏｍｅｔｈｅｍａｉｎｒｅｓｅａｒｃｈｄｉｒｅｃｔｉｏｎ．Ｗｉｔｈｔｈｅｂｉｇｄａｔａｉｎｔ

3、ｈｅｐｒｏｃｅｓｓｉｎｇｏｆｉｎｆｏｒｍａｔｉｏｎａｎｄａｎａｌｙｓｉｓｏｆｔｈｅｄｉｒｅｃｔｉｏｎｏｆｃｈａｎｇｅ，ｗｈｅｔｈｅｒｉｔｉｓｐｅｏｐｌｅｉｎｂｕｓｉｎｅｓｓ，ｏｒｐｅｏｐｌｅｉｎｔｈｅｌｉｆｅｏｆｔｈｅａｐｐｌｉｃａｔｉｏｎａｒｅｐｌａｙｉｎｇａｎｉｍｐｏｒｔａｎｔｃｏｎｄｉｔｉｏｎ．Ｓｏｔｈｉｓｐａｐｅｒｄｉｓｃｕｓｓｅｓｔｈｅｈｉｇｈｄｉｍｅｎｓｉｏｎａｌｄａｔａｍｉｎｉｎｇｔｅｃｈｎｏｌｏｇｙｉｎｔｈｅｄｅｖｅｌｏｐｍｅｎｔｏｆｂｉｇｄａｔａ，ｓｏａｓｔｏｒｅａｌｉｚｅｔｈｅｃｈａｎｇｅａｎｄｄｅｖｅｌｏｐｍｅｎｔｏｆｄａｔａａｎｄｉｎｆｏｒｍａｔｉｏｎ．Keywor

4、ds：ｌａｒｇｅｄａｔａ；ｈｉｇｈｄｉｍｅｎｓｉｏｎａｌｄａｔａ；ｍｉｎｉｎｇｔｅｃｈｎｏｌｏｇｙ析的，不仅实现了一套完整的数据分析体系，在各个方面都实０引言现了数据的高效处理方法。在大数据时代的变化发展下，由大数据在互联网上的实施不仅是数据量的增长，也是数于数据量的不断增长，对传统的分析技术创造了巨大的挑战。据产生的复杂性。在数据量增长过程中，如果达到一定的程主要体现在三个方面。度，就会产生规模化的质变现象。大数据中包含的内容比较（１）数据处理的时效性多，在结构信息上不仅要具有文本数据，视频数据，还要在采随着数据信息的不断发展和变化，数据中产生的知识价集和处理上提升较快的速度。在企业应用

5、方式上能够实现良值也发生了较大的变化。在大数据实施变化下，数据在分析好的生产效率和决策，在政府应用方式上能够对一些应急方形势上体现在线的处理方式，从而满足了当代发展的巨大需式进行处理，在世界发展中面对巨大的数据挑战。求。大数据的处理改变了数据处理的模式和选择，实现了实时性的处理方式，不仅能够进行流处理，还能实现批处理模１大数据的发展挑战式。在大数据处理中实现的实时性框架都改变了人们在业务１畅１在技术架构形式上上的需求和工具的应用方式。能够对现代数据库的管理方式进行最大的挑战，数据库（２）实现了动态变化环境中的索引形式在传统的管理方式中，还不能实现处理数ＴＢ级别的数据，也索引形式在关系数据库

6、中能够为查询方式加快一定程度不能对一些比较高级的数据进行分析和处理。随着数据量的的速度，但这种方式在传统的数据管理模式中不能出现一些不断增加，大数据的发展在数据库管理能力方向上已经改变变化，所以在索引方式上就形成了创建方式和更新的效率。了传统的处理方式。在全球数据库的发展模式下，要构建分随着大数据信息的变化增加和变化，索引方式的创建不仅要布式的形式，不仅要扩展大量的机器，还要对大量的数据信息在设计上具有简单化，在利用方式上也要实现高效化，使它在进行处理。而经典数据库技术没有对数据的类型、数量进行大数据变化发展下能适应当代数据信息在需求中的调整和处［２］分区，在设计方式中是一种非结构化的数据

7、处理。理工作。所以在数据信息发生变化下，就要对大数据来临１畅２在适时性技术上时代的产生设计出新的索引形式，以实现更好的查询工作。在数据库系统处理中、商业发展智能化的应用中，对数据（３）先验知识的缺失在处理时间和方式上的要求都不高。但应用时间上一般要获在传统的数据分析结构下，这些数据在关系型的储存模得较大结果，只是短暂的时间才能实现数据的引用，而实现实式中就已经出现了内部关系的隐藏和先验知识的产生。例时性的处理方式则不同，