数据挖掘的预处理技术研究

《数据挖掘的预处理技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、数据挖掘的预处理技术研究摘要：计算机的应用，极大的提高了工作的效率，而数据挖掘在计算机的应用中，具有非常重要的作用，本文在数据挖掘预处理技术概念和特点的基础上，结合影响数据挖掘预处理技术应用的因素，以及实际使用中存在的问题，从预处理技术重视程度、工作人员自身素质、预处理的方式等方面，对数据挖掘预处理技术应用的措施，进行了深入的研究，希望能给实际的数据挖掘工作，提供一定的参考。关键词：数据挖掘；数据库；预处理技术中图分类号：TP311.13112随着计算机和互联网的普及应用，由于其能够提高工作的效率，非常受到人们的重视，一些企业甚至在计算

2、机应用的基础上，提出了无纸化办公的理念，在实际应用的过程中，计算机需要存储大量的数据，对于企业用户来说，很多数据具有私密性，如果这些数据泄露出去，将会给企业的发展带来严重的影响，甚至造成巨大的经济损失。受到特殊的历史因素影响，我国的经济和科技起步较晚，与西方发达国家相比，存在较大的差距，虽然经过了多年改革开放的发展，我国已经成为了世界第二大经济体，计算机的应用水平也有了很大的提高，但是在尖端的数据挖掘等领域中，研究的还比较少，而数据挖掘等技术，能够在很大程度上影响数据的利用效率，对于实际的工作来说，具有非常重要的作用。1数据挖掘的预处理

3、技术简析1.1数据挖掘预处理技术的概念数据挖掘技术是随着数据库的发展，逐渐形成的一门学科，在计算机出现的早期，受到其性能和体积的限制，能够存储的数据很少，不需要考虑数据的利用效率，但是随着晶体管和集成电路的使用，计算机的性能得到了极大的提高，相应的存储设备也有了很大的进步，计算机能够处理的任务越来越复杂，存储的数据越来越多，现在我国建成了多个大型数据存储中心，存储的数据量非常巨大。对于如此多的数据，如何筛选出自己想要的，成为了很大专家和学者研究的问题，在传统的数据应用中，通常都是利用检索技术，根据输入的关键词，在数据库中进行逐个的匹配，

4、如果数据库的存储量较小，检索的效率就比较高，而对于现在的海量存储来说，逐个匹配显然需要很长的等待时间。数据挖掘的预处理技术，正是在这种背景下出现的，所谓预处理技术，就是在数据挖掘之前，对数据进行一定的整理，通常情况下，数据挖掘主要面对现有的数据库或者互联网上海量的数据，如果在数据库中进行挖掘，那么可以对数据库进行一定的修改，如完善数据分类的方式等，而在互联网上进行数据挖掘，显然就需要优化挖掘的方式，或者缩小数据挖掘的范围等。1.2数据挖掘预处理技术的特点12与正常的数据挖掘技术相比，如何增加相应的预处理环节，无疑可以极大的提高数据挖掘的

5、效率，如在数据库中进行数据的挖掘，传统的挖掘方式下，通常都是利用检索技术，输入指定的关键词后，与数据库中的信息进行对比，这样逐条的进行检索，就可以找到自己想要的数据，如果数据库存储的信息量较大，那么利用这样的挖掘方式，显然需要很长的等待时间。如果增加相应的预处理环节，如在数据库中添加索引，对数据库中的数据进行分类，那么在输入相应的关键词后，首先与索引进行匹配，然后在指定类别的数据中进行对比，这样的方式，显然极大的提高了数据挖掘的效率，目前使用的数据库中，大多采用了这样的预处理技术，取得了很好的应用效果。受到特殊历史因素的影响，我国数据库

6、相关技术水平较低，目前我国建设的大型数据库，都是与国外的技术公司合建的，通过实际的调查发现，现在我国还无法自主生产外部存储设备，市面上的存储设备，都是从外国引进的，但是在实际数据库的建设中，在外国存储设备的基础上，我国也进行了大量数据挖掘等技术的研究。1.3数据挖掘预处理技术的发展12从某种意义上来说，数据挖掘技术是随着互联网和数据库的应用，根据实际使用的需要，逐渐形成的一门技术，在互联网发展的初期，网络上的资源有限，而且受到计算机性能的限制，没有太多的娱乐项目，只能浏览一些商业网站等，随着计算机的普及应用，互联网有了很大的发展，现在已

7、经建成了覆盖世界范围的因特网。据最新的统计调查表明，我国的网民数量已经超过了6亿，如果庞大的用户群体，为我国互联网的发展，提供了坚实的基础，但是通过实际的调查发现，我国的实际网络带宽，还没有达到世界平均水平，即使实际使用的网络带宽较低，我国互联网内容的发展速度依然很快，现在网络上出现了各种各样的网站，极大的提高了网络建设水平。在实际的网络浏览中，面对如此大的信息量，如何找到自己想要的信息，成为了一个实际问题，为了解决这个问题，出现了搜索引擎，只要输入相应的关键词，搜索引擎就可以很快的找到大量相关内容，然后进行必要的筛选，就能够得到相应的

8、数据，但是随着互联网内容的丰富，除了传统的文字信息外，还有视频和音频等数据，如何在这些数据中，进行相应的挖掘工作，具有较大的难度。2影响数据挖掘预处理技术的因素2.1预处理的方式12在实际的数据挖掘过程中，