基于不完备数据聚类的缺失数据填补方法_武森.pdf

《基于不完备数据聚类的缺失数据填补方法_武森.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第３５卷第８期计算机学报Ｖｏｌ．３５Ｎｏ．８２０１２年８月ＣＨＩＮＥＳＥＪＯＵＲＮＡＬＯＦＣＯＭＰＵＴＥＲＳＡｕｇ．２０１２基于不完备数据聚类的缺失数据填补方法武森１）１）２）冯小东单志广１）（北京科技大学东凌经济管理学院管理科学与工程系北京１０００８３）２）（国家信息中心信息化研究部北京１０００４５）摘要缺失数据的处理是数据挖掘领域进行数据预处理的一个重要问题．传统的缺失数据填补方法大部分是基于概率分布等一些统计假设，对于大数据集的数据挖掘不一定是最适合的方法．受不完备数据分析（ＲＯＵＳＴＩＤＡ）未采用传统的概率统计学方法启发，提出基于

2、不完备数据聚类的缺失数据填补方法（ＭＩＢＯＩ），针对分类变量不完备数据集定义约束容差集合差异度，直接计算不完备数据对象集合内所有对象的总体相异程度，以不完备数据聚类的结果为基础进行缺失数据的填补．采用ＵＣＩ机器学习基准数据集进行实验表明，ＭＩＢＯＩ对缺失数据的填补是有效可行的．关键词数据填补；不完备数据；聚类；约束容差集合差异度中图法分类号ＴＰ３１１ＤＯＩ号：１０．３７２４／ＳＰ．Ｊ．１０１６．２０１２．０１７２６ＭｉｓｓｉｎｇＤａｔａＩｍｐｕｔａｔｉｏｎＡｐｐｒｏａｃｈＢａｓｅｄｏｎＩｎｃｏｍｐｌｅｔｅＤａｔａＣｌｕｓｔｅｒｉｎｇ１）１

3、）２）ＷＵＳｅｎＦＥＮＧＸｉａｏ－ＤｏｎｇＳＨＡＮＺｈｉ－Ｇｕａｎｇ１）（ＤｅｐａｒｔｍｅｎｔｏｆＭａｎａｇｅｍｅｎｔＳｃｉｅｎｃｅａｎｄＥｎｇｉｎｅｅｒｉｎｇ，ＤｏｎｇｌｉｎｇＳｃｈｏｏｌｏｆＥｃｏｎｏｍｉｃｓａｎｄＭａｎａｇｅｍｅｎｔ，ＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙＢｅｉｊｉｎｇ，Ｂｅｉｊｉｎｇ１０００８３）２）（ＩｎｆｏｒｍａｔｉｚａｔｉｏｎＲｅｓｅａｒｃｈＤｅｐａｒｔｍｅｎｔ，ＳｔａｔｅＩｎｆｏｒｍａｔｉｏｎＣｅｎｔｅｒ，Ｂｅｉｊｉｎｇ１０００４５）ＡｂｓｔｒａｃｔＭｉｓｓｉｎｇｄａｔａｐｒｏｃｅ

4、ｓｓｉｎｇｉｓａｎｉｍｐｏｒｔａｎｔｐｒｏｂｌｅｍｏｆｄａｔａｐｒｅ－ｐｒｏｃｅｓｓｉｎｇｉｎｄａｔａｍｉｎｉｎｇｆｉｅｌｄ．Ｔｒａｄｉｔｉｏｎａｌｍｉｓｓｉｎｇｄａｔａｆｉｌｌｉｎｇｍｅｔｈｏｄｓａｒｅｍｏｓｔｌｙｂａｓｅｄｏｎｓｏｍｅｓｔａｔｉｓｔｉｃａｌｈｙｐｏｔｈｅｓｉｓ，ｓｕｃｈａｓｐｒｏｂａｂｉｌｉｔｙｄｉｓｔｒｉｂｕｔｉｏｎ，ｗｈｉｃｈｍｉｇｈｔｎｏｔｂｅｔｈｅｍｏｓｔａｐｐｌｉｃａｂｌｅａｐｐｒｏａｃｈｅｓｆｏｒｄａｔａｍｉｎ－ｉｎｇｏｆｌａｒｇｅｄａｔａｓｅｔ．ＩｎｓｐｉｒｅｄｂｙＲＯＵＳＴＩＤＡ，ａｎｉｎｃｏｍｐｌｅｔ

5、ｅｄａｔａａｎａｌｙｓｉｓａｐｐｒｏａｃｈｎｏｔｕｓｉｎｇｐｒｏｂａｂｉｌｉｔｙｓｔａｔｉｓｔｉｃａｌｍｅｔｈｏｄｓ，ＭＩＢＯＩｉｓｐｒｏｐｏｓｅｄｆｏｒｍｉｓｓｉｎｇｄａｔａｉｍｐｕｔａｔｉｏｎｂａｓｅｄｏｎｉｎｃｏｍ－ｐｌｅｔｅｄａｔａｃｌｕｓｔｅｒｉｎｇ．ＣｏｎｓｔｒａｉｎｔＴｏｌｅｒａｎｃｅＳｅｔＤｉｓｓｉｍｉｌａｒｉｔｙｉｓｄｅｆｉｎｅｄｆｏｒｉｎｃｏｍｐｌｅｔｅｄａｔａｓｅｔｏｆｃａｔｅｇｏｒｉｃａｌｖａｒｉａｂｌｅｓ，ｓｏｔｈｅｇｅｎｅｒａｌｄｉｓｓｉｍｉｌａｒｉｔｙｏｆａｌｌｔｈｅｉｎｃｏｍｐｌｅｔｅｄａｔａｏｂｊｅｃｔｓ

6、ｉｎａｓｅｔｃａｎｂｅｄｉｒｅｃｔｌｙｃｏｍｐｕｔｅｄ，ａｎｄｔｈｅｍｉｓｓｉｎｇｄａｔａｉｓｉｍｐｕｔｅｄａｃｃｏｒｄｉｎｇｔｏｔｈｅｉｎｃｏｍｐｌｅｔｅｄａｔａｃｌｕｓｔｅｒｉｎｇｒｅ－ｓｕｌｔｓ．ＴｈｅｅｍｐｉｒｉｃａｌｔｅｓｔｓｕｓｉｎｇＵＣＩｂｅｎｃｈｍａｒｋｄａｔａｓｅｔｓｓｈｏｗｔｈａｔＭＩＢＯＩｉｓｅｆｆｅｃｔｉｖｅａｎｄｆｅａｓｉ－ｂｌｅ．Ｋｅｙｗｏｒｄｓｄａｔａｉｍｐｕｔａｔｉｏｎ；ｉｎｃｏｍｐｌｅｔｅｄａｔａ；ｃｌｕｓｔｅｒｉｎｇ；ｃｏｎｓｔｒａｉｎｔｔｏｌｅｒａｎｃｅｓｅｔｄｉｓｓｉｍｉｌａｒｉｔｙ作为机器学习领域

7、基准数据库的ＵＣＩ数据集中超［１］１引言过４０％的数据库都含有缺失数据．这可能是由于［２］数据获取限制，数据理解有误或数据漏读等多方在实际数据分析中，经常遇到数据缺失问题．面原因造成的，使得在数据挖掘中面临的数据集往收稿日期：２０１０－１１－１６；最终修改稿收到日期：２０１１－０４－２４．本课题得到国家自然科学基金（７０７７１００７）、中央高校基本科研业务费专项资金（ＦＲＦ－ＴＰ－１０－００６Ｂ）资助．武森，女，１９７１年生，博士，教授，博士生导师，中国计算机学会（ＣＣＦ）会员，主要研究方向为智能数据分析、知识发现和数据挖掘．Ｅ－ｍａｉｌ

8、：ｗｕｓｅｎ＠ｍａｎａｇｅ．ｕｓｔｂ．ｅｄｕ．ｃｎ．冯小东，男，１９８８年生，博士研究生，主要研究方向为数据挖掘、聚类分析．单志广，男，１９７４年生，博士，研究员，中国计算机学会（ＣＣＦ）理事