基于模型的文本聚类算法研究

《基于模型的文本聚类算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于模型的文本聚类算法研究（申请清华大学工学博士学位论文）培养单位：计算机科学与技术系学科：计算机科学与技术研究生：尹建华指导教师：王建勇教授二〇一七年五月Ｍｏｄｅ－ｌｂａｓｅｄＡｌｇｏｒｉｔｈｍｓｆｏｒＴｅｘｔＣｌｕｓｔｅｒｉｎｇＴｈｅｓｉｓＳｕｂｍｉｔｔｅｄｔｏＴｓｉｎｈｕａＵｎｉｖｅｒｓｉｔｇｙｉｎａｒｔｉａｌｆｕｌｆｉｌｌｍｅｎｔｏｆｔｈｅｒｅｕｉｒｅｍｅｎｔｐｑｆｏｒｔｈｅｒｏｆｅｓｓｉｏｎａｌｄｅｒｅｅｏｆｐｇＤｏｃｔｏｒ

2、ｏｆＰｈｉｌｏｓｏｈｐｙｂｙＪｉａｎｈｕａＹｉｎ（ＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ）ＴｈｅｓｉｓＳｕｐｅｒｖｉｓｏｒ：ＰｒｏｆｅｓｓｏｒＪｉａｎｙｏｎｇＷａｎｇＭａ１７ｙ，２０摘要摘要文本聚类是数据挖掘和机器学习中的重要技术，在事件的发现与跟踪、文档摘要、搜索结果聚类等问题中有广泛的应用。虽然针对文本聚类问题已经有，但是目前依然有许多非常有挑战性的问题需要解决许多研究工作：（１）如何设定簇的数目？是否能够从数据中自动发现簇

3、的数目？（２）如何应对文本的高维问题？（３）如何应对短文本的稀疏性问题？（４）如何得到聚类结果中簇的表示？（５）如何自动发现数据集中的异常文档？（６？）如何高效处理海量数据本文提出了若干个基于模型的文本聚类算法一，可以在定程度上应对以上挑战：１．提出基于狄利克雷多项式混合模型的ＧＳＤＭＭ聚类算法。当初始簇的数目大于真实簇的数目时，ＧＳＤＭＭ算法可以自动发现簇的数目。ＧＳＤＭＭ算法有很快的收敛速度，并且能够很好地平衡聚类结果的完全性和同质性。同时，ＧＳＤＭＭ算法能够应对短文本数据的稀疏和高维

4、问题，并且可以得到每个簇的表示。实验表明，ＧＳＤＭＭ算法能够获得比其他三个作为对比的聚类算法更好的效果。２．提出基于狄利克雷过程多项式混合模型的ＧＳＤＰＭＭ聚类算法，作一为ＧＳＤＭＭ聚类算法的种改进。在ＧＳＤＭＭ算法中，需要假设数据集中簇数目的上限一，在算法的运行过程中，簇的数目逐渐减少，从而达到个稳定值。当假定簇数目的上限低于真实簇的数目时，会影响聚类效果。当假设簇数目的上限远大于真实簇的数目时，会影响算法效率。ＧＳＤＰＭＭ算法不需要假设簇数目的上限，而是可以从数据中直接学习到簇的数

5、目，而且能够发现数据集中的异常文档。实验表明，ＧＳＤＰＭＭ聚类算法在短文本和长文本数据集上都能够获得比ＧＳＤＭＭ算法及其他算法更好的效果。一３．提出时间复杂度与非空簇的数目成正比的ＦＧＳＤＭＭ聚类算法，尝试从另种角度解决ＧＳＤＭＭ算法的效率问题，以及ＧＳＤＰＭＭ算法缺少对簇数目控一制的问题。提出基于在线聚类思想的ＦＧＳＤＭＭ＋聚类算法，给出了种更加合理的初始化方法，能够提高ＦＧＳＤＭＭ算法的效率和效果。实验表明，当假设簇数目的上限足够大时，ＦＧＳＤＭＭ＋聚类算法在短文本和长文本数据集上

6、都能够获得比其他聚类算法更好的效果。关键词：文本聚类；吉布斯采样；狄利克雷混合模型；狄利克雷过程混合模型ＩＡｂｓｔｒａｃｔＡｂｓｔｒａｃｔＴｅｘｔｃｌｕｓｔｅｒｉｎｇｉｓａｎｉｍｐｏｒｔａｎｔｔｅｃｈｎｉｑｕｅｉｎｄａｔａｍｉｎｉｎｇａｎｄｍａｃｈｉｎｅｌｅａｒｎｉｎｇ，ａｎｄｗｉｄｅｌｕｓｅｄｉｎａｌｉｃａｔｉｏｎｓｓｕｃｈａｓｔｏｉｃｄｅｔｅｃｔｉｏｎａｎｄｔｒａｃｋｉｎｄｏｃｕｍｅｎｔｓｕｍｍａｒｉｚａｔｉｏｎｙ，，ｐｐｐｇａｎｄｓｅａ

7、ｒｃｈｒｅｓｕｌｔｓｃｌｕｓｔｅｒｉｎｇ．Ａｌｔｈｏｕｇｈｍａｎｙｓｔｕｄｉｅｓｈａｖｅｂｅｅｎｄｏｎｅｏｎｔｅｘｔｃｌｕｓｔｅｒｉｎｇ，ｔｈｅｒｅａｒｅｓｔｉｌｌｍａｎｙｃｈａｌｌｅｎｇｉｎｇｒｏｂｌｅｍｓｔｏｂｅｓｏｌｖｅｄ：（１）Ｈｏｗｔｏｓｅｔｔｈｅｎｕｍｂｅｒｏｆｐｃｌｕｓｔｅｒｓ？Ｃａｎｗｅｌｅａｒｎｉｔｆｒｏｍｔｈｅｄａｔａｓｅｔ？２Ｈｏｗｔｏｄｅａｌｗｉｔｈｔｈｅｈｉｈ－ｄｉｍｅｎｓｉｏｎａｌ（）ｇｐｒｏｂｌｅ

8、ｍｏｆｔｅｘｔｃｌｕｓｔｅｒｉｎｇ？（３）Ｈｏｗｔｏｄｅａｌｗｉｔｈｔｈｅｓａｒｓｅｒｏｂｌｅｍｏｆｓｈｏｒｔｔｅｘｔ？４Ｈｏｗｐｐ（）ｔｏｏｂｔａｉｎｏｏｄｒｅｒｅｓｅｎｔａｔｉｏｎｏｆｔｈｅｃｌｕｓｔｅｒｓ？（５）Ｈｏｗｔｏｄｅｔｅｃｔｔｈｅｏｕｔｌｉｅｒｄｏｃｕｍｅｎｔｓ？ｇ