机器学习算法优缺点改进总结

《机器学习算法优缺点改进总结》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、Lecture1IntroductiontoSupervisedLearning（1）ExpectatinMaximization(EM)Algorithm(期望值最大)（2）LinearRegressionAlgorithm(线性回归)（3）LocalWeightedRegression(局部加权回归)（4）k-NearestNeighborAlgorithmforRegression(回归k近邻)（5）LinearClassifier(线性分类)（6）PerceptronAlgorithm(线性分类)（7）FisherDiscriminantAnalysisorLinearDiscri

2、minantAnalysis(LDA)（8）k-NNAlgorithmforClassifier(分类k近邻)（9）BayesianDecisionMethod(贝叶斯决策方法)Lecture2Feed-forwardNeuralNetworksandBPAlgorithm（1）MultilayerPerceptron(多层感知器)（2）BPAlgorithmLecture3RudimentsofSupportVectorMachine（1）SupportVectorMachine(支持向量机)（此算法是重点，必考题）此处有一道必考题Lecture4IntroductiontoDecisi

3、onRuleMining（1）DecisionTreeAlgorithm（2）ID3Algorithm（3）C4.5Algorithm（4）粗糙集……Lecture5ClassifierAssessmentandEnsembleMethods（1）Bagging（2）Booting（3）AdaboostingLecture6IntroductiontoAssociationRuleMining（1）AprioriAlgorithms（2）FP-treeAlgorithmsLecture7IntroductiontoCusteringAnalysis（1）k-meansAlgorithms（

4、2）fuzzyc-meansAlgorithms（3）k-modeAlgorithms（4）DBSCANAlgorithmsLecture8BasicsofFeatureSelection（1）ReliefAlgorithms（2）ReliefFAlgorithms（3）mRMRAlgorithms最小冗余最大相关算法（4）attributereductionAlgorithms比较了几种分类算法性质。（以下两个表格来自两篇该领域经典论文）38Lecture1IntroductiontoSupervisedLearning（1）ExpectatinMaximization(EM)Algor

5、ithm(期望值最大)①算法思想：EM算法又称期望最大化算法，是对参数极大似然估计的一种迭代优化策略，它是一种可以从非完整的数据集中对参数进行极大似然估计的算法,应用于缺损数据，截尾数据，带有噪声的非完整数据。最大期望算法经过两个步骤交替进行计算：第一步计算期望（E）：也就是将隐藏的变量对象能够观察到的一样包含在内，从而计算最大似然的期望值；另外一步是最大化（M），也就是最大化在E步上找到的最大似然期望值，从而计算参数的似然估计。M步上找到的参数然后用于另一个E步计算。重复上面2步直至收敛。②优点：1）Ｍ步仅涉及完全数据极大似然，通常计算比较简单　2）收敛是稳定的，因为每次迭代的似然函数是

6、不断增加的。③缺点：1）表现在对缺失数据较多或是多维高斯分布的情形下，计算量大，收敛速度较慢。2）对于某些特殊的模型，要计算算法中的M步，即完成对似然函数的估计是比较困难的。3）在某些情况下，要获得EM算法中E步的期望显式是非常困难的。4）EM算法的收敛速度，非常依赖初始值的设置，设置不当，计算代价相当大。5）EM算法中的M-Step依然是采用求导函数的方法,所以它找到的是极值点,即局部最优解,而不一定是全局最优解。38④改进：针对1）改进：扩大参数空间来加快收敛针对2）改进：ECM算法，该算法通过在Ｍ步构建计算比较简单的小循环对EM算法进行了改进，从而使期望函数极大化更加容易和有效，从而

7、解决这一问题。针对3）改进：MCEM算法，将E步积分求期望用蒙特卡洛模拟方法来实现，使得E步求期望更容易实现。针对4）初始值的获取可以通过k-means算法，层次聚类算法或是数据数据进行随机分割，然后重复EM效果进行初始点选择。针对5）结合遗传算法的全局搜索能力，扩大EM算法的搜索空间，有效降低EM算法对初始值的依赖度，改善局部最优值的缺陷。（2）LinearRegressionAlgorithm(线性回归)①算法思想：