机器学习与空间统计学课程

《机器学习与空间统计学课程》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、机器学习与空间统计学课程日程安排地点：清华大学伟清楼610时间：2011.5.23-5.27(机器学习)2011.5.30-6.3(空间统计)主办方：地球系统数值模拟教育部重点实验室清华大学地球系统科学研究中心课程概述此课程内容涵盖机器学习和空间统计学，主要目的在于让学员深入理解常用机器学习方法以及对应用前景广阔的空间统计学有初步了解并且能够付诸实际应用。课程的要点在于算法及其实践；此外也会涉及一些必要的理论知识以便学员能够更加深入地理解算法，这也将会对学员日后设计新的算法有较大的帮助。由于机器学习内容广泛

2、近年来发展迅速以及考虑到遥感领域的实际需要，同时为了保证课程学习效果，我们将重点讨论机器学习中的分类方法,相信学员们会触类旁通举一反三。课程包括讲课，阅读任务，以及课程项目。我们鼓励学员自带课题作为课程项目。课程项目的中心目的在于为学员提供消化课程内容以及实践和科研的机会。课程安排为机器学习一个星期，空间统计学三天，最后两天为课程项目演示以及诊断。我们衷心希望每一个学员都有最大的收获。课程概述面向全国高等院校和科研机构的相关专业，招收在读学生或科研人员。参考书目及文献1.T.Hastie,R.Tibshir

3、aniandJ.Friedman(2001).TheElementsofStatisticalLearning:DataMining,Inference,andPrediction.2.V.N.Vapnik(1998).StatisticalLearningTheory.3.S.BoydandL.Vandenberghe(2004).ConvexOptimization.4.M.S.Bartlett(1975).TheStatisticalAnalysisofSpatialPattern.5.B.D.Rip

4、ley(2004).SpatialStatistics.6.N.Cressie(1993).Statisticsforspatialdata.7.课程大纲中提及的文献.机器学习日程安排第一天：2011.5.23（周一）7:00-9:00学员注册：清华大学伟清楼610室9:00-10:301.机器学习简介1.1.什么是机器学习(分类，聚类，排名等)1.2.分类问题1.2.1.定义1.2.2.性能衡量1.2.3.贝叶斯决策1.2.4.参数选取(交叉验证)1.3.机器学习理论(算法收敛性，函数空间复杂度与调控，算

5、法一致性)1.4.主要数学与计算工具1.4.1.概率统计(依概率收敛，大数定律，损失函数，一致性)1.4.2.矩阵理论(特征值，谱分析，各种范数)1.4.3.优化算法(凸优化，牛顿法，各种梯度下降算法)1.5.遥感中的灰度协频率矩阵(后续讲座会多次用到)10:45-12:002.机器学习旧石器时代2.1.费歇尔线性区分算法2.2.K-近邻法(KNN)2.3.对数变换回归法13:30-14:452.4.神经网络2.4.1.定义2.4.2.后向反馈算法以及特性2.4.3.手写体识别实例(LeCannetal19

6、98)15:00-17:00实习第二天：2011.5.24（周二）9:00-10:303.支持向量机(SVM)3.1.问题数学化和算法3.1.1.最大类间距(软类间距，CortesandVapnik1995)3.1.3.两阶优化算法(对偶问题，KKT条件)3.2.SVM理论3.2.1.表示定理3.2.2.一致性理论3.2.3.吉洪诺夫调控3.2.4.关于替代损失函数的一个结论10:45-12:003.3.核函数3.3.1.例子3.3.1.1.线性点积核3.3.1.2.高斯核3.3.1.3.字符串核3.3.2

7、.核函数的复合3.3.3.摩斯定理3.3.4.可再生希尔伯特空间3.4.应用举例3.3.1.美国标准局手写体数字识别3.3.2.遥感图像分类13:30-14:453.5.计算问题3.4.1.逐次最小优化算法(Platt1998)3.4.2.SVM-Light软件包(Joachins1999)3.4.3.Libsvm软件包(ChangandLin2001)3.6.各种SVM变体(-学习法，-SVM等)15:00-17:00实习第三天：2011.5.25（周三）9:00-10:304.提升学习机(Boostin

8、g)4.1.产生背景4.2.AdaBoost算法(FreundandSchapire1995)4.2.1.算法描述与特性4.2.2.非随机版本(Breiman1997)10:45-12:004.3.关于提升学习机的一些现代观点4.3.1.指数损失函数最小化(Breiman1997)4.3.2.自适应对数变换回归(Friedmanetal1998)4.3.3.函数空间梯度下降优化13:30-14:454.4.关于提