高斯过程在机器学习中的应用

《高斯过程在机器学习中的应用》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、f安郵電大学科研训练扱告糸基子高斯过程在机器学勾中的应用摘要高斯过程是近年来发展起来的一种新的机器学习方法，它有着严格的统计学习理论基础，对处理商维数非线性小样木复杂问题具柯良好的适应性。对列车精准停车问题的这种复杂的非线性问题，将高斯过程机器学习方法应川于此问题，并提出相应的模型，减少数据间复杂的内在物理或其他关系。很多工程实例研究表明，高斯过程机器学习模型是科学讨行的，预测精度高，简单实用，对很多W题问题具有较好的适用性。关键词：高斯过程；机器学列车精准停车AbstractGaussianprocesses(G

2、P)isanewlydevelopedmachinelearningmethodbasedonthestrictstatisticallearningtheory.GPiscapableofsolvingthehighlynonlinearproblemwithsmallsamplesandhighdimensions.Precisetrainstoppingcomplexnonlinearproblem,GPmachinelearningmodelappliedtothisproblem,andproposeam

3、odeltoreducethecomplexityofdatabetweentheintrinsicphysicalorotherrelationship.Casestudiesshowthatmanyoftheworks,GPmachinelearningmodelisscientificandfeasible，thepredictionaccuracyishigh,simpleandpractical，onmanyissuestheproblemhasgoodapplicability.KeyWords:Gau

4、ssianproccsscs;machineIearning;precisetrainstopping1引言列车(包括火车、地铁、轻轨等轨道交通工具)的精确停车是轨道交通控制系统中的一•项关键技术。对于冇效使川站台屏蔽门、保证乘客安全、较少乘客换乘时间等冇着至关重要的作用。然而就实际物理模型逑模时收到很多方面的制约，且耗费人景的金钱。通过研究，将实际上依赖于物理模型的建立和控制参数的调整，而采川对数据木身的练:^进行学》和建模。如果能从数裾中学习到列车精确停车的规律，则可以迕保证列车达到精确停车所耑指标的同时，人景

5、节省硬件方囬的费用，丼建立数裾规禅，同时使结果与实际模型相联系，促进物理模型的建立。因此，在利用机器学习來分析列:午:精确停车M题吋，不需要过多关注各种复杂的如轨道坡度、摩擦系数、大气状况、乘客数景等外在因素，而只耑关注对精度奋明显影响的因素如停午:的初始速度及距离等。在本文中，将研究机器学AJ领域的商斯过程(GaussianProcess，GP),并以实际的列:午:停:午:数据做了相关评测在机器学4领域屮，GP是指在高斯随机过程与W叶斯学W理论基础上发展起来的一种机器学习方法。在统计学理论中，GP是这样的一个随机

6、过程：其任意有限变量集合的分布都是高斯分布，即对任意整数n21及任意的一族随机变景X,与艽对hV:的t时刻的过程状态/U)的联合概率分布服从n维高斯分布。GP的全部统计特征完全由它的均值m(Z)和协方差函数来确定，其定义式表示如下：/⑴〜GP(m(t、，k(t，t’y)(1)GP可用于解决回归和分类两类M题，受篇幅限制，木文仅对GPM归模型的基木原理做简单介绍，具体参见义献［1］。假设有n个观察数据的训练集£>={('，乂)

7、/=1，...，/1}，d维输入矢量eRd，相应的输出标景乂e/?。如果X表示e/xn维输

8、入矩阵，y表示输出矢景，那么训练集D=(X,y),对丁新的输入/,GP模型的任务是根据先验知识预测flilj/相对应的输di值/•。假设观察H标值y被噪声腐蚀，它与真实输出值r相差y=t-^-£(2)其中£为独立的随机变量，符合高斯分布，均值为0,方差为即£〜釋，<)(3)观察n标值:V的先验分布为y~N(Q，K+(^l)(4)式中：尺=尺(％，；0为nxn阶对称正定的协差矩阵，矩阵屮的任一项/Cy度量了易和'的ffl关性。77个训练样木输出.V和I个测试样木输出/所形成的联合高斯先验分布为：(5)错误！嵌入对象无

9、效。式中，K(X,x)是测试点/与训练集的所有输入点X的nxl阶协方差矩阵，可简写为々(/);k(x,x)是测试点/自身的协方差。GP可选择不M的协方差函数。协方差函数需要满足：对任一点集都能够保证产生一个非负正定协方差矩阵。常用的协方差函数为:(6)协勞燙媛备8参蚕芎°、对预测结•染的影响甚大。最优超参数川•通过极大似然法获得，即通过建立训练样本条件概率的