基于cnn-svr混合深度学习模型的短时交通流预测

《基于cnn-svr混合深度学习模型的短时交通流预测》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

基于CNN-SVR混合深度学习模型的短时交通流预测罗文慧董宝田王泽胜北京交通大学交通运输学院精准且快速的短时交通流预测是智能交通发展的重要组成部分.本文针对当前交通流预测模型不能充分提取交通流数据的时空特征、预测性能容易受到外界下扰因素影响的问题，提出一种基于深度学习的短时交通流预测模型，该模型结合卷积神经网络(ConvolutionalNeuralNetwork,CNN)与支持向量In］归分炎器(SupportVectorRegression,SVR)的特点：在网络底层应用CNN进行交通流特征提取，并将提取结果输入到SVR回归模型屮进行流量预测.为验证模型的有效性，取G103国道的实际交通流量数据进行试验.结果表明，提出的预测模型与传统的预测模型相比具有更高的预测精度，预测性能提高了11%，是一种有效的交通流预测模型.关键词：智能交通;交通流预测;卷积神经网络;交通流;支持向量回归;深度学习；罗文慧（1983-）,女，新疆乌鲁木齐人，生.董宝田，btdong@bjtu.edu. Short-termTrafficFlowPredictionBasedonCNN-SVRHybridDeepLearningModelLUOWen-huiDONGBao-tianWANGZe-shengSchoolofTrafficandTransportatiorKBeijingJiaotongUniversity;Abstract：Itisveryimportantforintelligenttransportationdevelopmenttorealizeaccurateandfasttrafficforecast.However,dominantmodelsforshort-termtrafficflowforecastingcan’textractspatial-temporalcharacteristicsoftrafficflowdataamply.Moreover,thesemodelsaresusceptibletooutsidefactors.Toresolvetheseproblems,aninnovativemodelbasedondeeplearningisproposedinthispaper.ConvolutionalNeuralNetwork(CNN)andSupportVectorRegression(SVR)classifierarecombinedinthismodel:featurelearningoftrafficflowiscarriedoutbyusingCNNinunderlyingnetwork,thentheextractedresultsaretransmittedtoSVRmodelasinputtopredicttrafficflow.Toverifythevalidityoftheproposedmodel,experimentsareconductedonactualtrafficflowdataofChinanationalhighway103(G103).Experimentalresultsshowthattheproposedmodelhashigherpredictionaccuracythanthetraditionalpredictionmodel,andthepredictionperformanceisimprovedby11%，whichisaneffectivetrafficflowforecastingmodel-Keyword：intelligenttransportation;trafficflowprediction;convolutionalneuralnetwork;trafficflow;supportvectorregression;deeplearning;0引言实现对未来交通状态快速和精准的判断是智能交通控制与诱导、道路网络规划的基础.短时交通流预测作为国内外智能交通系统的研宄热点，30多年来取得了丰富研究成果，主要括基于时间序列的统计模型、非参数预测模型和混合模型等.随着大数据吋代的到来，深度学近几年来发展迅速，交通科学研宄者也将深度学习理论应用于解决交通问题JluangW.等U1提出由DBN和顶部多任务回归层的深度学习模型;lvy.等m应用自动编码器深层架构模型预测交通流特征;YangH. F.等［3］捉出新型Levenberg-Marquardt堆叠自编码器深度学习模型，应用Taguchi方法优化结构，逐层提取特征并无监督学习交通流特征;WuY.等［4］用一维卷积网络捕获交通流空间特征，用两个长期短吋记忆法挖掘交通流短吋周期性，设计特征级融合的深层架构预测短时交通流;JiaY.等m建立DBN模型预测短时交通速度，采用贪婪无监督方法训练模型并通过标记数据进行微调;GaetanoFusco等M在对比了季节性自回归、贝叶斯模型和神经网络等预测模型在交通拥挤与正常状态下的性能表现的基础上，提出了一种基于交通状态的交通流速度预测混合模型;WangJ.Y.等Hl提出单隐层卷积神经网络结合误差反馈的交通流速度预测模型.以上模型将深度学习理论应用到了交通领域，并取得了很好的成效.但是，在有限的计算条件下，这些模型不能充分提取交通流的时空特征，这对预测精度有一定的影响.男一方而，交通流因易受外界因素的影响，包括天气情况、交通事故、交通管制等，这使得交通流经常出现异常状态.已有的方法在交通流异常状态下，预测精度往往有明显的下降.木文利用卷积神经网络模型权值共享的特点，在降低模型复杂度、减轻过拟合、降低计算量的冋吋，奋效地提取交通流数据的时空特征，降低外界干扰因素的影响程度，抽象出交通流的本质特性，最后以此作为输入向量，输入到顶层的支持向量回归模型进行交通流的预测，保证了模型的预测精度.若没有特殊的说明，下文以CNNs为模型的简写形式.1基于CNNs的短时交通流预测模型网络的构造i型网络结构考虑到梯度扩散与计算量的问题，本文设计的卷积神经络预测模型采用单隐含层结构.隐含层包含一个卷积层(convlayer)和一个子采样层(meanpooling),卷积层和子采样层对应相连.在子采样层之后，将子采样层的所有节点展开成一条特征向量，并与输出节点间进行全连接(fullconnection)，输入到SVR中进行交通流量的最后预测.具体的网络模型结构如图1所示，图中w表示卷积核，pool表示子采样因子.图1CNNs模型结构图Fig.IStructurediagramofCNNsmodel1.2基于时空特征的输入矩阵对于某个监测点某一时刻的交通流量可以从时间和空间两个方面解释:在时间上,交通流遵循一定的变化规律，下一时段交通流量可看作上一时段交通流量的延续;在空间上，交通流受上下游交通状态的影响而呈现出一定的相关性，下游路段的交通流量可由上游路段交通流量估计得到为了综合考虑时间与空间维度上的各种因素对交通流的影响，本文将原始交通流量数据处理成带冇时空信息的交通流矩阵，处理过程如下： 若以xp.t表示数据采集点P在t时刻的交通流量，则由所有n个数据采集点组成的t时刻的数据流量A为式中:p=l,2，…n.为了使模型更加精确，我们采用lh预测模型，采样间隔为5min,因此模型的输入矩阵B可以表示为1.3网络模型的构造(1)卷积层的构造.卷积层是通过卷积来计算的，伍含多个卷积面，用hu和w分别表示此层第a个卷积面和卷积核，激励函数为ReLu,则有假设x和w的大小分别为MXN和mXn,N^n,则它们的卷积的所有元素为卷积层K由所有的卷积面hua构成.(2)下采样层的构造.如果对hha进行不重叠分块，每块的大小为XXt,则其屮的第ij个块可以表不为G.T(i，j)=(ast)xxt,其中，(i-1)•入+Ksa,>0,则有则模型输出的预测值为 2网络训练本文的网络训练方式可以分为信号正向传播和误差反向传播两个阶段.误差反向传播时从顶层的SVR开始，目标函数L为式（8）[9-10],SVR的输入为礼.由于易受引言中提到的外界因素的影响，交通流会体现出不同的状态，因此在特征提取吋，需要考虑常态与异常两种状态，然而SGD（StochasticGradientDescent）对所有的参数更新使用同样的学习率，不能满足要求.所以本文使用优化后的Adam（AdaptiveMomentEstimation）梯度下降算法，Adam利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率，经过偏置校正后，每一次迭代学习率都有一个确定范围，使得参数比较平稳，这有利于充分提取交通流特征[13].3实验3.1数据描述木文实验数据来自北京市交通管理部门，路段为国道G103京塘线，路线长度为33.39km，车道数为6车道，共设置13个观测站如图2所示.图2数据采集设备位置图Fig.2Locationmapofdatacollectiondevices本文采集的数据为前12个观测站的2016年4~5月两个月的车流数据，数据采样间隔为5min,以4月1~30口、5月6~16口数据作为训练数据，5月17~26口的数据作为测试数据集，共有12144个训练样本和2760个测试样本，以此作为模型的输入.3.2数据的预处理样本数量级的差异会导致量级较大的属性占据主导地位，从而使得目标函数值很大程度上依赖该属性，另一方面，数量级的差异会导致迭代收敛的速度减慢.然而，所有依赖于样本距离的算法对于数据的数量级都非常敏感mi,所以本文在验证模型性能之前对样本数据进行数据的标准化处理，本文选取经典的Z-score标准化方法：给定数据集D={（xh，y!），（x2,y2），…，（x、，y、）},其中xp（x“bxh2,…，Xi.d）,i=l,2,…，N，d为Xi对应属性的个数，对于每个属性Xi.j,j=l,2,…,d,先计算该属性的标准值Uj和标准差oj:然后计算标准化后的属性值: 标准化后的所有属性的均值为0,标准差为1.3.3模型参数的确定和对比方案本文屮CNNs模型的参数为经验数据，卷积层数为1，下采样层数为1、卷积核的大小为2X12、卷积核的个数力16个，CNNs模型训练的迭代次数为10000,学习率为le-1,batch-size为100,线性SVR惩罚因子C=0.1，e=0.1.为了证实模型的有效性，木文选取了单个的SVR和CNN深度学习模型与CNNs做性能比较，其中SVR、CNN参数值与CNNs中的-•致.实验取值为50次计算结果的平均值.本文的实验平台为2.5GHz,4核,Inter(R)Core(TM)i7-6500U,8G内存，项目在python的IDEPyCharm中实施.3.4结果与分析(1)直观效果对比与分析.本文对编号为G103L226110112的观测站5月17日、5月1日、5月23日的交通流实际测量值和所选模型预测值进行对比.5月1日代表节假日，5月17日天气微风、晴代表正常状态，5月23日为雷阵雨天气代表异常天气.图3分别为5月17闩、5月1闩、5月23円实际测量值(黑色实线)和模型预测值(浅黑色虚线)的对比情况，横轴标记时间，纵轴标记每5min的车流量.如图3所示，5月1日交通流量相比正常状态较大，但波动较小，异常值较少，5月23日相对正常状态流量相当，但波动较大，异常值较多.从各个模型的预测情况来看，SVR预测值较为平稳，在正常状态下预测较为准确，但在高峰时段和异常状态下表现较差;CNN在高峰时段和异常状态下拟合较好但在正常状态时，表现不太稳定，时高时低;CNNs综合了两个模型的优点，不仅在正常状态下保持较高的准确度，而且在高峰吋段和异常状态下仍能够抓取异常峰值的特征，保持较高的预测精准度，较为真实地反映交通流地变化规律.图3CNNs与苏他2种模型在不同交通状态下的预测结果对比Fig.3ComparisonofresultbetweenCNNsandthetwoothermodelsundermulti-condition为了验证CNNs的适用性，本文另提取5月25日交通流数据，并对全路段12个采集点的交通流量进行了预测.图4中，(a)为12个监测点交通流量实际测量图,(b)为CNNs模型预测图，x轴为时间，y轴标记12个监测点，z轴为交通流量.如图4所示，CNNs较为贴切地反映了1天288个时间点上整段路线的交通流变化情况，同时也显示出了交通流随着时间的变化在各个观测点的传递情况，从预测结果来看，本文提出的CNNs适用于整条路段. 图4CNNs在多个样本上的预测结果Fig.4ThepredictedresultsofCNNsonmulti-samples(2)客观参数对比与分析.MeanAbsoluteError(MAE)能很好地反映预测值误差的实际情况，RootMeanSquaredError(RMSE)可以评价数据与预测模型适应性.所以，本文根据提出模型的监督机制和数据集连续的特性，采用平均绝对误差e.w:、均方根误差e^E两个误差评价指标对模型性能进行分析，公式如下：式中:y：为实际观测值;为预测值川为样本数量.为了定量验证模型的适用性，本文利用3种模型分别计算了2016年4月、5月两月中所有特殊天气、节假日和正常天气的的和e胃值如表1所示，从1表中可以定量的看出，CNNs在不同状态下，以及综合测试集上保持了较低的值，在测试集上，相比SVR模型MAE减小了19%,相比CNN模型MAE减小了28%.表1CNNs和其他两种模型的MAE、RMSE比较TableIThecomparisonofMAEandRMSEbetweenCNNsandthetwoothermodels(3)残差分析.为了验证模型鲁棒性，本文分别对3种模型在节假日、特殊天气、正常情况的残差进行了对比，结果如图5所示，其中，横轴标记时间，纵轴标记交通流量，曲线为当天的实际流量值，散点为对应时刻的残差值.从图5中我们可以看出，SVR的残差在交通流波动较小的情况下较小，而在交通流在短时间内变大或变小的情况下增大;CNN的残差在特殊情况和正常状态下无明显的变化，但整体上残差的值较大;相比而言，CNNs的残差在止常状态、高峰时段和交通流波动较大的情况下都能保持较小的值.图5CNNs与其他网种模型在不同交通状态下的残差对比Fig.5ComparisonoftheresidualsbetweenCNNsandthetwoothermodelsundermulti-condition4结论本文提出了一种应用卷积神经网络模型结合支持向量回归的短时交通流预测方 法.设计了单隐层CNN模型加SVR的混合模型，将带有时空信息的交通流数据处理成适应于卷积祌经网络输入的形式;应用SVR的目标函数来训练整个网络;釆用了优化后的Adam算法代替SGD随机梯度下降算法保证交通流时空特征的充分提取;最后利用G103国道交通流数据进行模型性能分析.实验结果表明，本文提出的预测模型有较高的预测精度，预测值能够与真实值保持高度的一致，而且受外界干扰因素影响较小，是一种有效的交通流量预测方法.木文此次试验路段为高速路段，未考虑交通网络的复杂性，下一步的研宄将结合复杂交通网络相关知识，对城市路段进行研究，从而增强预测模型的泛化能力，进一步提高算法的适用性.[1]HUANGW,SONGG,HONGH,etal.Deeparchitecturefortrafficflowprediction:Deepbeliefnetworkswithmultitasklearning[J],TREETransactionsonIntelligentTransportationSystems，2014，15(1):2191-2201.[2]LVY，DUANY，KANGW，etal.Trafficflowpredictionwithbigdata:Adeeplearningapproach[J].IEEETransactionsonIntelligentTransportationSystems,2015，16(2):865-873.[][4]WLIY，TANH.Short-termtrafficflowforecastingwithspatial-temporalcorrelationinahybriddeeplearningframework[J/OL].(2016-12-3)[2017-3-10].https://arxiv.org/abs/1612.01022.[5]JTAY,WL’J,DU'’.Trafficspeedpredictionusingdeeplearningmethod[C]//2016IEEE19thInternationalConferenceonIntelligentTransportationSystems(1TSC).Piscataway，N丄USA:IEEE，2016:1217-1222.[6]FUSCOG，COLOMBARONIC，1SAENKOC.Shorttermspeedpredictionsexploitingbigdataonlargeurbanroadnetworks[J].TransportationResearch，PartC:EmergingTechnologies,2016(73):183-201.[7]WANGJY，GUQ，WUJJ，etal.Trafficspeedpredictionandcongestionsourceexploration:ADeepLearningMethod[C]//Proceedings-IEEEInternationalConferenceonDataMining，TCDM.Barcelona，Spain:InstituteofElectricalandElectronicsEngineersInc.，2017:499-508.[8]L0LLIF，GlftlBERINIR，REGATTIERIA，etal.Single-hiddenlayerneuralnetworksforforecastingintermittentdemand[J].ProductionEconomics， 2017(183):116-128.[4]TANGY.Deeplearningusinglinearsupportvectormachines[J/OL].(2015-2-21)[2017-3-10Lhttps://arxiv.org/abs/1612.01022.[5]LlW，HUJ，CHENBH.Adeepquasi-linearkernelcompositionmethodforsupportvectormachines[C]//ProceedingsoftheInternationalJointConferenceonNeuralNetworks.Vancouver，Canada:InstituteofElectricalandElectronicsEngineersInc.,2016:1639-1645.[6]傅贵，韩国强，逯峰，等.基于支持向量机回归的的短时交通流预测模型[JL华南理工大学学报(自然科学版).2013,41(9):71-76.[FUG,HANGQ,LUE,etal.Short-termtrafficflowpredictionbasedonsupportvectormachine[J].JournalofSouthChinaUniversityofTechnoligy(NaturalScienceEdition),2013,41(9):71—76.][7]曾绍华.支持向量冋归机算法理论研究与应用[D].重庆:重庆大学，2006.[ZENGSILThetheoryresearchofalgorithmonsupportvectorregressionandapplication[D]•Chongqing:ChongqingUniversity,2006.][8]HUANGH，HUANGX，LIR，etal.Soundqualitypredictionofvehiclenoiseusingdeepbeliefnetworks[J].八ppliedAcoustics，2016(113):149-161.[9]YUD，DENGLDeep1earninganditsapplicationstosignalandinformationprocessing[exploratoryDSP][J].IEEESignalProcessingMagazine.2011,28(1):145-154.