资源描述:
《最新LSTM详解-公式推导教学讲义PPT.ppt》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库。
1、LSTM详解-公式推导化简表示ANN处理时间序列RNN输出样本(n*7维向量)t1=(x11,x12,y13,…x1n)t7=(x71,x72,x73,…x7n)输出样本(m*7维向量)t1=(y11,y12,y13,…y1m)t7=(y71,y72,y73,…y7m)每层网络内的每个神经元扩展为输入样本(n维向量)=(x1,x2,x3,…xn)输出样本(m维向量)=(y1,y2,y3,…ym)1层神经元1个神经元LSTMANN->RNN->LSTMwicwhc∑=acttanhX+X=sctCell化简取每个Block
2、内仅有1个cell时间序列中第t个状态的输入的第i个分量特征:xitsct-1∑wilwhlwclSigmoid=alt=blt输入门l忘记门φ∑wiφwhφwcφSigmoidaφt=bφt=sct-1sct-1∑wiωwhωwcωSigmoid=aωt=bωt输出门ωtanhX=bctblockLSTM内Block的结构上一个时序(t-1)中本层网络的第h个block的输出:bht-1LSTM内Block的结构(反向传播公式-推导-awt的梯度)awt的梯度=δLoss/δawt=δLoss/δbct*δbct/δa
3、wtδbct/δawt=δ(tanh(sct)*sigmod(awt))/δawt=tanh(sct)*dsigmod(awt)取C=1LSTM内Block的结构(反向传播公式-推导-sct的梯度)取C=1第t时间状态的本层的该block第t+1时间状态的本层的该blockSct会影响第t时间状态的awt,第t时间状态的bct,第t+1时间状态的alt,第t+1时间状态的aφt,第t+1时间状态的sct=>δL/δawt*δawt/δsct+δL/δbct*δbct/δsct+δL/δalt+1*δalt+1/δsct+
4、δL/δaφt+1*δaφt+1/δsct+δL/δsct+1*δsct+1/δsct1)δL/δawt*δawt/δsct=δL/δawt*δ(wcw*sct+….)/δsct=δL/δawt*wcw2)δL/δbct*δbct/δsct=δL/δbct*δ(bwt*tanh(sct))/δsct=δL/δbct*bwt*dtanh(sct)3)δL/δalt+1*δalt+1/δsct=δL/δalt+1*δ(sct*wcl+...)/δsct=δL/δalt+1*wcl4)δL/δaφt+1*δaφt+1/δsct
5、=δL/δaφt+1*δ(sct*wcφ+….)/δsct=δL/δaφt+1*wcφ5)δL/δsct+1*δsct+1/δsct=δL/δsct+1*δ(sct*bφt+1+….)/δsct=δL/δsct+1*bφt+1LSTM内Block的结构(反向传播公式-推导-alt的梯度)取C=1alt的梯度=δLoss/δalt=δLoss/δsct*δsct/δaltδsct/δalt=δ(tanh(act)*sigmod(alt)+sct-1*bφt)/δalt=δ(tanh(act)*sigmod(alt))/δa
6、lt=tanh(act)*dsigmod(alt)LSTM内Block的结构(反向传播公式-推导-aφt的梯度)取C=1aφt的梯度=δLoss/δaφt=δLoss/δsct*δsct/δaφtδsct/δaφt=δ(sct-1*sigmod(aφt)+blt*tanh(act))/δaφt=δ(sct-1*sigmod(aφt))/δaφt=sct-1*dsigmod(aφt)LSTM内Block的结构(反向传播公式-推导-act的梯度)取C=1act的梯度=δLoss/δact=δLoss/δsct*δsct/δa
7、ctδsct/δact=δ(blt*tanh(act)+sct-1*bφt)/δact=δ(blt*tanh(act))/δact=blt*dtanh(act)物流市场营销LOGISTICSMARKETING9/7/202112第四章目标市场营销[知识目标]了解市场细分、市场定位的概念、依据、作用。熟悉物流市场细分标准和方法以及营销组合理论。掌握物流企业目标市场的选择、策略以及市场定位的方法。[能力目标]能够进行市场细分,进行目标市场的选择并对物流企业和提供的服务产品进行有效定位,能够完成物流市场营销组合的初步设计。物流
8、市场营销9/7/202113第一节物流市场细分一、物流市场细分意义(二)物流市场细分的依据(一)物流市场细分((Marketsegmentation))的概念就是根据构成总体市场的不同顾客的需求特点、购买行为和购买习惯,将他们细分为若干个相类似的顾客群体。注意:这一概念的提出及其应用的客观基础在于市场需求的差异性和企