最新LSTM详解-公式推导教学讲义PPT.ppt

最新LSTM详解-公式推导教学讲义PPT.ppt

ID:62071589

大小:725.50 KB

页数:26页

时间:2021-04-14

最新LSTM详解-公式推导教学讲义PPT.ppt_第1页
最新LSTM详解-公式推导教学讲义PPT.ppt_第2页
最新LSTM详解-公式推导教学讲义PPT.ppt_第3页
最新LSTM详解-公式推导教学讲义PPT.ppt_第4页
最新LSTM详解-公式推导教学讲义PPT.ppt_第5页
资源描述:

《最新LSTM详解-公式推导教学讲义PPT.ppt》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库

1、LSTM详解-公式推导化简表示ANN处理时间序列RNN输出样本(n*7维向量)t1=(x11,x12,y13,…x1n)t7=(x71,x72,x73,…x7n)输出样本(m*7维向量)t1=(y11,y12,y13,…y1m)t7=(y71,y72,y73,…y7m)每层网络内的每个神经元扩展为输入样本(n维向量)=(x1,x2,x3,…xn)输出样本(m维向量)=(y1,y2,y3,…ym)1层神经元1个神经元LSTMANN->RNN->LSTMwicwhc∑=acttanhX+X=sctCell化简取每个Block

2、内仅有1个cell时间序列中第t个状态的输入的第i个分量特征:xitsct-1∑wilwhlwclSigmoid=alt=blt输入门l忘记门φ∑wiφwhφwcφSigmoidaφt=bφt=sct-1sct-1∑wiωwhωwcωSigmoid=aωt=bωt输出门ωtanhX=bctblockLSTM内Block的结构上一个时序(t-1)中本层网络的第h个block的输出:bht-1LSTM内Block的结构(反向传播公式-推导-awt的梯度)awt的梯度=δLoss/δawt=δLoss/δbct*δbct/δa

3、wtδbct/δawt=δ(tanh(sct)*sigmod(awt))/δawt=tanh(sct)*dsigmod(awt)取C=1LSTM内Block的结构(反向传播公式-推导-sct的梯度)取C=1第t时间状态的本层的该block第t+1时间状态的本层的该blockSct会影响第t时间状态的awt,第t时间状态的bct,第t+1时间状态的alt,第t+1时间状态的aφt,第t+1时间状态的sct=>δL/δawt*δawt/δsct+δL/δbct*δbct/δsct+δL/δalt+1*δalt+1/δsct+

4、δL/δaφt+1*δaφt+1/δsct+δL/δsct+1*δsct+1/δsct1)δL/δawt*δawt/δsct=δL/δawt*δ(wcw*sct+….)/δsct=δL/δawt*wcw2)δL/δbct*δbct/δsct=δL/δbct*δ(bwt*tanh(sct))/δsct=δL/δbct*bwt*dtanh(sct)3)δL/δalt+1*δalt+1/δsct=δL/δalt+1*δ(sct*wcl+...)/δsct=δL/δalt+1*wcl4)δL/δaφt+1*δaφt+1/δsct

5、=δL/δaφt+1*δ(sct*wcφ+….)/δsct=δL/δaφt+1*wcφ5)δL/δsct+1*δsct+1/δsct=δL/δsct+1*δ(sct*bφt+1+….)/δsct=δL/δsct+1*bφt+1LSTM内Block的结构(反向传播公式-推导-alt的梯度)取C=1alt的梯度=δLoss/δalt=δLoss/δsct*δsct/δaltδsct/δalt=δ(tanh(act)*sigmod(alt)+sct-1*bφt)/δalt=δ(tanh(act)*sigmod(alt))/δa

6、lt=tanh(act)*dsigmod(alt)LSTM内Block的结构(反向传播公式-推导-aφt的梯度)取C=1aφt的梯度=δLoss/δaφt=δLoss/δsct*δsct/δaφtδsct/δaφt=δ(sct-1*sigmod(aφt)+blt*tanh(act))/δaφt=δ(sct-1*sigmod(aφt))/δaφt=sct-1*dsigmod(aφt)LSTM内Block的结构(反向传播公式-推导-act的梯度)取C=1act的梯度=δLoss/δact=δLoss/δsct*δsct/δa

7、ctδsct/δact=δ(blt*tanh(act)+sct-1*bφt)/δact=δ(blt*tanh(act))/δact=blt*dtanh(act)物流市场营销LOGISTICSMARKETING9/7/202112第四章目标市场营销[知识目标]了解市场细分、市场定位的概念、依据、作用。熟悉物流市场细分标准和方法以及营销组合理论。掌握物流企业目标市场的选择、策略以及市场定位的方法。[能力目标]能够进行市场细分,进行目标市场的选择并对物流企业和提供的服务产品进行有效定位,能够完成物流市场营销组合的初步设计。物流

8、市场营销9/7/202113第一节物流市场细分一、物流市场细分意义(二)物流市场细分的依据(一)物流市场细分((Marketsegmentation))的概念就是根据构成总体市场的不同顾客的需求特点、购买行为和购买习惯,将他们细分为若干个相类似的顾客群体。注意:这一概念的提出及其应用的客观基础在于市场需求的差异性和企

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。