资源描述：
《LSTM详解-公式推导 终版》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。
1、ANN->RNN->LSTMANN输出样本(m维向量)=(y1,y2,y3,…ym)化简表示1层神经元1个神经元输入样本(n维向量)=(x1,x2,x3,…xn)LSTM处理时间序列输出样本(m*7维向量)t1=(y11,y12,y13,…y1m)t7=(y71,y72,y73,…y7m)RNN每层网络内的每个神经元扩展为输出样本(n*7维向量)t1=(x11,x12,y13,…x1n)t7=(x71,x72,x73,…x7n)LSTM内Block的结构输出门ω?????化简取每个Block内=????仅有1个cellℎ?∑=??Sigmoid=????X??????tanh?−1?
2、???????−1=????输入门?+???????上一个时序(t-1)中本层网络的第h个block的输出:??−1∑=??Sigmoid=????=Sigmoid??=???ℎ???XX??∑ℎ?????ℎ?tanh??−1?=???∑????ℎ?时间序列中第t个状态的输入的第i个分量特征:???LSTM内Block的结构(正向传播公式)（4）（5）（3）（2）（1）LSTM内Block的结构(反向传播公式)（2）（1）（3）（6）（5）（4）LSTM内Block的结构(反向传播公式-推导-bct的梯度)=第t时间状态的下一层网络中第t时间状态的i+1层(下一层)每个block的?
3、?,??,??,??的梯度*连线的系数w????之和=第t+1时间状态的本层网络中每个block的??,??,??,??的梯度*连线的系数w????之和（1）第t时间状态的i层(本层)的某个block第t+1时间状态的i层(本层)LSTM内Block的结构(反向传播公式-推导-??的梯度)取C=1??????????????????的梯度=?=?∗???????????????(???ℎ(???)∗???????(???))???=?=???ℎ(??)∗????????(??)??????LSTM内Block的结构(反向传播公式-推导-??的梯度)取C=1??????+??+??+1
4、?会影响第t时间状态的??，第t时间状态的??，第t+1时间状态的??，第t+1时间状态的??，第t+1时间状态的??=>??Τ???∗???Τ???+??Τ???∗???Τ???+??Τ???+?∗???+?Τ???+??Τ???+?∗???+?Τ???+??Τ???+?∗???+?Τ??????????????????1）??Τ???∗???Τ???=??Τ???∗?(?∗??+⋯)Τ???=??Τ???∗????????????2）??Τ???∗???Τ???=??Τ???∗?(??∗tanh(??))Τ???=??Τ???∗??∗?tanh(??)??????????3）??
5、Τ???+?∗???+?Τ???=??Τ???+1∗?(??∗?+⋯)Τ???=??Τ???+1∗????????????4）??Τ???+?∗???+?Τ???=??Τ???+1∗?(??∗?+⋯)Τ???=??Τ???+1∗????????????5）??Τ???+?∗???+?Τ???=??Τ???+1∗?(??∗??+1+⋯)Τ???=??Τ???+1∗??+1?????????第t+1时间状态的本层的该block第t时间状态的本层的该block?LSTM内Block的结构(反向传播公式-推导-??的梯度)取C=1??的梯度=?????Τ???=?????Τ???∗???Τ?
6、??????????Τ???=?(tanh(??)∗?????????+??−1∗??)Τ??????????=?(tanh(??)∗?????????)Τ??????=tanh(??)∗?????????????LSTM内Block的结构(反向传播公式-推导-??的梯度)取C=1??的梯度=?????Τ???=?????Τ???∗???ൗ???????????ൗ???=?(??−1∗?????????+??∗tanh(??))ൗ??????????=?(??−1∗?????????)ൗ??????=??−1∗????????????LSTM内Block的结构(反向传播公式-推导-?
7、?的梯度)取C=1???的梯度=?????Τ???=?????Τ???∗???Τ???????????Τ???=?(??∗tanh(??)+??−1∗??)Τ??????????=?(??∗tanh(??))Τ??????=??∗?tanh(??)??
