最新数据挖掘RNN算法讲课pptppt课件.ppt

《最新数据挖掘RNN算法讲课pptppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、进入夏天，少不了一个热字当头，电扇空调陆续登场，每逢此时，总会想起那一把蒲扇。蒲扇，是记忆中的农村，夏季经常用的一件物品。　　记忆中的故乡，每逢进入夏天，集市上最常见的便是蒲扇、凉席，不论男女老少，个个手持一把，忽闪忽闪个不停，嘴里叨叨着“怎么这么热”，于是三五成群，聚在大树下，或站着，或随即坐在石头上，手持那把扇子，边唠嗑边乘凉。孩子们却在周围跑跑跳跳，热得满头大汗，不时听到“强子，别跑了，快来我给你扇扇”。孩子们才不听这一套，跑个没完，直到累气喘吁吁，这才一跑一踮地围过了，这时母亲总是，好似生气的样子，边扇边训，“你看热的，跑什么？”此时

2、这把蒲扇，是那么凉快，那么的温馨幸福，有母亲的味道！　　蒲扇是中国传统工艺品，在我国已有三千年多年的历史。取材于棕榈树，制作简单，方便携带，且蒲扇的表面光滑，因而，古人常会在上面作画。古有棕扇、葵扇、蒲扇、蕉扇诸名，实即今日的蒲扇，江浙称之为芭蕉扇。六七十年代，人们最常用的就是这种，似圆非圆，轻巧又便宜的蒲扇。　　蒲扇流传至今，我的记忆中，它跨越了半个世纪，也走过了我们的半个人生的轨迹，携带着特有的念想，一年年，一天天，流向长长的时间隧道，袅数据挖掘RNN算法讲课ppt目录1：深度学习发展史2：从神经网络到深度学习3：循环神经网络基础21：深

3、度学习发展史3InputLayerHiddenLayerOutputLayerx1xMh1hLo1oNw11wm1wM1wmLwMLw1Lv11vl1vL1vLN神经网络一般形式•Nonlinearity非线性•ParallelProcessing并行处理•Input—OutputMapping输入输出匹配•Adaptivity自适应性ocx2x1xnw1w2wn•••72：从神经网络到深度学习8神经网络深度学习网络相似之处：不同之处：模拟人脑的分层网络结构；强调深度的重要性；突出特征学习的重要性；（逐层抽象）训练机制；9为什么需要深度？深层

4、网络具有刻画复杂函数的能力103：循环神经网络（RNN）11递归神经网络模型递归神经网络吸收了HMM模型的有限序列关联的思想。神经网络的隐藏层结构能够更好的表达有限的观察值背后的复杂分布。递归神经网络（RNN），是两种人工神经网络的总称：一种是时间递归神经网络（recurrentneuralnetwork）；一种是结构递归神经网络（recursiveneuralnetwork）；12递归神经网络模型时序扩展13RecurrentNeuralNetwork针对对象：序列数据。例如文本，是字母和词汇的序列；语音，是音节的序列；视频，是图像的序列；

5、气象观测数据，股票交易数据等等，也都是序列数据。核心思想：样本间存在顺序关系，每个样本和它之前的样本存在关联。通过神经网络在时序上的展开，我们能够找到样本之间的序列相关性。RNN是一类扩展的人工神经网络，它是为了对序列数据进行建模而产生的。14循环神经网络模型激活函数RNN常用的激活函数是tanh和sigmoid。15循环神经网络模型softmaxSoftmax函数是sigmoid函数的一个变种，通常我们将其用在多分类任务的输出层，将输入转化成标签的概率。本质就是将一个K维的任意实数向量压缩（映射）成另一个K维的实数向量，其中向量中的每个元素

6、取值都介于（0，1）之间。16循环神经网络模型简单循环网络SRN神经元之间的连接权重在时域上不变。17循环神经网络模型随时间反向传播算法BPTTBP回顾：定义损失函数E来表示输出和真实标签y的误差，通过链式法则自顶向下求得E对网络权重的偏导。沿梯度的反方向更新权重的值，直到E收敛。BPTT的本质其实和BP很像，就是加上了时序演化。定义权重U，V，W。定义损失函数:我们将整个序列作为一次训练，所以需要对每个时刻的误差进行求和。18循环神经网络模型随时间反向传播算法BPTT目前的任务是求E对于U，V，W的梯度。定义E对于W的梯度(U，V同理):（

7、1）求E对于V的梯度。先求E3对于V的梯度:WVU其中：求和可得。19其中：依赖于，而又依赖于和W，依赖关系一直传递到t=0的时刻。因此，当我们计算对于W的偏导数时，不能把看作是常数项！循环神经网络模型随时间反向传播算法BPTT（2）求E对于W的梯度。注意，现在情况开始变得复杂起来。先求E3对于W的梯度:WVU当我们求对于W的偏导时。注意到：求和可得。20同样：依赖于，而又依赖于和U。类似求W，当我们计算对于U的偏导数时，也不能把看作是常数项！循环神经网络模型随时间反向传播算法BPTT（3）求E对于U的梯度。情况与W类似。先求E3对于U的梯度

8、:WVU当我们求对于W的偏导时。注意到：求和可得。21循环神经网络模型随时间反向传播算法BPTT参数意义:Whv:输入层到隐含层的权重参数，Whh:隐含层到隐含层的