神经网络与深度学习-3小时

《神经网络与深度学习-3小时》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、神经网络与深度学习邱锡鹏复旦大学9/11/2018https://nndl.github.io/大纲概述进阶模型机器学习概述概率图模型线性模型玻尔兹曼机基础网络模型深度信念网络前馈神经网络深度生成模型卷积神经网络深度强化学习循环神经网络网络优化与正则化记忆与注意力机制无监督学习邱锡鹏，复旦大学神经网络与深度学习2从人工智能开始让机器具有人类的智能机器感知（计算机视觉、语音信息处理）学习（模式识别、机器学习、强化学习）语言（自然语言处理）记忆（知识表示）AlanTuring决策（规划、数据挖掘）邱锡鹏，复旦大学神

2、经网络与深度学习3如何开发一个人工智能系统？人工规则邱锡鹏，复旦大学神经网络与深度学习4What’stheRule?机器学习邱锡鹏，复旦大学神经网络与深度学习5如何开发一个人工智能系统？知道专家系统…怎么做规则图像识别知识容易做机器学习文本分类不知道语音识别怎么做不容易做强化学习围棋邱锡鹏，复旦大学神经网络与深度学习6ABigPicture邱锡鹏，复旦大学神经网络与深度学习7机器学习概述邱锡鹏，复旦大学神经网络与深度学习8机器学习≈构建一个映射函数语音识别f“你好”图像识别f“9”围棋f“6-5”(落子位置)机器翻译f“你好

3、！”“Hello!”邱锡鹏，复旦大学神经网络与深度学习9机器学习概览独立同分布p(x,y)邱锡鹏，复旦大学神经网络与深度学习10机器学习的三要素模型线性方法：广义线性方法：如果ϕ(x)为可学习的非线性基函数，f(x,θ)就等价于神经网络。学习准则期望风险优化梯度下降邱锡鹏，复旦大学神经网络与深度学习11常见的机器学习类型邱锡鹏，复旦大学神经网络与深度学习12参数学习期望风险未知，通过经验风险近似??训练数据：?=x,?,?∈[1,?]经验风险最小化在选择合适的风险函数后，我们寻找一个参数θ∗，使得经验风险函数最小化。机器学习

4、问题转化成为一个最优化问题邱锡鹏，复旦大学神经网络与深度学习13优化：梯度下降法邱锡鹏，复旦大学神经网络与深度学习14随机梯度下降法邱锡鹏，复旦大学神经网络与深度学习15机器学习=优化？机器学习=优化？NO！过拟合：经验风险最小化原则很容易导致模型在训练集上错误率很低，但是在未知数据上错误率很高。邱锡鹏，复旦大学神经网络与深度学习16泛化错误期望风险经验风险≠泛化错误邱锡鹏，复旦大学神经网络与深度学习17PAC学习ProbablyApproximatelyCorrect根据大数定律，当训练集大小

5、D

6、趋向无穷大时，泛化错误趋向于0，即经验风险趋近于期望

7、风险。PAC学习近似正确，0<ϵ<0.5可能，0<δ<0.5邱锡鹏，复旦大学神经网络与深度学习18样本复杂度如果固定ϵ,δ，可以反过来计算出样本复杂度为其中

8、ℱ

9、为假设空间的大小，可以用Rademacher复杂性或VC维来衡量。PAC学习理论可以帮助分析一个机器学习方法在什么条件下可以学习到一个近似正确的分类器。如果希望模型的假设空间越大，泛化错误越小，其需要的样本数量越多。邱锡鹏，复旦大学神经网络与深度学习19如何减少泛化错误？优化正则化经验风险最小降低模型复杂度邱锡鹏，复旦大学神经网络与深度学习20正则化（regularization）所有

10、损害优化的方法都是正则化。增加优化约束干扰优化过程L1/L2约束、数据增强权重衰减、随机梯度下降、提前停止邱锡鹏，复旦大学神经网络与深度学习21如何选择一个合适的模型？模型选择拟合能力强的模型一般复杂度会比较高，容易过拟合。如果限制模型复杂度，降低拟合能力，可能会欠拟合。偏差与方差分解期望错误可以分解为邱锡鹏，复旦大学神经网络与深度学习22模型选择：偏差与方差邱锡鹏，复旦大学神经网络与深度学习23集成模型：有效的降低方差的方法集成模型通过多个高方差模型的平均来降低方差。集成模型的期望错误大于等于所有模型的平均期望错误的1/M，小于等于所有

11、模型的平均期望错误。邱锡鹏，复旦大学神经网络与深度学习24线性模型邱锡鹏，复旦大学神经网络与深度学习25线性模型邱锡鹏，复旦大学神经网络与深度学习26应用：图像分类邱锡鹏，复旦大学神经网络与深度学习27应用：文本分类根据文本内容来判断文本的相应类别+-邱锡鹏，复旦大学神经网络与深度学习28感知器模型学习准则优化：随机梯度下降邱锡鹏，复旦大学神经网络与深度学习29两类感知器算法邱锡鹏，复旦大学神经网络与深度学习30感知器参数学习的更新过程邱锡鹏，复旦大学神经网络与深度学习31直接建模条件概率??(?

12、?)真实条件概率??(?

13、?)模型预测条件概率

14、????如何衡量两个条件分布的差异？KL散度?????Dkl????

15、???