统计推断与贝叶斯预测

《统计推断与贝叶斯预测》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、统计信号分析与处理机电学院通信工程系2009年11月侯强2021/9/81第二章统计推断与贝叶斯预测2021/9/82第二章统计推断与贝叶斯预测2.1引言与导学2.2贝叶斯估计基础---想法2.3贝叶斯估计---评价2.4期望-最大方法---算法2.5高斯混合模型的设计---算法2.6贝叶斯分类---应用2.7随机过程空间的建模---提高2021/9/83本章首先给出一个关于参数估计理论基本概念的介绍。（想法）然后介绍用于定量评价估计量性能的统计测度。我们主要研究贝叶斯估计方法，考虑在估计均值与方差中使用先验模型的效果。（评价）研究从不完整数据中估

2、计一组未知参数的期望最大（EM）方法，并将其应用于连续随机变量的高斯混合模型空间。（算法）本章最后以离散或有限状态信号的贝叶斯分类结束，并介绍K-均值聚类方法。本章思路：想法---算法---评价---应用2.1引言与导学2021/9/842021/9/852021/9/862021/9/87蓝色为原始含噪语音黄色为谱相减处理的结果2021/9/88原始含噪语音自适应抗噪与谱相减相结合后的输出结果基本自适应抗噪输出结果2021/9/89通过语音合成来说话2021/9/810男声“深圳广州珠海”的短时幅度统计。在采样频率为22050Hz的情况下，取20

3、ms作为一帧，帧长为441点，一共统计了180帧。短时平均幅度原始语音2021/9/811音乐信号的分离CEG基频CE基频C基频和弦CEG2021/9/812GMM的例子例：一个班级每个学生的身高为假设男生和女生的身高分别服从高斯分布则其中为男生的比例，问题：给定独立同分布(independentandidenticallydistributed----IID)的数据，求参数混合模型的参数估计是EM(ExpectationMaximization)算法最典型的应用2021/9/8132021/9/814估计理论主要研究从观测信号中最优地估计出参数矢

4、量的问题，或者研究从被噪声污染或退化的信号中恢复出纯净信号的方法。例如，给定一个正弦信号波形，我们可能需要估计其基本参数（如幅度、频率和相位），或者我们可能希望恢复信号本身。2.2贝叶斯估计基础2021/9/815估计量通常以带噪信号或不完整观测作为输入，并且采用动态模型（如线性预测模型）和/或过程的概率模型（如高斯模型）来估计未知的参数，即估计量是一个系统，而被估计的参数是此次系统的输出。估计的精度取决于可以使用的信息和估计方法的有效性。本章主要研究平稳参数的贝叶斯估计问题。关于非平稳有限状态过程的建模与估计问题将在下面的章节研究。2.2贝叶斯估

5、计基础2021/9/8162021/9/8172021/9/818贝叶斯理论是一个基本的统计推断框架。在过程状态的估计与预测中，贝叶斯方法主要利用两种信息:其一是包含在观测信号中的事实;其二是过程分布的先验知识。图2.1给出了贝叶斯方法作为主要统计估计方法的基本框架。2.2贝叶斯估计基础2021/9/8192.2贝叶斯估计基础图2.1贝叶斯推断包含一个代价函数，一个先验函数和一个似然函数。其他估计方法可以被认为是贝叶斯估计的特例2021/9/8202021/9/8212.2.1估计的动态模型和概率模型最优估计算法常采用观测信号的动态模型和概率模型。

6、动态预测模型利用信号的相关结构信息，根据信号的过去状态和输入激励对信号当前值与将来值的依赖关系进行建模。采用动态模型进行估计的例子包括线性预测模型和卡尔曼滤波器。统计概率模型依据均值和方差这样的统计量来表现信号随机波动空间的特性，为了描述得更完整，则需要采用概率模型。条件概率模型除了对信号的随机波动建模以外，也用于表示信号对其过去状态和其他过程的依赖情况。动态模型和概率模型可以进行组合：例如，一个有限状态模型可以通过隐马尔可夫模型（HMM）和卡尔曼滤波器的组合来构造。2021/9/8222.2.1估计的动态模型和概率模型2021/9/823随机过程

7、的预测模型和概率模型引导估计结果朝着与模型参数和观测信号的先验分布相一致的方向发展。一般来说，只要所使用的模型能够准确代表观测数据和参数过程的特征，则估计中所使用的信息量越多，估计的结果会越好。其缺点是，如果模型是不准确的，则所引起的负面效应要超过其正面效果。2021/9/8242.2.2参数空间与信号空间2021/9/8252.2.2参数空间与信号空间2021/9/8262.2.2参数空间与信号空间2021/9/8272.2.3参数估计和信号恢复参数估计和信号恢复是密切相关的两个问题。二者的主要区别是大多数信号往往波动较快，而大多数参数则波动较慢

8、。例如，语音信号的波动速率大约为20kHz，而相应的元音和谐音参数的变化速率则仅为100Hz。这个现象表明，在参数估计时可