独立的成份分析

《独立的成份分析》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、独立的成份分析：运算法则和申请AapoHyvarinen和ErkkiOja类神经网路研究中心芬兰首都赫尔辛基大学出版邮政信箱5400、FIN-02015HUT,,芬兰类神经网路，13(4-5):411-430,2000摘要类神经网路研究的一个基本的问题，连同在许多其他的训练中，正在发现一适当的多变量数据的表现，也就是任意的矢量。因为计算、概念上单纯的依据，表现时常当做最初数据的线变形被寻找。换句话说，每个成份表现绘最初变数的一个线组合。众所周知的线变形方法包括主要的成份分析、因素分析和投射追求。独立的成份分析(ICA)是一个

2、最近才发展出的方法，在哪一个忡标将如此找非高斯(nongaussian)数据的线表现成份从统计上来看是独立的，或尽可能独立的。如此的表现似乎能在许多屮请中取得数据的必要结构，包括特征抽岀和信号分离。在这篇论文中，我们探讨基木理论和ICA的申请方法，以及我们最近的工作课题。关键字：独立的成份分析，投射追踪，无目的的信号分离，源分离，系数分析，表述1动机(行动方式)假设，你在一个房间中，二个人正在同时地演讲。你有二个播音器，在不同的定线屮将其持平。播音器可以提供两次被记录的报时讯号，我们会表示在Xl(t)和x2(t)处,藉由x1

3、和x2产生振幅，和t时间一同编入索引中。每个记录信号都是衡量过的。是这二位演讲者发岀的演讲信号的总数，我们藉由sl(t)和s2(t)代表.我们会把这当做一个一次方程：Xi(t)=Hi1Si+3i2S2(1)x2(t)=a?isi+a22S2(2)G1,G2,Q2I,和Q22的参数值则取决于播音器•演讲者Z间的距离。如果你现在会猜测原始的语音信号，它将很可用。只有用Sl(t)和S2(t)代花用它们来记录信号Xl(t)和X2(t)。这叫做酒会问题。暂时，我们忽略掉被单一化的混合模型的任何的时延或其他的额外传递因数。以此为例，考虑

4、波形图1和图2.这些当然，不是现实的演讲信号，但毘做为一个例证足以。原始的演讲信号看起來会像图1而混合者信号会看起來像在图2那样。问题将复原在图中的数据，只有使用图2的数据才能恢复图1屮的数据。事实上，如果我们知道限定要索d厂我们可以通过传统方法解出(1)屮的方程。然而,关键是，如果你不知道“••，问题会更困难。解决这个问题的一种方法是用，(t)统计性质的-•些信息來估计偽。事实上，也许很令人惊讶，假设$⑴和心⑴已经足够了。每一次的(都是统计独立的。在很多情况下，这并不是一个不现实的假设。5

5、…&•用A表示矩阵偽•。通常，黑

6、体的小写字母表示矢向量，黑体的大写字母表示矩阵。所有的向量当做列矢向量；比如兀丁，调换X,是一个行向量。使用这个向量一矩阵的记号法，上面混合模型表示为X=As(4)有时我们需要矩阵A的列；用Qj表示的模型也可以写做(5)X=Eats,i=在Eq.(4)屮的统计模型被称为独立成分分析，或ICA模型。ICA模型是一个产主模型，它描述的是被观测的数据是如何被一系列混合成分‘产生的。独立成分是潜在的变数，不能被直接观测。混合矩阵被假设是未知的。我们所获得的是任意向量X。我们必须用它估测A和s。这个必须尽可能在一•般假设下完成。IC

7、A的起点是非常简单的假设。成分'是统计独立的。统计独立将在第三节被严密地定义。下面会提到，我们也必须假设独立成分必须有非高斯分配。但是，在基木模型屮，我们不假设这些分配是已知的(如果是已知的，问题会变得单一)。一•般而言，我们也假设未知混合矩阵是方阵，但是这个假设有时候不严密。这个问题将会在第4、5节提到。在估测矩阵A后，我们可以计算它的逆矩阵，称为W,包含独立成分：S=Wx(6)ICA与盲源分离(BSS)或盲信号分离有紧密的联系。“源”在这儿的意思是最初的信号，也就是独立成分，就像一个酒会问题的说者。“盲”意思是我们対于盲

8、目矩阵知道的很少，如果知道一点的话。对于信号来源不做假设。ICA是一种方法，对于肓源分离来说，也许是最广泛使用的。在多次应用小，假设在测量小有一些噪音(见例证Hyvarinen,1998a;Hyvarinen,1999c),也就是说在模型中加入噪音。简单地说，我们忽略任何噪音，因为估测无噪音模型本来就够困难的。而且这样似乎对许多应用已经足够了。2.2ICA的不明确性在Eq.(4)屮的ICA模型屮，很容易看到下而的不确定性：1•我们不能决定独立成分的变量。原因是，S和A都未知，通过除相应的A的行a.,任何从，屮产生的数值可以被

9、消除。见Eq.（5）o结果，我们也可以确定独立成分的重要性，因为他们是随机变量。最白然的方法是假设每个冇单位不一致：E{$：}=lo矩阵A将在适应ICA解决方法中而考虑到限制。注意这仍离开不明确性：在不影响模型的悄况卜，我们可以用・1乘以独立成分。幸运的是,这个不明确性在人多数应用屮不显示