商业数据分析・SVD2概要.ppt

《商业数据分析・SVD2概要.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、商业数据分析2016·11·29线性降维:SVD线性降维31SVDSingularvaluedecomposition奇异值分解数学基础：奇异值分解3奇异值分解：在线性代数中，我们知道对任意一个矩阵都存在奇异值分解，，其中U和V是标准正交矩阵，而σ是一个对角矩阵，每一个对角元是该矩阵的奇异值，奇异值指的是矩阵的特征值开根号。其具体分解形式如下：线性降维回顾PCA3步骤：1、每列中心化：X——>Xc2、计算Xc的协方差矩阵S;3、计算协方差矩阵S的特征向量和特征值；4、将特征值从大到小排列，选取前k个大的特征值对应的特征向量；5、将Xc映射到第4步计算出来的特征向量上；线

2、性降维Singularvaluedecomposition奇异值分解SVD是什么3线性降维任何一个矩阵都可以表达为：这就叫做把矩阵X进行奇异值分解。这就叫做把矩阵X进行奇异值分解。假设X是n×p的矩阵，那么U是一个n×n的矩阵，而D是一个n×p对角矩阵（对角线上才会有非零元素），而V是一个p×p的矩阵。而U和V各自的列向量都是单位正交向量。因此X＝UDVTXTX=VDTUTUDVT=VDTDVTVTXTXV=DTDSVD是什么2线性降维因此，SVD分解后得到的V就是XTX的特征向量，而DTD对角上的元素就是XTX的特征值。XTX=VDTUTUDVT=VDTDVTVTXT

3、XV=DTDSVD是什么2线性降维任何一个矩阵都可以表达为：这就叫做把矩阵X进行奇异值分解。X＝UDVT新的PCA步骤：1、每列中心化：X——>Xc2、把Xc进行奇异值分解，得到U、D、V3、将U、D、V都从大到小排列，选取前k个大的Uk、Dk、Vk；4、计算Xk＝UkDkVKT；5、新对象的线性变换小问题：这样得到的Xk和直接把X投影都k个特征向量上是一样的吗？SVD应用——数字图像处理2一个视频图像或图片可以通过将其分解为单元(或像素)数组并测量每一个单元的灰度进行数字化，这些信息可使用一个mxn矩阵A进行存储和传输，A的元素为非负值，对应于灰度级别的度量，由于任一

4、单元的灰度级别通常很接近其相邻的单元，所以可以将需要的存储数量从mn减少到m+n+1.一般地，矩阵A将有很小的奇异值，因此，A可以用一个秩非常小的矩阵来逼近.线性降维SVD应用——数字图像处理2回到之前的奇异值分解展开式，若A的奇异值分解为UDVT,则A可表示为外积展开：将A看成一个图像的矩阵，上面和式的每一个分量按大小排序，越大，说明越重要。而后面的权很小，可以舍去，如果只取前面k项，则数据量为(m+n+1)k<

5、需的存储量将小于整个矩阵A所需存储量的20%。线性降维SVD应用——数字图像处理2线性降维通过对比发现，当k=1/20r时，能基本看清图像。当k=1/4r时基本看不出任何区别，对于长宽相等的图像，此时数据量占原数据量的2k/n,在测试图像中，这个数值为0.5。可见图像压缩的效果是显著的。(示例代码为:svdcompression.m)原图像2线性降维K=1K=21K=4K=r=323K=50K=105MATLAB实例——LSI2为了进一步说明SVD的方法，我们来看一个信息检索的例子，称为潜在语义索引（或LSI）。信息检索（IR）的许多应用程序依赖于词汇的搭配，用户输入

6、了几个词语在一些文档中进行检索。然后用户用来检索的词可能是各种各样的，甚至是不准确的。所以，有时候检索结果不尽人意。潜在语义索引使用SVD的方法来求解输入检索词和文档的相关性，使得检索结果更为准确。线性降维MATLAB实例——LSI2我们使用数据集lsiex.mat进行实验，这里有一些文档，里面包含一个书名的列表，然后还有个术语集包含一些词汇。我们把他们变成一个矩阵，每一列是一个文件，每一行是一个术语在这个文件中出现的次数。然后将用户的搜索输入变成一个向量，包含对应术语的为1，不包含的为0。下面打开matlab我们进行实战！（对应文件Example2_3.m）线性降维作

7、业课后作业2.9题2.11题课本作业课后作业2.9 RepeatExample2.3fortheSVD-LSIusingk=2.Commentontheresultsandcomparetothedocumentretrievalusingk=3.2.11Generateabivariatedatasetusingeitherrandorrandn.VerifythatthesingularvaluesarethesquarerootsoftheeigenvaluesofXTXandXXT.预习预习内容1.预习2.4节。2.完成以下习题保