向量和子空间投影定理(

《向量和子空间投影定理(》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第二章基本概念和基本理论www.bdzwp.net整理发布2.0、预备知识1、向量和子空间投影定理(1)n维欧氏空间：Rn点（向量）：xRn,x=(x1,x2,…,xn)T分量xiR(实数集)方向（自由向量）：dRn,d0d=(d1,d2,…,dn)T表示从0指向d的方向实用中，常用x+d表示从x点出发沿d方向移动d长度得到的点d0xx+(1/2)d2.0、预备知识（续）1、向量和子空间投影定理(2)向量运算：x,yRnnx,y的内积：xTy=xiyi=x1y1+x2y2+…+xnyni=1x,y的距离：‖x-y‖=

2、[(x-y)T(x-y)](1/2)x的长度：‖x‖=[xTx](1/2)三角不等式：‖x+y‖≤‖x‖＋‖y‖点列的收敛：设点列｛x(k)｝Rn,xRn点列｛x(k)｝收敛到x，记limx(k)=xlim‖x(k)-x‖=0limxi(k)=xi,ikkkx+yyx2.0、预备知识（续）1、向量和子空间投影定理(3)子空间：设d(1),d(2),…,d(m)Rn,d(k)0m记L(d(1),d(2),…,d(m))={x=jd(j)jR}j=1为由向量d(1),d(2),…,d(m)生成的子空间

3、，简记为L。正交子空间：设L为Rn的子空间，其正交子空间为L＝{xRnxTy=0,yL}子空间投影定理：设L为Rn的子空间。那么xRn，唯一xL,yL,使z=x+y,且x为问题min‖z-u‖s.t.uL的唯一解，最优值为‖y‖。特别，L＝Rn时，正交子空间L＝{0}（零空间）2.0、预备知识（续）规定：x,yRn，x≤yxi≤yi，i类似规定x≥y，x=y，xy.一个有用的定理设xRn，R，L为Rn的线性子空间，(1)若xTy≤,yRn且y≥0，则x≤0，≥0.(2)若xTy

4、≤,yLRn，则xL，≥0.(特别,L＝Rn时,x=0)定理的其他形式：“若xTy≤,yRn且y≤0，则x≥0，≥0.”“若xTy≥,yRn且y≥0，则x≥0，≤0.”“若xTy≥,yRn且y≤0，则x≤0，≤0.”“若xTy≥,yLRn，则xL，≤0.”2.0、预备知识（续）2、多元函数及其导数(1)n元函数：f(x):RnR线性函数：f(x)=cTx+b=cixi+b二次函数：f(x)=(1/2)xTQx+cTx+b=(1/2)ijaijxixj+cixi+b向量值线

5、性函数：F(x)=Ax+dRm其中A为mn矩阵，d为m维向量F(x)=(f1(x),f2(x),…,fm(x))T记aiT为A的第i行向量，fi(x)=aiTx2.0、预备知识（续）2、多元函数及其导数(2)梯度（一阶偏导数向量）：f(x)＝(f/x1,f/x2,…,f/xn)TRn.线性函数：f(x)=cTx+b,f(x)=c二次函数：f(x)=(1/2)xTQx+cTx+bf(x)=Qx+c向量值线性函数：F(x)=Ax+dRmF/x=AT2.0、预备知识（续）2、多元函数及其导数(3)Hesse阵

6、（二阶偏导数矩阵）：2f/x122f/x2x1…2f/xnx12f(x)=2f/x1x22f/x22…2f/xnx2…………2f/x1xn2f/x2xn…2f/xn2线性函数：f(x)=cTx+b,2f(x)=0二次函数：f(x)=(1/2)xTQx+cTx+b,2f(x)=Q2.0、预备知识（续）2、多元函数及其导数(4)n元函数的Taylor展开式及中值公式：设f(x):RnR，二阶可导。在x*的邻域内一阶Taylor展开式：f(x)=f(x*)+fT(x*)(x-x*)

7、+o‖x-x*‖二阶Taylor展开式：f(x)=f(x*)+fT(x)(x-x*)+(1/2)(x-x*)T2f(x*)(x-x*)+o‖x-x*‖2一阶中值公式：对x,,使f(x)=f(x*)+［f(x*+(x-x*))]T(x-x*)Lagrange余项：对x,,记xx*+(x-x*)f(x)=f(x*)+fT(x)(x-x*)+(1/2)(x-x*)T2f(x)(x-x*)2.1数学规划模型的一般形式minf(x)--------目标函数s.t.xS--------约束集

8、合，可行集其中，SRn，f:SR，xS称（fS)的可行解最优解:x*S，满足f(x*)≤f(x),xS。则称x*为(fS)的全局最优解(最优解),记g.opt.(globaloptimum),简记opt.最优值:x*为(f