哈爾濱工業(yè)大學(xué) 矩陣分析 全72講 主講-嚴(yán)質(zhì)彬 視頻教程
# 1~25線性空間與線性映射
引理：扁的線形方程組必有非零解
不定方程
回顧：線形空間（一種運(yùn)算系統(tǒng)）的抽象概念定義
線形空間可以是有限維的
證明：維數(shù)的唯一性
定理：基或坐標(biāo)系實(shí)現(xiàn)了抽象線性空間到標(biāo)準(zhǔn)線性空間之間的一一對(duì)應(yīng)
滿射單射
一一映射=同構(gòu)
用矩陣語(yǔ)言表達(dá)
標(biāo)準(zhǔn)基
無(wú)限維空間的例
1.3子空間
kernel & image
定義：子空間的交與和
線性映射 入口基矩陣 = 出口 矩陣表示
pr+1…pn kernel
q1...qr image
方陣的不變子空間
不變子空間與相似三角化的等同性
總結(jié) & lambda矩陣與jordan標(biāo)準(zhǔn)型
# 26~40λ矩陣與Jordan標(biāo)準(zhǔn)型
d不變因子 通過(guò)D行列式因子可以證明d不變（有唯一性）
dn=Dn/D（n-1）
特征矩陣的smith型
初等因子ci
r1+…+rn=ni
P^-1 AP=J
P=[P1 P2 P3…Pq]
APi=P1 0+…+PiJi+…
另一種說(shuō)法：AP=PJ，P為未知數(shù)矩陣，解耦成q個(gè)矩陣
廣義特征向量pr鏈
與它相應(yīng)的不變子空間
與第r個(gè)jordan塊相應(yīng)的變換矩陣p的基向量組
1對(duì)稱性
2線性性<v_1, v_2 k+v_3 l>
x固定
<x,``` · >：R^2 -> R
有限維的內(nèi)積空間=>歐幾里得空間
<0, v(一個(gè)數(shù))>=0
# 41~63內(nèi)積
- ?復(fù)內(nèi)積共軛對(duì)稱43 P43 - 02:50?
- 第二變?cè)€性性
- <v, v>實(shí)數(shù)且大于0
有復(fù)內(nèi)積的線性空間=復(fù)內(nèi)積空間
有限維的復(fù)內(nèi)積空間=酉空間
注：復(fù)內(nèi)積對(duì)第一個(gè)變?cè)枪曹椌€性的
該基（一種特殊的向量組）的**度量矩陣**=基向量組（坐標(biāo)系）的Gram矩陣
內(nèi)積由度量矩陣唯一確定
- ?Gram矩陣的性質(zhì)（幾乎所有書(shū)上都沒(méi)講）共軛轉(zhuǎn)置（H->Hermite）等于它自己44 P44 - 03:17?
- 非負(fù)定性 自己和自己的內(nèi)積一定大于等于0
- ?G正定<=>線性無(wú)關(guān)44 P44 - 14:59?
beta是具體向量，beta向量組（aka B矩陣的列向量組）的gram矩陣↓
beta_i和beta_j的標(biāo)準(zhǔn)內(nèi)積=(beta_i)^H * beta_j
正性，正其性，三角不等式，cauchy-schwartz不等式，平行四邊形公式
cauchy-schwartz不等式證明中若<a,b>不是實(shí)數(shù)的情況
證完了關(guān)于長(zhǎng)度||a+b||的三角不等式
證完了關(guān)于距離d(a,b)的三角不等式
定義：實(shí)內(nèi)積空間中的夾角=arccos(內(nèi)積<a,b>/長(zhǎng)度||a||·長(zhǎng)度||b||)
*有c-s不等式做前提來(lái)保證
*定義鏈：（反直覺(jué)）內(nèi)積->長(zhǎng)度->夾角
定義：內(nèi)積=0 = 正交垂直
*0向量自動(dòng)正交
定理：勾股定理，復(fù)內(nèi)積
*5個(gè)等價(jià)：實(shí)5條
復(fù)4條（沒(méi)有2）1←→3，4←→5，**1→4）
復(fù)<a,b>+<b,a>=Re<a,b>
3.2 投影定理（beta投到W）
注：在W中找一個(gè)向量，與beta的距離d(beta,alpha)最近
投影定理=解一個(gè)最佳逼近問(wèn)題
參數(shù)化后得到映射：C^s→R+
多元函數(shù)的最小值問(wèn)題（行不通）
總結(jié)：內(nèi)積空間
自己和自己：Gram矩陣
自己和別人：交互（協(xié)）Gram矩陣
alpha = arg min d(beta, w) = d取到最小時(shí)的自變量w的值
arguement=自變量
解最優(yōu)問(wèn)題，正規(guī)方程
把a(bǔ)lpha參數(shù)化=>(((??)))求k的重要公式：sxs的Gram矩陣 sx1的協(xié)Gram矩陣
alpha是beta在W上的投影
beta-alpha⊥W（W上任意的向量w）
把a(bǔ)lpha和w連起來(lái)
最優(yōu)解的存在性
可能發(fā)生變化的地方：選不同的基
最優(yōu)解的唯一性由勾股定理保證（斜邊不可能和直角邊相等）
最優(yōu)解如何求解
注：alpha \in W 參數(shù)化后，最優(yōu)逼近問(wèn)題的實(shí)質(zhì)是s元函數(shù)的極值問(wèn)題
用微積分的方法解多元二次函數(shù)f(s_1,...,s_k)的極值
G是二次，Σ是一次
向量組[基]用span{基} = 矩陣A用image(A)
最優(yōu)解的例子1
例子2：向量子空間imA的正交投影
Anxs
P_A(beta)=beta的向量在A的列向量所張成的空間上的投影
“這個(gè)符號(hào)太好了，沒(méi)有一本書(shū)上這么寫(xiě)真是太奇怪了?！?/p>
投影矩陣P_A=A*(\bar{A}^T*A)^(-1)*\bar{A}^T的3個(gè)性質(zhì)：
- 共軛轉(zhuǎn)置等于它自己
- 冪等的P^2=P
- rank(P_A)=rank(A)
例子1：求beta在A上的投影=P_A*beta
例子2：觀測(cè)數(shù)據(jù)的最小二乘擬合
抽象化
擬合問(wèn)題翻譯為
c_1^2+...+c_100^2=...=||c||^2
*觀測(cè)數(shù)據(jù)的最小二乘擬合的幾何實(shí)質(zhì)
因變量y的觀測(cè)/采樣值所拼成的列向量
以上**N維列向量**
**向**
自變量x_i的觀測(cè)值在k+1個(gè)基函數(shù)上的k+1個(gè)采樣所構(gòu)成的**k+1個(gè)列向量**
**進(jìn)行投影**
一個(gè)列向量向k+1個(gè)列向量裝在子空間里進(jìn)行投影
二乘=用誤差的平方對(duì)誤差的大小進(jìn)行度量，二次方的意思
總結(jié)：投影定理
標(biāo)準(zhǔn)正交組
Gram矩陣有什么好處：
用坐標(biāo)和矩陣計(jì)算內(nèi)積
“萬(wàn)物皆矩陣”
- G（alpha_1...alpha_s）=單位陣
- 標(biāo)準(zhǔn)正交組alpha_1...alpha_s=>線性無(wú)關(guān)
標(biāo)準(zhǔn)正交組解耦性
Fourier傅里葉三角多項(xiàng)式
V=定義在0到2pi的平方可積函數(shù)的全體
有些函數(shù)在平方之后不是一個(gè)有限數(shù)
土壤熱傳導(dǎo)偏微分方程
《熱的解析理論》-傅里葉
標(biāo)準(zhǔn)正交基
存在性：schmidt正交化方法
從這里開(kāi)始不談抽象內(nèi)積空間了，討論標(biāo)準(zhǔn)內(nèi)積空間
例子
正交多項(xiàng)式序列->高精度數(shù)值積分計(jì)算：切比雪夫多項(xiàng)式
標(biāo)準(zhǔn)正交基在標(biāo)準(zhǔn)酉空間中的具體化
酉矩陣=bar(A)^T*\A=I_n
標(biāo)準(zhǔn)酉空間=C^n
引入酉矩陣的原始動(dòng)機(jī)motivation: 酉矩陣的列向量組是標(biāo)準(zhǔn)酉空間C^n中的標(biāo)準(zhǔn)正交基拼成的基矩陣
Kronecker符號(hào)
"萬(wàn)物皆數(shù)"-畢達(dá)哥拉斯
"除了自然數(shù)是上帝造的意外其他都是人造的"-Kronecker->還原成自然數(shù)
schmit正交化方法的矩陣表述=正交-三角分解
在C^(n*n)中A非奇異，分解A=QR
QR分解=正交-三角分解=任何一個(gè)非奇異的矩陣可以寫(xiě)成正交矩陣（在復(fù)的場(chǎng)合就是酉矩陣“酉”）*上三角矩陣（對(duì)角線上是大于0的實(shí)數(shù)且有唯一性“正線”）
總結(jié)
從C^n→C^n，
酉矩陣作為U線性變換的特點(diǎn)：下列等價(jià)
U是酉矩陣，保持長(zhǎng)度/內(nèi)積
證明方法：長(zhǎng)度、夾角就一定決定內(nèi)積
例子：平面旋轉(zhuǎn)theta角
i→像i'
正交矩陣旋轉(zhuǎn)
線性變換scr(A)的矩陣表示：
[i', j']=scr(A)[i, j]=[i, j][cosθ -sinθ; sinθ cosθ]（←平面旋轉(zhuǎn)矩陣）
驗(yàn)證以上旋轉(zhuǎn)矩陣是不是正交矩陣
性質(zhì)：酉矩陣U的特征值的模為1
問(wèn)題：如果只允許用標(biāo)準(zhǔn)正交基，可將一個(gè)矩陣A相似變換到多么簡(jiǎn)單的形式
schur定理
對(duì)A∈C^(n*n)有酉矩陣U使U^(-1)AU=bar(U)^(-1)AU
基于jordan標(biāo)準(zhǔn)型AP=PJ的有意思證明:
QR分解：P=UR代入AP=PJ→AUR=URJ
U^(-1)AU=RJR^(-1)
正線上三角矩陣（R）的逆還是上三角（R^(-1)），3個(gè)上三角的乘積還是上三角（RJR^(-1)）
U矩陣把矩陣A相似化為對(duì)角線=每個(gè)jordan塊都是1階的=P正好是特征向量
<==幾何說(shuō)法等價(jià)于代數(shù)說(shuō)法==>
有一組線性無(wú)關(guān)的特征向量；換句話說(shuō)，C^(n*n)有一組由特征向量構(gòu)成的（標(biāo)準(zhǔn)正交）基
定理：bar(A)^T*A=A*bar(A)^T
矩陣的共軛轉(zhuǎn)置和老矩陣（乘法）可交換
注：滿足的矩陣A=正規(guī)矩陣
驗(yàn)證定理
Hermite矩陣bar(A)^T=A
性質(zhì)：
- H是正規(guī)矩陣
- 存在U使A相似于對(duì)角矩陣
Hermite矩陣的特征值肯定是實(shí)數(shù)
驗(yàn)證“Hermite矩陣的特征值肯定是實(shí)數(shù)”
“有些同學(xué)數(shù)學(xué)學(xué)到這個(gè)程度挺高興的，吃什么都香”
定義：非負(fù)定（暗指Hermite） 有兩個(gè)條件
非負(fù)定矩陣A的最大特征值的極值刻畫(huà)
A特征值的最大值=一個(gè)函數(shù)的極值
Rayleigh商：用商刻畫(huà)極值
單位圓
《數(shù)學(xué)物理方法》-希爾伯特
證明“很簡(jiǎn)單”
最大值必須lambda_1
當(dāng)y_1=1,其他y=0
“引導(dǎo)你們欣賞一下”
總結(jié)：
1. 標(biāo)準(zhǔn)正交基拼成的矩陣是酉矩陣
2.酉矩陣決定了一個(gè)保長(zhǎng)度保內(nèi)積的線性變換
3.標(biāo)準(zhǔn)正交基把矩陣化簡(jiǎn)到什么程度（不能jordan標(biāo)準(zhǔn)型但可以上三角）：schur定理
4.什么時(shí)候能用酉矩陣化為對(duì)角線：（正規(guī)矩陣）自己和自己的共軛轉(zhuǎn)置可交換
5.一種正規(guī)矩陣叫Hermite矩陣（實(shí)數(shù)：對(duì)稱，復(fù)數(shù)：共軛）
Hermite化為對(duì)角線的對(duì)角線上一定是實(shí)數(shù)特征值
開(kāi)始上奇異值分解
動(dòng)機(jī)：P,Q都是C^n,C^m上的酉矩陣（變成V,U）時(shí)，A還能化為這個(gè)樣子的最簡(jiǎn)嗎？AP=Q[I_r, 0;0, 0]
定理：奇異值分解
證明：
bar(\A)^T*\A=H本質(zhì)是一個(gè)gram矩陣（一列乘一行）
H非負(fù)定，而且秩就等于rank(A)
bar(\H)^T=H
注1：bar(\A)^T*\A(體積m*m)和\A*bar(\A)^T(體積n*n)的秩一樣，非零特征組一樣
注2：奇異值分解的精髓：解耦
注3：σ=
像和像源長(zhǎng)度的比例，長(zhǎng)度的最大放大率（可在控制中取無(wú)窮）
噪聲信號(hào)作用在系統(tǒng)上產(chǎn)生響應(yīng)（干擾），設(shè)計(jì)抑制干擾，用量化指標(biāo)（最大奇異值）表達(dá)這個(gè)觀念
用向量與矩陣的范數(shù)的觀點(diǎn)：向量的二范數(shù)導(dǎo)出矩陣的二范數(shù)就是矩陣的最大奇異值：導(dǎo)出（induced）范數(shù)
# 向量矩陣的范數(shù)
范數(shù)是一種映射，一種函數(shù)
向量范數(shù)=線性空間映射（定義在V函數(shù)）V→（什么時(shí)候有資格成為取實(shí)值的函數(shù)）R
正性
正齊性：沒(méi)常數(shù)項(xiàng)的一次→齊次
三角不等式
例子：一范數(shù)二范數(shù)（由內(nèi)積決定的長(zhǎng)度）p范數(shù)行范數(shù)
動(dòng)機(jī)：通過(guò)范數(shù)定義距離，從而考慮極限（plus平移不變性）
距離是二元函數(shù)
有資格在一定程度上模擬d(e_1, e_2)距離的三個(gè)要求：非負(fù)性，對(duì)稱性，三角不等式
好處：定義極限
平行四邊形法則||a+b||^2+||a-b||^2=2(||a||^2+||b||^2)^2
平行四邊形法則是檢驗(yàn)a,b是不是由內(nèi)積推出的試金石
內(nèi)積推出的范數(shù)有好的幾何結(jié)構(gòu)：除了長(zhǎng)度還可以使用夾角
矩陣范數(shù)=定義在全體矩陣幾何上的函數(shù)=一種映射規(guī)則（函數(shù)）
映射規(guī)則||·||：{矩陣}→取值范圍R^+
4個(gè)性質(zhì)：正性，正齊性，加法相容性（三角不等式，條件：AB可相加），乘法相容性 （條件：AB可相乘）
向量的一范數(shù)導(dǎo)出矩陣的一范數(shù)就是矩陣的最大列和
向量的二范數(shù)導(dǎo)出矩陣的二范數(shù)就是矩陣的最大奇異值
向量的無(wú)窮范數(shù)導(dǎo)出矩陣的無(wú)窮范數(shù)就是矩陣的最大行和
向量與矩陣序列的極限
定義：矩陣序列
不熟悉的被定義者
熟悉的定義者
矩陣取極限等于每個(gè)數(shù)取極限
證明
“智者見(jiàn)于微末”
三個(gè)1xm, mxn, nx1的矩陣相乘
再加上乘法相容性
引入矩陣范數(shù)的好處就在于把矩陣許多個(gè)元素的每個(gè)極限問(wèn)題歸結(jié)為同一個(gè)極限問(wèn)題
e^a問(wèn)題
定理：矩陣級(jí)數(shù)e^A=
收斂，即矩陣序列S_n
是收斂的
柯西收斂準(zhǔn)則：自己和自己的差越來(lái)越小
對(duì)矩陣一樣成立
為了說(shuō)明矩陣級(jí)數(shù)是收斂的，只需要S_q-S_p趨向于0
再利用加法相容性
小于等于下式
怎么算出e^(At)
引理：e^(A+B)=e^A*e^B一般情況下不成立，除了
AB=BA這種A，B可交換的情況
J_1=lambda*I+N
N=冪零矩陣=冪足夠高了就變0矩陣了
↑
準(zhǔn)備
把e^(A*t)拆成若干個(gè)若當(dāng)jordan標(biāo)準(zhǔn)型
e^(J_1*t)
把E^(N*t)展開(kāi)
一個(gè)普通的指數(shù)函數(shù)*由t的多項(xiàng)式帶上系數(shù)組成的上三角矩陣
向量與矩陣值函數(shù)A(·)
定義：極限，導(dǎo)數(shù)，積分
矩陣函數(shù)通過(guò)矩陣范數(shù)定義的一個(gè)矩陣極限=mxn個(gè)普通函數(shù)的極限
矩陣函數(shù)通過(guò)范數(shù)定義的一個(gè)導(dǎo)數(shù)等價(jià)于mxn個(gè)函數(shù)的普通導(dǎo)數(shù)
矩陣函數(shù)通過(guò)范數(shù)定義的矩陣積分等價(jià)于作為mxn個(gè)普通函數(shù)的積分
意義：用一個(gè)事物駕馭mxn個(gè)事物
性質(zhì)：
總結(jié)：矩陣序列和矩陣級(jí)數(shù)
向量與矩陣的范數(shù)→極限，研究導(dǎo)數(shù)積分級(jí)數(shù)
“非常自然的事情，成為大家日常的工具”
e^(A*t)
證明(e^(A*t))'
線性系統(tǒng)沒(méi)有輸入項(xiàng)的自由運(yùn)動(dòng)（振動(dòng)）
矩陣A的Hurwitz穩(wěn)定
1.Hurwitz漸進(jìn)穩(wěn)定：A的所有特征值的實(shí)部是小于0的=Re lambda(A)小于0
2.Hurwitz（臨界）穩(wěn)定
若Re lambda(A)小于等于0且特征值對(duì)應(yīng)的jordan塊都是1x1的（即對(duì)應(yīng)的初等 因子為1次的）
“愛(ài)是做學(xué)問(wèn)的本質(zhì)”
穩(wěn)定=微分方程的解（振動(dòng)）有界
初值小=不會(huì)過(guò)界
漸進(jìn)穩(wěn)定=漸進(jìn)于0（比穩(wěn)定加強(qiáng)了一步stablization趨于0）
線性系統(tǒng)是特殊情況
e^(lambda*t)=
系數(shù)是特征值的實(shí)部，特征值的虛部簡(jiǎn)諧運(yùn)動(dòng)
如果在實(shí)數(shù)域上看：
在自由振動(dòng)中，實(shí)指數(shù)決定趨勢(shì)取決于特征值的實(shí)部，第二部分簡(jiǎn)諧運(yùn)動(dòng)的頻率取決于特征值的虛部b，第三部分是其余多項(xiàng)式
指數(shù)函數(shù)趨于無(wú)窮的速度超過(guò)多項(xiàng)式即三角函數(shù)
多項(xiàng)式不出現(xiàn)可保證臨界穩(wěn)定=jordan塊都是1x1，只有三角函數(shù)沒(méi)有多項(xiàng)式=但不保證趨于0，只是穩(wěn)定
“這個(gè)事情有些人搞了一輩子還不知道，太奇怪了”
李雅普諾夫方程的動(dòng)機(jī)：實(shí)矩陣能不能用一個(gè)不解方程的方法，直接的方法來(lái)判斷特征值的實(shí)部小于0
Herwitz穩(wěn)定判據(jù)
“不是因?yàn)橥蹈Q了天書(shū)”
x點(diǎn)(t)=Ax(t)
動(dòng)能是速度的二次函數(shù)
=-x^T(t) * x(t)小于等于0(A^T * P + P*A=-I時(shí))
“負(fù)定，定負(fù)是也?！?/p>
V(·): R^n→R^+
x(·): [0,+∞)→R^n
P是未知的
定理：關(guān)于P的方程A^T * P + P*A=-I有正定解的充要條件是Re(A)<0
證明
考試
抽象的線性相關(guān)性：線性表示
線性空間的維數(shù)積
子空間：交并，張成的子空間
線性映射，線性變換：用坐標(biāo)
矩陣的等價(jià)與相似：換基底，線性變換的出口基入口基一樣
多項(xiàng)式矩陣的smith標(biāo)準(zhǔn)型
初等因子不變因子
矩陣的相似（特征矩陣一樣） 和多項(xiàng)式的等價(jià)
