北大公開(kāi)課-人工智能基礎(chǔ) 65 機(jī)器學(xué)習(xí)的模型之幾何模型



拓?fù)鋵W(xué)是研究空間的性質(zhì)和變形的學(xué)科,而流形是拓?fù)鋵W(xué)中的一個(gè)概念,是可以局部歐幾里得空間化的一個(gè)拓?fù)淇臻g。123
簡(jiǎn)單來(lái)說(shuō),拓?fù)鋵W(xué)研究的是空間的性質(zhì),而流形則是一種特殊的空間。
【歐幾里得空間】
歐幾里得空間是指一類特殊的向量空間,對(duì)通常3維空間V3中的向量可以討論長(zhǎng)度、夾角等幾何性質(zhì)。
簡(jiǎn)單來(lái)說(shuō),歐幾里得空間就是中學(xué)平面幾何或者立體幾何所處的空間,其中定義了各種中學(xué)就學(xué)過(guò)的概念,比如距離 d (x,y)=sqrt { (x_1-y_1)^2+ (x_2-y_2)^2+ (x_3-y_3)^2} 就是點(diǎn) x 和點(diǎn) y 在三維空間中的距離,還有內(nèi)積 vec xcdotvec y=x_1y_1+x_2y_2+x_3y_3 就是向量 vec x 和向量 vec y 的內(nèi)積。
【數(shù)學(xué)空間】
數(shù)學(xué)中有很多種空間,其中比較常見(jiàn)的有:線性空間、度量空間、拓?fù)淇臻g、希爾伯特空間、巴拿赫空間等。
——線性空間是定義了加法和數(shù)乘的空間,它是線性代數(shù)的基礎(chǔ)。
——向量空間,又稱線性空間,是線性代數(shù)的中心內(nèi)容和基本概念之一。1?向量空間定義為帶有加法和標(biāo)量乘法的集合 V。2?向量空間是一個(gè)滿足八條性質(zhì)的集合,包括加法結(jié)合律、加法交換律、加法單位元、加法逆元、標(biāo)量乘法結(jié)合律、標(biāo)量乘法分配律、標(biāo)量乘法單位元和標(biāo)量乘法分配律。向量空間是一種對(duì)幾何上向量空間的一個(gè)推廣,因此向量空間像幾何空間是有著相同特質(zhì)的量的集合,并且在集合上面定義了一套運(yùn)算規(guī)則。
——度量空間是定義了距離的空間,它是分析學(xué)的基礎(chǔ)。2
——拓?fù)淇臻g是定義了開(kāi)集和閉集的空間,它是拓?fù)鋵W(xué)的基礎(chǔ)。2
——希爾伯特空間是定義了內(nèi)積的完備線性賦范空間,它是量子力學(xué)的基礎(chǔ)。4
——巴拿赫空間是完備的賦范線性空間,它是泛函分析的基礎(chǔ)。3


類似于瑞士卷的展開(kāi),高維降維



等距映射(Isomap)是一種非線性降維算法,它可以將高維數(shù)據(jù)映射到低維空間中,同時(shí)保留數(shù)據(jù)的局部幾何結(jié)構(gòu)。等距映射算法通過(guò)計(jì)算數(shù)據(jù)點(diǎn)之間的最短路徑距離來(lái)估計(jì)流形的測(cè)地距離,從而實(shí)現(xiàn)了對(duì)高維數(shù)據(jù)的降維。等距映射算法是一種高效的降維方法,可以廣泛應(yīng)用于各種來(lái)源和不同維度的數(shù)據(jù)。


近似擬合


LLE算法的主要思想是在低維空間保持了原始高維空間樣本鄰域內(nèi)的線性關(guān)系,這也是局部線性嵌入算法的名稱來(lái)源。

瑞士卷的展開(kāi)

拉普拉斯特征映射算法(Laplacian Eigenmaps)是一種基于圖的降維算法,它希望相互間有關(guān)系的點(diǎn)(在圖中相連的點(diǎn))在降維后的空間中盡可能的靠近,從而在降維后仍能保持原有的數(shù)據(jù)結(jié)構(gòu)。
拉普拉斯特征映射算法所產(chǎn)生的映射可以看作是對(duì)幾何流形的一種連續(xù)離散逼近的映射,用數(shù)據(jù)點(diǎn)的鄰域圖來(lái)近似表示流形,并用Laplace-Beltrami 算子近似表示鄰域圖的權(quán)值矩陣,實(shí)現(xiàn)高維流形的最優(yōu)嵌入。

