【簡便理解】LoRA訓(xùn)練是在干什么?
本專欄的意義就是用大白話,讓8歲小朋友也能聽懂的方式去理解秋葉akkki講解的一些東西。
肯定是不準(zhǔn)確的,不要盡信。但只是簡單理解,還是沒什么問題的。
1,什么是LoRA?簡單翻譯Low-Rank Adaptation就是低偏移率適應(yīng)器。
2,低偏移適應(yīng)器是什么意思?【簡單理解】就是導(dǎo)游團(tuán)的那個導(dǎo)游。讓AI游客(大模型),盡量朝著景點去走。
3,欠擬合與過擬合是什么意思?【簡單理解】欠擬合就是飯沒做熟,過擬合就是菜做糊冒煙了。
4,VAE是什么意思?【簡單理解】就是偵探解密卡,讓AI能夠讀懂一堆亂碼。不同的卡片看見的東西不一樣。玩過的都懂,因為你會有好幾張解密卡。

5,正則化什么意思?【簡單理解】“你看著啊,我給你打個樣!”,“我給你舉個例子,看好了??!”就是正則化。
6,做夢的情況下,我們訓(xùn)練LoRA期待的結(jié)果。越學(xué)越深,越學(xué)越精,越學(xué)越準(zhǔn)。到達(dá)最小變化,最大精準(zhǔn)點。

7,常在教材里看見的?!竞唵卫斫狻康魷侠铮ㄉ窖?,跑山頂。都是常常出現(xiàn)的情況,即使訓(xùn)練參數(shù)相同,在學(xué)習(xí)的最后,得到的結(jié)果也未必一樣。

8,實際上我們面臨的問題。如同縱身跳入大峽谷做降落傘運動,你是落在谷底,還是掛在半山腰,還是卡在小山頭,都是隨機的,即使跳下去的點一模一樣,降落傘落地的時候,也不一定會落在一個地點。

所以,訓(xùn)練LoRA,只能盡量讓它到達(dá)谷底,但是不是真的能夠到達(dá)谷底,還需要更多的理論和實驗方法進(jìn)行更進(jìn)和改善。
標(biāo)簽: