北大公開課-人工智能基礎(chǔ) 63 學習范式與學習任務的關(guān)系,以及其他學習范式

機器學習中的范式主要指監(jiān)督學習、無監(jiān)督學習和強化學習三種基本學習范式1?。除此之外,還有半監(jiān)督學習、遷移學習、多任務學習、元學習等其他范式2。其中,監(jiān)督學習是最常見的一種,它是指在訓練數(shù)據(jù)中,每個樣本都有一個標簽或目標值,模型通過輸入特征預測標簽或目標值。無監(jiān)督學習是指在訓練數(shù)據(jù)中沒有標簽或目標值,模型通過輸入特征自動發(fā)現(xiàn)數(shù)據(jù)的內(nèi)在結(jié)構(gòu)和規(guī)律。強化學習是指智能體通過與環(huán)境交互,獲得獎勵信號并根據(jù)獎勵信號調(diào)整策略,以最大化長期累積獎勵。

【集成學習】
集成學習是指通過構(gòu)建并結(jié)合多個學習器來完成學習任務,以達到更好的泛化性能和預測性能12。集成學習的主要方法可歸類為三大類:堆疊(Stacking)、提升(Boosting)和裝袋(Bagging/bootstrap aggregating)2。其中,裝袋是最早的集成學習方法之一,它通過從原始數(shù)據(jù)集中有放回地重復抽樣,構(gòu)建多個訓練集并分別訓練多個基學習器,最后將這些基學習器進行結(jié)合12。提升方法是一種迭代的方法,它通過改變訓練樣本的權(quán)值分布來訓練多個基學習器,并將這些基學習器進行加權(quán)結(jié)合12。堆疊方法是一種基于模型的集成學習方法,它通過將多個基學習器的輸出作為新的訓練集來訓練一個次級學習器2。
【學會學習】
機器學習中的學會學習是指機器學習中的一種學習范式,即元學習(Meta Learning)1。元學習是指在機器學習中,通過學習如何學習,來提高模型的泛化能力和適應性。元學習可以分為兩個階段:元訓練和元測試。在元訓練階段,模型通過多個任務的訓練來學習如何快速適應新任務;在元測試階段,模型通過新任務的測試來驗證其泛化能力和適應性。
【遷移學習】
機器學習中的遷移學習是指在一個任務上學習到的知識,通過一定的方式遷移到另一個任務上,從而提高后者的學習效果1。遷移學習可以分為三類:基于實例的遷移、基于特征的遷移和基于模型的遷移2。其中,基于實例的遷移是指將源領(lǐng)域中的樣本直接應用到目標領(lǐng)域中,基于特征的遷移是指將源領(lǐng)域中的特征應用到目標領(lǐng)域中,而基于模型的遷移則是指將源領(lǐng)域中的模型應用到目標領(lǐng)域中。
【對抗式學習】
對抗式學習(Adversarial Learning)是指在機器學習中,通過引入對抗樣本,讓模型更好地學習到數(shù)據(jù)的特征,提高模型的魯棒性和泛化能力1。對抗樣本是指在原始數(shù)據(jù)中加入一些擾動,使得模型對這些數(shù)據(jù)的預測結(jié)果產(chǎn)生誤差,從而達到提高模型魯棒性的目的2。
【協(xié)同式學習】
協(xié)同式學習(Cooperative Learning)是指在學習過程中,學生之間相互合作,共同完成學習任務,達到共同學習的目的1。協(xié)同式學習的重點在于強調(diào)小組成員共同的貢獻,是一種教部結(jié)構(gòu)化的教學策略,以學習群組的方式讓成員共同討論學習目標,定義問題,建立工作流程,以得到共同建構(gòu)的知識2。
