• 如果把預(yù)訓(xùn)練看作九年義務(wù)教育，學(xué)習(xí)基本的知識與能力，那么重新訓(xùn)練或微調(diào)，就是讓他繼續(xù)深入某個特定領(lǐng)域，在基礎(chǔ)能力之上，進(jìn)一步掌握某個細(xì)分專業(yè)的知識
• 重新訓(xùn)練有兩種
• 一是基于參數(shù)量在幾十億的小模型，進(jìn)行本地服務(wù)器的微調(diào)，比如我曾用過的Alpaca-7B或者GLM-6B；它的好處是成本較低，缺點是只能勝任長度較小，邏輯性較低的文本任務(wù)
• 二是重新訓(xùn)練幾千億參數(shù)的大模型，比如GPT3，但是成本太高，僅算力成本就得接近千萬
• 相結(jié)合的方式：
• OpenAI的二次訓(xùn)練，缺點是模型本身的中文能力略有不足
• 國內(nèi)有，百度智能云千帆大模型平臺，比較方便

------

該筆記已整合進(jìn)個人知識體系，詳見 [圖靈計劃](http://wangc.site/cbrain/share?nodeid=bb8de270ad22a39c)