什么是微調(diào)(Fine-tuning)？

根據(jù)給定的預(yù)訓(xùn)練模型，改變它的部分參數(shù)或者為其新增部分輸出結(jié)構(gòu)后，通過在小部分?jǐn)?shù)據(jù)集上訓(xùn)練，來使整個模型更好的適應(yīng)特定任務(wù).

什么是微調(diào)腳本(Fine-tuning script)？

實現(xiàn)微調(diào)過程的代碼文件。這些腳本文件中，應(yīng)包括對預(yù)訓(xùn)練模型的調(diào)用，對微調(diào)參數(shù)的選定以及對微調(diào)結(jié)構(gòu)的更改等，同時，因為微調(diào)是一個訓(xùn)練過程，它同樣需要一些超參數(shù)的設(shè)定，以及損失函數(shù)和優(yōu)化器的選取等, 因此微調(diào)腳本往往也包含了整個遷移學(xué)習(xí)的過程.

說一說常見的兩種遷移方式？

直接使用預(yù)訓(xùn)練模型，進行相同任務(wù)的處理，不需要調(diào)整參數(shù)或模型結(jié)構(gòu)，這些模型開箱即用。但是這種情況一般只適用于普適任務(wù), 如：fasttest工具包中預(yù)訓(xùn)練的詞向量模型。另外，很多預(yù)訓(xùn)練模型開發(fā)者為了達到開箱即用的效果，將模型結(jié)構(gòu)分各個部分保存為不同的預(yù)訓(xùn)練模型，提供對應(yīng)的加載方法來完成特定目標(biāo).