首先需要克隆qwen倉(cāng)庫(kù)的代碼：

接著跳轉(zhuǎn)到項(xiàng)目目錄下：

然后安裝項(xiàng)目所需的依賴(lài)包：

根據(jù)項(xiàng)目的要求，我們要格式化訓(xùn)練的文件：

現(xiàn)在讓我們下載模型文件：

做好前期的準(zhǔn)備工作后就可以進(jìn)行單機(jī)單卡的微調(diào)了：

微調(diào)后得到的是小模型，現(xiàn)在讓我們將它和原始模型進(jìn)行合并：

最終我們就可以使用微調(diào)后的模型了：

以上是單機(jī)單卡的微調(diào)，那么對(duì)于單機(jī)多卡來(lái)說(shuō)，就微調(diào)的步驟有些不同：

多機(jī)多卡的微調(diào)就只需要更改torchrun后面的參數(shù)即可，同時(shí)我們需要在多臺(tái)機(jī)器上同時(shí)運(yùn)行腳本。