基于 Datawhale × 科大訊飛 暑期夏令營項目制作

由于時間原因，后期沒有跟進，這里做個總結(jié)

夏令營合集鏈接（二次元的Datawhale）：

https://space.bilibili.com/431850986/channel/collectiondetail?sid=1547964

因為學(xué)校不開設(shè)NLP方向課程，本次活動參與純粹只是基于興趣去了解，加上給這個假期沒有太多活的我找點事干。后期的話可能傾向于ML或者CV方向。

NLP的火爆，毫無疑問源自于最近爆火的ChatGPT帶來的新一輪AI革命。

這里推薦青工所小凡哥的一個視頻，對于入門來說非常好。

夏令營期間，我們以賽題項目為核心展開，穿插知識講解。

在講解的背后，每天都會在群內(nèi)組織打卡答題。

NLP對我而言，需要的就是在基本的pytorch，transformer等基礎(chǔ)AI框架環(huán)境下，引入pandas，ntlk等專門應(yīng)用于nlp的庫，然后運用Bert，TF-IDF等方法，最后調(diào)參的過程。唯一可惜的是有雄心壯志的自己想憑借一個移動版3060就想跑遍天下模型，但是當(dāng)顯存溢出、程序不斷報錯的時候，無可奈何。

最終在實踐上，由于忙于處理各種雜事，忘記了時間，最后都是緊跟ddl才跑出來，所以最后的分?jǐn)?shù)跑的也不是太過理想。

重在參與吧，起碼至少讓我有了主動接觸與了解的機會，所以還是很感謝這次夏令營的實踐。

雁過留痕，補充一下答題的知識點，為總結(jié)畫個省略號，以后再見。

1. 準(zhǔn)確率（Accuracy）是衡量分類模型在所有類別上預(yù)測正確的比例，適用于多分類任務(wù)。滿足：(TP + TN) / (TP + TN + FP + FN)。其中，TP 是真正例（True Positive）、TN 是真負(fù)例（True Negative）、FP 是假正例（False Positive）、FN 是假負(fù)例（False Negative）。

? ? 精確率（Precision）是衡量模型預(yù)測為正例中真正為正例的比例，適用于二分類任務(wù)。滿足：TP / (TP + FP)。

? ??召回率（Recall）是衡量模型找出所有真正正例的能力，適用于二分類任務(wù)。滿足：TP / (TP + FN)。

? ? F1-score是綜合考慮精確率和召回率的指標(biāo)，用于平衡兩者。在不平衡數(shù)據(jù)集中較有用。滿足：2 * (Precision * Recall) / (Precision + Recall)。

2. 詞嵌入：詞嵌入是將單詞映射到連續(xù)向量空間的方法，其中相似含義的單詞在向量空間中距離較近，距離就是歐氏空間距離吧。在自然語言處理中提高模型的性能，例如在文本分類、情感分析、語義搜索和機器翻譯等任務(wù)中，使模型更好地理解和處理自然語言。

3. 稀疏連接：

定義：傳統(tǒng)的全連接網(wǎng)絡(luò)，每一個輸出都與每一個輸入單元產(chǎn)生交互，卷積使用了稀疏交互：每個輸出神經(jīng)元只與前一層的特定局部區(qū)域內(nèi)的神經(jīng)元產(chǎn)生交互

好處：參數(shù)更少，降低模型的復(fù)雜度，防止過擬合，提高模型的統(tǒng)計效率，原本一幅圖像只能提供少量特征，現(xiàn)在每個像素區(qū)域都可以提供一部分特征

? ? 參數(shù)共享：

定義：在模型的不同模塊中（也可以說是多個函數(shù)中）使用相同的參數(shù)。也可以叫作一個網(wǎng)絡(luò)含有綁定的權(quán)重。

傳統(tǒng)的全連接網(wǎng)絡(luò)中，在計算一層的輸出時，權(quán)重矩陣的每一個元素只使用一次，乘以輸入的一個元素之后，再也不會用到了。而在卷積神經(jīng)網(wǎng)絡(luò)中，卷積核的每個元素將作用于每一次局部輸入的特定位置上。

4.?Transformer的核心思想是使用自注意力機制注意力機制通過計算不同位置之間的相關(guān)性權(quán)重，通過對所有位置的注意力加權(quán)求和，可以獲得每個位置的上下文表示。當(dāng)然Transformer包括編碼器和解碼器，還引入了殘差連接和層歸一化等技術(shù)，以增強模型的訓(xùn)練效果和泛化能力。

5.?依存分析：指通過分析句子中詞與詞之間的依存關(guān)系，確定每個詞在句子中的句法角色，如主語、賓語、謂語等。句法分析則是通過分析句子的結(jié)構(gòu)和語法規(guī)則，確定句子中各個短語的句法關(guān)系。

……