師兄中午在群里發(fā)了一篇論文，然后整個群討論得很火烈。于是我來介紹一下這篇論文。

內(nèi)容比較少，畢竟這篇論文思想其實極其簡單：

1.Code-LLM

先介紹代碼-大語言模型。其實就是能夠?qū)懘a的大語言模型。

現(xiàn)在很多語言模型，例如ChatGPT、文心一言啥的都是在代碼數(shù)據(jù)上訓(xùn)練過的。

但其實初版的GPT-3是完全沒有代碼能力的，畢竟那時候人們還不認(rèn)為語言模型能完成生成代碼的任務(wù)，然后之后GPT-3.5的CodeX就打臉了，之后的大語言模型基本上就將代碼生成作為標(biāo)準(zhǔn)配置了。

順帶一提，代碼訓(xùn)練可能帶來了很多副產(chǎn)品，例如多輪推理能力，典型的就是思維鏈，見：

【花師小哲】當(dāng)代煉金術(shù)（神經(jīng)網(wǎng)絡(luò)）前沿（18）——多模態(tài)思維鏈戰(zhàn)勝大模型？

還有長程依賴（我們寫代碼經(jīng)常一個變量定義后很長時間再去用它）等能力。

2.信息提取IE

題目中的信息提取又是什么任務(wù)呢？作者舉了兩個例子——命名實體識別和關(guān)系抽取。

命名實體識別的例子：對于“小明今天一整天呆在計算機(jī)實驗室”，我們可以提取出“小明”是人名，“計算機(jī)實驗室”是個地點。

關(guān)系抽取一般是建立在命名實體識別的基礎(chǔ)上（也有一步到位的），例子：“小明”和“實驗室”是隸屬于的關(guān)系。

細(xì)心的朋友可能發(fā)現(xiàn)了，這兩個任務(wù)都是很結(jié)構(gòu)化的

3.code-style prompt

關(guān)于prompt，見：

【花師小哲】鑒定網(wǎng)絡(luò)熱門（？）AI（6）——Prompt

code-style見如下的例子：

（熟悉代碼的朋友應(yīng)該不難理解）灰色部分是輸入，白色部分是讓模型來預(yù)測的。

說白了，就是把自然語言變成了代碼語言。

然后結(jié)合上下文學(xué)習(xí)，就是本論文的所有內(nèi)容了。上下文學(xué)習(xí)見：

【花師小哲】當(dāng)代煉金術(shù)（神經(jīng)網(wǎng)絡(luò)）前沿（11）——GPT與上下文學(xué)習(xí)

然后就隨便就能提十幾個點，恐怖如斯。

4.結(jié)論

我不知道怎么評價，需要我先緩幾天，這個確實有些超乎想象，雖然應(yīng)用的點挺小的。