視頻from：?https://www.bilibili.com/video/BV1TD4y137mP?p=32&;vd_source=21cce77bb69d40a81e0d37999f2da0c2

課程主頁(yè)：?https://speech.ee.ntu.edu.tw/~hylee/ml/2023-spring.php

直接問 chatgpt 翻譯的 prompt是什么

多數(shù)情況下，chatgpt比商業(yè)的翻譯系統(tǒng) 差

另外一篇文章，用了 更新的 chatgpt【很接近 best了~】

成為通才 的好處！

對(duì)于大型語(yǔ)言模型的期待：專才 or 通才 ？

成為專才 【加外掛 和 微調(diào)參數(shù)】

Adapter

各式各樣的 Adapter

一個(gè)Adapter 插在哪里，取決于 你的應(yīng)用，要調(diào)的！

Adapter的優(yōu)勢(shì)： 只存Adapter

https://www.bilibili.com/video/BV1TD4y137mP?p=34&;vd_source=21cce77bb69d40a81e0d37999f2da0c2

成為通才

“21年就有錄影，還以為要20年后才能達(dá)到目標(biāo)，沒想到一年后就干成了，還取名叫 GPT的野望~”

In-context Learning

有一項(xiàng)研究，懷疑真的能學(xué)會(huì)嗎？ 故意給錯(cuò)的例子

實(shí)驗(yàn)結(jié)果：給 錯(cuò)誤的范例，準(zhǔn)確率并沒有下降很多（看來(lái) 機(jī)器沒有真學(xué)？）

給奇怪標(biāo)注

結(jié)論：語(yǔ)言模型本來(lái)就會(huì)做，需要 你指出做什么任務(wù)【例子 給多了，其實(shí)幫助不大，不需要太多例子】

另外論文的觀點(diǎn)：機(jī)器 還是 學(xué)習(xí)的

最新的研究：【可能 大的模型 才能 學(xué)到樣例，過去都是小的模型，所以無(wú)法 從樣例中學(xué)習(xí)】

直接 分類？

Instruction Tuning

結(jié)果

https://www.bilibili.com/video/BV1TD4y137mP?p=34&;spm_id_from=pageDriver&vd_source=21cce77bb69d40a81e0d37999f2da0c2

Chain of Thought（CoT） Prompting

突然 機(jī)器 就 起飛了

加多一句話：Let‘s think step by step!， 機(jī)器 就會(huì)做推理了！

Self-consistency

問 chapgpt

拆解問題

訓(xùn)練資料 要有 范例

用機(jī)器 來(lái)找 Prompt 【消滅 Prompt 工程師】

更狂的例子：讓 機(jī)器 找 Prompt

奇怪的術(shù)語(yǔ)， 暴漲 正確率

更多：參考tutorial