概述

本文的研究背景是為了準(zhǔn)確地識別勞動(dòng)力所需的技能和已具備的技能，自動(dòng)提取工作崗位所需技能是一項(xiàng)具有挑戰(zhàn)性的任務(wù)。 過去的方法主要利用ESCO框架提供的參考技能清單進(jìn)行技能提取，但是技能提取仍然困難，并且將工作帖子準(zhǔn)確匹配到ESCO分類是一個(gè)未解決的問題。本文的方法通過大型語言模型（LLMs）建立了一個(gè)全方位的零射擊技能提取系統(tǒng)。與以往的方法相比，使用合成數(shù)據(jù)達(dá)到了比以前的遠(yuǎn)程監(jiān)督方法高10個(gè)點(diǎn)的RP@10分?jǐn)?shù)，并且添加GPT-4重新排序使RP@10比以前的方法提高了22個(gè)點(diǎn)以上。研究表明，在提示LLM時(shí)將任務(wù)框架化為模擬編程可以比自然語言提示獲得更好的性能，尤其是在LLM較弱的情況下。 本文提出的研究方法是通過使用合成數(shù)據(jù)訓(xùn)練分類器從工作崗位中提取技能，并采用相似性檢索器生成技能候選項(xiàng)，再使用第二個(gè)LLM進(jìn)行重新排序。該方法不需要人工標(biāo)注數(shù)據(jù)。 本文的方法在ESCO的技能提取任務(wù)上表現(xiàn)出極有潛力的結(jié)果，在RP@10指標(biāo)上取得了非常令人期待的結(jié)果，比以前的方法提高了很多。因此，方法的性能支持了他們的目標(biāo)。

重要問題探討

1. 從這項(xiàng)研究中可以看出，GPT 4與GPT 3.5相比，在RP@1、RP@5和RP@10指標(biāo)上取得了較好的結(jié)果。這是否意味著GPT 4在技能匹配任務(wù)上的性能優(yōu)于GPT 3.5？

答：是的，從結(jié)果表格中可以看出，GPT 4在所有metric中取得了更好的結(jié)果。例如，在Tech subset中，GPT 4在RP@1指標(biāo)上達(dá)到了45.67，而GPT 3.5只有29.67。根據(jù)這些結(jié)果，可以得出結(jié)論：GPT 4在技能匹配任務(wù)上的性能優(yōu)于GPT 3.5。

2. 在不使用重新排序步驟的情況下，分類器方法和相似度方法在技能匹配任務(wù)中表現(xiàn)如何？

答：根據(jù)結(jié)果表格，可以看出分類器方法和相似度方法在不使用重新排序步驟時(shí)都取得了競爭性的表現(xiàn)。例如，在House subset中，分類器方法的RP@1達(dá)到了27.16，而相似度方法的RP@1達(dá)到了32.84。這表明這兩種方法都能夠在技能匹配任務(wù)中取得一定的成績，并且可作為重新排序方法的基準(zhǔn)。

3. 在技能匹配任務(wù)中，根據(jù)MRR指標(biāo)的排名質(zhì)量，GPT 3.5與GPT 4之間有何區(qū)別？

答：根據(jù)結(jié)果表格，可以看出GPT 4在兩個(gè)subset的MRR指標(biāo)上均優(yōu)于GPT 3.5。例如，在Tech subset中，GPT 4的MRR為0.512，而GPT 3.5的MRR則為0.369。這顯示出GPT 4能夠提供更準(zhǔn)確的排名質(zhì)量，能夠更好地對應(yīng)正確的標(biāo)簽。

4. Decorte等人在之前的研究中使用的方法與本研究中提出的方法相比如何？

答：從結(jié)果表格可以看出，在技能匹配任務(wù)中，本研究的方法在多個(gè)指標(biāo)上取得了更好的結(jié)果。例如，在House subset中，本研究的方法的RP@1達(dá)到了45.67，而Decorte等人的方法只有N/A。這表明本研究的方法能夠提供更準(zhǔn)確和準(zhǔn)確的技能匹配結(jié)果。

5. 本研究使用的數(shù)據(jù)集對技能匹配任務(wù)的評估有何貢獻(xiàn)？

答：本研究使用了Decorte等人提供的數(shù)據(jù)集進(jìn)行評估，這是目前最全面的ESCO細(xì)粒度技能匹配任務(wù)評估數(shù)據(jù)集。該數(shù)據(jù)集依托于SkillSpan數(shù)據(jù)集，以對技能或知識提及的文本片段為焦點(diǎn)，并進(jìn)行了手動(dòng)的ESCO技能標(biāo)注。通過使用這個(gè)數(shù)據(jù)集進(jìn)行評估，本研究提供了對技能匹配任務(wù)的全面評估，避免了對ESCO框架的近似或分組。因此，本研究的數(shù)據(jù)集評估為技能匹配任務(wù)的研究貢獻(xiàn)了一個(gè)準(zhǔn)確和全面的基準(zhǔn)。

論文鏈接：https://arxiv.org/abs/2307.03539.pdf