Kaggle新賽：LLM文本檢測(cè)大賽上分攻略（NLP）
賽題名稱(chēng)：LLM - Detect AI Generated Text
賽題鏈接：https://www.kaggle.com/competitions/llm-detect-ai-generated-text
賽題背景
隨著LLM的普及，許多人擔(dān)心它們會(huì)取代或改變通常由人類(lèi)完成的工作。教育工作者特別關(guān)注它們對(duì)學(xué)生技能發(fā)展的影響，盡管許多人仍然樂(lè)觀地認(rèn)為L(zhǎng)LM最終將成為幫助學(xué)生提高寫(xiě)作技巧的有用工具。
LLM可能導(dǎo)致剽竊的潛在問(wèn)題是學(xué)術(shù)界最大的關(guān)注點(diǎn)之一。LLM在大規(guī)模的文本和代碼數(shù)據(jù)集上訓(xùn)練，這意味著它們能夠生成與人類(lèi)書(shū)寫(xiě)的文本非常相似的文本。例如，學(xué)生可以使用大型語(yǔ)言模型生成不是他們自己的文章，錯(cuò)過(guò)了關(guān)鍵的學(xué)習(xí)步驟。
賽題任務(wù)
本次比賽要求參賽者開(kāi)發(fā)一個(gè)機(jī)器學(xué)習(xí)模型，該模型可以準(zhǔn)確檢測(cè)論文是由學(xué)生還是LLM撰寫(xiě)的。
參賽者在本次競(jìng)賽中的工作可以幫助識(shí)別大型語(yǔ)言模型的特征，并推進(jìn)該領(lǐng)域的技術(shù)發(fā)展。
評(píng)價(jià)指標(biāo)
提交的方案將基于預(yù)測(cè)概率和觀測(cè)目標(biāo)之間的ROC曲線下面積進(jìn)行評(píng)估。
提交文件
對(duì)測(cè)試集中的每個(gè)id，參賽者必須預(yù)測(cè)生成該文章的概率。文件應(yīng)包含一個(gè)標(biāo)頭，并采用以下格式：
數(shù)據(jù)描述
競(jìng)賽數(shù)據(jù)集包含約10000篇文章，其中一些是學(xué)生寫(xiě)的，一些是由各種大型語(yǔ)言模型(LLM)生成的。競(jìng)賽的目標(biāo)是確定文章是否由LLM生成。
所有文章都是針對(duì)7個(gè)作文題目中的一個(gè)而寫(xiě)的。在每個(gè)題目中，學(xué)生被要求閱讀一個(gè)或多個(gè)源文本，然后寫(xiě)出回應(yīng)。在生成文章時(shí)，同樣的信息可能已經(jīng)作為輸入提供給LLM，也可能沒(méi)有提供。
來(lái)自?xún)蓚€(gè)題目的文章組成訓(xùn)練集，其余的文章組成隱藏的測(cè)試集。訓(xùn)練數(shù)據(jù)集中的幾乎所有文章都是學(xué)生寫(xiě)的，只給出了幾篇作為示例生成的文章。
文件和字段信息:
{test/train}_essays.csv
id- 每篇文章的唯一標(biāo)識(shí)符。prompt_id- 標(biāo)識(shí)文章所對(duì)應(yīng)的題目。text- 文章正文。generated- 文章是由學(xué)生寫(xiě)的(0)還是由LLM生成的(1)。train_prompts.csv - 文章是針對(duì)這些字段中的信息而寫(xiě)的。
prompt_id- 每個(gè)題目的唯一標(biāo)識(shí)符。prompt_name- 題目的標(biāo)題。instructions- 給學(xué)生的指示。source_text- 文章回應(yīng)的文章文本，Markdown格式。sample_submission.csv - 正確格式的提交文件。
時(shí)間安排
2023 年 10 月 31 日 - 開(kāi)始日期
2024 年 1 月 15 日 - 報(bào)名截止日期
2024 年 1 月 15 日 - 合并截止日期
2024 年 1 月 22 日 - 提交截止日期
賽題獎(jiǎng)金
排名獎(jiǎng)
第一名 - 20,000美元
第二名 - 10,000美元
第三名 - 8,000美元
第四名 - 7,000美元
第五-七名 - 5,000美元
效率獎(jiǎng)
第一名 - 20,000美元
第二名 - 10,000美元
第三名 - 8,000美元
第四名 - 7,000美元
第五名 - 5,000美元
新賽火熱報(bào)名中?。?！
戳海報(bào)了解詳情??
添加小享，報(bào)名新賽
有其他問(wèn)題也可以咨詢(xún)哦
