Frank老師：

BAT算法工程師，多次獲得天池top10。

Cat_BAT老師：

目前此比賽金牌選手剛高考完。

賽題分析+baseline

1、賽題鏈接

https://www.kaggle.com/competitions/feedback-prize-effectiveness/overview

2、賽題描述

寫作是成功的關(guān)鍵。特別是，議論文可以培養(yǎng)批判性思維和公民參與技能，并且可以通過實踐得到加強。然而，只有 13% 的八年級教師要求他們的學(xué)生每周進(jìn)行議論文的寫作。

此外，資源限制不成比例地影響黑人和西班牙裔學(xué)生，因此與白人同齡人相比，他們更有可能在“低于基本”水平上寫作。自動反饋工具是一種讓教師更容易對分配給學(xué)生的寫作任務(wù)進(jìn)行評分的方法，這也將提高他們的寫作技巧。

目前有許多自動寫作反饋工具可用，但它們都有局限性，尤其是在辯論性寫作方面。現(xiàn)有工具通常無法評估論證要素的質(zhì)量，例如組織、證據(jù)和想法發(fā)展。最重要的是，由于成本原因，教育工作者無法使用其中許多寫作工具，這對已經(jīng)服務(wù)不足的學(xué)校產(chǎn)生了很大影響。

在本次比賽中，你將識別學(xué)生寫作中的元素。更具體地說，你將自動對 6 至 12 年級學(xué)生撰寫的論文中的文本進(jìn)行分段，并對爭論和修辭元素進(jìn)行分類。你將可以訪問有史以來最大的學(xué)生寫作數(shù)據(jù)集，以測試您在自然語言處理方面的技能，這是一個快速發(fā)展的數(shù)據(jù)科學(xué)領(lǐng)域。

本次比賽數(shù)據(jù)集來自美國6~12年級學(xué)生撰寫的議論文，每篇論文由Lead, Position, Claim, Counterclaim, Rebuttal. Evidence. Concluding Statement等七部分組成。訓(xùn)練集中每個部分提供Ineffective, Adequate, Effective三個級別的評分。

你的任務(wù)是創(chuàng)建一個模型，目的是在測試集中給定議論文中的某個部分進(jìn)行一個級別的評分。本次賽題屬于NLP的AES（Automated Essay Scoring）方向任務(wù)。

※?比賽時間線

2022 5月 24日 年 - 開始日期。

2022 8月 16日 年 - 報名截止日期。您必須在此日期之前接受比賽規(guī)則才能參加比賽。

2022 8 月 16日 年 - 團(tuán)隊合并截止日期。這是參與者可以加入或合并團(tuán)隊的最后一天。

2022 8月 23 日 年 - 最終提交截止日期。

※ 豐厚的獎金

一等獎：12,000美元

二等獎：8,000美元

三等獎：5,000美元

數(shù)據(jù)EDA

訓(xùn)練數(shù)據(jù)一覽：

最短短文691字，最長11641字，平均2315字。分布為長尾分布。

baseline

本次提供的baseline分為hypre-parameter, ?data, ?model, ?Loss, ?train五個方面。

整套baseline的代碼非常清晰, 非常適合入門以及后續(xù)代碼復(fù)用。

同樣代碼我們構(gòu)建本地驗證環(huán)境，分為input/working

評價指標(biāo)

本次比賽的首個賽道關(guān)注的是分類的準(zhǔn)確性。這一軌道的提交是使用多類對數(shù)損失評估。數(shù)據(jù)集中的每一行都有一個真正有效的標(biāo)簽。對于每一行，必須提交作文屬于每個評分標(biāo)簽的預(yù)測概率。

這個公式是:

Submission.csv格式為：

領(lǐng)baseline代碼

關(guān)注【學(xué)姐帶你玩AI】公眾號

回復(fù)“評分”添加小享領(lǐng)取

Trick

模型：多模型融合，上下文context聯(lián)系建模等。