• C-Eval是一個(gè)全面的中文基礎(chǔ)模型評(píng)測(cè)數(shù)據(jù)集，由清華大學(xué)、上海交通大學(xué)和愛丁堡大學(xué)合作構(gòu)建，包含12342道單項(xiàng)選擇題，涵蓋數(shù)學(xué)、物理、化學(xué)、生物、歷史、政治、計(jì)算機(jī)等52個(gè)不同學(xué)科和四個(gè)難度級(jí)別，是最具影響力的中文綜合性考試評(píng)測(cè)集之一。其采用5-shot的方式進(jìn)行評(píng)測(cè)。

  

  
  

• MMLU由加州大學(xué)伯克利分校等知名高校共同打造，集合了科學(xué)、工程、數(shù)學(xué)、人文、社會(huì)科學(xué)等領(lǐng)域的57個(gè)科目，包含14079道單項(xiàng)選擇題，主要目標(biāo)是對(duì)模型的英文跨學(xué)科專業(yè)能力進(jìn)行深入測(cè)試。其內(nèi)容廣泛，從初級(jí)水平一直涵蓋到高級(jí)專業(yè)水平，同樣采用5-shot方式進(jìn)行評(píng)測(cè)。

  

  
  

• CMMLU是一個(gè)綜合性的中文評(píng)估基準(zhǔn)，專門用于評(píng)估語(yǔ)言模型在中文語(yǔ)境下的知識(shí)和推理能力。CMMLU涵蓋了從基礎(chǔ)學(xué)科到高級(jí)專業(yè)水平的67個(gè)主題，包括：需要計(jì)算和推理的自然科學(xué)，需要知識(shí)的人文科學(xué)和社會(huì)科學(xué)，以及需要生活常識(shí)的中國(guó)駕駛規(guī)則等，共11582道單項(xiàng)選擇題。此外，CMMLU中的許多任務(wù)具有中國(guó)特色，可能在其他地區(qū)或語(yǔ)言中并不普遍適用，是一個(gè)完全中國(guó)化的中文測(cè)試基準(zhǔn)。評(píng)測(cè)分別采用5-shot和0-shot的方式進(jìn)行。

  

  
  

  

  
  

• GSM8K是由OpenAI構(gòu)建的高中數(shù)學(xué)應(yīng)用題數(shù)據(jù)集，包含8500道高質(zhì)量的數(shù)據(jù)，主要目標(biāo)是對(duì)模型的數(shù)學(xué)推理能力進(jìn)行評(píng)測(cè)，其中測(cè)試集1319條數(shù)據(jù)，每個(gè)問(wèn)題都需要2-8個(gè)步驟來(lái)解決，解決方案主要包括使用基本算術(shù)運(yùn)算（+ ? × ÷）進(jìn)行一系列的基本計(jì)算，以得到最終答案。其采用8-shot進(jìn)行評(píng)測(cè)。

  

  
  

• HumanEval是OpenAI和Anthropic AI一起制作的代碼數(shù)據(jù)集，包含164個(gè)原創(chuàng)編程題，涉及語(yǔ)言理解、算法、數(shù)學(xué)和軟件面試幾種類型的題目。其采用0-shot的方式進(jìn)行評(píng)測(cè)。

  

  
  

從對(duì)比結(jié)果可以看出，KwaiYii-13B-Base及KwaiYii-13B-Chat模型在各榜單中均處于領(lǐng)先水平。在MMLU、CMMLU、C-Eval等體現(xiàn)綜合學(xué)科類的Benchmark上領(lǐng)先，說(shuō)明KwiiYii-13B-Base預(yù)訓(xùn)練模型在中英文雙語(yǔ)學(xué)科和行業(yè)領(lǐng)域的知識(shí)能力突出。在GSM8K數(shù)學(xué)評(píng)測(cè)集上及HumanEval編程測(cè)評(píng)集上的優(yōu)異表現(xiàn)，則體現(xiàn)了模型較好的數(shù)理邏輯及代碼能力。

人工評(píng)測(cè)結(jié)果

Benchmark指標(biāo)體現(xiàn)了語(yǔ)言模型的基礎(chǔ)理解能力，更直觀地，我們?nèi)斯ぴu(píng)估了模型在各類任務(wù)上遵循用戶指令的能力。我們構(gòu)建了一個(gè)高質(zhì)量評(píng)測(cè)集，包含了內(nèi)容創(chuàng)作、信息咨詢、數(shù)學(xué)解題、邏輯推理、代碼能力和多輪對(duì)話共6個(gè)類別。其中內(nèi)容創(chuàng)作包括文章寫作、翻譯、摘要總結(jié)等根據(jù)給定約束生成文本的任務(wù)，以及對(duì)實(shí)體/事件的觀點(diǎn)描述等；信息咨詢偏向信息獲取，如知識(shí)/常識(shí)咨詢，景點(diǎn)、電影和音樂(lè)推薦等；數(shù)學(xué)解題主要包含四則運(yùn)算、應(yīng)用題、方程等數(shù)學(xué)問(wèn)題；邏輯推理主要包括事實(shí)推理、演繹推理和數(shù)據(jù)統(tǒng)計(jì)等；代碼能力包含代碼編寫、代碼調(diào)試、Bug分析；多輪對(duì)話則主要體現(xiàn)在一個(gè)Session中持續(xù)對(duì)話的上下文意圖理解和產(chǎn)生正確回復(fù)的能力。為了直觀地比較待評(píng)測(cè)模型與ChatGPT的效果差異，對(duì)于評(píng)測(cè)集中的每個(gè)問(wèn)題，我們都評(píng)測(cè)了其與ChatGPT的Good:Same:Bad（下文簡(jiǎn)稱GSB，其中Good表示評(píng)測(cè)集中，待評(píng)測(cè)模型比ChatGPT表現(xiàn)更好的數(shù)量，Same則表示表現(xiàn)持平的數(shù)量，Bad則是待評(píng)測(cè)模型比ChatGPT表現(xiàn)更差的數(shù)量）結(jié)果。具體而言，我們將待評(píng)測(cè)模型與ChatGPT進(jìn)行雙盲對(duì)比測(cè)試：對(duì)于每一個(gè)Query，我們隱藏模型信息，并打亂兩個(gè)模型的答案順序，然后分配給多名評(píng)測(cè)者，評(píng)測(cè)人員根據(jù)內(nèi)容正確性、內(nèi)容相關(guān)性、內(nèi)容詳實(shí)性等維度進(jìn)行打分，然后從“模型A好”、“模型B好”、“兩者一樣好”、“兩者都一般”以及“兩者一樣差”五個(gè)選項(xiàng)中進(jìn)行選擇，最終再根據(jù)多名評(píng)測(cè)人員的GSB評(píng)測(cè)結(jié)果，按照規(guī)則擬合成該條數(shù)據(jù)的統(tǒng)一GSB結(jié)果。我們對(duì)KwaiYii-13B-Chat模型以及同等參數(shù)規(guī)模的行業(yè)主流模型，均與ChatGPT(3.5)進(jìn)行了對(duì)比和人工評(píng)估，其各自的得分如下圖所示。從人工評(píng)估的結(jié)果來(lái)看，KwaiYii-13B-Chat超過(guò)了同等規(guī)模的開源模型，并接近ChatGPT同等水平。在內(nèi)容創(chuàng)作、信息咨詢、邏輯推理和數(shù)學(xué)解題上，基本與ChatGPT(3.5)效果相當(dāng)。在多輪對(duì)話能力方面，KwaiYii-13B-Chat超過(guò)同等規(guī)模的開源模型，但與ChatGPT(3.5)仍有一定差距。注意：人工評(píng)估結(jié)果受到評(píng)測(cè)數(shù)據(jù)覆蓋面、標(biāo)注主觀性等因素的影響，無(wú)法全面反映大語(yǔ)言模型的所有能力。

標(biāo)簽：大模型AIGC大模型訓(xùn)練人工智能AIAGI