今年以來，國內(nèi)科技企業(yè)紛紛布局人工智能大模型。為進(jìn)一步直觀感受我國當(dāng)前主流科技企業(yè)所推出的大模型產(chǎn)品的現(xiàn)狀、優(yōu)勢和特點(diǎn)，8月12日，新華社研究院中國企業(yè)發(fā)展研究中心基于嚴(yán)格測評(píng)，發(fā)布《人工智能大模型體驗(yàn)報(bào)告2.0》，對(duì)當(dāng)前國內(nèi)各主流大模型的表現(xiàn)給出評(píng)述。

與2023年6月首次發(fā)布的《人工智能大模型體驗(yàn)報(bào)告》相比，本次測評(píng)在題目設(shè)計(jì)、對(duì)標(biāo)Benchmark（人類）、打分權(quán)重、專家測評(píng)團(tuán)隊(duì)四大維度進(jìn)行了全面升級(jí)。

其中，在題目設(shè)計(jì)方面，測評(píng)題目由300道擴(kuò)展至500道，并進(jìn)一步完善了題目分類；

在對(duì)標(biāo)Benchmark方面，本次測評(píng)將接受過高等教育的人類作為對(duì)照，來考評(píng)大模型真實(shí)能力；

在打分標(biāo)準(zhǔn)上，本次測評(píng)根據(jù)對(duì)產(chǎn)業(yè)、生活的實(shí)際價(jià)值，對(duì)基礎(chǔ)能力、智商能力、情商能力和工具提效四大測評(píng)維度進(jìn)行了權(quán)重設(shè)計(jì)；

在測評(píng)團(tuán)隊(duì)方面，本次測評(píng)特邀北京大學(xué)文化與傳播研究所及其他產(chǎn)界、學(xué)界專家全程參與。

本次研究設(shè)置了用戶體驗(yàn)項(xiàng)目，抓取了7月31日—8月4日數(shù)據(jù)，通過人機(jī)互動(dòng)提問等形式，對(duì)國內(nèi)主流大模型進(jìn)行使用體驗(yàn)評(píng)測，旨在為科技企業(yè)調(diào)整努力方向提供參考。

報(bào)告顯示，與2023年6月相比，當(dāng)前中國大模型產(chǎn)品進(jìn)步顯著。但與接受過高等教育的人類相比，大模型在智商、情商等方面還存在一定程度差距。

具體來看，訊飛星火在工作提效、智商等方面優(yōu)勢明顯，百度文心一言基礎(chǔ)能力出色，商湯商量則在情商方面表現(xiàn)優(yōu)秀，智譜AI-ChatGLM整體表現(xiàn)不俗。

歸結(jié)到基礎(chǔ)能力、智商能力、情商能力和工具提效四大維度綜合得分上，科大訊飛星火表現(xiàn)最強(qiáng)，1013分，逼近人類水平（1014分），其次是百度文心一言和商湯商量，總分分別為1010分和983分。

報(bào)告認(rèn)為，雖然在不同領(lǐng)域中，AI和人類表現(xiàn)出不同的優(yōu)劣勢，但在整體上，AI大模型的發(fā)展為人類工作和生活的提質(zhì)增效帶來了重要的積極影響，大模型正在加速走進(jìn)生活、走進(jìn)產(chǎn)業(yè)。

據(jù)了解，此次測評(píng)總分第一的訊飛星火大模型發(fā)布于5月6日。并于6月9日發(fā)布星火1.5版本，與上一個(gè)版本相比，升級(jí)版不僅各項(xiàng)能力獲得持續(xù)提升，且在綜合能力上實(shí)現(xiàn)了三大升級(jí)：

開放式知識(shí)問答取得突破，提升24%，較好地解決了當(dāng)前大模型技術(shù)有待攻克的“三大缺陷”：新知識(shí)難以更新、事實(shí)類問答容易“張冠李戴”、史實(shí)傳統(tǒng)典籍等容易“編造情節(jié)”。

多輪對(duì)話躍遷，對(duì)話體驗(yàn)更接近真人；邏輯和數(shù)學(xué)能力明顯提升。

特別是在數(shù)學(xué)能力，科大訊飛星火大模型不但能綜合應(yīng)用方程、排列組合、經(jīng)典算法等各種數(shù)學(xué)方法，給出正確答案，而且能給出分析過程，讓用戶在“知其然”的同時(shí)，還能“知其所以然”。

除了大模型自身能力進(jìn)一步提升外，訊飛星火1.5版發(fā)布會(huì)上，科大訊飛還正式發(fā)布了星火APP和星火語伴APP等C端產(chǎn)品，加上此前已和大模型融合的科大訊飛AI學(xué)習(xí)機(jī)、智能智能辦公本、訊飛聽見、汽車智能座艙語音交互和數(shù)字員工等產(chǎn)品，成為業(yè)內(nèi)第一家實(shí)現(xiàn)大模型商業(yè)應(yīng)用落地的公司。

受大模型加持帶動(dòng)，2023年5月至6月，科大訊飛C端硬件GMV創(chuàng)歷史新高，同比翻倍增長。其中，搭載訊飛星火認(rèn)知大模型的訊飛AI學(xué)習(xí)機(jī)GMV在5月和6月分別增長136%和217%。

同時(shí)，訊飛人工智能開放平臺(tái)的開發(fā)者團(tuán)隊(duì)數(shù)量增長迅猛，兩個(gè)月時(shí)間增加85萬。截至2023年6月30日，科大訊飛開放平臺(tái)開發(fā)者數(shù)已達(dá)到497.4萬，近一年增長45%。