“我的英文寫(xiě)得不好，可以幫我把這篇論文潤(rùn)色一下嗎？”

“堆排序的時(shí)間復(fù)雜度是多少？”

“假如你是徐志摩，寫(xiě)一首關(guān)于“微積分”的浪漫現(xiàn)代詩(shī)。”

“我有點(diǎn)不開(kāi)心，能陪我聊聊嗎？”

“幫我講一個(gè)關(guān)于微積分的笑話?！?/p>

“向我的商科同學(xué)，用大白話解釋一下什么是香農(nóng)定理。”

“翻譯成中文：We hold these truths to be self-evident, that all men are created equal, that they are endowed by their Creator with certain unalienable rights, that they are among these are life, liberty and the pursuit of happiness. That to secure these rights, governments are instituted among them, deriving their just power from the consent of the governed.”

“我媽媽來(lái)深圳玩兩天，有什么推薦的好玩的地方嗎？”

這些需求，香港中文大學(xué)（深圳）自主研發(fā)的“鳳凰”大語(yǔ)言模型都可以來(lái)幫你實(shí)現(xiàn)！

在這個(gè)信息爆炸的時(shí)代，人工智能的快速發(fā)展為我們的生活帶來(lái)了前所未有的便利與可能。為了更好地滿足香港中文大學(xué)（深圳）校內(nèi)師生的學(xué)術(shù)與實(shí)踐需求，香港中文大學(xué)（深圳）師生團(tuán)隊(duì)聯(lián)合深圳市大數(shù)據(jù)研究院自主研發(fā)了一款名為“鳳凰”的大語(yǔ)言模型?！傍P凰”大語(yǔ)言模型結(jié)合了全球領(lǐng)先的人工智能技術(shù)與校園教學(xué)、研究需求，是一款經(jīng)過(guò)校內(nèi)數(shù)據(jù)科學(xué)團(tuán)隊(duì)精心研發(fā)的一項(xiàng)人工智能應(yīng)用，旨在針對(duì)校內(nèi)數(shù)據(jù)進(jìn)行指令微調(diào)，為廣大師生提供智能化、高效率的學(xué)習(xí)與研究支持。

“鳳凰”的靈感來(lái)源

2023年5月，香港中文大學(xué)（深圳）的師生團(tuán)隊(duì)聚在一起開(kāi)展課題小組討論時(shí)，大家充滿激情地構(gòu)想著一個(gè)令人興奮的場(chǎng)景：“我們可以開(kāi)發(fā)一款專門(mén)用于校內(nèi)的大語(yǔ)言模型，為校內(nèi)師生提供個(gè)性化的智能學(xué)習(xí)和研究輔助，讓學(xué)術(shù)探索更加高效和智能化！”

一切創(chuàng)新都源自生活，鳳凰大語(yǔ)言模型的構(gòu)想也是如此。數(shù)據(jù)科學(xué)學(xué)院的青年教師王本友教授對(duì)于學(xué)生的學(xué)習(xí)與科研需求一直心懷關(guān)切。在日常交流中，他經(jīng)常聽(tīng)到團(tuán)隊(duì)里的學(xué)生講述在處理海量學(xué)術(shù)數(shù)據(jù)和文獻(xiàn)時(shí)遇到的困難。深知學(xué)生們?cè)诩夹g(shù)和理論上的壓力，王本友教授決定以他的學(xué)術(shù)經(jīng)驗(yàn)，帶領(lǐng)這三位出色的學(xué)生共同探索一個(gè)解決方案，希望做出一款專屬于校內(nèi)師生的大語(yǔ)言模型，真正將人工智能與校園生活無(wú)縫地結(jié)合起來(lái)。王本友教授介紹，“我們要把大模型語(yǔ)言做到專業(yè)且簡(jiǎn)單易用，未來(lái)我們將會(huì)打造專屬于團(tuán)隊(duì)的大語(yǔ)言模型生態(tài)。從解決問(wèn)題出發(fā)，不一定要高大上，能解決問(wèn)題的方法就是好方法。這是一個(gè)非常有前景的項(xiàng)目，如果我們能開(kāi)發(fā)出一款智能化的大語(yǔ)言模型，能夠根據(jù)學(xué)生的需求進(jìn)行個(gè)性化輔助，定制化輸出結(jié)果，將會(huì)給學(xué)校師生帶來(lái)極大的助力！”

王本友教授在獲得成熟的構(gòu)思之后，立刻與博士生陳志鴻同學(xué)進(jìn)行了可行性的溝通，并與計(jì)算機(jī)科學(xué)與技術(shù)專業(yè)的本科生研究助理劉禹恒同學(xué)取得聯(lián)系，指導(dǎo)劉禹恒同學(xué)主導(dǎo)研究“鳳凰”項(xiàng)目。隨后，團(tuán)隊(duì)招募了三位研究助理加入團(tuán)隊(duì)，他們分別是來(lái)自大數(shù)據(jù)科學(xué)專業(yè)的本科生歐陽(yáng)愷瑞同學(xué)、張一笛同學(xué)和來(lái)自大數(shù)據(jù)研究院的研究助理宋定杰。他們?nèi)诤细髯缘膶I(yè)知識(shí)和熱情，通宵達(dá)旦地研究、探索和迭代。經(jīng)過(guò)數(shù)月的不懈努力，“鳳凰”大語(yǔ)言模型擬在8月中旬發(fā)布內(nèi)測(cè)版。

“鳳凰”大語(yǔ)言模型學(xué)生團(tuán)隊(duì)，從左至右依次為：

陳志鴻 2019級(jí)博士生 理工學(xué)院 思廷書(shū)院

劉禹恒 2020級(jí)本科生 數(shù)據(jù)科學(xué)學(xué)院?思廷書(shū)院?高中畢業(yè)于成都七中嘉祥外國(guó)語(yǔ)學(xué)校

歐陽(yáng)愷瑞 2021級(jí)本科生?數(shù)據(jù)科學(xué)學(xué)院?逸夫書(shū)院?高中畢業(yè)于廣東實(shí)驗(yàn)中學(xué)

張一笛 2021級(jí)本科生?數(shù)據(jù)科學(xué)學(xué)院?逸夫書(shū)院?高中畢業(yè)于哈爾濱第三中學(xué)

“鳳凰”大語(yǔ)言模型的技術(shù)特點(diǎn)

大模型發(fā)展到現(xiàn)在，研究從模型和算法轉(zhuǎn)到了以數(shù)據(jù)為中心（Data-centric）， Data-centric是一個(gè)新概念，研發(fā)團(tuán)隊(duì)秉持以數(shù)據(jù)為中心的計(jì)算方式，完成了數(shù)據(jù)工程，指令微調(diào)反饋學(xué)習(xí)和檢索增強(qiáng)等一系列關(guān)鍵步驟。

數(shù)據(jù)工程（Data engineering）:

數(shù)據(jù)工程是模型微調(diào)的關(guān)鍵，優(yōu)質(zhì)的數(shù)據(jù)源會(huì)極大地影響模型訓(xùn)練后的表現(xiàn)。在這一過(guò)程中，研發(fā)團(tuán)隊(duì)從香港中文大學(xué)（深圳）收集了豐富多樣的校內(nèi)數(shù)據(jù)，包括校園建設(shè)、教授信息、學(xué)生反饋等，數(shù)據(jù)量高達(dá)3萬(wàn)條；團(tuán)隊(duì)在此基礎(chǔ)上設(shè)計(jì)并構(gòu)建大規(guī)模數(shù)據(jù)收集、存儲(chǔ)和分析系統(tǒng)，同時(shí)利用ChatGPT在數(shù)據(jù)治理中發(fā)揮的重要作用，最終得到有組織、一致、高度可用的數(shù)據(jù)流。

指令微調(diào)（Instruction tuning）:

為了讓“鳳凰”模型更好地適用于校園場(chǎng)景，團(tuán)隊(duì)采用了漸進(jìn)式的兩階段模型訓(xùn)練策略。首先，在通用語(yǔ)料上對(duì)模型進(jìn)行了全參數(shù)量的指令微調(diào)，從而獲得了與人類(lèi)回復(fù)相一致的“鳳凰”基礎(chǔ)模型。在第二階段，團(tuán)隊(duì)運(yùn)用豐富多樣的校內(nèi)數(shù)據(jù)對(duì)模型進(jìn)行了進(jìn)一步的訓(xùn)練，讓其學(xué)習(xí)學(xué)校相關(guān)的知識(shí)，理解學(xué)生和家長(zhǎng)的問(wèn)題意圖，并能夠提供更貼近校園教學(xué)和研究的回復(fù)，從而提升了模型在校園場(chǎng)景中理解并回答特定問(wèn)題的能力。這樣的訓(xùn)練策略確保了“鳳凰”模型在校園環(huán)境中表現(xiàn)出色，為用戶提供了更加個(gè)性化和有價(jià)值的交互體驗(yàn)。

檢索增強(qiáng)（Retrieval-augmented generation）:

為了進(jìn)一步提高模型回答的正確性，團(tuán)隊(duì)在生成模型的基礎(chǔ)上添加了檢索器，設(shè)計(jì)了檢索增強(qiáng)算法并將自研的混合檢索算法結(jié)合，在模型生成的基礎(chǔ)回答上，將數(shù)據(jù)庫(kù)檢索出的相關(guān)語(yǔ)料注入到上下文語(yǔ)料，增強(qiáng)提示信息，生成更高準(zhǔn)確性的回答。

目前，英特爾公司專門(mén)選取“鳳凰”模型做CPU的適配，參考https://github.com/intel-analytics/BigDL，彰顯了模型的全球影響力和工業(yè)界影響力。鳳凰是第一個(gè)多語(yǔ)言開(kāi)源的類(lèi)ChatGPT的語(yǔ)言模型，根據(jù)第三方排行榜SuperCLUE瑯琊榜（中文通用大模型匿名對(duì)戰(zhàn)評(píng)價(jià)基準(zhǔn)）https://www.superclueai.com/的排名情況，它排名第五，為高校獨(dú)立開(kāi)發(fā)的首位。

香港中文大學(xué)（深圳）研發(fā)團(tuán)隊(duì)除了開(kāi)發(fā)了“鳳凰”，還同時(shí)開(kāi)發(fā)了專注于醫(yī)療健康領(lǐng)域的大模型“華佗GPT”。其中公開(kāi)資料顯示，2023年2月，研發(fā)團(tuán)隊(duì)發(fā)布的“華佗GPT”是首個(gè)國(guó)內(nèi)類(lèi)ChatGPT的醫(yī)療大模型，也是國(guó)內(nèi)公開(kāi)的首個(gè)通過(guò)多個(gè)醫(yī)療資格考試的大模型，目前線上已經(jīng)有十幾萬(wàn)用戶體驗(yàn)了“華佗GPT”的功能。

“鳳凰”豐富的應(yīng)用場(chǎng)景

以前，為了獲取校內(nèi)各領(lǐng)域的資訊，師生可能需要在數(shù)十個(gè)校內(nèi)公眾號(hào)間來(lái)回切換獲取信息。如今，有了“鳳凰”大模型，只需輕松提出問(wèn)題，“鳳凰”將為你深入研究，呈現(xiàn)準(zhǔn)確的信息，為你的學(xué)術(shù)和生活提供便捷的指引。

“鳳凰”不僅僅是一款應(yīng)用，更是你的智慧校園導(dǎo)航。想知道學(xué)校有幾個(gè)食堂？哪些菜品好吃實(shí)惠？想要了解某個(gè)學(xué)院的師資力量、講座訊息？別擔(dān)心，向“鳳凰”提問(wèn)，它會(huì)為你一一解答，讓你快速了解校園的方方面面。?

“鳳凰”大語(yǔ)言模型在校園內(nèi)有著廣泛的應(yīng)用場(chǎng)景，包括但不限于：

學(xué)術(shù)研究助力:

無(wú)論你是學(xué)生還是教師，都離不開(kāi)學(xué)術(shù)研究。對(duì)于論文寫(xiě)作，你可以請(qǐng)求“鳳凰”進(jìn)行潤(rùn)色，讓文章更加流暢。需要幫助優(yōu)化學(xué)習(xí)方法？它會(huì)為你提供寶貴的建議，助你在學(xué)術(shù)道路上前行。

科研項(xiàng)目支持:

科研路上的困難會(huì)被“鳳凰”輕松化解。無(wú)論是實(shí)驗(yàn)設(shè)計(jì)還是數(shù)據(jù)分析，它都能為科研團(tuán)隊(duì)提供關(guān)鍵支持，推動(dòng)創(chuàng)新成果的產(chǎn)出，讓科研更加高效。

校園信息查詢:

不必費(fèi)心到處查找，只需詢問(wèn)“鳳凰”，你就能獲取關(guān)于校園設(shè)施、行政流程、教授研究領(lǐng)域等方面的信息。在這個(gè)快節(jié)奏的學(xué)習(xí)環(huán)境中，它為你節(jié)省時(shí)間，讓你更專注于學(xué)術(shù)和生活。

“鳳凰”在具有香港中文大學(xué)（深圳）校內(nèi)知識(shí)的同時(shí)，在通用能力方面也達(dá)到了GPT的95%的水平，具有強(qiáng)大的智慧內(nèi)核。通過(guò)此技術(shù)，團(tuán)隊(duì)希望模型的輸出更加貼近校園現(xiàn)實(shí)，為校內(nèi)師生提供真正有用的智能化建議與支持。在使用期間，“鳳凰”研發(fā)團(tuán)隊(duì)深知數(shù)據(jù)安全與隱私保護(hù)的重要性。所有“鳳凰”大語(yǔ)言模型的應(yīng)用都遵循嚴(yán)格的數(shù)據(jù)隱私保護(hù)原則，確保師生的個(gè)人信息與學(xué)術(shù)數(shù)據(jù)。

“鳳凰”研發(fā)團(tuán)隊(duì)介紹

香港中文大學(xué)（深圳）和深圳市大數(shù)據(jù)研究院大模型團(tuán)隊(duì)包括王本友、萬(wàn)翔、孫若愚、李海洲幾位教授、蔣峰博士和高安凝哲博士，還有在讀博士生近十名。深圳市大數(shù)據(jù)研究院以數(shù)學(xué)為基礎(chǔ)，以數(shù)據(jù)為驅(qū)動(dòng)，以重大應(yīng)用為導(dǎo)向，聚焦大數(shù)據(jù)基礎(chǔ)理論與核心算法、大數(shù)據(jù)通用軟件與技術(shù)、大數(shù)據(jù)驅(qū)動(dòng)的智能應(yīng)用技術(shù)三大方向進(jìn)行理論研究和技術(shù)攻關(guān)，打造世界級(jí)的大數(shù)據(jù)研究機(jī)構(gòu)和協(xié)同研發(fā)平臺(tái)，服務(wù)于國(guó)家大數(shù)據(jù)發(fā)展戰(zhàn)略，推動(dòng)整合深圳市、粵港澳大灣區(qū)大數(shù)據(jù)科研和產(chǎn)業(yè)。

迄今，香港中文大學(xué)（深圳）和深圳市大數(shù)據(jù)研究院大模型團(tuán)隊(duì)獲得了IEEE TNNLS（CCF B）杰出論文獎(jiǎng), IEEE CIM杰出論文獎(jiǎng), NLPCC 2022（CCF B）最佳論文, NAACL 2019（CCF B）最佳可解釋NLP論文和ACM SIGIR 2017（CCF A）最佳論文提名獎(jiǎng)等多項(xiàng)獎(jiǎng)項(xiàng)。最近，由深圳市人才工作局、深圳市大數(shù)據(jù)研究院和香港中文大學(xué)（深圳）合作開(kāi)發(fā)的新型自然語(yǔ)言處理模型——“阿深”，在由深圳市委組織部、深圳市人才工作局主辦的“《深?lèi)?ài)你·圳等你》新書(shū)發(fā)布暨招才引智活動(dòng)”上正式發(fā)布?！鞍⑸睢笔且豢罨凇傍P凰”中文大語(yǔ)言模型底座進(jìn)行開(kāi)發(fā)的人才資訊大模型，涵蓋深圳生活導(dǎo)覽、創(chuàng)業(yè)就業(yè)政策、文旅環(huán)境消費(fèi)等多維度內(nèi)容，將為海內(nèi)外人才提供關(guān)于深圳的政策查詢、政策速配、服務(wù)資訊等多種功能服務(wù)。

在香港中文大學(xué)（深圳）的師生努力下，國(guó)產(chǎn)大語(yǔ)言模型將會(huì)融到學(xué)校教學(xué)科研的方方面面，孕育出更多智慧的火花，未來(lái)的發(fā)展令人期待?！傍P凰”大語(yǔ)言模型，不僅是校園中的學(xué)習(xí)助手，更是一位全面的知識(shí)伙伴。在“鳳凰”背后，是無(wú)數(shù)研究人員的辛勤付出和創(chuàng)新思維的結(jié)晶?！傍P凰”團(tuán)隊(duì)在探索自然語(yǔ)言處理領(lǐng)域取得了重大突破，通過(guò)深度學(xué)習(xí)技術(shù)，實(shí)現(xiàn)了對(duì)大規(guī)模數(shù)據(jù)的全面分析與理解，未來(lái)將為學(xué)校師生提供強(qiáng)大的學(xué)術(shù)助力。

“鳳凰”大語(yǔ)言模型是香港中文大學(xué)（深圳）在人工智能領(lǐng)域邁出的重要一步，“鳳凰”研發(fā)團(tuán)隊(duì)將在未來(lái)不斷精進(jìn)技術(shù)，為校園帶來(lái)更多創(chuàng)新與可能，幫助每一位師生在知識(shí)的海洋中展翅高飛，攜手并進(jìn)，走進(jìn)未來(lái)，共享智慧。“鳳凰”大語(yǔ)言模型將在8月中旬開(kāi)放內(nèi)部測(cè)試，歡迎關(guān)注。

讓我們一同迎接這個(gè)知識(shí)新時(shí)代的到來(lái)，與“鳳凰”一同探索無(wú)限可能！

傳訊及公共關(guān)系處（CPRO）出品

圖文由香港中文大學(xué)（深圳）“鳳凰”大語(yǔ)言模型團(tuán)隊(duì)提供