導(dǎo)讀

大型語(yǔ)言模型（LLM）的強(qiáng)悍性能已經(jīng)在不同的領(lǐng)域中展現(xiàn)了出來，并已經(jīng)可以實(shí)際應(yīng)用中展現(xiàn)其強(qiáng)大的能力。司空學(xué)社團(tuán)隊(duì)訓(xùn)練并開源了一個(gè)新的大模型 ——司空SiKong，也是國(guó)內(nèi)第一個(gè)基于中文建筑行業(yè)知識(shí)的大模型！

建筑領(lǐng)域的信息資源極其龐大且跨越學(xué)科廣泛，由于建筑行業(yè)的專業(yè)術(shù)語(yǔ)較多，各種建筑相關(guān)定義多數(shù)散落于建筑相關(guān)規(guī)范中?，F(xiàn)有的LLaMA和Alpaca模型，因缺乏中文建筑專業(yè)語(yǔ)料，因此在建筑領(lǐng)域，目前市面上的語(yǔ)言模型并不具備專業(yè)建筑人士對(duì)相關(guān)問題回答的信息判斷和語(yǔ)言整合能力。盡管其能生成內(nèi)容充分、語(yǔ)句連貫、經(jīng)過一定信息篩選的回答，但通常的回答都缺乏相應(yīng)的準(zhǔn)確性，對(duì)信息的來源沒有清晰的回答，沒有形成有條理回答方式，而現(xiàn)實(shí)的工作環(huán)境中對(duì)大模型的回答通常都具有上述要求，因此使得實(shí)際應(yīng)用中現(xiàn)有的大語(yǔ)言模型處理具體情況的能力有限，司空SiKong大模型便是基于此需求打造的。

建筑行業(yè)信息特點(diǎn)

對(duì)于基于中文建筑行業(yè)知識(shí)的大型語(yǔ)言模型，成功的搭建不僅取決于模型架構(gòu)的能力，而且同樣依賴于大量有效且準(zhǔn)確的訓(xùn)練數(shù)據(jù)。各種來源的建筑行業(yè)數(shù)據(jù)，具有獨(dú)特的特點(diǎn)。

建筑規(guī)范類：國(guó)內(nèi)建筑行業(yè)相關(guān)規(guī)范眾多，建筑規(guī)范本身具有時(shí)效性特點(diǎn)，需采用最新版建筑規(guī)范資料。且相同對(duì)象的規(guī)范在不同標(biāo)準(zhǔn)中有差異，在國(guó)家標(biāo)準(zhǔn)與地方標(biāo)準(zhǔn)中也有不同，需全面采集準(zhǔn)確資料。

名詞定義類：部分建筑專業(yè)名詞因南北方差異以及時(shí)代差異具有多個(gè)名稱，具體解釋存在差異，需對(duì)采集數(shù)據(jù)進(jìn)行充分處理。

工程做法類：相關(guān)工程做法相關(guān)信息，也具有時(shí)效性特點(diǎn)，需采用最新建筑工程做法，且同一構(gòu)造等做法多樣，要求信息全面。

司空SiKong大模型介紹

為解決現(xiàn)有使用需求，推動(dòng)行業(yè)智能化發(fā)展，司空學(xué)社團(tuán)隊(duì)利用指令微調(diào)和強(qiáng)化學(xué)習(xí)在 LLaMA和Alpaca大模型的基礎(chǔ)上，訓(xùn)練并開源了第一個(gè)基于中文建筑行業(yè)知識(shí)大模型 ——司空SiKong。司空SiKong 致力于通過學(xué)習(xí)文建筑行業(yè)知識(shí)數(shù)據(jù)，以使語(yǔ)言模型具備像專業(yè)建筑師一樣的信息判斷能力和信息整合的能力，同時(shí)保持對(duì)用戶流暢的交互和內(nèi)容的便捷性，使回答簡(jiǎn)潔準(zhǔn)確且具有條理。

模型構(gòu)成簡(jiǎn)介

本項(xiàng)目開源了經(jīng)過中文建筑學(xué)指令精調(diào)/指令微調(diào)（Instruct-tuning）的LLaMA-7B和Alpaca-7B模型。我們通過采集建筑行業(yè)基礎(chǔ)資料，構(gòu)建建筑行業(yè)數(shù)據(jù)集，對(duì)LLaMA和Alpaca進(jìn)行了指令微調(diào)，提高了司空SiKong 在中文建筑領(lǐng)域的問答效果。

優(yōu)化調(diào)整

司空SiKong 基于LLaMA原生的LLaMA-7B 和 Alpaca-7B基礎(chǔ)上進(jìn)行研發(fā)，在模型架構(gòu)、算法以及中文語(yǔ)匯等方面做了一系列優(yōu)化，主要體現(xiàn)在四方面：

1. 底層采用了微軟開源的DeepSpeed框架，能夠在深度學(xué)習(xí)階段具有GPU的分布式訓(xùn)練和優(yōu)化能力，大大提升了LLM大語(yǔ)言模型的訓(xùn)練速度；此外，在訓(xùn)練階段還采用了開源LMFlow框架，通過中文語(yǔ)料和本地知識(shí)庫(kù)的構(gòu)建，進(jìn)行建筑垂直領(lǐng)域的大模型微調(diào)；

2. 如前所述，司空SiKong?通過采用RAFT（Reward rAnked Fine-Tuning）對(duì)齊算法能夠取得更好的對(duì)齊效果，即將模型的輸出結(jié)果與期望的目標(biāo)結(jié)果進(jìn)行更好的匹配對(duì)齊，從而使得司空SiKong模型的回答更加準(zhǔn)確、有針對(duì)性，并避免無關(guān)聯(lián)回答的問題；

4. 在建筑領(lǐng)域的數(shù)據(jù)集構(gòu)建方面，基于建筑領(lǐng)域?qū)＜业膮⑴c和中國(guó)國(guó)家標(biāo)準(zhǔn)文件作為數(shù)據(jù)來源，司空SiKong能夠更好地適應(yīng)中文建筑領(lǐng)域的語(yǔ)言屬性。通過專家構(gòu)建的本地知識(shí)庫(kù)與擴(kuò)展中文語(yǔ)料，模型可以更好地學(xué)習(xí)和理解與建筑相關(guān)的術(shù)語(yǔ)、概念和規(guī)范，并提供具有建筑領(lǐng)域?qū)I(yè)性和準(zhǔn)確性的回答。

回答對(duì)比

我們?cè)诎l(fā)布前做了相當(dāng)大量的測(cè)試為了對(duì)比司空SiKong 和現(xiàn)有的基礎(chǔ)語(yǔ)言模型的性能差異，我們進(jìn)行了與現(xiàn)有的三個(gè)基礎(chǔ)模型進(jìn)行問答比較，測(cè)試結(jié)果可以說司空SiKong 在總體性能上表現(xiàn)顯著優(yōu)秀。例：

• 測(cè)試輸入：

• 圖書館中書架之間以及書架與墻體之間通道的最小寬度是多少？

• Llama輸出：

• 1.5m

• Alpaca輸出：

• 書架之間通道的最小寬度是0.5厘米，書架與墻體之間通道的最小寬度是0.5厘米。

• ChatGLM輸出：

• 圖書館中書架之間以及書架與墻體之間通道的最小寬度取決于不同國(guó)家和地區(qū)的法規(guī)和規(guī)定。一般來說，圖書館的書架通道應(yīng)該保證書籍的流通和檢索，因此最小寬度應(yīng)該能夠容納一個(gè)人的步行距離。

• SiKong司空輸出：

• 按照《圖書館建筑設(shè)計(jì)規(guī)范》（JGJ 38-2015）中規(guī)定，圖書館中書架之間以及書架與墻體之間通道的最小寬度按通道類型劃分為以下幾種情況：

1. 主通道中，開架的常用書架間隔不小于1.5m，閉架的常用書架間隔不小于1.2m，不常用書架間隔不小于1m；

2. 次通道中，開架的常用書架間隔不小于1.1m，閉架的常用書架間隔不小于0.75m，不常用書架間隔不小于0.6m；

3. 檔頭走道（即靠墻走道）中，開架的常用書架間隔不小于0.7m，閉架的常用書架間隔不小于0.6m，不常用書架間隔不小于0.6m；

4. 行道中，開架的常用書架間隔不小于1m，閉架的常用書架間隔不小于0.75m，不常用書架間隔不小于0.6m。

應(yīng)用范圍

通過結(jié)合以上這些開源的大模型構(gòu)建方式，司空SiKong 提供了一個(gè)全面可用的基于中文建筑行業(yè)知識(shí)的大模型，利用人工智能在建筑領(lǐng)域的研究、創(chuàng)新和實(shí)際應(yīng)用。它可以應(yīng)用在以下方面：

1.建筑輔助設(shè)計(jì)——大模型對(duì)建筑設(shè)計(jì)原理等相關(guān)學(xué)習(xí)，可對(duì)提交的建筑周邊環(huán)境進(jìn)行分析，得出最優(yōu)解釋。

2.建筑審圖指導(dǎo)——對(duì)符合數(shù)據(jù)交換標(biāo)準(zhǔn)的圖紙進(jìn)行審核，得出審查意見。

3.建筑綜合評(píng)分——大模型的優(yōu)勢(shì)即是可融合各專業(yè)相關(guān)標(biāo)準(zhǔn)，對(duì)建筑可做到實(shí)時(shí)調(diào)整，實(shí)時(shí)評(píng)分。

4.建筑初步教育——建筑教育將打破傳統(tǒng)教育模式，各科目之間做到交叉融合式學(xué)習(xí)路徑。

5.建筑環(huán)境模擬——通過圖像識(shí)別技術(shù)對(duì)實(shí)際建筑環(huán)境的瞬時(shí)記錄或周期記錄進(jìn)行分析評(píng)估，對(duì)單體圖元進(jìn)行識(shí)別重建，最終達(dá)到環(huán)境模擬預(yù)測(cè)。

6.建筑全生命周期預(yù)測(cè)——可對(duì)接各項(xiàng)信息源（市政，交通，氣象等），對(duì)相關(guān)建筑案例進(jìn)行數(shù)據(jù)篩選整合，構(gòu)建相關(guān)垂直模型，對(duì)項(xiàng)目進(jìn)行全周期預(yù)測(cè)。

開源司空

司空學(xué)社的形象是一只羊駝，是的，就是那個(gè)2013年被CNN評(píng)選的世界最可愛物種排行榜上排名第七，中國(guó)網(wǎng)民喜聞樂見的十大神獸之一，那是中國(guó)互聯(lián)網(wǎng)時(shí)代的開端和標(biāo)志，它代表了當(dāng)時(shí)網(wǎng)絡(luò)信息活動(dòng)全新的創(chuàng)造和傳播方式。ChatGPT的發(fā)展模式已經(jīng)證明其顛覆了傳統(tǒng)，我們也正積極地向新領(lǐng)域邁進(jìn)，司空學(xué)社以及司空SiKong 大模型的創(chuàng)立代表了司空學(xué)社在信息時(shí)代的開創(chuàng)和進(jìn)取精神。而更重要的是，像羊駝一樣，我們是聰明，高度群居的動(dòng)物，設(shè)計(jì)大師、土木老哥、結(jié)構(gòu)大佬，古建專家……我們是專業(yè)團(tuán)隊(duì)！

形象介紹

這是一只建筑羊駝，藝術(shù)氣息的建筑師標(biāo)志黑框眼鏡之下，清澈智慧的雙眼充滿對(duì)建筑設(shè)計(jì)的熱愛。背上的背包中永遠(yuǎn)塞滿了設(shè)計(jì)圖紙和行業(yè)規(guī)范，那是使夢(mèng)想照進(jìn)現(xiàn)實(shí)的橋梁。

這是一只技術(shù)羊駝，靠譜的IT大佬格子衫，隨身的高科技電子產(chǎn)品，左手AI技術(shù)，右手量子計(jì)算，技術(shù)宅將又一次拯救世界，為建筑行業(yè)遞來核心科技，走向未來。

這是一只土木羊駝，結(jié)構(gòu)，暖通，風(fēng)水，電氣，不再使各方互相折磨到白頭，高科技打灰的日子里，他將繼續(xù)用堅(jiān)實(shí)的雙手，豐富的經(jīng)驗(yàn)，托起走向未來的新建筑。

這是一只古建羊駝，木欣欣以向榮，泉涓涓而始流，中國(guó)人對(duì)空間的理解也許還藏在層樓疊榭的殿堂，疊山理水的園林，老先生把最細(xì)膩的描摹深藏在寫意的外表之下，雕梁畫棟只不過是遞與我們的開胃小菜而已。

司空學(xué)社對(duì)于此開源項(xiàng)目有自己的堅(jiān)持：

作為建筑相關(guān)行業(yè)從業(yè)人員，建筑行業(yè)正在積極順應(yīng)當(dāng)今高速發(fā)展的信息化社會(huì)，我們想要以高水準(zhǔn)的文建筑行業(yè)知識(shí)大模型，貢獻(xiàn)于行業(yè)的創(chuàng)新。給行業(yè)一個(gè)可用的、實(shí)用的中文語(yǔ)匯的大模型，一個(gè)能讓更多人能夠快速訓(xùn)練的專業(yè)大模型。大語(yǔ)言模型高速迭代，行業(yè)需求緊迫的行業(yè)態(tài)勢(shì)下，我們堅(jiān)持開源就是最好的方式。

研發(fā)團(tuán)隊(duì)

本項(xiàng)目由司空學(xué)社的劉鈞文、梁超、王屹卓、孫藝瑋、董廣龍、李英漢、賈一丁、王浩程、侯占民、何伊雯、武晉、李婧豪和馬英教授等完成。

致謝

感謝王非先生對(duì)本項(xiàng)目的資金支持。

本項(xiàng)目使用了LMFlow 與 Chinese-LLaMA-Alpaca 倉(cāng)庫(kù)，在此致謝！

合作單位

相關(guān)鏈接

Gitee：https://gitee.com/sikongsphere/sikong

Github：https://github.com/SikongSphere/sikong

技術(shù)交流群：