最早人工智能的模型是從 2012 年（AlexNet）問世，模型的深度和廣度一直在逐級(jí)擴(kuò)升，龍蜥社區(qū)理事單位浪潮信息于 2021 年 9 月也發(fā)布了大規(guī)模預(yù)訓(xùn)練模型——源 1.0。日前，浪潮信息 AI 算法研究員李峰帶大家了解大模型發(fā)展現(xiàn)狀和大模型基礎(chǔ)知識(shí)，交流大模型在產(chǎn)業(yè)應(yīng)用中起到的作用和 AI 服務(wù)新態(tài)勢。本文整理自龍蜥大講堂第 60 期，以下為本次分享原文。

大模型現(xiàn)狀

大家可以看到，人工智能的模型其實(shí)從最早 2012 年（AlexNet）問世以來，模型的深度和廣度一直在逐級(jí)擴(kuò)升，其中比較典型的是到了 2018 年的時(shí)候像 BERT-Large 等這種基于?BERT 和 transformer 結(jié)構(gòu)的模型產(chǎn)生之后，興起了一波模型規(guī)模和參數(shù)激增的熱潮。從 BERT?模型出現(xiàn)到 GPT-3 擁有 1750 億參數(shù)規(guī)模的千億級(jí)大模型，大規(guī)模預(yù)訓(xùn)練模型成了一個(gè)新的技術(shù)發(fā)展趨勢。

在 2021 年 9 月的時(shí)候，浪潮信息也發(fā)布了大規(guī)模預(yù)訓(xùn)練模型——源 1.0。參數(shù)量是 2457 億。站在現(xiàn)在的角度回看歷史的發(fā)展長河，模型的尺度和規(guī)模是在逐級(jí)擴(kuò)增的，這個(gè)趨勢仍舊是有愈演愈烈的一個(gè)情況。

整體大模型的興起繞不開一個(gè)基礎(chǔ)模型結(jié)構(gòu)?Transformer。Transformer 架構(gòu)相當(dāng)于是在接受輸入之后，在內(nèi)部進(jìn)行了一個(gè)類似于查表的工作，其中的注意力層之所以叫注意力，最大的作用直白的來看就是可以去學(xué)習(xí)關(guān)系，所謂的注意力就是當(dāng)我們看到一個(gè)東西的時(shí)候，對(duì)他感興趣我們就會(huì)多看一會(huì)兒，對(duì)另外一個(gè)東西沒有興趣或者對(duì)它的興趣比較低，則對(duì)它的關(guān)注會(huì)更少一點(diǎn)。這種注意力機(jī)制就是把所謂關(guān)注的程度轉(zhuǎn)換成了一個(gè)可衡量的指標(biāo)，這就是上面說到的注意力。

用這樣的一個(gè)注意力層可以更好的去學(xué)習(xí)所有輸入之間的一個(gè)關(guān)系，最后的一個(gè)前饋層又對(duì)輸入的信息進(jìn)行一個(gè)高效的存儲(chǔ)和檢索。這樣的一個(gè)模型結(jié)構(gòu)與之前基于 RNN 的模型結(jié)構(gòu)相比不僅是極大地提升了自然語言處理任務(wù)的精度，而且在計(jì)算性能上也遠(yuǎn)超 RNN 類的模型。Transformer 結(jié)構(gòu)的提出極大提升了計(jì)算效率和資源利用率?？梢钥吹剑谀Ｐ蜆?gòu)建和訓(xùn)練算法的設(shè)計(jì)過程當(dāng)中，算力和算法是相輔相成的，二者缺一不可，也就是我們提出的混合架構(gòu)的一個(gè)算法設(shè)計(jì)。

另外 Transformer 結(jié)構(gòu)之所以能夠做大做強(qiáng)，再創(chuàng)輝煌，另一個(gè)根本的原因在于互聯(lián)網(wǎng)上有相當(dāng)多海量數(shù)據(jù)可以供模型進(jìn)行自監(jiān)督學(xué)習(xí)，這樣才為我們龐大的水庫中投入了龐大的數(shù)據(jù)資源和知識(shí)。

正是這些好處奠定了 Transformer 結(jié)構(gòu)作為大模型基礎(chǔ)架構(gòu)的堅(jiān)實(shí)的地位。

基于對(duì)前人的研究調(diào)研以及實(shí)證研究之后，我們發(fā)現(xiàn)隨著數(shù)據(jù)量和參數(shù)量的增大，模型的精度仍舊可以進(jìn)一步的提升，即損失函數(shù)值是可以進(jìn)一步降低的。模型損失函數(shù)和模型的參數(shù)規(guī)模以及模型訓(xùn)練的數(shù)據(jù)量之間是呈現(xiàn)這樣一個(gè)關(guān)系，現(xiàn)在仍舊處在相對(duì)中間的水平上，當(dāng)模型和數(shù)據(jù)量的規(guī)模進(jìn)一步增大的時(shí)候仍舊可以得到大模型邊際效益帶來的收益紅利。

大模型正在作為一種新型的算法，成為整個(gè)人工智能技術(shù)新的一個(gè)制高點(diǎn)和一個(gè)新型的基礎(chǔ)設(shè)施?？梢哉f大模型是一種變革性的技術(shù)，他可以顯著的提升我們?nèi)斯ぶ悄苣Ｐ驮趹?yīng)用當(dāng)中的性能表現(xiàn)，將人工智能的算法開發(fā)的過程由傳統(tǒng)的煙囪式開發(fā)模式轉(zhuǎn)向一種集中式建模，解決 AI 應(yīng)用落地過程當(dāng)中的一些場景碎片化、模型結(jié)構(gòu)和模型訓(xùn)練需求零散化的痛點(diǎn)。

另外我們能看到的是對(duì)于大模型這個(gè)領(lǐng)域里面的玩家，主要是來自中美兩國。從 GPT3?發(fā)布以后我們國內(nèi)也開始相應(yīng)的有不同的參數(shù)規(guī)模的模型來去引領(lǐng)世界大模型業(yè)界的一個(gè)浪潮。正如我們之前提到的，在大規(guī)模預(yù)訓(xùn)練模型里面，模型參數(shù)提升帶來的邊際收益仍舊存在，所以大家在短期之內(nèi)仍舊在吃這種大模型參數(shù)提升帶來的收益紅利。

浪潮·源 1.0 大規(guī)模中文自然語言模型

浪潮·源 1.0 大規(guī)模中文自然語言處理模型有 2457 億參數(shù)，于 2019 年的時(shí)候 9 月份發(fā)布，在發(fā)布之時(shí)，憑借參數(shù)量登頂了業(yè)界規(guī)模最大的中文自然語言的單體模型。在這個(gè)模型整個(gè)構(gòu)建的時(shí)候，最大的一個(gè)問題就是數(shù)據(jù)，數(shù)據(jù)集從哪來，怎樣去構(gòu)建，包含哪些內(nèi)容。這里給大家列了一個(gè)表來簡單闡述，源 1.0 的中文數(shù)據(jù)集包含了有互聯(lián)網(wǎng)中文社區(qū)近五年的所有數(shù)據(jù)，以及一些公開數(shù)據(jù)集、百科、電子書等原始語料，總計(jì)超過 800TB。

我們對(duì)原始語料做了過濾轉(zhuǎn)換、去重，之后構(gòu)建了打分模型對(duì)所有的樣本語料進(jìn)行高質(zhì)量和低質(zhì)量的判定。經(jīng)過一系列的處理，最終我們得到了 5T 的高質(zhì)量中文語料數(shù)據(jù)集，這個(gè)語料數(shù)據(jù)也是目前中文語料當(dāng)中規(guī)模最大，質(zhì)量最高的語料庫。我們的一些合作伙伴也拿我們公開的語料數(shù)據(jù)進(jìn)行了一些模型的預(yù)訓(xùn)練，也是成功登頂了 CLUE 等測評(píng)榜單。

源大模型的結(jié)構(gòu)上也做了一些創(chuàng)新，一方面是 2457 億的參數(shù)，這個(gè)參數(shù)主要是基于 Transformer 的解碼層結(jié)構(gòu)進(jìn)行了堆疊，也首次面向計(jì)算的效率和精度優(yōu)化方面做了大模型的結(jié)構(gòu)設(shè)計(jì)，針對(duì) Attention 層和前饋層的模型空間結(jié)構(gòu)也做了一些優(yōu)化。我們改進(jìn)的注意力機(jī)制來聚焦文章內(nèi)部的聯(lián)系，之后在整個(gè)計(jì)算過程當(dāng)中我們也采用了張量并行、流水并行和數(shù)據(jù)并行三大并行方式來做模型的聯(lián)合優(yōu)化，從而提升模型訓(xùn)練的效率。

源大模型在整個(gè)訓(xùn)練階段，因?yàn)槟Ｐ徒Y(jié)構(gòu)和模型參數(shù)如此巨大，就需要更大規(guī)模的算力跟算力優(yōu)化的能力支持。浪潮信息供給了全球五分之一，中國 50% 的 AI 服務(wù)器，并且在 MLPerf 等等這些與 AI 計(jì)算相關(guān)的比賽和精度優(yōu)化、計(jì)算優(yōu)化的比賽當(dāng)中也是獲得了非常多的冠軍，也連任了 SpecML 的評(píng)委的主席，在這些過程當(dāng)中我們積累下來的 AI 計(jì)算和性能優(yōu)化方面的這些能力也在源 1.0 的訓(xùn)練過程當(dāng)中被重復(fù)的賦能，所以我們的源 1.0 在訓(xùn)練過程當(dāng)中，有非常強(qiáng)大的 AI 算力支持。

在大模型訓(xùn)練方面，我們采用了 2128 塊 GPU，在單個(gè) GPU 上的實(shí)際性能和理論性能的比值達(dá)到了 45%，遠(yuǎn)高于 GPT3 和 MT-NLG 等模型的訓(xùn)練過程。對(duì)于計(jì)算性能的提升會(huì)帶來非常大的綠色環(huán)保的收益以及人力成本、時(shí)間成本上的收益。

源 1.0 在中文的自然語言測評(píng)的 CLUE 的零樣本學(xué)習(xí)和小樣本學(xué)習(xí)測評(píng)當(dāng)中，獲得了業(yè)界第一的水平，在智源指數(shù) CUGE 上面的評(píng)測也獲得了總分第一的成績。模型除了可比較、可量化的評(píng)價(jià)標(biāo)準(zhǔn)以外也表現(xiàn)出非常豐富和出色的中文理解和創(chuàng)作能力，后文也有一些基于源 1.0 落地的應(yīng)用實(shí)例，跟合作伙伴一起開發(fā)和賦能的相關(guān)案例，也會(huì)做一個(gè)簡短的介紹。

我們?cè)?WebQA 和 CMRC 的測評(píng)上面也橫向比較了當(dāng)時(shí)業(yè)界我們國內(nèi)的一些模型的水平，可以看到在這兩個(gè)任務(wù)上面我們也達(dá)到了一個(gè)業(yè)界高水平的成績。

基于源 1.0 的技能模型構(gòu)建

大模型帶來優(yōu)異的精度表現(xiàn)和泛化能力，也帶來一系列的問題。模型太大，部署起來會(huì)比較麻煩，因此我們基于源 1.0 在不同領(lǐng)域上面針對(duì)不同的任務(wù)構(gòu)建了一些技能模型。

在實(shí)際應(yīng)用當(dāng)中，有 2000 多億參數(shù)的大模型加載所需的顯存空間就非常龐大。千億參數(shù)模型需要用 8 張 GPU 卡做部署，推理時(shí)間要達(dá)到 6 秒多，而用百億參數(shù)模型只需要 4 張?GPU 卡就可以實(shí)現(xiàn) 2 秒鐘的推理效率，推理效率的提升還是比較明顯的，這樣的模型在實(shí)際的應(yīng)用當(dāng)中，尤其是對(duì)實(shí)時(shí)性要求較高的應(yīng)用是非常占優(yōu)的。

大模型的更新也比較困難，2000 多億參數(shù)的模型，訓(xùn)練和微調(diào)的成本非常高，如果訓(xùn)練數(shù)據(jù)量少起不到對(duì)于這么龐大模型的所有參數(shù)更新的作用，如果訓(xùn)練數(shù)據(jù)規(guī)模大，雖然它的參數(shù)會(huì)被整體進(jìn)行更新，但是會(huì)帶來兩個(gè)比較大的問題，一個(gè)是訓(xùn)練成本本身會(huì)變得很高，另外一個(gè)就是大規(guī)模的數(shù)據(jù)在訓(xùn)練過程當(dāng)中有可能帶來災(zāi)難性的遺忘，這會(huì)導(dǎo)致模型本身原有的泛化能力會(huì)有所衰減。還有就是應(yīng)用困難，大模型的推理耗時(shí)相比傳統(tǒng)服務(wù)高好多，推理的資源需求也會(huì)大很多。千億參數(shù)的模型需要超過 600GB 的顯存進(jìn)行加載，推理時(shí)間超過 6 秒。因此我們希望采用知識(shí)遷移和模型壓縮的方式來實(shí)現(xiàn)模型蒸餾。

為了構(gòu)建技能模型我們對(duì)一些典型場景進(jìn)行了數(shù)據(jù)收集，一種是古文，古詩文是中國傳統(tǒng)文化的一個(gè)藝術(shù)結(jié)晶，因此我們希望能夠通過現(xiàn)代的技術(shù)去挖掘古代的文學(xué)之美，所以我們?nèi)ナ占盼念惖乃械臄?shù)據(jù)和樣本，然后去訓(xùn)練一個(gè)古文模型來去實(shí)現(xiàn)讓大模型來做吟詩作對(duì)的這樣一個(gè)能力。另一個(gè)是對(duì)話場景，我們對(duì)于自由對(duì)話場景收集了超過 2GB，覆蓋多領(lǐng)域多話題的自由對(duì)話數(shù)據(jù)，以它為基礎(chǔ)，我們后續(xù)要進(jìn)行模型的蒸餾。

關(guān)于中英文翻譯場景，我們收集了超過 145GB 的英文書籍和百科、新聞等國際官方文檔，以及他們對(duì)應(yīng)的中文翻譯，期望在后續(xù)可以做翻譯的模型。還有一個(gè)是問答場景。我們共收集了超過 3.9G 的公開知識(shí)，包括醫(yī)療、百科、金融等等多個(gè)領(lǐng)域。期望在后續(xù)可以去做問答的模型來匹配這樣的一個(gè)知識(shí)問答場景。

無論是在做什么樣的模型的時(shí)候，算法里面叫百算數(shù)為先，無論構(gòu)建什么樣的算法，我們都要從應(yīng)用場景出手，在我們的模型開發(fā)實(shí)踐過程當(dāng)中都是以場景和場景所需要的數(shù)據(jù)著手，首先進(jìn)行數(shù)據(jù)準(zhǔn)備，之后才是相應(yīng)的模型算法上面的一個(gè)開發(fā)工作。

在傳統(tǒng)意義上或者是在過去我們的一些算法實(shí)踐當(dāng)中，模型壓縮一般是壓縮到 60%、50%，甚至相對(duì)大一點(diǎn)的時(shí)候把模型壓縮到原有模型的 40%，我們想要把千億參數(shù)模型進(jìn)行?10 倍壓縮，然后我們?nèi)ヌ剿髟谶@個(gè)壓縮過程當(dāng)中所使用的方法，從相應(yīng)的實(shí)踐當(dāng)中去積累經(jīng)驗(yàn)，進(jìn)一步把百億參數(shù)模型再往億級(jí)參數(shù)模型去壓縮。

想要做模型壓縮，第一個(gè)是需要確定參數(shù)的初始化方法：一種是采用 PKD 的 skip 方式，采用跳層的方式去保留其中需要的層數(shù)，使得模型寬度保持不變的情況下讓深度降低，從而達(dá)到減少參數(shù)量的目的，這種方式會(huì)使模型的抽象表達(dá)的能力變?nèi)酢?/p>

第二種方式是采用 Hiddensizetransformation，模型的深度不變，而把模型寬度上面進(jìn)行一個(gè)壓縮，但模型特征抽取的能力就會(huì)變得非常弱，從我們的實(shí)踐當(dāng)中也發(fā)現(xiàn)采用這樣的線性壓縮變換都會(huì)導(dǎo)致模型在訓(xùn)練過程當(dāng)中的穩(wěn)定性變差，模型收斂會(huì)呈現(xiàn)一個(gè)波動(dòng)的狀態(tài)。

第三種方式是基于預(yù)訓(xùn)練的方法，根據(jù)期望的訓(xùn)練時(shí)長和模型推理的延遲等要求，預(yù)先設(shè)定相應(yīng)的模型結(jié)構(gòu)，在已有的數(shù)據(jù)上做預(yù)訓(xùn)練，把這個(gè)預(yù)訓(xùn)練出來的模型當(dāng)做學(xué)生模型，在此基礎(chǔ)上再用專業(yè)數(shù)據(jù)集結(jié)合千億參數(shù)模型，對(duì)這個(gè)百億參數(shù)模型進(jìn)行進(jìn)一步的知識(shí)蒸餾，采用這樣的方式降低了模型開發(fā)的成本，同時(shí)可以很好的保留模型寬度跟深度上的一些結(jié)構(gòu)。

第二個(gè)問題是模型的蒸餾的策略。蒸餾的時(shí)候究竟是以漸進(jìn)式的知識(shí)遷移方式為主還是以輔助式的知識(shí)遷移的方式來進(jìn)行模型蒸餾。漸進(jìn)式知識(shí)遷移的精度和性能表現(xiàn)是比較好的，但是計(jì)算成本很高。

除了以上，還有一種模型壓縮的方式是直接同步的指導(dǎo) studentmodel 里面對(duì)應(yīng)的對(duì)應(yīng)層，在 loss 層面上面做一個(gè)加權(quán)，采用這樣的方式叫?AKT 的方式，這兩種方式的模型精度表現(xiàn)上面差異不大，但是對(duì)于采用 AKT 的方式，在一次訓(xùn)練過程當(dāng)中可以同步的去更新所有的 Transformer 結(jié)構(gòu)里面所需要的參數(shù)，這樣它的計(jì)算就遠(yuǎn)比漸進(jìn)式的方式計(jì)算開銷要小很多。所以浪潮信息采用 AKT 的方式來進(jìn)行模型壓縮。transformer 結(jié)構(gòu)里面包含的主要有三個(gè)東西：Embedding、Hiddenstate 還有 Attentionmatrics。

如果在 Embedding 跟 Hiddenstate 上面做知識(shí)遷移，蒸餾前后的矩陣維度是不匹配的。因此我們對(duì) Attentionmatrics 里面 K、Q、V 三個(gè)矩陣做知識(shí)蒸餾，可以保證一方面維度不需要去考慮這個(gè)問題，另外一方面，在 transformer 當(dāng)中，在最上面的內(nèi)容里其實(shí)提到過，transformer 里面的 K、Q、V 矩陣，一方面做了知識(shí)的存儲(chǔ)，另外一方面，可以最大限度的保留知識(shí)跟關(guān)系之間的一些信息。

最終的實(shí)驗(yàn)結(jié)果，百億參數(shù)的模型在 FewCLUE 上面與千億參數(shù)模型進(jìn)行比較，可以看到模型的精度、損失是相對(duì)比較小的，是可以接受的。而計(jì)算資源的需求從 8 個(gè) GPU 下降到了 4GPU，推理延遲也從 6 秒一直降至 2 秒，推理性能提升非常顯著。在 webQA 的問答數(shù)據(jù)集上進(jìn)行測評(píng)，可以看到百億參數(shù)的模型，因?yàn)樵跇?gòu)建過程當(dāng)中，經(jīng)過了知識(shí)蒸餾，得到的性能表現(xiàn)甚至優(yōu)于了原來直接訓(xùn)練出來的千億參數(shù)模型，也是達(dá)到了業(yè)界領(lǐng)先的程度。

我們秉承著構(gòu)建開源社區(qū)，提升大家在大模型里面的應(yīng)用能力，做了大模型的開源開放計(jì)劃，構(gòu)建了開源的一個(gè)官方網(wǎng)站（air.inspur.com），針對(duì)大學(xué)或科研機(jī)構(gòu)的人工智能研究團(tuán)隊(duì)、浪潮信息的元腦生態(tài)伙伴，還有各種智能計(jì)算中心，以及對(duì)于中文自然語言理解和大模型感興趣的各類開發(fā)人員和開發(fā)者進(jìn)行免費(fèi)開放，大家可以通過官網(wǎng)進(jìn)行申請(qǐng)注冊(cè)。開源開放的內(nèi)容包括在官網(wǎng)上有模型的 API，以及高質(zhì)量中文數(shù)據(jù)集和相應(yīng)的處理代碼開放出了 1T 的數(shù)據(jù)，這些只需在官網(wǎng)上進(jìn)行申請(qǐng)就行。

另外，模型訓(xùn)練推理和應(yīng)用的相關(guān)代碼也在 github 上進(jìn)行了開源，我們秉持一個(gè)開放的態(tài)度，鼓勵(lì)并且面向 AI 芯片的合作伙伴與大家合作，做模型相關(guān)的遷移和開發(fā)工作。

上圖展示我們開源開放的一些工具，在官網(wǎng)上面我們構(gòu)建的一個(gè) APIExp 的線上測試工具，可以零代碼的去實(shí)現(xiàn)對(duì)應(yīng)參數(shù) API 的交互和實(shí)驗(yàn)。另外，我們也提供了沙箱，通過簡單的設(shè)置，就可以展示出想要設(shè)計(jì)的開發(fā)應(yīng)用，在上線之后大概是一個(gè)什么樣的交互方式和交互的結(jié)果。

源 1.0 大模型創(chuàng)新及實(shí)踐

最后，大模型在開源開放之后也迎來了非常多的合作，吸引了超過一千三百多的開發(fā)者，來自不同的行業(yè)和不同的應(yīng)用場景，注冊(cè)并基于我們的源 1.0 大模型，進(jìn)行不同應(yīng)用的開發(fā)。這里給大家看到的是一些簡單的事例，如圖是我們和西安筷子幫共同去開發(fā)的公文寫作助手，可以支持總結(jié)報(bào)告、學(xué)習(xí)心得等等內(nèi)容的輔助寫作。針對(duì)長篇寫作內(nèi)容的場景里，我們?cè)诳煽匚谋旧缮厦孀隽艘幌盗械难芯?，解決長文本內(nèi)容偏移的問題，生成的文本的語意的一致性也是比同類技術(shù)提升了 26%。

另外我們做了智能問答系統(tǒng)，在內(nèi)部的智能客戶的機(jī)器人上面，問題匹配率也是達(dá)到了?92.6%，然后依賴客服機(jī)器人去解決問題的成功率達(dá)到 65%。整體的應(yīng)用使用也是有所提升，這一個(gè)項(xiàng)目也是獲得了今年哈佛商業(yè)評(píng)論里面鼎革獎(jiǎng)的年度技術(shù)突破獎(jiǎng)。

還有一些比較典型的應(yīng)用，這個(gè)是和我們的開發(fā)者，一起來做的一個(gè) PoC 項(xiàng)目，面向數(shù)字社區(qū)的助理。開發(fā)者面向數(shù)字社區(qū)的工作人員，提供了一款數(shù)字助理，通過采用大模型來模擬到居委會(huì)進(jìn)行投訴，或者是進(jìn)行咨詢的居民，然后來模擬他們的對(duì)話，并且對(duì)工作人員的回答做出一個(gè)判斷，并且予以評(píng)分。通過這樣的方式來提高工作人員面對(duì)突發(fā)情況的應(yīng)對(duì)能力。

在另外一個(gè)場景里我們跟香港的浸會(huì)大學(xué)的教授一起基于大模型自然語言處理能力，開發(fā)一種心理輔導(dǎo)的培訓(xùn)機(jī)器人。這種也是基于這樣的反向思維，讓 AI 去承擔(dān)心理咨詢對(duì)話當(dāng)中的求助者的角色，讓咨詢師根據(jù)心理來做求助的患者。

通過這樣的方式，我們可以用大模型模擬可能存在問題的輸入，通過標(biāo)準(zhǔn)工作者的工作內(nèi)容去得到相應(yīng)標(biāo)準(zhǔn)的答案。這其實(shí)也是互聯(lián)網(wǎng)思維的一個(gè)非常典型的叫羊毛出在豬身上，我們通過這樣的方式，也可以獲取非常多標(biāo)準(zhǔn)的數(shù)據(jù)集和針對(duì)應(yīng)用場景下的標(biāo)準(zhǔn)數(shù)據(jù)集，有這些數(shù)據(jù)的情況下，反過來之后，我們?cè)賹?duì)大模型做微調(diào)之后模型就有能力去扮演工作人員的角色，然后對(duì)心理咨詢的患者直接進(jìn)行輔導(dǎo)。這樣的過程其實(shí)就是在 ChatGPT 當(dāng)中提到的 RLHF 的人環(huán)強(qiáng)化學(xué)習(xí)的一種合理的運(yùn)用。

本文使用 文章同步助手 同步