第二期「瀾舟NLP分享會(huì)」在 8 月 20?日?qǐng)A滿落幕，本期主題為《金融 NLP 場景下，大模型技術(shù)應(yīng)用趨勢》，我們邀請(qǐng)到來自中科院軟件所中文信息處理實(shí)驗(yàn)室研究員韓先培分享演講“UIE：基于統(tǒng)一結(jié)構(gòu)生成的通用信息抽取”。

錯(cuò)過直播的小伙伴可以通過 B 站“瀾舟孟子開源社區(qū)”、微信視頻號(hào)“瀾舟科技”觀看回放視頻。另外，大家可以關(guān)注本公眾號(hào)，在后臺(tái)回復(fù)關(guān)鍵詞“0820”獲取 PPT 資料。? ??

本文根據(jù)中科院軟件所中文信息處理實(shí)驗(yàn)室研究員韓先培在「瀾舟 NLP 分享會(huì)」上的演講整理。
全文約?6235?字，預(yù)計(jì)閱讀時(shí)長?20?分鐘。

背景

信息抽取，目的在于從各種信息源中抽取知識(shí)，并將其集成到現(xiàn)有的結(jié)構(gòu)化知識(shí)庫中。通常我們抽取的知識(shí)類別包含三種：實(shí)體、關(guān)系與事件。實(shí)體包括人名、地名、機(jī)構(gòu)名等；關(guān)系包含如 CEO 的關(guān)系、親子關(guān)系、部分整體關(guān)系等；事件通常與我們關(guān)心的事件有關(guān)，例如總統(tǒng)的選舉、會(huì)議和恐怖襲擊等。

信息抽取的難點(diǎn)

信息抽取的難點(diǎn)包括多樣的抽取目標(biāo)、相異的復(fù)雜結(jié)構(gòu)與變化的領(lǐng)域需求等。
首先，與傳統(tǒng)的 NLP 任務(wù)不一樣，信息抽取的目標(biāo)是非常多樣的。我們可能需要抽取實(shí)體、關(guān)系、事件、情感等等。第二，信息抽取的目標(biāo)具有復(fù)雜結(jié)構(gòu)，如圖 1 下方表格所示，第一行的實(shí)體是 Span 結(jié)構(gòu)，即字符串結(jié)構(gòu)，而關(guān)系是三元組的結(jié)構(gòu)。在第二個(gè)例子中，關(guān)系是一個(gè) Work-For 的關(guān)系，它表達(dá)的是 Steven 喬布斯和 Apple 之間的 Work-For 的關(guān)系。第三個(gè)例子就是一個(gè)復(fù)雜的框架結(jié)構(gòu)。第三個(gè)難點(diǎn)是其變化的領(lǐng)域需求。例如，如果要抽取醫(yī)療領(lǐng)域的知識(shí)，通常抽取的對(duì)象是疾病、藥物、治療手段等。如果要做金融領(lǐng)域的相關(guān)應(yīng)用，抽取的對(duì)象是公司、管理人員、財(cái)務(wù)事件等。如果要做輿情相關(guān)的應(yīng)用，抽取的對(duì)象又會(huì)不同，需要抽取國家、政黨和選舉等。

信息抽取現(xiàn)狀

首先，根據(jù)任務(wù)不同，會(huì)有任務(wù)特定的架構(gòu)。例如，如果做命名實(shí)體識(shí)別，會(huì)使用序列標(biāo)注模型。如果做關(guān)系抽取，會(huì)使用關(guān)系分類等模型。這就導(dǎo)致，要做信息抽取模型，就需要有專業(yè)人士進(jìn)行調(diào)優(yōu)，根據(jù)情況選擇序列標(biāo)注模型、 span 的分類模型或者閱讀理解模型等。

第二，由于信息抽取任務(wù)的獨(dú)立性，我們會(huì)訓(xùn)練非常多相互獨(dú)立的模型。不同任務(wù)的信息抽取模型被單個(gè)訓(xùn)練，相互之間沒有共享。最后導(dǎo)致的結(jié)果是一個(gè)公司可能需要管理成百上千個(gè)信息抽取的模型。

最后，信息抽取需要極高的構(gòu)建成本。正如前文所說，做不同領(lǐng)域需求，需要訓(xùn)練不同的信息抽取模型，還需要專家設(shè)計(jì)特定的 schema 并構(gòu)建訓(xùn)練的資源，如標(biāo)注語料、收集詞典等。
總的來說，多樣的抽取任務(wù)，各種各樣的監(jiān)督信號(hào)，各種各樣的模型架構(gòu)和各種各樣不同的知識(shí)領(lǐng)域，導(dǎo)致信息抽取目前的現(xiàn)狀是：信息抽取是一個(gè)具有復(fù)雜架構(gòu)，具有爆炸模型，成本還極高的過程。

信息抽取研究目標(biāo)：Universal IE

針對(duì)上述問題，我們希望構(gòu)建一個(gè)通用的信息抽取模型。因此，我們有以下三個(gè)研究目標(biāo)：

首先，我們希望能夠使用一個(gè)單一的架構(gòu)來解決各種各樣的信息抽取任務(wù)。正如圖 2 右側(cè)表格所示，我們希望把復(fù)雜的實(shí)體抽取、關(guān)系抽取、事件抽取和情感識(shí)別的所有任務(wù)，最終都能使用統(tǒng)一的架構(gòu)解決。
第二，我們希望能夠有一種按需解碼機(jī)制，來控制特定的任務(wù)、場景和設(shè)定下的抽取目標(biāo)。例如，我們希望有一種機(jī)制可以告訴模型，做醫(yī)療的時(shí)候，我們就只抽取醫(yī)療領(lǐng)域的知識(shí)；做情感的時(shí)候，就只需要抽取情感相關(guān)的知識(shí)。
第三個(gè)，我們希望有一種通用的能力來捕捉不同抽取任務(wù)間可以共享的基礎(chǔ)能力。例如，我們希望所有的命名實(shí)體識(shí)別模型都可以共享命名實(shí)體識(shí)別的能力，所有關(guān)系抽取、事件抽取都可以共享結(jié)構(gòu)抽取的能力。

信息抽取研究工作：Universal IE

針對(duì)上文提到的三個(gè)目標(biāo)，我們也有對(duì)應(yīng)的三種研究工作：

• 首先，針對(duì)單一架構(gòu)的目標(biāo)，我們提出了一個(gè)文本到結(jié)構(gòu)（Text-to-Structure）的生成架構(gòu)；

• 針對(duì)按需解碼，我們提出了一種基于提示語（Prompt）結(jié)構(gòu)的約束解碼的機(jī)制；

• 針對(duì)通用能力的需求，我們提出了預(yù)訓(xùn)練信息抽取的大模型。

接下來將分三方面介紹我們的研究工作：
單一架構(gòu)：Text2Structure 統(tǒng)一生成架構(gòu)如前文所述，信息抽取有各種各樣的任務(wù)，因此在這個(gè)方面我們工作的目的是將各種任務(wù)特定的架構(gòu)統(tǒng)一到一個(gè)任務(wù)的通用架構(gòu)中。我們發(fā)現(xiàn)，不同的 IE 任務(wù)都可以定義為文本到結(jié)構(gòu)的生成任務(wù)。

如圖 3 右下角所示，對(duì)于“物理學(xué)家愛因斯坦訪問紐約”這樣的任務(wù)，對(duì)于傳統(tǒng)的實(shí)體識(shí)別任務(wù)來說，它的結(jié)構(gòu)是“【人物】愛因斯坦【地點(diǎn)】紐約”。對(duì)于事件抽取任務(wù)來說，它的結(jié)構(gòu)是“【事件】訪問【主語】愛因斯坦【地點(diǎn)】紐約”。關(guān)系抽取則是“【關(guān)系名】愛因斯坦 物理學(xué)家”。我們可以發(fā)現(xiàn)，所有 IE 任務(wù)本質(zhì)上都是文本到結(jié)構(gòu)的生成。而生成的結(jié)構(gòu)由抽取結(jié)構(gòu)和需求 schema 決定：

• 實(shí)體的結(jié)構(gòu)就是實(shí)體類型+Span；

• 關(guān)系就是關(guān)系類型/論元類型+Triple；

• 事件就是事件類型/論元類型+Frame 的結(jié)構(gòu)。

基于這樣的觀察，我們認(rèn)為所有的信息抽取任務(wù)都可以使用序列到結(jié)構(gòu)生成網(wǎng)絡(luò)來進(jìn)行統(tǒng)一建模。例如輸入一個(gè)句子，就可以生成出我們想要抽取出來的結(jié)構(gòu)。這個(gè)過程的核心難點(diǎn)在于，我們的抽取目標(biāo)是不同的。如對(duì)于命名實(shí)體識(shí)別，它的目標(biāo)結(jié)構(gòu)是文本塊結(jié)構(gòu)。而事件的結(jié)構(gòu)是多元記錄結(jié)構(gòu)，例如對(duì)于離職這一事件是由觸發(fā)詞“離開”、人物和源供職地構(gòu)成，對(duì)于入職是由觸發(fā)詞“加入”、任務(wù)和新供職地構(gòu)成的。此外還有基于聚類的簇狀結(jié)構(gòu)。例如對(duì)于離職事件，可能會(huì)有多個(gè)句子來表示同一個(gè)事件。最后還可能存在嵌套結(jié)構(gòu)，例如在“阿根廷國家隊(duì)隊(duì)長梅西”這句話中，“阿根廷”被嵌套在“阿根廷國家隊(duì)隊(duì)長”這一職位實(shí)體中。
針對(duì)這一挑戰(zhàn)，我們的主要貢獻(xiàn)是提出了信息抽取的基本能力啟發(fā)的結(jié)構(gòu)化抽取語言（SEL）。具體來說，我們發(fā)現(xiàn)所有信息抽取的基本能力都包含以下兩種：

• 定位信息點(diǎn)能力：發(fā)現(xiàn)文本中的信息點(diǎn)，例如實(shí)體、事件觸發(fā)詞等。

• 關(guān)聯(lián)信息點(diǎn)能力：建立信息點(diǎn)之間聯(lián)系，如關(guān)系論元、事件的論元等。

基于這樣的發(fā)現(xiàn)，我們提出了一種將這兩種能力用統(tǒng)一的結(jié)構(gòu)表示出來的信息抽取的結(jié)構(gòu)化抽取語言。如圖 4 下方所示，給出了針對(duì)“喬布斯在 1997 年成為了蘋果公司的CEO”這一句子的結(jié)構(gòu)化抽取語言實(shí)例。
可以看到，我們會(huì)在抽取源中定位信息點(diǎn)并將他表示為 span 的一種形式，如喬布斯這里被我們用“[人物：喬布斯]”來表示；將關(guān)系表示為元組的結(jié)構(gòu)，如“[人物：喬布斯（供職于：蘋果公司）]”。通過這種統(tǒng)一的結(jié)構(gòu)化表示語言，我們就可以把所有信息抽取目標(biāo)轉(zhuǎn)化為一個(gè) token 序列。

如圖5，展示了 Text2Structure 網(wǎng)絡(luò)的整體架構(gòu)。
如前文所述，信息抽取的第二個(gè)難點(diǎn)在于如何告訴 Text2Structure 我們想要抽取的信息（需求 Schema）是什么以及如何約束文本到結(jié)構(gòu)模型，使其能生成我們需要的、正確的目標(biāo)結(jié)構(gòu)，而不生成非法結(jié)構(gòu)。針對(duì)這兩個(gè)需求，我們分別做了兩種工作：

• 針對(duì)如何在抽取過程中區(qū)分不同抽取任務(wù)的問題，我們提出了一種基于提示語 Prompt 的目標(biāo)信息的指導(dǎo)機(jī)制；

• 針對(duì)如何生成合法的表達(dá)式，我們提出了一種結(jié)構(gòu)約束的解碼機(jī)制。

按需解碼：基于 Prompt 的結(jié)構(gòu)約束解碼機(jī)制

首先，我們將介紹基于提示語 Prompt 的目標(biāo)信息指導(dǎo)機(jī)制。具體來說，我們將 schema 的信息轉(zhuǎn)換為生成過程的提示語，這樣一個(gè)提示語就可以指導(dǎo) UIE 模型生成正確的信息，同時(shí)也能夠告訴模型從原始文本中定位正確的信息。那么大家可以看下面的例子。

如圖 6 所示，spot 提示語告訴模型去定位 person 實(shí)體，asso 同時(shí)抽取 work for 的關(guān)系?？梢钥吹?，基于這樣的提示語，我們就可以從這樣一個(gè)句子中抽取出“喬布斯是為蘋果公司工作”這樣一條知識(shí)。如果給同樣的句子的提示語是“開始職位 start-position”，它抽取出來的知識(shí)又不相同。
基于提示語，我們還做了第二個(gè)工作，就是結(jié)構(gòu)受限的解碼（Constrained Decoding）。我們將生成的過程視為對(duì)前綴樹的搜索，生成合法的結(jié)構(gòu)抽取表達(dá)式，并根據(jù)生成過程動(dòng)態(tài)提供合法詞表。通過將類別框架和文本片段建模為一個(gè)生成的前綴樹的方式，將生成過程視為對(duì)前綴樹的搜索，約束了解碼空間并降低了解碼難度，同時(shí) schema 的約束還可以保證結(jié)構(gòu)和語義上的合法性。
通用能力：預(yù)訓(xùn)練 IE 大模型
最后，在通用能力方面，我們提出了預(yù)訓(xùn)練信息抽取大模型。這一部分工作的主要問題包括如何建模并學(xué)習(xí)信息抽取的通用基礎(chǔ)能力與面向異構(gòu)監(jiān)督的大規(guī)模預(yù)訓(xùn)練。

• 建模信息抽取的通用基礎(chǔ)能力

不同信息抽取任務(wù)之間共享大量的基礎(chǔ)能力。例如，不同的命名實(shí)體識(shí)別任務(wù)之間，都要共享名詞短語的定位能力。如果我們能夠共享名詞的這種短語定位能力，我們就可以針對(duì)性地提升命名實(shí)體識(shí)別的性能。再如，不同關(guān)系抽取共享的都是實(shí)體的關(guān)聯(lián)能力，不管是什么關(guān)系，本質(zhì)上都是基于句子來識(shí)別實(shí)體之間的關(guān)系。最后，不管是關(guān)系抽取也好，事件抽取也好，它本質(zhì)上建模的基礎(chǔ)能力都是把自然語言句子轉(zhuǎn)化為一個(gè)目標(biāo)結(jié)構(gòu)的能力。

• 面向異構(gòu)監(jiān)督的大規(guī)模預(yù)訓(xùn)練

我們發(fā)現(xiàn)互聯(lián)網(wǎng)上存在海量的弱監(jiān)督資源，例如結(jié)構(gòu)化數(shù)據(jù) DBpedia、Yago 等；還有遠(yuǎn)距離對(duì)齊數(shù)據(jù)，例如 Info 信息框、Wikidata 等；還有非結(jié)構(gòu)化的數(shù)據(jù)，如 Wikipedia 等。
基于這些觀察，通過把海量異質(zhì)的弱監(jiān)督資源如 Wikipedia、Wikidata 等，通過一種通用能力的大規(guī)模預(yù)訓(xùn)練，得到通用 IE 能力的大模型。基于這樣一個(gè)大模型，我們可以再去設(shè)計(jì)能力遷移的按需微調(diào)和解碼機(jī)制，最終將通用能力高效地應(yīng)用于不同的信息抽取任務(wù)中，例如實(shí)體的識(shí)別任務(wù)、關(guān)系的抽取任務(wù)、事件的抽取任務(wù)等。
那么，如何從異質(zhì)的監(jiān)督中獲取信息抽取的通用基礎(chǔ)能力就成為我們主要關(guān)注的問題。最后我們完成了將不同的監(jiān)督都轉(zhuǎn)化為統(tǒng)一的學(xué)習(xí)任務(wù)，進(jìn)行大規(guī)模的預(yù)訓(xùn)練任務(wù)的工作。

實(shí)驗(yàn)

具體來說，我們構(gòu)建了三種類型的語料庫，將異質(zhì)間的數(shù)據(jù)統(tǒng)一成<文本，結(jié)構(gòu)>形式：

如圖 7 所示，第一種是平行數(shù)據(jù)的數(shù)據(jù)對(duì)，左側(cè)是文本，右側(cè)是它抽取出來的知識(shí)，大家可以看圖 7 第一個(gè)例子。輸入是“Steve 喬布斯在 1997 年成為了Apple 蘋果公司的 CEO”，輸出是 <CEO(Steve,Apple)> 這樣一個(gè)三元組。這個(gè)平行數(shù)據(jù)主要通過對(duì)齊 Wikidata 和 Wikipedia 里=得到。第二類數(shù)據(jù)就是結(jié)構(gòu)的單語數(shù)據(jù)。我們把來自 ConceptNet 和 Wikipedia 的所有知識(shí)都抽取了出來。第三類是文本的單語數(shù)據(jù)，將來自英文維基百科的所有數(shù)據(jù)提取出來。我們最終一共構(gòu)建了 6500 萬對(duì)預(yù)訓(xùn)練的語料，并且把這些語料都統(tǒng)一建模成一種文本到結(jié)構(gòu)的形式。有了預(yù)訓(xùn)語料之后，我們?cè)O(shè)計(jì)了三個(gè)大規(guī)模的預(yù)訓(xùn)練任務(wù)：

• 文本到結(jié)構(gòu)的預(yù)訓(xùn)練，輸入是文本，輸出是結(jié)構(gòu)。通過這個(gè)預(yù)訓(xùn)練使得我們的 UIE 模型具備結(jié)構(gòu)生成的能力；

• 結(jié)構(gòu)生成的預(yù)訓(xùn)練，輸入為空，輸出是結(jié)構(gòu)?；谶@樣一個(gè)預(yù)訓(xùn)練任務(wù)，我們希望使用結(jié)構(gòu)單語數(shù)據(jù)預(yù)訓(xùn)練解碼器；

• 文本的語義預(yù)訓(xùn)練，輸入是文本，輸出為空。在這個(gè)任務(wù)中我們希望 UIE 模型能夠?qū)W習(xí)到編碼文本語義的信息。

最后，我們的預(yù)訓(xùn)練任務(wù)綜合了以上三種任務(wù)，分別是平行解碼任務(wù)、單語解碼任務(wù)和單語編碼任務(wù)。由于信息抽取的生成目標(biāo)是結(jié)構(gòu)，所以其文本到結(jié)構(gòu)的生成過程非常復(fù)雜。在預(yù)訓(xùn)練過程中，為了提升學(xué)習(xí)過程的穩(wěn)定性，我們采用了課程表學(xué)習(xí)的策略。具體來說，讓我們的預(yù)訓(xùn)練模型去生成簡單的結(jié)構(gòu)，從 label 和 span 等簡單的一元結(jié)構(gòu)開始再到更加復(fù)雜的結(jié)構(gòu)，最終保證結(jié)構(gòu)生成學(xué)習(xí)過程的穩(wěn)定性。

實(shí)驗(yàn)結(jié)果

UIE 模型最后在四類信息抽取的任務(wù)，包括命名實(shí)體識(shí)別、關(guān)系抽取、事件抽取和情感抽取任務(wù)，以及 12 個(gè)數(shù)據(jù)集及 7 大領(lǐng)域上進(jìn)行了實(shí)驗(yàn)。

如圖 8 所示，大規(guī)模的通用預(yù)訓(xùn)練語言模型 UIE 在 4 個(gè)抽取任務(wù)、12 個(gè)數(shù)據(jù)集上均達(dá)到了最先進(jìn)性能水平?？梢钥吹皆谶@四類任務(wù)上，UIE 模型的結(jié)果相比當(dāng)前的 SOTA 結(jié)果都取得了性能提升。第二個(gè)實(shí)驗(yàn)結(jié)果是，相比直接使用 T5 的這種結(jié)構(gòu)化生成模型 SEL，使用預(yù)訓(xùn)練的 UIE 顯著提升性能。同時(shí)，前文提到的三種預(yù)訓(xùn)練的任務(wù)和三種預(yù)訓(xùn)練的語料，不管是去掉哪一種預(yù)訓(xùn)練任務(wù)或語料都會(huì)導(dǎo)致一定的性能降低；而加入任何一種預(yù)訓(xùn)練的任務(wù)，都可以保證性能提升。因此，可以證明三種預(yù)訓(xùn)練語料都可以起到一定的預(yù)訓(xùn)練效果。
此外，預(yù)訓(xùn)練大模型的主要目的是遷移學(xué)習(xí)，是為了讓我們?cè)诘唾Y源的條件下仍然可以取得好的效果。我們也做了相關(guān)遷移學(xué)習(xí)的實(shí)驗(yàn)設(shè)置。具體來說，我們?cè)谠录悇e上進(jìn)行預(yù)訓(xùn)練，在新事件類別上進(jìn)行模型的微調(diào)。我們采用了基于詞級(jí)別標(biāo)注和實(shí)體標(biāo)注進(jìn)行學(xué)習(xí)的文本塊分類模型 OneIE 與基于詞級(jí)別標(biāo)注進(jìn)行學(xué)習(xí)的閱讀理解模型 EEQA 的基線模型。

如圖 9 所示，實(shí)驗(yàn)結(jié)果表明，基于 UIE 的模型在進(jìn)行遷移學(xué)習(xí)后，其性能有非常顯著的提升。兩種基線模型在遷移后的性能幾乎不變或提升效果非常微?。欢?UIE 架構(gòu)的模型在遷移后，其對(duì)于 F 值的提升非常顯著，這表明結(jié)構(gòu)生成模型可以有效地進(jìn)行模型的知識(shí)復(fù)用。
最后，我們也進(jìn)行了小樣本通用信息抽取的實(shí)驗(yàn)設(shè)置。我們?cè)O(shè)定了一些小樣本任務(wù)并對(duì)比了各種基線模型，包括 T5-v1.1-base，F(xiàn)ine-tuned T5-base 等。

實(shí)驗(yàn)結(jié)果表明，大規(guī)模異構(gòu)監(jiān)督預(yù)訓(xùn)練可以學(xué)習(xí)通用的信息抽取能力，使模型具有更好的小樣本學(xué)習(xí)能力。如圖 10 所示，基于預(yù)訓(xùn)練的模型在性能上有非常高幅度的提升。例如，在實(shí)體任務(wù)上，不預(yù)訓(xùn)練 1-shot 上的結(jié)果是 12.73，而預(yù)訓(xùn)練結(jié)果為 46.43。同時(shí)，加入前文提到的結(jié)構(gòu)化抽取的提示語之后，模型遷移的學(xué)習(xí)能力更強(qiáng)。相比沒有使用提示語的通用信息抽取，加入提示語后，例如，在情感任務(wù)上，其指標(biāo)從 38 提升到 43。

總結(jié)

總的來說，我們認(rèn)為，通過設(shè)計(jì)這種統(tǒng)一的文本到結(jié)構(gòu)（Text2Structure）的生成的架構(gòu)，加上按需基于提示語（Prompt）的結(jié)構(gòu)約束解碼算法，再加上基于海量語料的大規(guī)模信息抽取能力的預(yù)訓(xùn)練，最終可以達(dá)到通用信息抽取（Universal Information Extraction）的目標(biāo)。
本文相關(guān)工作已發(fā)表，代碼模型也已公開，感興趣的讀者可以查看下方鏈接閱讀原文，歡迎大家批評(píng)指正。
相關(guān)鏈接：

1. 《Unified Structure Generation for Universal Information Extraction. ACL 2022.》：https://arxiv.org/pdf/2203.12277.pdf? ?

2. 《Text2Event: Controllable Sequence-to-Structure Generation for End-to-end Event Extraction, ACL 2021.》：https://arxiv.org/pdf/2106.09232.pdf

3. 代碼和模型：https://universal-ie.github.io/

4. 中文信息處理實(shí)驗(yàn)室：http://www.icip.org.cn