作者介紹

馬永亮?，瀾舟科技搜索與金融 NLP 技術(shù)負(fù)責(zé)人。2009年碩士畢業(yè)于哈爾濱工業(yè)大學(xué)，先后在阿里巴巴和微軟工作，主要從事搜索引擎、問答、翻譯、NLP 相關(guān)的技術(shù)和產(chǎn)品研發(fā)。2021年4月加入瀾舟科技。

本文根據(jù)馬永亮在「瀾舟NLP分享會」上的演講整理，文內(nèi)介紹了金融事件分析相關(guān)技術(shù)背景以及瀾舟目前的工作進(jìn)展。全文約?3800?字，預(yù)計閱讀時長?8?分鐘。

金融事件分析背景

在金融領(lǐng)域，事件是理解信息的有效載體，如何更好的理解和分析事件一直是金融領(lǐng)域研究的熱點。預(yù)訓(xùn)練模型技術(shù)在翻譯、搜索、生成等領(lǐng)域都體現(xiàn)了它強(qiáng)大的能力，應(yīng)用在金融事件分析中也取得非常顯著的進(jìn)步。

金融事件分析的主要任務(wù)有三塊：

• 第一塊是非結(jié)構(gòu)化數(shù)據(jù)智能解析。金融領(lǐng)域的信息多數(shù)以非結(jié)構(gòu)化的數(shù)據(jù)形式存在，比如PDF。從非結(jié)構(gòu)數(shù)據(jù)中解析出重要的、準(zhǔn)確的、格式語義清楚的文本對后面的事件分析至關(guān)重要，它能有效減少噪音數(shù)據(jù)、臟數(shù)據(jù)對模型的干擾，提高結(jié)果的準(zhǔn)確度。

• 第二塊是事件語義理解。?這里主要涉及事件類型的檢測、事件要素的抽取和事件之間的關(guān)系，在這些對事件的理解基礎(chǔ)之上。

• 第三塊就可以構(gòu)建事件圖譜并進(jìn)行事件圖譜的分析，包括事件鏈分析和事件預(yù)測。

為了完成這些任務(wù)，這里面涉及到的技術(shù)主要有兩個：金融事件體系和金融事件圖譜。

金融領(lǐng)域，有不同的主體，不同的主體也有不一樣的場景，為了能最好的支持這些主體和場景，需要建立相應(yīng)的事件體系，這里面既有領(lǐng)域知識的人工工作，也結(jié)合技術(shù)做無監(jiān)督的歸納學(xué)習(xí)，從而能夠提供場景化、完整性和可擴(kuò)展的事件體系。金融事件圖譜把事件分析技術(shù)集成在了一起，抽取事件和事件關(guān)系，學(xué)習(xí)事件的表示，然后結(jié)合圖的信息進(jìn)行預(yù)測。

有了這些技術(shù)和能力，我們對事件的分析，讓我們能夠回答諸如“這是一家什么公司的事？是一件什么事？人們對事情評價的情緒如何？為什么會發(fā)生？”等等。能夠回答這些問題對金融領(lǐng)域的很多場景都是非常有價值的。

金融事件體系

圖 2 是一個金融事件體系的例子。我們將金融事件分為兩級：

第一級根據(jù)事件的主體分為5類，分別是企業(yè)、股票、行業(yè)和宏觀、債券和基金。這些都是金融領(lǐng)域非常重要和常見的對象。

第二級將每種類型主體事件的再進(jìn)行的細(xì)分，比如企業(yè)這個一級事件類型下面有股東減持事件。那么最后，一個二級事件類型將包含這個事件相關(guān)的主要元素。再拿股東減持為例，減持的時間，哪個股東減持，減持每股交易價格等等。

一個定義完整、對場景有針對性的事件體系，是事件分析最后能夠達(dá)成目標(biāo)的重要前提。比如股東減持事件沒有被減持的股票，你就沒有辦法了解當(dāng)前發(fā)生的事情影響了那家公司。

1. 事件圖譜

事件圖譜首先是個「圖」，一個圖是由節(jié)點和邊組成。在事件圖譜中，節(jié)點可以是事件，也可以是事件的元素對應(yīng)的實體，比如公司。邊就是事件與事件間的關(guān)系，實體-事件間的關(guān)系，實體與實體間的關(guān)系。

我們來看一個例子，如圖 3 所示，這是一篇報道亞馬遜收購iRobot公司的新聞。這篇報道中，一共有四個事件，其中兩個收購事件，一個合作事件和一個創(chuàng)立公司事件，將這些事件連接起來的關(guān)系是時間順序關(guān)系。除了事件，這里面還有其他一些實體，比如公司和時間。這些實體和時間之間也由相應(yīng)的關(guān)系連接。這樣看來，一個非結(jié)構(gòu)化網(wǎng)頁信息，通過解析出正文文本和段落，抽取事件和關(guān)系，建立事件圖譜，最終就轉(zhuǎn)化成了一個結(jié)構(gòu)化的信息。

結(jié)構(gòu)化的信息，更容易進(jìn)行理解和處理，可以應(yīng)用在搜索、問答這樣的信息獲取場景，或者風(fēng)險監(jiān)控、量化投資分析這樣的金融業(yè)務(wù)場景。

2. 事件鏈

事件鏈?zhǔn)鞘录D譜的一種特殊的、簡化的形式，它主要關(guān)注一個參與者發(fā)生的一系列事件與事件之間的關(guān)系，是一個偏序事件集合。

圖 4 例子中，事件圖譜簡化為兩個事件鏈，每個事件鏈中只有事件節(jié)點，其他信息都是節(jié)點的屬性信息。這種簡化對于將事件圖譜應(yīng)用落地是有很大幫助的，它的關(guān)系和節(jié)點類型簡化后，對圖譜的學(xué)習(xí)和處理都是只針對事件一種節(jié)點和事件間的一種關(guān)系。

那么基于事件鏈，如何對事件進(jìn)行預(yù)測呢？

基于事件鏈的時間預(yù)測模型主要有三部分，首先是對事件的表示，歷史事件和要預(yù)測的候選事件的表示是將事件觸發(fā)詞和事件元素拼接起來表示，為了更好的捕捉歷史事件信息，也將歷史事件的上下文表示和歷史事件的表示融合起來，這些表示被輸入第二部分，一個LSTM網(wǎng)絡(luò)，LSTM網(wǎng)絡(luò)可以將事件之間順序信息（哪些事件發(fā)生在哪些事件之前等）融入到事件的表示中。最后將LSTM編碼后的每個事件信息傳入動態(tài)記憶網(wǎng)絡(luò)，這個網(wǎng)絡(luò)的設(shè)計是為了在事件鏈中對不同的事件，根據(jù)他他們與候選事件的關(guān)系，進(jìn)行加權(quán)。也就是說跟候選事件聯(lián)系重要的具有更高的權(quán)重，最后計算給定歷史事件的情況下，候選事件發(fā)生的概率。

3. 事件問答

基于事件鏈的事件預(yù)測能夠提供信息對還沒有發(fā)生的情況做判斷，事件分析也能夠幫助人們更好的了解已經(jīng)發(fā)生的情況，比如事件問答。

事件問答支持用自然語言對事件進(jìn)行語義查詢。比如查詢阿里巴巴的高管變動。通過對語料進(jìn)行事件抽取，建立一個結(jié)構(gòu)化事件庫，不同的事件類型存放在不同的表中。利用NL2SQL技術(shù)對問題理解后轉(zhuǎn)化為數(shù)據(jù)庫查詢SQL語句，找到對應(yīng)的表和符合條件的事件返回。

4. 事件分析框架

綜合前面介紹的各種事件分析技術(shù)和應(yīng)用場景，一個完整的事件分析框架支持4大能力：搜索某個事，搜索某個主體的事件，結(jié)合產(chǎn)業(yè)鏈搜索等業(yè)務(wù)數(shù)據(jù)搜索相應(yīng)主體的公司，以及根據(jù)搜索到的一個主體的已經(jīng)發(fā)生的時間預(yù)測可能發(fā)生的事件。

瀾舟事件分析技術(shù)的最新進(jìn)展

接下來介紹我們在事件分析領(lǐng)域上的一些工作，時間所限，今天我將主要介紹兩個技術(shù)：事件檢測和事件抽取。

1. 事件檢測

事件檢測是從文本中檢測是否有事件以及事件的類型。通常還會抽取對應(yīng)事件類型的觸發(fā)詞。例如，“公司副董事長、副總經(jīng)理黃世霖因個人事業(yè)考慮將辭去公司副董事長、董事、董事會戰(zhàn)略委員會委員和副總經(jīng)理職務(wù)”，事件檢測的結(jié)果是一個“企業(yè)-高管變動”事件，觸發(fā)詞是“辭去”。

事件檢測的挑戰(zhàn)一個來自事件觸發(fā)詞的標(biāo)注，通常的事件檢測任務(wù)要求訓(xùn)練數(shù)據(jù)有觸發(fā)詞的標(biāo)注，標(biāo)注工作量大。另外一個是事件類型的變化，有的時候是增加新的類型，有的時候是對原有類型進(jìn)行合并或者拆分，這些變化都涉及到標(biāo)注數(shù)據(jù)和模型的改變。

針對上述挑戰(zhàn)，我們使用了基于提示（也就是prompt）的事件檢測模型。事件檢測的prompt模板中拼接了四種信息，一種是事件類型，另外一個是事件的觸發(fā)詞，觸發(fā)詞可以有多個，還有就是事件的描述信息和事件元素的角色，這兩個信息會融合在一個字段中。

根據(jù)某個事件類型的prompt，模型在輸入文本上進(jìn)行token的BIO標(biāo)簽分類，抽取相應(yīng)事件的觸發(fā)詞。如果針對當(dāng)前的prompt類型能夠抽出觸發(fā)詞，則對應(yīng)的事件類型和觸發(fā)詞就得到了。

對于zero-shot的情況，定義相應(yīng)事件類型的prompt模型則可以進(jìn)行事件檢測了。為了對比SOTA方法的方便，我們在英文數(shù)據(jù)集ACE05上進(jìn)行了實驗。實驗顯示，對比另外兩個事件模型，我們的方法在全量訓(xùn)練數(shù)據(jù)和zero-shot和few-shot上都有明顯的優(yōu)勢（見圖 9 右側(cè)表格）。

2. 事件抽取

事件抽取任務(wù)是事件檢測任務(wù)的基礎(chǔ)上做了功能擴(kuò)展，它不僅檢測了事件類型、觸發(fā)詞，還將事件的詳細(xì)信息抽取出來作為事件元素。例如，“格力電器9月9日宣布回購?fù)瓿?，累計成交金額為150億元，其中最高成交價為56.11元/股，最低成交價為40.21元/股”。除了事件類型和觸發(fā)詞外，抽取結(jié)果還包括像時間，交易金額等事件元素。

在一個完善的金融事件體系中，要完整的定義一個事件類型所涉及的元素，這樣在抽取中才能盡可能將一個文本中的事件的完整信息抽取出來，否則一個不完整的事件抽取結(jié)果意味著在結(jié)構(gòu)化過程中流失了。

事件抽取的挑戰(zhàn)主要來自于訓(xùn)練數(shù)據(jù)的標(biāo)注，有些事件要素的標(biāo)注會和領(lǐng)域知識緊密相關(guān)，可能需要標(biāo)注人員有一定的專業(yè)知識。這種標(biāo)注成本高，難以擴(kuò)展到大量的數(shù)據(jù)和事件類型上。

針對上述挑戰(zhàn)，我們基于生成式抽取的方法，提出了一些改進(jìn)的技術(shù)，在ACE05上達(dá)到SOTA的效果，并且顯著提升了模型的zero-shot和few-shot能力。

基于模板的生成式事件抽取將事件抽取轉(zhuǎn)換為一個生成任務(wù)，這種方法的一個好處就是可以將模板當(dāng)成是prompt，通過改寫模板支持新的事件類型，或者改變已有的事件類型，比如增加事件元素。提示信息為GTEE提供了語義指導(dǎo)，以便利用標(biāo)簽語義更好地捕獲事件要素，提示中編碼的事件描述使GTEE能夠使用附加的弱監(jiān)督信息。prompt和context輸入到encoder后，decoder段輸出填充之后的模板，根據(jù)模板得到事件的元素信息。GTEE做為這種方法的一個代表，證明了基于生成式的事件抽取方法也可以做到SOTA，超過傳統(tǒng)的基于序列標(biāo)注的方法。

但是，現(xiàn)有的生成式事件抽取方法還存在幾個不足，第一，觸發(fā)詞和事件元素之間的聯(lián)系較弱，他們都定義在模板中，沒有顯示的對應(yīng)關(guān)系。第二，模型推理時，針對一個輸入文本，每個事件類型都要進(jìn)行一次推理，推理的計算量和事件類型成正比。事件檢測和事件抽取采用了pipeline的方式組織，導(dǎo)致錯誤傳播，不能聯(lián)合學(xué)習(xí)優(yōu)化。

為解決以上不足，我們提出基于觸發(fā)詞檢測增強(qiáng)的生成式事件抽取，如下圖所示：

在TDE-GTEE中，事件檢測模塊提供觸發(fā)詞和事件類型信息，在輸入中標(biāo)注觸發(fā)詞得到新的輸入，并且根據(jù)事件類型信息選擇相應(yīng)的模板，新的輸入和事件模板輸入concat后的表示結(jié)合事件檢測模型中觸發(fā)詞的表示輸入bart模型，最終得到填充后的模板，進(jìn)而得到事件元素信息。這里事件觸發(fā)詞在輸入中的標(biāo)注，以及觸發(fā)詞表示和prompt表示融合，都是在加強(qiáng)觸發(fā)詞與輸入和模板中信息的交互，同時，檢測模型過濾了無關(guān)的事件類型模板，推理效率更高。最后，檢測模型和事件抽取模型融入一個端到端的模型，并聯(lián)合訓(xùn)練。

基于以上改進(jìn)，TDE-GTEE在ACE05和ERE上都達(dá)到了SOTA水平，如圖 14 表格所示。

為支持zero-shot 和few-shot，在TDE-GTEE的基礎(chǔ)上，我們將前面介紹過的基于prompt的事件檢測模塊集成進(jìn)來。同樣在ACE05上對比GTEE等模型，TDE-GTEE的 zero-shot和few-shot 事件抽取效果也達(dá)到了SOTA水平。

總結(jié)

事件分析在金融領(lǐng)域廣泛，應(yīng)用場景眾多，一個完善的覆蓋金融事件體系和核心技術(shù)的金融事件分析框架，為金融領(lǐng)域的信息理解提供了強(qiáng)有力的支持。

瀾舟在金融事件分析領(lǐng)域也有了不錯的積累，提出了 TDE-GTEE 等一系列的模型，這些模型在事件抽取和事件檢測上的效果都達(dá)到了 SOTA 水平，并且零樣本和少樣本學(xué)習(xí)方面也得到了很大的提升?；谶@些技術(shù)和體系的積累，瀾舟也將在未來持續(xù)推進(jìn)金融事件分析的落地和產(chǎn)品化。敬請期待。

- END -