第6期千言萬語分享來了:基于知識(shí)圖譜的多模態(tài)類比推理
什么是類比推理
類比推理是一種感知和利用兩種情況或事件之間的關(guān)系相似性的能力,在人類認(rèn)知中占有重要地位,并且在例如教育、工程、計(jì)算機(jī)科學(xué)等眾多領(lǐng)域發(fā)揮著重要作用。一些學(xué)者考慮將類比推理與人工智能進(jìn)行結(jié)合,在計(jì)算機(jī)視覺和自然語言處理領(lǐng)域都進(jìn)行了廣泛應(yīng)用。其中,CV領(lǐng)域?qū)⒁曈X與關(guān)系、結(jié)構(gòu)和類比推理相結(jié)合,測試模型對(duì)于基本圖形的的理解和推理能力;NLP領(lǐng)域通過詞語的線性類比來驗(yàn)證模型的文本類比推理能力。
上述任務(wù)大多遵循(a,b):(c,d)的形式對(duì)深度學(xué)習(xí)模型的類比推理能力作了初步分析,但都僅限于單模態(tài),沒有考慮模型是否有能力從不同模態(tài)中捕獲類比信息。然而,Mayer 認(rèn)知理論指出,人類通常在多模態(tài)資源中能表現(xiàn)出更好的類比推理能力,那人工智能模型是否具有這種性質(zhì)呢?
本期分享簡介
本期千言萬語分享邀請(qǐng)到了浙江大學(xué)碩士研究生李磊為大家?guī)碇辈シ窒?,其所在團(tuán)隊(duì)提出了一個(gè)基于知識(shí)圖譜的多模態(tài)類比推理任務(wù),任務(wù)形式可以形式化為(eh, et):(eq,?),并構(gòu)建了一個(gè)多模態(tài)類比推理數(shù)據(jù)集 MARS和一個(gè)多模態(tài)知識(shí)圖譜數(shù)據(jù)集 MarKG 作為支撐。
為了評(píng)估多模態(tài)類比推理過程,其團(tuán)隊(duì)受到了認(rèn)知科學(xué)理論的啟發(fā),對(duì)多模態(tài)知識(shí)圖譜嵌入基線和多模態(tài)預(yù)訓(xùn)練 Transformer 基線在 MARS 上進(jìn)行了綜合實(shí)驗(yàn),進(jìn)一步提出了一個(gè)新型多模態(tài)類比推理框架MarT,它可以隨時(shí)插入多個(gè)多模態(tài)預(yù)訓(xùn)練的 Transformer 模型中,并能產(chǎn)生更好的多模態(tài)類比推理性能。
精美活動(dòng)禮品
觀看直播參與提問,有機(jī)會(huì)獲得千言定制的精美禮品。
?

活動(dòng)報(bào)名方式
活動(dòng)詳情如下,歡迎掃碼報(bào)名觀看:
?

千言萬語技術(shù)欄目
「千言萬語」是千言中文開源數(shù)據(jù)集開設(shè)的技術(shù)分享欄目,在這里,您可以聽到前沿的 NLP 研究進(jìn)展、優(yōu)質(zhì)的評(píng)測技術(shù)方案分享以及一切您想聽到的中文開源數(shù)據(jù)集相關(guān)的知識(shí)。
我們也為大家提供分享交流平臺(tái),如果您有優(yōu)質(zhì)的NLP技術(shù)內(nèi)容主題希望分享給大家,歡迎添加千言助手微信,我們將提供全流程運(yùn)營支持,提升您工作的影響力!
?