李雙利

飛槳開發(fā)者技術(shù)專家（PPDE），百度研究院商業(yè)智能實(shí)驗(yàn)室研究實(shí)習(xí)生，中國科學(xué)技術(shù)大學(xué)在讀博士生。

主要進(jìn)行時(shí)空數(shù)據(jù)挖掘和圖深度學(xué)習(xí)的相關(guān)研究工作。曾獲2021年百度研究院年度優(yōu)秀實(shí)習(xí)生，有多篇基于飛槳完成的論文，發(fā)表于KDD、AAAI等計(jì)算機(jī)頂級(jí)會(huì)議。

周景博

飛槳開發(fā)者高級(jí)技術(shù)專家（高級(jí)PPDE），現(xiàn)任百度研究院商業(yè)智能實(shí)驗(yàn)室資深研究員。

主要從事數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)相關(guān)的研究和應(yīng)用工作，包括時(shí)空大數(shù)據(jù)、深度幾何學(xué)習(xí)、知識(shí)圖譜和AI輔助藥物設(shè)計(jì)等，PaddleSpatial技術(shù)負(fù)責(zé)人，基于飛槳完成論文多篇，發(fā)表于KDD、AAAI、TKDE等計(jì)算機(jī)頂級(jí)會(huì)議和期刊上。

背景&概述

研究城市區(qū)域的多種動(dòng)態(tài)地點(diǎn)關(guān)系具有重要意義。傳統(tǒng)的關(guān)系預(yù)測(cè)研究工作大都假設(shè)城市中的區(qū)域地點(diǎn)關(guān)系是靜態(tài)的，然而在城市區(qū)域中用戶的行為活動(dòng)往往是動(dòng)態(tài)變化的，例如人們習(xí)慣在午飯時(shí)間在餐館之間作出選擇，在晚上則會(huì)在酒吧等休息娛樂場(chǎng)所之間進(jìn)行選擇，因此區(qū)域地點(diǎn)之間存在動(dòng)態(tài)變化的關(guān)聯(lián)性，不同時(shí)間（例如早上和晚上）的城市區(qū)域地點(diǎn)關(guān)系可能會(huì)不同。

研究細(xì)粒度的城市區(qū)域動(dòng)態(tài)關(guān)系對(duì)于商業(yè)廣告、城市資源規(guī)劃和基于知識(shí)增強(qiáng)的出行地點(diǎn)推薦等應(yīng)用都有重要價(jià)值。然而如何從有限的城市關(guān)系數(shù)據(jù)中挖掘預(yù)測(cè)出完整的動(dòng)態(tài)地點(diǎn)關(guān)系存在一定的挑戰(zhàn)性。一方面，區(qū)域地點(diǎn)之間存在時(shí)空關(guān)聯(lián)性，基于深度學(xué)習(xí)框架進(jìn)行捕捉城市空間中的動(dòng)態(tài)性和多種關(guān)系復(fù)雜性是十分有必要的。此外，由于在真實(shí)場(chǎng)景下觀測(cè)到的城市關(guān)系數(shù)據(jù)是極其少量的，如何基于稀疏關(guān)系進(jìn)行有效學(xué)習(xí)是另一個(gè)重要的挑戰(zhàn)。為了應(yīng)對(duì)這些挑戰(zhàn)，我們基于飛槳的圖學(xué)習(xí)框架實(shí)現(xiàn)了一種新型的深度學(xué)習(xí)框架來研究城市中區(qū)域地點(diǎn)的動(dòng)態(tài)關(guān)系挖掘。

圖1 城市區(qū)域地點(diǎn)的動(dòng)態(tài)關(guān)系發(fā)現(xiàn)示例

在本文中，我們提出了一個(gè)空間演化圖神經(jīng)網(wǎng)絡(luò)框架對(duì)城市區(qū)域地點(diǎn)的動(dòng)態(tài)關(guān)系圖進(jìn)行建模學(xué)習(xí)。具體來說，從空間關(guān)系圖的消息傳遞機(jī)制和自監(jiān)督訓(xùn)練機(jī)制兩個(gè)角度出發(fā)，通過PGL (Paddle Graph Learning) 圖學(xué)習(xí)框架提供的 SEND-RECV 模式可以高效便捷地對(duì)圖結(jié)構(gòu)信息進(jìn)行學(xué)習(xí)，同時(shí)飛槳框架提供了豐富的深度學(xué)習(xí)訓(xùn)練優(yōu)化接口來實(shí)現(xiàn)城市區(qū)域的自監(jiān)督學(xué)習(xí)，從而緩解關(guān)系稀疏性的問題。最后通過在四個(gè)城市數(shù)據(jù)集上的充分實(shí)驗(yàn)，驗(yàn)證了飛槳框架實(shí)現(xiàn)的動(dòng)態(tài)關(guān)系挖掘模型的有效性。

方法框架

如圖2所示，基于多個(gè)時(shí)間段下的區(qū)域地點(diǎn)動(dòng)態(tài)關(guān)系圖 到 ，首先對(duì)圖數(shù)據(jù)進(jìn)行處理得到PGL定義的HeterGraph形式，通過基于PGL圖消息傳遞機(jī)制的網(wǎng)絡(luò)模塊有效學(xué)習(xí)表征，將輸出的動(dòng)態(tài)表征輸入到(b)空間演化自監(jiān)督學(xué)習(xí)模塊（簡稱SE-SSL），通過高效自監(jiān)督學(xué)習(xí)任務(wù)更新(a)表征學(xué)習(xí)模塊提升模型的表達(dá)能力，最后進(jìn)行關(guān)系圖學(xué)習(xí)的微調(diào)，針對(duì)多時(shí)間感知的關(guān)系預(yù)測(cè)任務(wù)進(jìn)行第二階段模型訓(xùn)練，從而對(duì)城市區(qū)域動(dòng)態(tài)關(guān)系實(shí)現(xiàn)精準(zhǔn)預(yù)測(cè)。

圖2 空間演化圖神經(jīng)網(wǎng)絡(luò)框架

動(dòng)態(tài)圖首先經(jīng)過距離編碼模塊進(jìn)行空間距離的表征學(xué)習(xí)?？紤]到兩個(gè)地點(diǎn)的相對(duì)位置關(guān)系是一個(gè)數(shù)值，模型難以充分捕捉地理空間信息，因此我們提出對(duì)距離進(jìn)行離散化編碼，即把距離劃分到不同的區(qū)間然后進(jìn)行距離表征向量。得到所有空間距離表征之后，我們提出了時(shí)間內(nèi)部和時(shí)間之間兩個(gè)階段的消息傳遞過程來實(shí)現(xiàn)對(duì)關(guān)系的動(dòng)態(tài)依賴和空間信息捕捉。

階段1——時(shí)間內(nèi)部的異構(gòu)空間關(guān)系圖學(xué)習(xí)

針對(duì)每個(gè)時(shí)間內(nèi)部的多關(guān)系圖，在該階段首先進(jìn)行二階鄰居的高效挖掘，然后實(shí)現(xiàn)基于二階空間信息和關(guān)系依賴進(jìn)行學(xué)習(xí)的圖神經(jīng)網(wǎng)絡(luò)聚合框架。具體而言，如下圖所示實(shí)現(xiàn)代碼，我們?cè)诰酆想A段同時(shí)考慮一個(gè)地點(diǎn)周邊的一階和二階鄰居信息，根據(jù)三個(gè)節(jié)點(diǎn)之間 → → 的二階關(guān)系依賴可以確定 → 的二階關(guān)系模式。針對(duì)每一種模式，我們通過飛槳豐富的圖接口定義了二階鄰居集合，并按照所示代碼進(jìn)行復(fù)雜關(guān)系和空間信息的聚合，通過空間關(guān)系門控機(jī)制下的聚合函數(shù)來融合二階鄰域范圍內(nèi)的豐富信息。最后，在對(duì)每一種關(guān)系模式都進(jìn)行了聚合操作之后，我們進(jìn)一步進(jìn)行二級(jí)關(guān)系聚合，來綜合所有關(guān)系模式，進(jìn)而提升模型的表達(dá)能力，得到經(jīng)過時(shí)間內(nèi)部圖學(xué)習(xí)的區(qū)域地點(diǎn)表征。

代碼1 基于PGL的時(shí)間內(nèi)部異構(gòu)空間關(guān)系圖學(xué)習(xí)

階段2——時(shí)間之間的空間演化上下文圖學(xué)習(xí)

城市中區(qū)域地點(diǎn)在空間和時(shí)間上都存在復(fù)雜關(guān)聯(lián)性，在第二階段我們考慮了時(shí)間之間的信息交互。首先我們對(duì)地點(diǎn)表征在時(shí)間維度上進(jìn)行更新，通過平均融合相鄰時(shí)間段的表征，更新得到了節(jié)點(diǎn)表征。接著基于PGL高效的圖學(xué)習(xí)機(jī)制，我們實(shí)現(xiàn)了空間演化傳播層來考慮上下文信息融合。如下圖代碼所示，在圖的消息發(fā)送階段，我們首先進(jìn)行了跨時(shí)間的鄰居節(jié)點(diǎn)采樣。如圖3所示，針對(duì)每一條傳遞的消息，我們?cè)诙鄠€(gè)時(shí)間段上考慮其周邊的鄰居，并借助于PGL提供的采樣接口便捷地進(jìn)行隨機(jī)采樣。在采樣得到集合之后我們實(shí)現(xiàn)了空間上下文向量的計(jì)算，考慮周圍鄰居的空間分布可以使得模型感知復(fù)雜的空間演化信息。最后，在該階段的傳播過程中融合上下文信息并通過PGL的發(fā)送機(jī)制實(shí)現(xiàn)最終節(jié)點(diǎn)表征的更新。

圖3 基于時(shí)間的節(jié)點(diǎn)采樣策略和空間上下文學(xué)習(xí)圖例

代碼2 基于PGL的空間演化上下文圖學(xué)習(xí)

空間演化自監(jiān)督訓(xùn)練

在模型訓(xùn)練階段，為了緩解城市區(qū)域動(dòng)態(tài)關(guān)系的稀疏性問題，我們基于飛槳框架設(shè)計(jì)了全局和局部兩個(gè)角度的自監(jiān)督學(xué)習(xí)任務(wù)來進(jìn)行預(yù)訓(xùn)練，從而實(shí)現(xiàn)從少量的數(shù)據(jù)關(guān)系融合演化關(guān)系模式和動(dòng)態(tài)空間信息依賴。如下圖代碼所示，一方面，我們從全局學(xué)習(xí)的角度提出了全局空間互信息最大化自監(jiān)督任務(wù)，并基于PaddlePaddle的雙線性判別函數(shù)和交叉熵計(jì)算高效實(shí)現(xiàn)了全局學(xué)習(xí)損失的計(jì)算，通過該任務(wù)的學(xué)習(xí)可以實(shí)現(xiàn)基于網(wǎng)格化空間動(dòng)態(tài)性來捕捉全局演化模式。另一方面，從局部的角度來看多時(shí)間下的區(qū)域地點(diǎn)關(guān)系依然是動(dòng)態(tài)演化的。因此我們引入了關(guān)系級(jí)別的局部學(xué)習(xí)任務(wù)，通過飛槳的判別函數(shù)接口可以等價(jià)實(shí)現(xiàn)判斷在相鄰時(shí)間段內(nèi)關(guān)系是否發(fā)生演化，從而引入了關(guān)系演化信息。通過基于飛槳的聯(lián)合學(xué)習(xí)局部和全局任務(wù)，可以高效對(duì)動(dòng)態(tài)關(guān)系圖進(jìn)行自監(jiān)督學(xué)習(xí)。

最后，對(duì)模型進(jìn)行預(yù)訓(xùn)練之后，模型框架可以很好地融合動(dòng)態(tài)空間演化特性，最后進(jìn)行多時(shí)間段的動(dòng)態(tài)關(guān)系預(yù)測(cè)輸出。給定一對(duì)節(jié)點(diǎn)，通過飛槳實(shí)現(xiàn)時(shí)間感知的雙線性打分函數(shù)來對(duì)每個(gè)時(shí)間段的關(guān)系可能性進(jìn)行計(jì)算，從而完成城市地點(diǎn)的動(dòng)態(tài)關(guān)系挖掘。

代碼3 基于飛槳實(shí)現(xiàn)的空間演化自監(jiān)督學(xué)習(xí)

實(shí)驗(yàn)

在實(shí)驗(yàn)階段，我們?cè)谒膫€(gè)城市的關(guān)系數(shù)據(jù)集上進(jìn)行了效果驗(yàn)證。表1的實(shí)驗(yàn)結(jié)果表明我們基于飛槳實(shí)現(xiàn)的空間演化圖神經(jīng)網(wǎng)絡(luò)(SEENet)在關(guān)系挖掘任務(wù)上取得了顯著的提升，通過考慮復(fù)雜的空間性和動(dòng)態(tài)演化特性，模型優(yōu)于最新的圖學(xué)習(xí)模型和關(guān)系預(yù)測(cè)方法。

表1 城市區(qū)域地點(diǎn)關(guān)系挖掘效果對(duì)比

此外，我們還進(jìn)行了模型的消融實(shí)驗(yàn)來驗(yàn)證設(shè)計(jì)模塊的有效性。如表2所示，通過移除時(shí)間內(nèi)部和時(shí)間之間的圖學(xué)習(xí)部分，預(yù)測(cè)效果出現(xiàn)了較為明顯的下降。此外，局部和全局的預(yù)測(cè)任務(wù)對(duì)模型學(xué)習(xí)能力也得到了顯著增強(qiáng)?？傮w而言，我們基于飛槳和PGL實(shí)現(xiàn)的圖學(xué)習(xí)框架可以充分捕捉空間演化特性，進(jìn)而提升模型的預(yù)測(cè)能力。

表2 模型消融實(shí)驗(yàn)

總結(jié)

本文提出了一個(gè)新的圖神經(jīng)網(wǎng)絡(luò)框架來解決城市中區(qū)域關(guān)系的動(dòng)態(tài)挖掘問題，基于飛槳設(shè)計(jì)的圖學(xué)習(xí)框架可以融合二階異構(gòu)空間關(guān)系和動(dòng)態(tài)上下文信息，并通過空間演化自監(jiān)督學(xué)習(xí)來進(jìn)一步提升模型的學(xué)習(xí)能力。在多個(gè)城市關(guān)系數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果證明了提出方法的有效性和合理性。

相關(guān)代碼已經(jīng)開源在PaddleSpatial時(shí)空計(jì)算平臺(tái)上。PaddleSpatial是基于百度飛槳深度學(xué)習(xí)框架開發(fā)的時(shí)空大數(shù)據(jù)計(jì)算工具和平臺(tái)，融合了百度領(lǐng)先的區(qū)域分割、時(shí)空遷移學(xué)習(xí)、時(shí)間序列預(yù)測(cè)等時(shí)空能力，可支持多種時(shí)空計(jì)算場(chǎng)景的應(yīng)用。

相關(guān)地址

論文:
https://arxiv.org/abs/2306.08921

代碼：

https://github.com/PaddlePaddle/PaddleSpatial/tree/main/research/SEENet