Multi-task Self-supervised Graph Neural Networks Enable Stronger Task Generalization

https://openreview.net/pdf?id=1tHAZRqftM

這篇論文認為現(xiàn)在基于對比學習的，基于生成的圖自監(jiān)督學習，只利用了一種思想，例如，要么只利用了互信息最大化，要么只利用了生成式重建。當它們應用于各種下游任務時，這些框架很少能在每項下游任務中表現(xiàn)得同樣出色，因為一種理念可能無法涵蓋所有下游任務所需的廣泛知識。為了增強跨任務的任務泛化，作為探索基本圖模型的重要第一步，這篇論文引入了一個用于圖上節(jié)點表示學習的多任務SSL框架。

Look in The Mirror: Molecular Graph Contrastive Learning with Line Graph

https://openreview.net/pdf?id=pzH2Sltp2--

這篇文章使用了line graph，所謂line graph就是把原圖中的邊當作節(jié)點，重新繪制出圖。這篇文章使用對比學習，將原圖和line graph當作兩個view，將它們進行對比學習。其實line graph是一個很早就有的概念，而且最近也有人用過這個方法，我記得我也看過這個論文。

X. Jiang, P. Ji, and S. Li, “Censnet: Convolution with edge-node switching in graph neural networks,” in IJCAI, 2019

Co-embedding of Nodes and Edges with Graph Neural Networks （https://arxiv.org/pdf/2010.13242.pdf）

我當初也想把它用來做對比學習的，但是發(fā)現(xiàn)原圖和line graph的特征相差很大，對比后的效果并不好。

Self-attentive Rationalization for Graph Contrastive Learning

https://openreview.net/pdf?id=CdU7ApBxICO

這篇文章認為，現(xiàn)有的圖對比學習方法的增廣存在2個問題：非啟發(fā)式，增廣需要領(lǐng)域知識的指導；增廣方式復雜，訓練不穩(wěn)定。

作者提出了結(jié)合?rationale generator 以及graph transformer的方法，能夠用注意力來引導增廣的過程。

Towards Equivariant Graph Contrastive Learning via Cross-Graph Augmentation?

https://openreview.net/pdf?id=9L1Ts8t66YK

這項工作提出了等變圖對比學習（一種對比學習框架（E-GCL）），它采用了兩個原則：對圖內(nèi)增強的不變性和對圖間增強的等變性。有趣的是，這項工作表明，攻擊性增強可能會惡化表現(xiàn)，并導致次優(yōu)性能。該工作使用混合過程作為交叉圖增強的方法，并認為交叉圖增強捕獲全局語義偏移，并產(chǎn)生更好的性能。在無監(jiān)督學習和轉(zhuǎn)移學習任務中進行了實驗，以顯示模型的有效性。

Graph Contrastive Learning with Model Perturbation

https://openreview.net/pdf?id=rfvuuHmqHOQ

這篇文章認為選擇合適的圖增強是復雜的，不穩(wěn)定的，困難的，需要付出大量時間的。因此，作者沒有對圖的節(jié)點，邊和特征進行擾動，而是對GNN網(wǎng)絡進行擾動。