Graph Contrastive Learning (GCL) - (1) Introduction
Introduction to Graph Contrastive Learning (GCL)
Graph Contrastive Learning (GCL) 이란 , Self-supervised graph representation learning 의 기법중 하나입니다. 일반적인 contrastive learning (대조학습) 과 그 목표와 방법이 거의 동일합니다.
그래프 혹은 노드 level 에서 , 유사한 graph (positive pair) 를 가까이 representation (pull close) 하고 , 그렇지 않은 graph (negative pair) 를 멀리 representation (push away) 하는 학습방법 입니다.
일반적으로 GCL 에서는 동일한 그래프/노드의 view 를 positive pairs 로 간주하고, 다른 그래프/노드에서 임의로 선택한 view 를 negative pairs 로 간주합니다. 이때 양의 쌍 사이의 표현 유사성은 음의 쌍보다 클 수밖에 없습니다. 태스크에 따라서 대조하는 관점에 따라서 분류하면 대조 방법은 크게 두 그룹으로 나눌 수 있습니다.
이러한 GCL 에서는 크게 두가지 방법이 있습니다. 첫번째는 Substructure-Based Methods , 두번째는 Augmentation-Based Methods 입니다.
본 포스팅에서는 두가지 방법에 대해 각각 간략하게 소개하고 , 이후 각 method 의 대표적인 연구들을 알아보겠습니다.
1. Substructure-based Methods
InfoGraph [1] 는 graph-level representation 을 위해 원래 그래프 (original graph) 의 하위구조인 nodes, edges , triangles 등을 대조학습을 위한 기준으로 사용합니다.
DGI[2] 와 GMI[3]는 그래프와 노드 간의 contrastive view 를 구축합니다.
MVGRL[4]은 subgraph 를 샘플링하여 contrastive view 를 생성하고 노드 및 그래프 level representation 을 모두 학습합니다. GCC[5]는 서로 다른 subgraph 를 contrastive view 로 취급하고 대규모 graph pre-training 에 InfoNCE loss[6]을 도입합니다.
2. Augmentation-Based Methods
Augmentation 기반의 GCL 기법들은 Computer Vision 에서 SimCLR 나 NLP 의 SimCSE 와 유사한 방식으로 , 일반적으로 입력 그래프와 특징에 다양한 작은 변화를 적용하여 contrastive view 를 생성합니다. 즉 , 유사한 data augmentation 을 이용해 유사한 graph 를 만들어 positive pair 로 이용하여 representation learning 이 잘되게 유도합니다.
GRACE [7] 와 GraphCL [8]은 input 그래프 (e.g., node and edge dropping)를 무작위로 변화를 주어 contrastive view 를 생성합니다.
GCA [9]는 서로 다른 그래프의 속성(e.g., node degree , eigenvector , PageRank 등)을 기반으로 적응적으로 contrastive view 를 구축합니다.여기서 중요도 점수(e.g., node degree 등)가 작은 node 또는 edge 는 contrastive view 에서 dropped 될 가능성이 높습니다.
JOAO[10] 와 AD-GCL[11]은 자동으로 graph augmentation 을 선택하고 적대적인 방식으로 contrastive view 를 생성합니다. DSGC[12]는 증강 데이터를 대조하는 대신 hyperbolic 이나 Euclidean 이중 공간에서 contrastive view 를 수행합니다.
GASSL[13]은 input features 와 hidden layers 를 직접 perturbation 하여 contrastive view 를 생성합니다.
SimGRACE[14]는 contrastive view 를 생성하기 위해 모델 parameter 에 가우시안 노이즈를 perturbation 으로 추가합니다.
MA-GCL[15]은 GNN 인코더의 neural architecture (즉, 그래프 필터, 선형 투영 및 비선형 함수의 무작위 순열)를 contrastive view 로 random permutation 시키는 새로운 augmentation strategy 을 제안합니다.
HeCo[16]는 heterogeneous graph 에서 network schema 및 meta-path views 를 두 개의 specific views로 사용합니다.
Reference
[1] InfoGraph
Infograph: Unsupervised and semi-supervised graph-level representation learning via mutual information maximization. In Proceedings of ICLR, 2019.
[2] DGI
Deep graph infomax. In Proceedings of ICLR, 2018.
[3] GMI
Graph representation learning via graphical mutual information maximization. In Proceedings of WWW, 2020.
[4] MVGRL
Contrastive multi-view representation learning on graphs. In Proceedings of ICML, 2020.
[5] GCC
Gcc: Graph contrastive coding for graph neural network pre-training. In Proceedings of SIGKDD, 2020.
[6] InfoNCE Loss
Representation learning with contrastive predictive coding. arXiv preprint arXiv:1807.03748, 2018.
[7] GRACE
Deep graph contrastive representation learning. arXiv preprint arXiv:2006.04131, 2020.
[8] GraphCL
Graph contrastive learning with augmentations. In Proceedings of NeurIPS, 2020.
[9] GCA
Graph contrastive learning with adaptive augmentation. In Proceedings of WWW, 2021.
[10] JOAO
Graph contrastive learning automated. In Proceedings of ICML, 2021.
[11] AD-GCL
Adversarial graph augmentation to improve graph contrastive learning. Proceedings of NeurIPS, 2021.
[12] DSGC
Dual space graph contrastive learning. Proceedings of WWW, 2022.
[13] GASSL
Graph adversarial self-supervised learning. Proceedings of NeurIPS, 2021.
[14] SimGRACE
Simgrace: A simple framework for graph contrastive learning without data augmentation. In Proceedings of WWW, 2022.
[15] MA-GCL
Ma-gcl: Model augmentation tricks for graph contrastive learning. In Proceedings of AAAI, 2023.
[16] HeCo
Self-supervised heterogeneous graph neural network with co-contrastive learning. In Proceedings of SIGKDD, 2021.
* 본 포스팅은 Representation Learning for Natural Language Processing - Zhiyuan Liu · Yankai Lin Maosong Sun Editors (Second Edition , Springer) 이라는 교재를 기반으로 작성하였습니다.