admin 管理员组文章数量: 1103785
上一篇博文简要review了关于图结构学习的综述：Graph Structure Learning（图结构学习），本篇文章主要整理一下这几篇很有意思的工作，分别来自北邮团队的KDD20，AAAI21，WWW21，AAAI21。
[KDD2020] AM-GCN: Adaptive Multi-channel Graph Convolutional Networks
首先第一篇讨论GCN结构的动机在于：GCN从拓扑结构和节点特征中真正学习和融合了哪些信息？
对于GCN来说，其关键步骤是特征聚合即节点从拓扑邻居中聚合得到特征信息。通过这种方式，特征信息可以通过网络拓扑传播到节点嵌入，然后再将学习到的节点嵌入用于分类任务，整个过程部分由节点标签监督。也就是说，GCN的巨大成功部分归功于其在拓扑结构和节点特征上提供的融合策略来学习节点嵌入，并且融合过程由端到端学习框架监督。故，GCN从拓扑结构和节点特征中真正学习和融合了哪些信息？
首先作者做了两个case分析，来证明GCN的局限性。
- case1：随机拓扑+相关节点特征。即node的特征和label高度相关，但是和拓扑结构无关。在这种情况下，GCN<MLP，即此时用MLP来捕捉相关性足矣。
- case2：相关拓扑+随机节点特征。即拓扑结构和label高度相关，但与特征关联不大。在这种情况下，GCN<DeepWalk，即用可以捕捉结构的模型足矣。
这两个case分析证明了，关于拓扑和特征的融合策略还需要进一步优化。因此作者在本文所提出的AM-GCN的核心想法是，能否设计一种新型的GCNs，其可以保留GCN的优势，同时增强融合拓扑结构和节点特征的能力？具体框架图如下：
因此首先构造两种图，拓扑图和特征图。拓扑图还是常规做法，其中特征图的构建直接利用kNN，找特征最相似的最近的节点作为邻居，这有两种方法，一是用余弦相似度： S i j = x i ⋅ x j ∣ x i ∣ ∣ x j ∣ \mathbf{S}_{i j}=\frac{\mathbf{x}_{i} \cdot \mathbf{x}_{j}}{\left|\mathbf{x}_{i}\right|\left|\mathbf{x}_{j}\right|} Sij=∣xi∣∣xj∣xi⋅xj或者Heat Kernel： S i j = e − ∥ x i − x j ∥ 2 t \mathbf{S}_{i j}=e^{-\frac{\left\|\mathbf{x}_{i}-\mathbf{x}_{j}\right\|^{2}}{t}} Sij=e−t∥xi−xj∥2
通过因为特征空间和拓扑空间不是完全不相关的，所以作者设计了一个Common-GCN来来提取被两个空间共享的公共信息，即分别传播学习两个图的共性图和个性图，最后再加Attention来自动选择这些信息。个性图是正常的卷积： Z f ( l ) = ReLU ( D ~ f − 1 2 A ~ f D ~ f − 1 2 Z f ( l − 1 ) W f ( l ) ) \mathbf{Z}_{f}^{(l)}=\operatorname{ReLU}\left(\tilde{\mathbf{D}}_{f}^{-\frac{1}{2}} \tilde{\mathbf{A}}_{f} \tilde{\mathbf{D}}_{f}^{-\frac{1}{2}} \mathbf{Z}_{f}^{(l-1)} \mathbf{W}_{f}^{(l)}\right) Zf(l)=ReLU(D~f−21A
本文标签： 结构 Graph Structure learning
版权声明：本文标题：Graph Structure Learning（图结构学习应用） 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.520sys.cn/xp/1755047114a1463104.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论