admin 管理员组

文章数量: 1103785

博主在以往的文章中更新过图结构学习的相关概念，和北邮团队的几篇关于图结构学习的文章（主要KDD20，AAAI21，WWW21，AAAI21）。

  • Graph Structure Learning（图结构学习综述）
  • Graph Structure Learning（图结构学习应用）

近期WWW22放榜，于是博主也继续关注了下他们的新成果。


Compact Graph Structure Learning via Mutual Information Compression
这篇文章的动机在于：如何定义最优图结构？

作者认为：最优图结构应该仅包含关于下游任务中最精简的信息，不多不少，从而能对于标签做出最精确的预测。如果学到的结构吸收了很多和标签无关的信息，那它会易受到对抗攻击的影响；反之，如果它仅包含关于标签有限的信息，模型就无法支撑下游任务。总之，最优结构应该包含最小但却充分的关于标签的信息，我们称其为最小充分结构，它是有效性和鲁棒性的平衡。

需要解决两个挑战：

  • 如何确保最终视图的最小以及充分？为了达到充分，最终视图应该充分由标签指导，从而尽可能多地包含和标签有关的信息；为了达到最小，需要限制信息从基础视图向最终视图的流动。因此，为了达到最小与充分，需要思考基础视图、最终视图以及标签三者间的关系；
  • 如何确保基础视图的有效性？作为最终视图的信息源，基础视图需要保证较高质量。一方面，基础视图同样需要包含标签的信息，从而保证最终视图的表现效果；另一方面，不同视图间应相互独立，这样能消除彼此间的冗余，为最终视图提供多方面的关于标签的知识。

于是作者提出CoGSL模型，其主要通过互信息压缩来学习紧致的图结构。具体来说，模型架构如上图所示，分为2个部分，view estimator和adaptive fusion。视图估计器负责对对输入的视图进行结构调整，自适应融合以自适应无参聚合机制得到最终视图。

  • view estimator。这里调整视图的做法跟前面几篇文章还是挺类似的，也是先学特征， Z 1 = σ ( G C N ( V 1 , X ) ) Z^1=\sigma(GCN(V_1,X)) Z1=σ(GCN(V1​,X))重新计算节点i和j之间的权重， w i j 1 = W 1 ⋅ [ z i 1 ∣ ∣ z j 1 ] + b 1 w_{ij}^1=W_1 \cdot [z_i^1||z_j^1]+b_1 wij1​=W1​⋅[zi1​∣∣zj

本文标签： 续篇 结构 Graph Structure learning

版权声明：本文标题：Graph Structure Learning（图结构学习应用续篇） 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.520sys.cn/xp/1755047370a1463141.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。