Skip to main content
  1. PaperReading/
  2. Others/

All in One: Multi-Task Prompting for Graph Neural Networks

KDD 2023
  • 核心思想:对每一个任务训练一个prompt,而不是训一个模型

img

  • 如何设计prompt?

img

借鉴NLP,思考prompt的token类型、关系和插入方法

每个prompt也是一个图结构

token类型(节点):embedding

token结构(边):可学习参数/相似度/相互独立

插入方式:输入图节点和prompt图节点计算attention,然后将边进行相应的叠加

  • 如何设计训练任务?

img

所有任务(节点/边/图级别)都可以看成对(添加了指定任务prompt)子图的图级别分类

对于局部级别的任务,采样其$$\tau$$近邻子图,然后添加对应任务的prompt,然后做二分类(有几个类别就做几个prompt)

利用元学习的思想将多个任务的prompt协同训练(元学习:用反向传播优化超参数)