Skip to main content
  1. PaperReading/
  2. AAAI/

Self-Paced Unified Representation Learning for Hierarchical Multi-Label Classification

AAAI Hierarchical 2024

Code

图同构:问题最初的定义是只考虑拓扑关系,不考虑节点信息(可以用GNN)

Self-paced Learning:(基于Loss)自适应地动态衡量样本学习难度

Key Idea
#

  1. 实例特征和层次类别特征的统一表达
  2. 考虑层次结构和实例特征的难度估计(从易到难)

image-20240503161029088

基于Text Embedding和Label Embedding来计算类别概率,并且采用扁平化的方法来完成层次多标签预测 $$ \hat{y} = Sigmoid(W_2(W_1[Z^F||Z^G]+b_1)+b_2) $$

$$ L_{tg} = CE_Loss(y,\hat{y}) $$

避免了MC Loss,而是直接对Label Embedding施加来自Hierarchy的约束(相邻节点互信息最大化),使用可学习的label embedding来避免计算量大的无效的图编码器计算。 $$ L^{reconst}=-\frac{1}{|C|^2}\Sigma_{u \in C}\Sigma_{v \in C}(vu^T-A_{uv}) $$ 根据每一层级的Loss来可导地计算每个样本的难易程度(与平均Loss的差),并通过正则项和Loss权重来实现动态的由易到难。

训练前期,简单样本占主导地位,随着$\lambda$增大,难样本可以在训练初期得到更多的学习。$\lambda=0$是最优。 $$ w_x = \Pi^{L}_{l=1}[1-Sigmoid(L^{(l)}-\hat{L}^{(l)})] $$

$$ min\ Loss(Y,X|W, \lambda)= \Sigma_{x \in X} w_xL_x - \lambda \Sigma_{x \in X}w_x $$