key idea #
-
构建知识图谱
- TFIDF筛选实体,UMLS relation table+co-occurance建立关系
-
多任务训练GAT
model #
本文对比了两种不同的多任务范式,多任务共享编码器和设置任务特异性编码器。(公式较为繁琐,但描述的实际上就是下面两张图)
多任务共享编码器(4层GAT,ICD编码根据第2层输出)
共享编码器+任务特异性编码器(2层GAT+2层GIAT)
共享编码器聚合特征
特异性编码器的中间特征(注意到计算相似度的依据是共享特征而不是特异性特征)
特异性编码器的最终特征是两个特征的加权和,g是控制因子
将文本节点送入分类器得到分类结果,并同时优化K个任务、$N_k$个样本、$C_k$个类别。
details #
使用了4张2080,共计32GB显存
不同backbone
多任务的必要性