Effective Convolutional Attention Network for Multi-label Clinical Document Classification

key idea

#

1. Backbone:CNN+多尺度
   • 通过Conv1d聚合信息的同时，用SE模块进行一定的增强
2. Label Attention，多标签分类的常用做法，用attention为每一个标签聚合文本特征，对每一个标签的概率进行sigmoid激活
   • 每个标签独立计算概率，但都要考虑所有类别的标签聚合到的特征$$V\in R^{N_l\times D_{conv}}$$
3. 在训练初期使用bce loss，后期切换到focal loss，以防止实验早期无法拟合常见病（罕见病1-2%左右）
4. 可解释性探讨

Res-SE模块

#

SE模块，通过token所在的句子来判断这个token的重要性，并进行权重增强