-
pipeline
-
Image embedding与某种疾病的entity knowledge embedding(先通过wiki&UMLS知识库构建,然后通过BoiClinical-Bert编码)共同输入模型，预测这种疾病的有/无，位置，特征图
-
$$ \hat{s},\hat{p},\hat{m}=\Phi_{fusion}(v,Q) $$
-
训练时，选取Train Set中的Top Q疾病的知识编码进行训练；
-
推断时，基于该疾病的医学知识编码进行推断
-
-
训练
-
Pseudo label
- 疾病是否存在
- 疾病处于何处：使用BioClinical-Bert进行编码
-
$$ p=\Phi_{text}(\text{“it is located at {position}”}) $$
-
Fine-grained supervision
-
疾病有无：BCE Loss
-
疾病位置：将该疾病的位置编码和其他M种位置编码进行对比学习（因为位置编码的类别数未知）
-
$$ L_{loc}=-\frac{1}{Q}\sum_k^Q\frac{e<\hat{p}_k,p_k>}{e<\hat{p}_k,p_k>+\sum_u^M{e<\hat{p}_k,p_k>}} $$
-