Histopathology Whole Slide Image Analysis with Heterogeneous Graph Representation Learning

Code

• Heterogeneous graph construction
  • WSI -> non-overlapping patches
  • Node
    • 使用HoverNet获取节点类别
      • Pretrained on PanNude dataset (nuclei instance segmentation and classification)
      • Detect nuclei in patches and assign types
    • 使用KimiaNet获取节点的embedding
  • Edge
    • 先使用K近邻选取特征相似的节点，然后使用Pearson R计算节点相关性，作为边属性
• Heterogeneous graph learning
  • HEATNet
    • 既考虑节点相似度，又考虑边权重的相似度Transformer，聚合节点信息
  • PL Pooling
    • 使用预训练分类器对节点进行聚类（按patch内部的细胞核类型），在每个类别内部进行池化
  • Prediction
    • Cancer Staging & Cancer Classification
• Casual interpretation

$$ \Delta_{\delta,v}=L(y,\hat{y}g)-L(y,\hat{y}{g\textbackslash \set{v}}) $$

使用去除该节点前后预测值的变化，反映节点在决策中的重要程度