Skip to main content
  1. PaperReading/
  2. CVPR/

Incremental Residual Concept Bottleneck Models

CVPR KG 2024

CBM通过构建合理的Concept bank来将任何一幅图像表达为基向量的线性组合,再基于系数向量进行分类,以增强模型的可解释性。

image-20240905213751514

CBM Model
CLIP Zero-shot
LP
Original CBM 将text embedding映射到concept,再映射到类别
PCBM 无需标注来训练concept classifier,而是用Concept Net构建concpet bank,用相似度来获取concept的系数
PCBM-h 引入残差,弥补concept-classifeir支路的预测错误
Lf-CBM 使用大语言模型来产生概念
LaBo 使用大语言模型,为每个类别产生特定数量的概念
Res-CBM 逐步增加已知概念(从一个超大的Bank中选取,通过分类损失和正则项来学习),减少未知概念

该方法在CBM系列模型中效果较好,但是仍然低于LP。

image-20240906171300380

image-20240906171314020