CBM通过构建合理的Concept bank来将任何一幅图像表达为基向量的线性组合,再基于系数向量进行分类,以增强模型的可解释性。
CBM Model | |
---|---|
CLIP Zero-shot | |
LP | |
Original CBM | 将text embedding映射到concept,再映射到类别 |
PCBM | 无需标注来训练concept classifier,而是用Concept Net构建concpet bank,用相似度来获取concept的系数 |
PCBM-h | 引入残差,弥补concept-classifeir支路的预测错误 |
Lf-CBM | 使用大语言模型来产生概念 |
LaBo | 使用大语言模型,为每个类别产生特定数量的概念 |
Res-CBM | 逐步增加已知概念(从一个超大的Bank中选取,通过分类损失和正则项来学习),减少未知概念 |
该方法在CBM系列模型中效果较好,但是仍然低于LP。