近日,实验室2022级硕士生吴鹏一篇论文“A Conditional Probability Framework for Compositional Zero-shot Learning”(作者:吴鹏, 赖秋霞, 方豪, 谢国森, 尹义龙, 卢宪凯, 王文冠)被International Conference on Computer Vision 会议 (ICCV) 录用。ICCV是计算机视觉和图像理解领域重要国际会议,属于CCF-A类会议。
组合式零样本学习(CZSL)旨在通过利用已见组合的知识,来识别已知物体与属性的未见组合。传统方法主要关注解耦属性和物体,在学习过程中将它们视为独立实体。然而这种假设忽略了组合内部的语义约束与上下文依赖性。例如,某些属性天然与特定物体配对(如"条纹"适用于"斑马"或"衬衫",但不适用于"天空"或"水"),而同一属性在不同上下文中会呈现不同表现(如"年轻树木"与"幼犬"中的"年轻")。因此,捕捉属性-物体间的相互依赖关系,始终是CZSL领域基础却长期被忽视的挑战。本文采用条件概率框架(CPF)显式建模属性-物体依赖关系。我们将组合概率分解为两个部分:物体似然度及其属性的条件似然度。为增强物体特征学习,我们引入文本描述符来突出语义相关的图像区域。这些增强后的物体特征通过交叉注意力机制指导属性学习,确保更好的上下文对齐效果。通过联合优化物体似然度与条件属性似然度,我们的方法有效捕捉组合依赖性,并能良好泛化至未见组合。