近日,实验室2020级硕士生魏琦一篇论文“Self-Filtering: A Noise-Aware Sample Selection for Label Noise with Confidence Penalization”(作者:魏琦,孙皓亮,卢宪凯,尹义龙)被计算机视觉领域的顶级会议ECCV录用。
样本选择是鲁棒学习中缓解标签噪声影响的一种有效策略。典型的策略通常应用小损失准则来识别干净的样品。但是,在决策边界附近损失较大的样本通常会与噪声样本纠缠在一起,按照该准则将这些噪声样本丢弃,导致泛化性能严重退化。本文提出了一种新的选择策略Self-Filtering (SFT),该策略利用历史预测中噪声样本的波动对其进行过滤,避免了小损失准则对边界样本的选择偏差。具体来说,我们引入了一个记忆库模块,存储每个例子的历史预测,并动态更新,以支持后续学习迭代的选择。此外,为了减少SFT样本选择偏差的累积误差,我们设计了一个正则项来惩罚置信输出分布。通过增加错误分类类别的权重,损失函数在温和条件下对噪声的标记具有鲁棒性。我们对三种不同噪声类型的基准进行了广泛的实验,达到了最好的效果。消融研究和进一步的分析验证了SFT的优点。