近日,实验室2019级博士生韩忠义一篇论文“Learning Transferable Parameters for Unsupervised Domain Adaptation”(作者:韩忠义,孙皓亮,尹义龙)被CCF A类、中科院一区期刊IEEE Transactions on Image Processing (TIP) 录用。TIP是国际人工智能计算机视觉顶尖和权威学术期刊之一,最新影响因子为10.86。
无监督领域适应(UDA)使学习机在分布变化的情况下从有标签的源域适应到无标签的目标域。由于深度神经网络具有很强的表示能力,最近其在UDA方面取得的显著成就源于学习领域不变的特征。直观地说,传统的方法通过学习一个好的特征表示和一个判别力强的源域假设(分类器),就可以鲁棒地推广到目标域。然而,域不变特征表示和源域假设的学习过程不可避免地引入到特定领域的信息,这些信息会降低UDA模型在目标域的泛化能力。彩票假说证明了只有部分参数对泛化是必不可少的。在它的激励下,我们在本文中发现,只有部分参数对于学习域不变的信息是必不可少的。这样的参数被称为可转移参数,可以在UDA中很好地泛化。相反,其余的参数则倾向于适合特定领域的细节,并经常导致泛化的失败,这些参数被称为不可转移的参数。在这一见解的驱动下,我们提出了可转移参数学习(TransPar),以减少学习过程中特定领域信息的副作用,从而加强对域不变信息的记忆。具体来说,根据分布差异程度,我们在每次训练迭代中将所有参数分为可转移和不可转移的参数。然后,我们对这两类参数执行单独的更新规则。在图像分类和回归任务(关键点检测)上进行的大量实验表明,TransPar显著提高了先前方法的性能。此外,实验表明,TransPar可以被集成到最流行的深度UDA网络中,并可以很容易地扩展到处理任何数据分布变化的情况。