近日，实验室2020级硕士生贺甜甜一篇论文“EXPLORING LINEAR FEATURE DISENTANGLEMENT FOR NEURAL NETWORKS”(作者：贺甜甜，李志滨，宫永顺，姚亚洲，聂秀山，尹义龙）被ICME2022会议录用。ICME是多媒体研究领域旗舰类国际学术会议之一，属于CCF B类会议。

目前非线性激活函数，如Sigmoid、ReLU和Tanh，在神经网络中取得了巨大的成功。由于样本具有复杂的非线性特征，这些激活函数的目标是将样本从原始特征空间投影到线性可分的特征空间中。这种现象引发了我们的思考：在当前经典的神经网络中是否所有特征都需要通过非线性函数的转换，也就是说，是否在网络中间层就存在一部分特征已经到达线性可分的特征空间，不需要进一步的非线性变换，而只需必要的仿射变换。为了验证上述假设，本文探讨了神经网络中linear feature disentanglement 问题。具体地说，我们设计了一个可学习的掩模模块来区分线性和非线性特征。通过我们设计的实验，我们发现一些特征的确比其他特征能够更早地到达线性可分空间。该方法还提供了一种简单可行的剪枝策略，几乎不影响原始模型的性能。