近日，TIME实验室2018级硕士生申朕一篇论文“基于深度多任务学习的图像美感与情感联合预测研究”被CCF A类中文期刊软件学报录用。

图像美学评价和情感分析任务旨在使计算机可以辨认人类由受到图像视觉刺激而产生的审美和情感反应。现有研究通常将它们当作两个相互独立的任务。但是,人类的美感与情感反应并不是孤立出现的;相反,在心理认知层面上,两种感受的出现应是相互关联和相互影响的。受此启发,本文采用深度多任务学习方法在统一的框架下处理图像美学评价和情感分析任务,深入探索两个任务间的内在关联。具体来说,本文提出了一种新颖的自适应特征交互模块将两个单任务的基干网络进行关联,以完成图像美学评价和情感分析任务的联合预测。该模块中引入了一种特征动态交互机制,可以根据任务间的特征依赖关系自适应地决定任务间需要进行特征交互的程度。在多任务网络结构的参数更新过程中,本文根据美学评价与情感分析任务的学习复杂度和收敛速度等差异,提出了一种新颖的任务间梯度平衡策略,以保证各个任务可以在联合预测的框架下平衡学习。此外,本文构建了一个大规模的图像美学情感联合数据集 UAE。