近日,TIME实验室2019级硕士生滕隽雅一篇论文“Regularized Two Granularity Loss Function for Weakly Supervised Video Moment Retrieval ”(作者:滕隽雅,卢宪凯,宫永顺,刘新放,聂秀山,尹义龙)被IEEE TRANSACTIONS ON MULTIMEDIA(TMM)期刊录用。TMM由IEEE计算机协会主办,是全球范围内计算机图像视频处理领域的权威期刊,属于CCF B类期刊和JCR一区期刊。
基于弱监督的自然语言视频定位任务涉及到视频定位、自然语言处理及标签噪声处理方向。论文致力于引导模型捕获与文本描述最匹配的视频片段,我们设计了一个同时考虑视频级和实例级关系的双粒度损失函数。利用视频级正则化的多实例损失,学习到所有视频和文本描述之间的潜在对齐关系;利用实例级正则化损失函数,将片段分类过程视为带噪声标签的有监督学习任务。该方法可以学习修正有噪声的实例级标签,以便从所有正实例中定位更精确的目标边界。我们提出的损失函数在两个公开数据集ActivityNet和DiDeMo上的综合表现明显优于目前的技术水平。