NAACL-2022(The 2022 Conference of the North American Chapter of the Association for Computational Linguistics)将于2022年7月10日举办。我实验室徐冰老师指导的硕士研究生李振同学的一篇题为《CLMLF:A Contrastive Learning and Multi-Layer Fusion Method for Multimodal Sentiment Detection》的论文被NACCL 2022 Findings录取(https://arxiv.org/abs/2204.05515)。



文中提出了一种基于对比学习和多层融合机制的模型用于图文多模态情感分析。该方法主要包含两个模块:首先是多层融合模块(Multi-Layer Fusion),包含了文本图像的Transformer融合层,图像Transformer编码层;其次是多任务模块,这里包括情感分析任务(SC Task),基于标签的对比学习任务(LBCL Task)和基于数据的学习任务(DBCL Task)。该方法相对比目前的图文多模态情感分析模型,取得了显著的性能提升,并且对输入进行简单修改,还可以将该方法应用到基于属性级的多模态情感分析任务中,且能取得较好的效果。