文章导读

群体情感识别 (Group Emotion Recognition, GER) 任务将群体图像 (或视频) 的整体情感状态分为积极、中性和消极三类。目前研究人员们已经提出了多种基于学习的群体情感识别方法，但它们的性能十分依赖于有标签样本的数量。尽管互联网上存在众多包含群体情感信息的图片，但由于对它们进行标注的操作费时费力，导致可以直接用于群体情感识别的数据集通常规模较小，这极大限制了群体情感识别算法性能的提升。

为了解决这一问题，来自中山大学的硕士生张嘉毅、博士生王行志以及张东副教授和来自美国杨百翰大学 (Brigham Young University) 的 Dah-Jye Lee 教授在 Electronics 期刊下的特刊“Convolutional Neural Networks and Vision Applications (卷积神经网络与视觉应用)”中发表了文章。本文提出了一种基于对比学习的半监督群体情感识别方法，可利用少量的带标签图像和大量的无标签图像来提升群体情感识别方法的性能。

研究过程与结果

本文提出了一种基于对比学习的半监督群体情感识别方法 (Semi-Supervised Group Emotion Recognition, SSGER)，它的框架 (图1) 主要由 SFNet 和 FusionNet 构成。SFNet 为特征提取网络，它主要由 ResNet-50 和全连接层构成，旨在从图像中提取情感特征；FusionNet 为特征融合网络，其利用注意力机制对从人脸图像和场景图像中提取的情感特征进行融合。

图1. SSGER 的框架结构图。

作者提出了一种有效的四阶段训练策略：阶段一利用对比学习的方法预训练 SFNet，在对提取出的人脸特征和场景特征进行映射后，通过最小化它们之间的余弦相似度对网络进行训练，从而在无标签数据中提取图像中的语义情感信息；阶段二利用有限的带标签图像预训练 SFNet 和 FusionNet；在阶段三中，作者利用阶段二训练的网络为无标签数据打上伪标签；阶段四利用有标签样本和打上了伪标签的样本进一步训练 SFNet 和 FusionNet，为了抑制不可靠伪标签对网络学习的负面影响，作者还提出了一种加权交叉熵损失 (Weight Cross-Entropy Loss, WCE-Loss) 来平衡各类样本对网络学习的贡献。

作者在 GAF2、GAF3 和 GroupEmoW 等三个主流的群体情感识别数据集上开展了实验。实验结果显示，与其它目前最先进的群体情感识别方法相比，文中所提出的方法具有优秀的半监督性能 (表1~3)。作者通过消融实验，验证了对比学习预训练、打伪标签操作以及引入 WCE-Loss 等技术的有效性 (表4)。作者还研究了标签率对分类性能的影响 (图2)。实验结果表明该文所提出的方法 (SSGER) 仅使用 5%~30% 的有标签样本，就可以获得媲美目前最先进的群体情感识别方法，即使用 100% 有标签样本时所达到的识别精度。

表1. 各种方法在 GAF2 数据集上分类准确率的对比 (%)。 

表2. 各种方法在 GAF3 数据集上分类准确率的对比 (%)。 

表3. 各种方法在 GroupEmoW 数据集上分类准确率的对比 (%)。 

表4. 不同配置的 SSGER 方法的性能比较。

图2. 不同标签率条件下，各种方法在 (a) GAF2、(b) GAF3 和 (c) GroupEmoW 数据集下的分类准确率。

研究总结

本研究提出了一种基于对比学习的半监督群体情感识别方法。作者使用无标签图像对 SFNet 进行预训练，并使用有标签图像对网络进行优化。作者使用优化后的网络给无标签图像打伪标签，并设计了 WCE-Loss 来补偿不可靠伪标签所带来的不确定性。由于网络的训练过程可以利用到无标签图像蕴含的情感线索，本研究提出的群体情感识别算法性能得到了有效提升。在 GAF2、GAF3 和 GroupEmoW 等三个主流数据集上的实验证明了该方法的有效性。实验结果表明，SSGER 方法仅使用 5%~30% 的带标签样本，就能获得相当于现有方法使用 100% 带标签样本得到的总体识别准确率。

原文出自 Electronics期刊

Zhang, J.; Wang, X.; Zhang, D.; Lee, D.-J. Semi-Supervised Group Emotion Recognition Based on Contrastive Learning. Electronics 2022, 11, 3990.

Electronics 期刊介绍

主编：Flavio Canavero, Politecnico di Torino, Italy

期刊涵盖的研究包括但不限于以下领域：电子材料、微电子学、光电子电、工业电子、电力电子、生物电子、微波和无线通信、计算机科学与工程、系统与控制工程、电路和信号处理、半导体器件、人工智能、电动和自动驾驶汽车、量子电子等。期刊致力于快速发表与广泛电子领域相关的、最新的技术突破以及前沿发展。

2021 Impact Factor：2.690

2021 CiteScore：3.7

Time to First Decision：14.4 Days

Time to Publication：34 Days