儿童情绪面部表情分析

在这篇客座博客文章中，来自意大利米兰圣拉斐尔大学Vita-Salute大学和西格蒙德弗洛伊德大学的FIRB和NARSAD项目的研究人员向我们讲述了更多关于他们的研究，该研究从诱导面部激活的角度描述了一系列情绪刺激的特征。在这个项目中，FaceReader伴随着流式细胞仪编码器被用来研究两者之间的差异。

团队成员包括:Regina Gregori Grgič博士(米兰Vita-Salute San Raffaele大学);Simona Scaini博士(西格蒙德弗洛伊德大学，米兰);Chiara Ferrero博士(米兰圣拉斐尔大学Vita-Salute University);Valentina Latronico博士(丹麦哥本哈根大学心理学系认知神经科学(UCN));Anna Ogliari教授(米兰Vita-Salute San Raffaele大学);Clelia Di Serio教授(米兰Vita-Salute San Raffaele大学);Chiara Brombin博士(米兰圣拉斐尔大学Vita-Salute)。

儿童情绪面部表情分析

目前的研究是在一个较大项目的活动范围内发展起来的¹旨在通过整合不同来源的信息，如面部表情、生理测量、心理测量和临床数据来测量情绪反应。在这里，我们专注于从一般人群中提取的儿童情绪刺激引起的面部表情。

采用面部动作编码系统(FACS)进行情绪识别

为什么要用面部表情?为什么是孩子?早期发现情感识别和表达技能方面的缺陷可能会防止成年后社会功能低下。此外，面部表情是向他人传达个人情绪状态信息的最有效方式。

使用面部动作编码系统(流式细胞仪;Ekman和Friese, 1978)，面部配置可以使用特定的、定量的和可共享的规则进行解码。面部表情是用面部肌肉的单次运动(动作单位，au)及其强度．

在此下载免费白皮书“面部动作编码系统(FACS)”

测量儿童的面部表情

为了引发情绪，我们使用了一组预先测试的15张图片，这些图片来自《儿童愤怒和恐惧诱发刺激》(AFES-C, Scaini et al.， 2017)，特别适合引发愤怒、恐惧和中性情绪。这些情绪实际上与内化和外化问题的发展有关。

61名年龄在7至14岁之间的儿童参加了在实验室进行的实验。在给药过程中记录儿童的面部表情。没有人要求孩子们表现出特定的情绪，所以录音证明了孩子们的自发反应。照明条件被精心控制。

---

---

图1:实验室设置。

情绪反应

在每次刺激呈现后，孩子们被要求使用离散和维度情绪模型描述他们的情绪体验。孩子们被允许移动并摆出自然的姿势，从而使软件更难分析他们的面部表情。没有对视频进行实时分析。

分析的目标是通过记录的面部表情数据来描述AFES-C刺激诱导的情绪反应FaceReader经过认证的FACS人类编码器．这个想法是为了识别每个目标情绪特定的AUs模式。

自动检测动作单元与FACS编码器

FaceReader最常检测到的面部表情有43个(闭着眼)、17个(抬起下巴)和25个(张开嘴巴);发现最少的是9个(卷曲鼻子)，20个(下巴向后拉)和27个(张开嘴巴)。

FACS编码器检测到一些AUs更常见，包括AUs 4(皱纹眉毛)，5(眼睛扩张)和1(皱纹前面)。检出最少的AUs分别为20、43和27 AUs。结果如图2所示。

---

---

图2:显示发生动作单元的相对频率的条形图，由FacerReader 5(左边)和FACS编码器(右边)检测到，按递减顺序排列。FaceReader中检测到频率最高的AU为AU43，表示“闭眼”，而FACS编码器检测到频率最高的AU4，表示“眉毛降低”。Facereader检测到的AU最少，是AU9(鼻子皱纹)，而FACS编码器检测到的AU最少，是au20(嘴唇拉伸器)。

由于FACS编码器中AUs的出现是一个二进制变量，为了比较两种方法，使用经验阈值对FaceReader提供的连续AU信号进行二分:在整个刺激呈现时间内，如果信号的最大值至少一次大于0.2(在0-1范围内)，则出现AU。

然后将聚类技术应用于自动和手动方法检测到的指示AUs发生的变量。我们特别关注了最与情绪相关的动作，例如，第1个动作(扬起眉毛)，第4个动作，第5个动作，第7个动作(收紧眼睛)，第10个动作(拉脸颊)，第12个动作(微笑)，第14个动作(酒窝)，第15个动作(嘴角向下)，第17个动作(下巴向上)，第20个动作和第23个动作(绷紧嘴唇)。因此，我们排除了从未或总是被两种方法检测到的au，例如27和43。

在考虑FaceReader检测到的AUs时，我们确定了两组图像，分别包括中性和非中性刺激;当考虑到FACS编码器检测到的AUs时，识别出三个几乎反映三种目标情绪的聚类。

---

---

图3:基于FacerReader 5(左侧)和FACS专家(右侧)检测到的动作单元的聚类刺激。每张图片都标有它的ID。N表示中性图片，A表示引起愤怒的图片，F表示引起恐惧的图片。

有使用FaceReader的经验

在儿童实验环境中探索FaceReader 5的功能是非常有趣的。此外，在我们的研究中，我们对自然、自发的面部表情很感兴趣。在某些情况下，FaceReader无法检测到孩子的脸，原因是脸本身的大小、孩子的动作，或者眼镜/头发的存在导致部分遮挡。我们使用静态刺激，没有诱导强烈的情绪反应，但每当孩子表现出更强烈的情绪表情时，软件就成功地分析了面部表情。

我们发现FaceReader的“一般”模型比“儿童”模型表现更好(Loijens和Krips, 2018)。我们意识到，基于0.2经验阈值的AU“发生率”的定义可能会影响我们的结果，我们目前正在使用功能分析技术完善这一阈值的定义。

最新版本的FaceReader实际上使用了一种新的深度学习算法，称为深度面部模型，允许你在具有挑战性的条件下分析面部表情。因此，在未来的工作中，我们希望在相同的实验环境中测试其性能。

---

---

参考文献

• 艾克曼，P.，弗里森，W. V.(1978)。"面部动作编码系统手册"咨询心理学家出版社．
• 洛延斯，L.，克里普斯，O.(2018)。FaceReader方法论笔记。诺达斯信息技术公司的行为研究顾问。bwin必赢登录入口
• Scaini, S.， Rancoita, P. M.， Martoni, R. M.， Omero, M.， Ogliari, A.， & Brombin, C.(2017)。整合情绪的维度和离散理论:一套新的儿童愤怒和恐惧刺激。遗传心理学杂志，178 (5), 253 - 261。

¹本研究由FIRB项目RBFR12VHR7“解释情绪:基于形状分析和贝叶斯网络集成面部表情和生物信号的计算工具”(PI, Brombin博士)和来自大脑与行为研究基金会的NARSAD青年研究员资助，资助号:23553，题为“集成多模态情感信息用于焦虑障碍症状儿童的情绪识别”(Scaini博士接受者)。