验证研究:基本情绪和行动单位检测

这是一篇由Jan Zumhasch撰写的客座博客。他曾就读于德国德累斯顿工业大学，获得传播学硕士学位。

起点

根据埃克曼(1970¹)，可以区分出七种与文化无关的基本情绪:喜悦、愤怒、厌恶、悲伤、惊讶、恐惧，后来还有轻蔑情绪²．它们与特定的面部表情相对应，因此可以被观察到。

最具经验基础的识别这些情绪的观察系统是面部动作编码系统(FACS)由埃克曼及其同事(1978年)开发^3.)，被反复审阅，随后修订(1992年和2002年)，并被众多研究人员使用。此外，它还被用来开发FaceReader是一个自动分析这些面部表情和情绪的软件工具．但是软件的工作效果如何呢?

对于版本6的性能，Lewinski等人(2014⁴)发表了一项验证研究。同时对软件进行了修改和扩充。因为我是认证的FACS-Coder就我个人而言，我对测试该软件的新版本非常感兴趣。

测试面部表情识别软件工具

在我的硕士论文中，我验证了FaceReader 7.1版本，包括行动单元模块．为了明确我的研究的调查部分，我使用了选定的研究材料，包括“阿姆斯特丹动态面部表情集”(ADFES)的照片和视频。⁵以及从面部动作编码系统(FACS)中提取的材料，FACS是研究面部的圣杯。

结果

我总共手工编码了176张照片和143个视频。在那之后，我有了action - unit -combination和对应的每一张照片和视频的情绪，我可以与FaceReader的结果进行比较。

A.基于高质量照片和视频的高性能

FaceReader在分析六种基本情绪(喜悦、悲伤、愤怒、惊讶、恐惧和厌恶，以及中性的面部表情)时，能够高精度地识别adfs数据集中的照片和视频。

---

---

正确行动小组的召回率也很高。对“召回”、“精度”和“F1”的确切解释可以在2014年莱温斯基等人的验证中找到。例如，以下图表中AU 1的“召回”意味着在122次FaceReader中有113次正确识别了Action Unit。这等于0 93或93%，一个惊人的结果。

---

---

总之，无论是在情绪回忆还是在行动单元回忆上，结果都高于莱温斯基等人2014年的发现。此外，六种基本情绪的准确性值与软件手册中的值或规格基本一致。唯一的区别在于对轻蔑这一基本情感的识别不那么准确。然而，必须指出的是，FaceReader仍处于检测这种特定情绪的实验状态。

此外，FaceReader将轻蔑表情标记为中性，因为中性表情的强度条比轻蔑表情高得多。这可能是因为轻蔑是一种非常微妙的表情，而FaceReader的面部表情强度非常低(见下文)。

B.图像质量低的具体困难

对FACS所选培训材料的分析显示了一幅更加微妙的画面:一方面，FaceReader平均而言精确地识别了视频中可观察到的情绪。最终，只有三种检测不够精确。本工作计算出的“性能值”和计算出的“一致性指数”表明该软件具有较高的可靠性。另一方面，FaceReader对FACS视频中包含的基本情绪的识别程度不如ADFES的情绪可视化。

然而，必须考虑到所选FACS材料的面部表情只包含部分基本情绪，很少有明显的肌肉活动和低强度，这就是为什么FaceReader在编码时经常给予中性面部表情高于基本情绪的优先级。FaceReader没有通过韧性测试。

尽管FaceReader在识别特定面部表情的正确动作单元组合方面表现出色，但令人惊讶的是，该软件仍然无法识别正确和相应的基本情绪。这可能表明，FaceReader对动作单元和情绪的分析是两件不同的事情，而实际上这些动作单元组合表示的是一种情绪，FaceReader有时无法建立看起来的联系。

因此，需要明确的是，为什么FaceReader在分析某些高质量的照片时会出错，有时甚至正确识别了Action-Unit-combination，但随后对应的匹配情感却没有被识别出来，以及为什么有时FaceReader无法分析出质量优秀的照片。让软件更灵活的一个想法是支持头像照片，这意味着即使只能从侧面看到人脸，也可以分析情绪和动作单元。

更高的精度和性能能力

总之，facereader家族版本(7.1版)的这些新增功能表明，该软件多年来取得了进步，并将继续进步。验证研究表明，该方法具有较高的精度和性能。只要照片和视频质量高(如FaceReader手册中所述)，摄像头角度笔直，显示面部正面，闪电恰到好处，效果就会非常出色。

FaceReader最令人惊讶也是最相关的问题如下:

• FaceReader在找到正确的情绪方面确实很好，但在许多情况下，参数值不够高，无法正确标记。相反，显示的是中性的面部状态。
• FaceReader有时会对相同的照片产生不同的结果。情感和行动-单元组合都是如此，这是验证的一个更显著的结果。关于动作-单元组合:即使是同一张照片的强度似乎也会随着时间的推移而不同。
• 有时，FaceReader无法分析一张看起来“完美”的照片，但根据手册，这张照片具有FaceReader分析的最高条件。

事实证明，如果你想，FaceReader是惊人的分析面部表情和情绪考虑到数字化的稳步发展和企业对了解目标群体的情绪状态越来越感兴趣，该软件有着光明的未来。

---

---

参考文献

1. 埃克曼,p(1970)。情感的通用面部表情。加州心理健康研究文摘，8 (4), 151 - 158。
2. 艾克曼，P.和海德，K. G.(1988)。轻蔑表情的普遍性:复制。动机和情感，12 (3), 303 - 308。
3. 埃克曼，弗里森，W. V.和哈格尔，J.C.(2002)。面部动作编码系统。盐湖城:网络信息研究公司的子公司Research Nexus。
4. Lewinski p;Fransen m . l .;Tan E.S.H.(2014)。通过对有趣的说服性刺激的面部表情预测广告效果。神经科学、心理学和经济学杂志，7, 1 - 14。
5. 范德沙尔克，J.，霍克，S. T.，费舍尔，A. H.，杜斯杰，B. J.(出版中)。移动的脸，看的地方:阿姆斯特丹动态面部表情集(ADFES)，情感．