面部表情在联合活动中的作用

作者:Robert Lowe，瑞典哥德堡大学认知与交流系副教授。

面部表情在联合活动中的作用

哥德堡大学(University of Gothenburg)的罗伯特·洛(Robert Lowe)团队一直在研究处理面部表情在认知要求高的任务中的作用。他们关注的焦点是情绪表达是否以及如何引导:

• 互动价值学习，以及
• 互动式纠正措施选择。

研究人员对差异结果学习范式和需要纠正行动选择的交互式地图导航任务进行了不同的基于社会互动的研究。研究人员更广泛的兴趣在于使用情感在联合活动中。

---

---

差异结果学习

在Rittmo等人(2020)最近发表的一篇文章中，研究人员采用了现有的心理学学习范式-差分结果学习来转移反应知识。在经典的刺激-反应训练设置中使用了差异结果训练，其中任意的刺激(例如，计算机化任务中的雨伞图像)后面是不同的反应选项(例如，需要按下左右反应选项卡)，其中只有一个这样的反应提供了“正确”的反馈。学习是通过试错来进行的。参与者被要求将不同的刺激与不同的反应选项相匹配，以获得奖励或强化的结果(例如金钱的图像)。

与标准的行为学习方法不同，差异结果训练需要不同的刺激-反应配对微分奖励结果(游戏邦注:例如图像呈现:大额金钱奖励vs低金额金钱奖励)。一个差异结果效应在使用这种实验设置的研究中(McCormack等人，2019年)可靠地发现，在差分与非差分(每个正确回答的奖励相同)结果训练下，学习速度更快。

从表达的情绪中学习互动价值

哥德堡大学(Gothenburg University)的研究人员在社会环境中以计算机化任务的形式进行了一项不同结果程序的新变体。这要求参与者必须从一个女演员(同伙)在高或低奖励的工具反应(分别是大量金钱或少量金钱的图像)后表达积极和消极情绪的视频中学习。

消极情绪，在这种情况下，起到了轻度挫折的表达在对先前提出的刺激做出正确反应后，获得相对较低的回报结果。

在此下载免费白皮书“面部动作编码系统(FACS)”

视觉刺激和反应选项之间的关联

在实验中，参与者最初被要求学习视觉刺激和反应选项之间的联系，不同的配对导致不同的价值(奖励)结果(高现金奖励和低现金奖励的图像)。然后，参与者被要求观察一个同伙参与同样的任务，但有新的视觉刺激。

因此，在最初的训练中，刺激包括扫帚的图像(在计算机屏幕上)，而在观察训练中，可能会出现公共汽车的图像。下面可以看到初步训练的试验进度图。

---

---

在观察训练中，试验与最初的训练一样进行，但现在反应选项从观察参与者的视野中隐藏起来，同时在整个试验中播放女演员的视频。

在展示结果时(也隐藏在观察参与者的视线之外)，女演员会微笑以表现如下所示的轻微挫折。

---

---

那位女演员被教导要自然地表达感情。FaceReader用于评估表达的情感效价的可处理性，在用于观察训练的20个连续试验中评估时，这被证明是可靠的。通过这种方式，所表达的情绪代表了参与者可能从中学到的高价值和低价值的结果。

联想两过程理论

Rittmo et al.(2020)的实验评估了参与者从初始训练到观察训练，再到测试阶段的互动价值学习。在这个测试阶段，反应选项再次向参与者展示(就像最初的训练一样)，参与者倾向于选择女演员“选择”的反应，尽管他们从未见过女演员对特定的新刺激做出反应(事实上她没有选择反应，而只是对录像做出反应)。

根据Lowe等人(2016)的研究，参与者测试阶段的反应选择是根据一种改编的(社会)联想两过程理论(Trapold 1970, Urcuioli 2005)来预测的。下面是与我们的实验相关的经典联想双过程示意图。

最上面一行显示了试验过程。在阶段1中，可以看到对给定刺激的正确反应(例如R1跟随S1，其中R2在本试验中是“不正确的”)和随后的奖励结果(S1->R1配对的O1)，当选择不正确的反应时，没有奖励或出现惩罚结果，例如S1->R2->惩罚。

---

---

在实验的每个阶段，都有所不同刺激(S1, S2, S3, S4)，和响应(R1, R2)选项在多个试验中呈现(每个试验一个刺激)。在阶段1和3中，出现了两个反应选项(与上面的模式一致)，“正确”的反应会导致奖励的结果(O1或O2)，否则没有奖励。

形成的期望

联想双过程理论预测(上图下一排)参与者对不同的结果(E1, E2)形成期望(值)，在我们的例子中，分别是高回报(O1)和低回报(O2)。这些期望作为内部刺激，可以与(外部)刺激和反应相关联。通过这种方式，参与者可以了解到，例如，E2与R2(阶段1)有关，与S4(阶段2)有关。

因此，如果S4在阶段3中再次出现，它应该联想地提示E2的表示，而E2又联想地提示R2的表示。因此，参与者偏向于特定的反应(R2)，尽管他们从未与S4-R2配对出现在同一个试验中。

---

---

社会联想双过程学习

在Lowe et al.(2016)中，假设在联合活动中不与他人竞争的参与者会“设身处地为他人考虑”，并学习对方基于价值的结果预期(高回报与低回报)，就像他们是自己的一样。我们称之为替代价值学习．

它提供了上述3阶段设置的改编。在第二阶段的经典设置中，参与者对每个新刺激的感知结果不同(巴甫洛夫条件反射)。相反，在Rittmo等人(2020)的改编中，参与者观察到同伙的情绪表达作为实际(现在不可见)结果的代理。

这个社会联想双过程假设参与者在第二阶段评价新刺激，就好像它们出现在同伙的地方一样。然后，参与者使用他们更新的刺激值来选择反应，使用上述讨论的联想传递推理(在图中，通过联想传递推理: S4->E2, E2->R2给出S4->R2)。

这种基于不完全信息(即对方的反应不可见)的交互式价值学习可能在联合活动中使用，其中相互作用的代理需要在“快速”任务上协作。情感线索传递关于另一个智能体任务如何进行的信息，可能提供了一种绕过漫长的试错学习过程的方法。

这尤其适用于不同的情感状态(结果预期)构成与任务相关的刺激的共同类别的情况，即某些刺激组通常会引起特定类型的反应。

情绪引导正确的反应

在联合活动中观察他人表现的另一个方面涉及到监控他人和纠正反应，即在协作任务中，当意外发生时提供补偿反应。据说，在这种情况下，情绪会指导纠正性反应(Oately & Johnson-Laird, 1987,2014)。

Borges等人(2019)使用了哥德堡大学收集的视频数据集，该数据集由参与地图导航任务的讲师-追随者组合组成。该任务旨在诱导指导员和追随者之间的误解，需要纠正性的回答(例如问题，确认陈述)。下面给出了一个交互示例(作为使用FaceReader 8.0进行分析)，其中一个参与者观察另一个(插图)，他们能够听到交流。

---

---

然而，DICE实验室研究小组的工作重点是训练神经网络(长短期记忆/LSTM)来分类面部表情的状态混乱从视频中。

在FaceReader软件中，困惑被认为是一种情感态度(还有“无聊”和“兴趣”(Noldus 2019)。然而，它是一种情感状态，其组成部分并不被普遍接受，可能是特定于特定任务的。

情感态度混乱

能够自动检测混乱状态的好处处理情绪的面部表情，并且相对迅速，在研究中是明显的人机交互(Lago & Guarin, 2014)。例如，如果软件代理检测到人类参与者的困惑，则代理可以在主体脱离活动之前执行解决困惑的响应。从人机交互任务的联合活动到认知任务的游戏化和游戏化，这有许多潜在的应用。

在Borges等人(2019)中，我们对来自FaceReader的动作单元输入进行了训练，分析了视频，并针对积极、消极、中立和混乱情绪状态，得出了相对于地面真值(评分者之间编码)的可观的分类精度、精度和召回率。

我们认为这项工作在我们正在开发的人机交互任务(Lowe等人，2019年)的背景下很有前景，该任务要求机器人从其他人那里间接学习(如Rittmo等人，2020年)，同时对其他可能使他们脱离联合活动的情感状态做出反应(例如表现为“困惑”)。

参考文献

博尔赫斯:;Lindblom l;克拉克,b;Gander, A. & Lowe, R.(2019)。混淆分类:使用面部动作单元自动检测交际误解。2019第八届情感计算与智能交互国际研讨会与演示(ACIIW), 401 - 406。IEEE。https://doi.org/10.1109/ACIIW.2019.8925037。

拉戈，P. &瓜林，C.J.(2014)。基于面部表情分析的情感推断模型。”IEEE拉丁美洲汇刊，12 (3), 423 - 429。https://doi.org/10.1109/TLA.2014.6827868．

劳,r;alm, a;Gander, P. & Balkenius, C.(2019)。人-人-机器人交互中的替代价值学习与推理。2019第八届情感计算与智能交互国际会议(ACIIW)，395 - 400。IEEE。https://doi.org/10.1109/ACIIW.2019.8925235．

劳,r;alm, a;Lindblad, g;呆子,p;迈克尔，J. &维斯珀，C.(2016)。联合行动中使用的最低限度社会情感价值:一个神经计算假设。计算神经科学前沿，10, 88年。https://doi.org/10.3389/fncom.2016.00088．

麦科马克，J. C.，埃利夫，D. & Virués‐奥特加，J.(2019)。量化人类差异预后程序的影响:系统回顾和荟萃分析。应用行为分析杂志，52 (3), 870 - 892。https://doi.org/10.1002/jaba.578．

Noldus。(2019)。FaceReader:自动分析面部表情的工具，版本8.0[软件]。荷兰瓦赫宁根:Noldus信息技术公司bwin必赢登录入口

奥特利，K. &约翰逊-莱尔德，P.N.(1987)。走向情感的认知理论。认知与情感，1 (1), 29-50。https://doi.org/10.1080/02699938708408362．

奥特利，K. &约翰逊-莱尔德，P.N.(2014)。情感的认知方法。认知科学的发展趋势，18 (3), 134 - 140。https://doi.org/10.1016/j.tics.2013.12.004．

Rittmo, j .;•r .;Gander, P. & Lowe, R.(2020)。替代价值学习:通过情感加工对社会差异结果任务的知识转移。Acta Psychologica，209, 103134年。https://doi.org/10.1016/j.actpsy.2020.103134．

特拉博尔德，文学硕士(1970年)。基于不同的正强化事件的预期是否有明显不同?学习和动机，1, 129 - 140。https://doi.org/10.1016/0023 - 9690 (70) 90079 - 2．

Urcuioli, P.J.(2005)。歧视学习中差异结果的行为和联想效应。动物学习与行为，331日到21日。https://doi.org/10.3758/BF03196047．