为参与度创建自定义表达式:使用FaceReader进行的验证研究

作者:荷兰乌得勒支大学应用认知心理学研究生Dayenne sarkle - teulings

为参与度创建自定义表达式:使用FaceReader进行的验证研究

在乌得勒支大学攻读应用认知心理学硕士学位的3个月研究生研究实习项目中，我被要求为情感状态Engagement创建一个定制的表达。在这个博客中，我将简要地告诉你这个有趣和有趣的项目的亮点。

为什么参与?

在过去的几年里，参与的概念在多个领域越来越受关注:组织行为学、市场营销、社会心理学和教育[1]。例如，市场营销对投入型消费者非常感兴趣，特别是研究表明，高度投入型消费者在每笔交易中多花60%的钱，多消费90%的频率，而且鼓吹[2]品牌的可能性是后者的四倍。难怪企业都非常热衷于寻找提高消费者参与度的方法。

投入型消费者是什么样的?

但你如何知道消费者是否(高度)投入其中?投入型消费者是什么样的?举个例子，为了测试广告是否增加了人们的参与度，你可以看看面部表情人们一边看广告一边展示。

我们都知道人们很难隐藏自己的真实感受。早在1872年，达尔文就已经注意到经历过的情绪和面部表情之间有很强的联系。

为了测量面部表情，像FaceReader这样的自动面部表情分析工具可以使用。除了精确测量基本情绪，FaceReader还可以创建自定义表情，你可以通过结合面部表情和表情等变量来设计自己的算法行动单位(来自)．

在此下载免费白皮书“面部动作编码系统”(FACS)

订婚是什么?

那么到底什么是Engagement呢?这是一个广泛的概念，有很大的解释空间。通过全面的文献回顾，我们发现许多文章都在讨论“参与”这一概念，但它们的定义都有重叠之处，但又略有不同。

我们可以将敬业度分为三个组成部分，即情感敬业度、认知敬业度和行为敬业度，如图1所示。

---

---

图1。根据文献[4,5,6,7,8,9]，投入的层次。

根据来自文献的信息，我创造了Engagement的定义:

“敬业似乎是双向互动的产物，由个人或组织发起。一方面，组织必须通过把自己展示成对个人有吸引力的东西来吸引某人的注意。他们需要保持足够长时间的注意力，以激发一个人的第二级注意力，在第二级注意力中，参与感、兴趣和动机似乎有助于这种持续的注意力。另一方面，产生了个人的自由意志，有意地与组织联系在这样一个水平上，一个人愿意超越与组织相关的个人要求。”

既然定义已经确定，是时候收集信息来创建一个算法了。

全神贯注的表情

“订婚的人”长什么样?在文学作品中，我发现了很多矛盾的信息。从大量表达与完全没有表达，到表达与敬业度的负相关和正相关。

我决定自己做一个实验，亲自去看看订婚后的脸是什么样的。为此，我创建了一个在线调查，使用Qualtrics和FaceReader在线在那里，刺激物(电影预告片)设置在FaceReader Online上，然后用JavaScript嵌入到Qualtrics中。

电影预告片被特别选择为刺激物，因为它们的持续时间通常是2 -3分钟，这足以唤起持续的注意力，但仍然在限制(0-3分钟)失去这种持续的注意力[10]。因此，电影预告片是专门设计来吸引和保持某人的注意力的。这些电影还没有在影院上映，所以没有偏见可以影响体验。

人们被邀请参加Qualtrics的一项调查，并在观看电影预告片时用自己的网络摄像头记录下来，之后他们被要求对每部电影预告片的整体沉浸感进行评级。录音是导出到FaceReader 8.1进行广泛分析，调查结果可从Qualtrics导出到Excel和SPSS中。令人惊讶的是，所有的项目合作得多么好!

---

---

为了分析结果，我使用自我报告的总体参与度水平的分数来创建两组:高参与度的人(得分70分及以上)和低参与度的人(得分30分及以下)。我在FaceReader 8.1中分析了两组人，并在Excel中计算了每个参与者的表情和au的平均激活量。

在低投入人群中，只有AU 4(眉毛低)的强度略高。正如你在下面的柱状图(图2)中所看到的，高参与度和低参与度人群之间的表达差异也非常小。有趣的是，高投入的人在中性测试中得分更高，这是出乎意料的。

---

---

图2。一个柱状图，可视化并比较了所有参与者在七个表情(基本情绪)，两个自定义表情(无聊和兴趣)和效价和兴奋的平均结果。

验证研究

不幸的是，我的实验并没有帮助我创建一个算法。因此，我决定创建不只是一个但两个自定义表达式，基于文献信息和我的第一个实验的结果。

游戏设置了一个条件，即无聊分数高的玩家不能参与游戏。如果无聊分数较低，则使用价值分数。选择价值是因为价值为0的值等于较高的中性值，这正是我第一个实验的主要结果。使用一个自定义表达式，我从价值得分中减去AU 4，因为我的第一个实验表明AU 4在低投入人群中略高。

为了测试这些自定义表达式，我又用Qualtrics和FaceReader online进行了第二次在线实验。这次我用广告让人们看，这样我可以记录他们的表情。之后，他们被要求对自己的整体沉浸感进行评价，这样我就可以将定制表情的激活分数与自我报告的沉浸感分数进行比较。不幸的是，没有明显的效果，这意味着无法验证自定义表达式。

尽管这个结果令人失望，但当我们从个体层面来看时，还是有一些有趣的发现需要提及。图3显示了一些参与者的自定义表达式是正确的。这可以作为后续研究的起点。

---

---

图3。参与者得分23

建议

首先，我强烈建议将沉浸感视为一种持续的情感状态，应该以总分的形式进行衡量，而不是以一帧为单位进行衡量和评估，如基本的快乐或愤怒表情。

此外，在后续研究中，如果你牢记情感表达是一种交流形式，那么在小组或结对中测量Engagement可能会很有趣。当把刺激看成一对时，你可能会表现出更多的表情。

最后，由于新冠肺炎疫情，我不得不在网上进行所有实验。这样做的好处是我可以接触到更多的参与者，因为他们可以在家参与。通过这种方式，COVID-19法规可以得到尊重。

但缺点是，当使用参与者的网络摄像头而不是Noldus实验室的摄像头时，心率和头部方向等一些分析无法使用，与实验室研究相比，我们对记录质量的控制更少。使用Noldus体验实验室后续研究可能会得到一些有趣的发现!

尽管Engagement的自定义表达式尚未得到验证，但该研究显示了Engagement概念的深刻见解。当记住这些建议时，强烈建议进行后续研究。有兴趣使用FaceReader进行后续研究吗?联系Noldus获取更多信息!

如果您有兴趣继续使用FaceReader数据进行验证研究，请接触Niek Wilmink为更多的信息。

参考文献

1. Alvarez-Milán, A.， Felix, R.， Rauschnabel, P. A.， & Hinsch, C.(2018)。战略客户参与营销:一个决策框架。商业研究，92,61-70。https://doi.org/10.1016/j.jbusres.2018.07.017
2. 罗塞塔咨询(2014)。参与的经济学(第1-9页)。从http://www.rosetta.com/assets/pdf/The-Economics-of-Engagement.pdf获取。
3. 瓦尔博特，H. G.(1998)。情感的身体表达欧洲社会心理学杂志，28日(6), 879 - 896。
4. Christenson, s.l.， Reschly, a.l.， & Wylie, C.(主编)。(2012)。学生参与研究手册。施普林格科学与商业媒体
5. Trowler,诉(2010)。学生参与文献综述。高等教育学院，11 (1)1 - 15,。
6. 哈梅林，莫菲特，j.w.，阿诺德，m.j.，卡尔森，B. D.(2017)。顾客参与营销理论研究。市场营销科学学院杂志，45 (3), 312 - 335。
7. Hollebeek,布罗迪,r . J。l . D。想把它们做为ć,B。,a &伊犁ć,(2011)。客户参与:概念领域、基本命题和研究意义。服务研究杂志，14 (3), 252 - 271。https://doi.org/10.1177/1094670511411703
8. Hollebeek, L. D.， juriic, B.和iliic, A.(2011)。客户参与:概念领域、基本命题和研究意义。服务研究杂志，14 (3), 252 - 271。
9. 奥布莱恩，H.， &凯恩斯，P.(2015)。在线新闻环境中用户参与量表(UES)的实证评价。信息处理与管理，51 (4), 413 - 427。https://doi.org/10.1016/j.ipm.2015.03.003
10. 郭培杰，金娇，鲁宾，R.(2014)。视频制作如何影响学生投入:MOOC视频的实证研究。在第一届ACM会议记录(电子邮件保护)会议规模,每周。https://doi.org/10.1145/2556325.2566239
11. 王丽，刘丹，Puri, R.和Metaxas, D. N.(2020)。学习全长电影中的预告片时刻，用共同对比的注意力。arXiv预印本arXiv: 2008.08502．