五项研究显示了行为研究中多模态数据的力量
近年来，行为研究的一个主要趋势是采用多模态测量。在过去，一个观察，甚至是计算机辅助的视频观察，可能已经足以回答研究问题，而今天的科学家需要获得更深入的见解。多模式数据可以帮助解决这个问题。
案例研究显示了多模式数据收集的力量
观察可以告诉你一个人在做什么，但生理学给出的对心理状态的洞察可以告诉你他们为什么这么做。例如，眼球追踪可以揭示受试者自己甚至都没有意识到的兴趣模式，脑电图可以洞察大脑的详细过程。
研究人员比过去更多地使用多模式方法的一个原因是现代解决方案像66300亚洲必赢更容易集成和同步不同的数据流。这里有五个不同的研究例子，如果没有结合不同的数据模式，就不可能实现这些研究。
1.发展心理学——用视频观察和PPG和温度传感器研究社交焦虑。
社交焦虑是我们都经历过的。公开演讲、工作面试和约会都是会让我们感到焦虑和担心别人对我们的看法的环境。有时还伴有脸红——脸变红，感觉很热。每个人都知道这一点，但直到最近的一项研究才知道[1]阿姆斯特丹大学的心理学家研究了脸红在极端情况下的作用;社交焦虑障碍。
这种障碍的特征是极度和持续地害怕别人的负面评价。它会严重干扰社会环境，并可能产生各种负面的连锁反应。众所周知，脸红是SAD的症状之一，可以帮助维持它，但脸红在其发展过程中扮演了什么角色?
研究人员要求不同年龄的孩子在他们面前唱一首歌。他们结合了系统的观察，使用视听记录和66300亚洲必赢用三种技术的结合来测量脸红。采用光容积描记术(PPG)测量血容量和血脉搏幅值。
这和运动手表测量心率的技术是一样的，将光线照射到皮肤上，然后对反射信号进行处理(见下图)。用铂电极测量脸颊温度。PPG和温度传感器都被固定在孩子的一侧脸颊上。
图片来自Gudi A. Tasli HE, Spink AJ & Theuws JH(2015)。第十一届潘伯恩感觉科学研讨会
很明显，对于这样一项研究来说，结合视频观察和使用传感器测量一个特定的变量(在这个例子中，脸红)有相当大的附加价值。如果脸红仅仅是通过观察来估计的，那么它的准确性就会大大降低，数据就会被遗漏。
仅靠观察是无法量化脸红的程度的;它只会暴露它的存在与否。这将大大限制分析的可能性。
脸红和社交焦虑障碍之间的确切关系是复杂的。有关细节，你需要阅读报纸[1]．然而，很明显，儿童早期自我意识情绪反应的发展(表现为脸红)可能对儿童晚期SAD的发展有重要影响。
三种不同的测量脸红的方法表明了不同的方面。温度与社交焦虑发展的关系最为明显——可能是因为孩子们会感到自己的脸颊变热，并对这种情况产生自我意识。
2.神经科学——啮齿类动物的脑电波
脑电图是一种将电极放置在头骨表面的技术，它能够捕捉到大脑神经元的电活动。这种活动以波形的形式上下波动，而波的振荡速度与受试者的行为有关。
如果是每秒8-12次(8- 12hz)，那么这与放松行为有关。这是第一个被发现的关联，因此它们被称为α波。β波(16-31 Hz)表示积极思考(警觉性)和运动行为，θ波(4-7 Hz)表示睡意和冥想，δ波(小于4 Hz)表示高度注意力和深度睡眠。伽马波(如下图所示)的频率相当高，30-100赫兹，是由一组神经元共同作用于某些认知和运动功能而产生的。
脑电图通常与一个特定的位置相关联，例如在头部的后(后)区域测量α波。也可以更详细地观察脑电图波形，例如，睡眠的一个阶段被称为快速眼动睡眠——快速眼动。眼睛的运动产生非常特定的波形形状，这些波形来自大脑中同样特定的区域。通过观察这些波形，我们不仅可以知道正在进行的是快速眼动睡眠，还可以知道在特定时刻哪个眼睛在向哪个方向移动[２]．
典型的快速眼动睡眠脑电图模式(来自[2])。
脑电图也可以用来帮助了解大脑疾病，如阿尔茨海默氏症和抑郁症的情况。
人类和包括大鼠和小鼠在内的其他动物的脑电图有很多相似之处。通常也有细微的差异，如峰潜伏期，但总的模式，例如，对各种药物的反应是相当相似的[3]．这意味着它经常用于药物发现。
智利的一组研究人员研究了大鼠脑电图中的伽马波[4]．他们观察了大脑中被称为伏隔核的区域。该区域是大脑奖励系统的一部分，它与快乐的体验有关。多巴胺是该区域一种重要的神经化学物质。在这项研究中，科学家们将伏隔核的脑电图测量与行为测量相结合EthoVision XT．
两只老鼠被允许在一个开放的区域相互交流，这对它们来说是中立的领地。当老鼠相互交流时，它们会产生更多的伽马波，表示奖励和快乐，而不是只给它们一个新物体进行交流。注意，这只能通过结合行为数据来衡量EthoVision XT脑电图数据。在下面的插图(善意的允许的作者[4])右下角的图表显示，当老鼠相互作用时，伽马波明显更强。
他们还观察了两只老鼠中有一只在压力下进行互动时的情况。这种压力是由于被引入另一只老鼠的领地而引起的。这就导致了一场紧张的对抗。这种压力是在野外的老鼠在日常生活中经常会经历的。数据显示，受到压力的大鼠不再能够从中立区域的互动中获得像在其他情况下那样多的快乐。这并不令人惊讶，但它的重要性在于，它第一次展示了这在老鼠大脑中是如何工作的一些细节。
3.教育心理学——在学习过程中使用许多数据模式研究参与感。
蒙特利尔魁北克大学的神经实验室是为了利用多模态技术研究教育和学习的各个方面而建立的。他们使用了一整套的技术来研究正在解决在线学习问题的测试对象［5］．
与软件的交互(鼠标点击和移动)被记录下来。眼球追踪器记录注视和瞳孔直径。情感投入是用FaceReader以及真皮电导率(EDA，也被称为皮肤电导率)。当你被唤起或紧张时，你会出汗。此外还使用了脑电图。如上所述，β波表示认知警觉性。这与alpha和theta波段的信息相结合，得出了粘性指数。所有这些数据流都是使用Noldus的特殊设置组合在一起的，正如在这次采访中所解释的:
同步在这样的设置中特别重要，否则就不可能对数据进行有意义的分析。
4.行为生态学——研究被困獾的压力
研究野生动物的行为有特殊的挑战，使用多种类型的数据也可以在这方面有所帮助。当在实验室之外工作时，设备故障和数据丢失是更常见的情况，因此拥有几种类型的数据可以作为一种补偿的方式，仍然能够得到可发表的结果，即使不是所有的事情都按照计划进行。这是一组瑞典科学家在他们的研究中发现的[6]被困獾的压力有多大。
图像中hrw1973从Pixabay
即使陷阱被设计成没有物理伤害，獾仍然会感到压力，因为它们感知情况的方式。测量压力水平的黄金标准是测量皮质醇。皮质醇是身体直接对压力做出反应时产生的一种激素。
研究人员为獾准备了含有不易消化的彩色小颗粒的食物。每只獾都得到了不同颜色的小球，所以当研究人员收集它们的粪便时，他们可以测量皮质醇，从而知道是哪只獾的粪便。但是，正如野外工作中常见的那样，事情并没有按计划进行。他们收集的很多样品中没有任何彩色标记，所以不能使用。
然而，幸运的是，他们不只是依靠可的松测量。他们植入了传感器，使他们能够测量心率和体温，这也是压力的指示(虽然解释起来更复杂，因为这些测量也会随着活动的增加而增加)。此外，他们对獾使用的所有行为进行了详细的现场和视频观察《观察家报》．这绝非小事，因为獾是夜行动物，需要许多个夜晚的艰苦工作。
这一结果并不令人惊讶，但从动物福利的角度来看，这一结果还是很重要的。被困对动物来说确实是非常有压力的。他们一直陷在一个陷阱里，竭力想要逃脱。压力效应随后继续;当他们回到家时，他们的社交互动更少，像梳理和挠痒这样的“安慰行为”也更少。三晚后，它们的社交仪容打扮仍然较少。他们被困的时间越长，压力就越大。此外，如果他们在夜间(他们的活跃期)被困，比他们在白天被困更有压力。
这项研究特别出色地展示了行为观察、生理测量和激素观察的结合，所有这些都有助于对实验的全面理解，并提供了比单独观察更深刻的见解。
5.用户体验和健康研究——使用多模态数据研究技术如何帮助痴呆症患者
加拿大的两个实验室合作开发混合现实(MR)技术(虚拟现实和增强现实)的研究方法。[7]．这两个实验室分别是位于加拿大多伦多的社会与技术系统实验室(SaTS)和老年痴呆症技术与参与实验室(DATE)。他们研究的特别应用是这些技术如何支持痴呆症患者。在开发技术时，通常会要求用户填写调查问卷，就技术是否满足他们的需求给出反馈。然而，痴呆症患者并不总是能够做到这一点，因此需要使用观察方法。
这些观察的基础是66300亚洲必赢，使用大流行期间提供给客户的特殊远程许可证。这被用来对参与者在使用混合现实(MR)设备时所做的事情进行详细编码。
然而，这还不足以获得研究人员所需的洞见。他们还用眼球追踪眼镜测量了注视和瞳孔数据，用FaceReader测量了面部表达的情绪，还用脑电图测量了大脑中的神经过程。此外，还创建了一个任务评估工具，以量化参与者在使用和不使用MR工具的情况下能够执行任务的程度。最后，使用the Observer XT将所有数据汇集在一起，进行同步和集成。66300亚洲必赢
研究结论[7]MR设备确实很有帮助，而且由the Observer XT驱动的多模式设置是研究参与者与这些技术之间相互作用的一种有用的方式。66300亚洲必赢如果要以满足这些人的需要的方式开发新技术，技术的最终用户参与开发新技术是至关重要的。对使用这些技术的人进行深入研究是确定这一点的最佳方法。
结论
来自许多不同模式的数据的使用正在真正起飞。与单一模式相比，它的优势在于它揭示了更深刻的见解，而且如果一个模式失败了，数据中仍有足够的冗余，仍然可以做出一个好的出版物。几年前，处理多模态数据非常复杂，特别是涉及到集成和同步时。像The Observer XT这样的现代科技使它66300亚洲必赢越来越容易和实用。
参考文献
[1]Milica nikoliic, Mirjana majdandovic, Cristina Colonnesi, Wieke de Vente, Eline Möller和Susan Bögels(2020)。脸红对社交焦虑障碍症状发展的独特贡献:来自纵向研究的结果J.儿童心理学与精神病学61,1339-1348。doi: 10.1111 / jcpp.13221。
[２]https://www.learningeeg.com/normal-asleep
[3]Drinkenburg WH, Ruigt GS, Ahnaou A.动物药物脑电图研究:当代翻译应用综述。Neuropsychobiology。2015;72(3 - 4):151 - 64。doi: 10.1159 / 000442210。2016年2月23日。PMID: 26901596。
[4]Iturra-Mena AM, Aguilar-Rivera M, Arriagada-Solimano M, Pérez-Valenzuela C, Fuentealba P和dag尼诺- subiabre A(2019)应激对大鼠自发社会互动中伏核Gamma振荡的影响。前面。Behav。> 13:151。doi: 10.3389 / fnbeh.2019.00151。
［5］P Charland, PM Léger, S Sénécal, F Courtemanche…(2015)-评估投入的多个维度来表征学习:一个神经生理学的视角。101年木星,e52627。doi: 10.3791/52627。
[6]舒兹k . E。Agren E, Amundin, M, Roken, B。,金棕榈奖,R, &的早晨,t(2006)。欧洲獾诱捕应激的行为和生理反应。野生动物管理杂志，884-891。
[7]德赛，S.和阿斯特尔，A.(2021)。痴呆患者的混合现实技术:参与式评估方法。arXiv预印本arXiv: 2107.07336。
更多的
玩有框架的虚拟游戏
对于如今的公共展示，我们不再局限于传统的方形和平面设计。更狂野和吸引人的形式，如曲线，球体，或柱现在也可能。
7种在家继续研究的方法
我们收集了很多想法和方法来促进在家工作和继续研究项目。在这篇博文中，我们将为你列出这七种方法。