虚拟现实（Virtual Reality，VR）正在开拓电子游戏发展的令人兴奋的新领域，为越来越真实、互动和沉浸式的游戏体验铺平道路。事实上，VR控制台允许玩家感觉他们几乎在游戏中，克服了与显示分辨率和延迟问题相关的限制。
虚拟现实的一个有趣的集成是情感识别，因为这可以开发出实时响应用户情绪的游戏。考虑到这一点，延世大学和运动设备公司的一组研究人员。最近他们提出了一种基于深度学习的技术，可以在虚拟现实游戏体验中实现情感识别。他们的论文是在2019年IEEE虚拟现实与三维用户界面会议上发表的.
为了让虚拟现实发挥作用，用户会佩戴头盔显示器(Hmd)，这样游戏的内容就可以直接呈现在他们的眼前。因此，将情感识别工具与虚拟现实游戏体验相结合已证明具有挑战性，因为大多数用于情绪预测的机器学习模型都是通过分析人们的脸来工作的；在虚拟现实中，用户的面部被HMD部分遮挡。
Yonsei University and Motion Device的研究团队训练了三个卷积神经网络（CNNs），即DenseNet、ResNet和Inception-ResNet-V2，以从面部的部分图像中预测人们的情绪。他们从Radbound Faces数据集（Rafd）中提取图像，其中包括67名受试者的8,040张人脸图像，然后通过覆盖在使用VR时会被HMD遮挡的面部部分来编辑这些图像。
用于训练算法的图像描绘了人类的脸，但包含眼睛、耳朵和眉毛的部分被一个黑色矩形覆盖。当研究人员评估他们的CNN时，他们发现即使没有分析一个人面部的这些特殊特征，他们也能够对情绪进行分类，而这些特征被认为是情感识别的关键。
总的来说，被称为DenseNet的CNN的表现比其他的都要好，平均准确率超过90%。有趣的是，ResNet算法在对表达恐惧和厌恶的面部表情进行分类方面优于其他两种算法。
研究人员在论文中写道：“我们成功地训练了三种CNN架构，从部分覆盖的人脸图像中估计情绪。“我们的研究显示了利用机器视觉从穿着HMD的人的图像中估计情绪的可能性。”
研究表明，在未来，即使HMD遮挡玩家面部的部分，情绪识别工具也可以与VR技术相结合。此外，研究人员开发的CNN可以激励全球其他研究团队开发新的情感识别技术，这些技术可应用于VR游戏。
研究人员现在正计划将他们在研究中使用的黑色长方形换成人们戴HDMS的真实图像。这将最终使他们能够更可靠、更有效地培训CNN，为实际应用做好准备。