情感是人类日常生活的基础，因为它们在人类认知中起着重要作用，即在理性决策、感知、人类互动和人类智力中。然而，情感在很大程度上被忽视了，尤其是在人机交互领域。
情感计算通过将技术和情感融合到人机交互中来填补这一空白。它旨在通过测量用户的情绪状态来模拟人和计算机之间的情绪互动。一个人的内心情感状态可能会通过主观体验(人的感受)、内部表达(生理信号)和外部表达(听觉/视觉信号)而变得明显。关于个人感受的主观自我报告可以提供有价值的信息，但是存在有效性和确证的问题。参与者可能不会确切地回答他们的感受，而是他们认为其他人会回答。
生理信号有助于更好地理解参与者在观察时表达的潜在反应。这些对应于来自中枢和自主神经系统的多通道记录。中枢神经系统包括大脑和脊髓，而自主神经系统是一个控制系统，无意识地发挥作用，调节身体功能，如心率、瞳孔反应和性唤起。通常用来测量情绪的信号有：皮肤电反应(Galvanic Skin Response, GSR)，它随着一个人的觉醒水平而线性增加；肌电图(Electromyography, EMG)(肌肉紧张的频率)，与负面情绪相关；心率(Heart Rate, HR)，随着负面情绪如恐惧而增加；和呼吸率(Respiration Rate, RR)(呼吸有多深多快)，随着愤怒等情绪的唤起，呼吸变得不规则。在大脑上记录的测量结果也能够观察到感觉到的情绪。
可以使用功能性神经成像技术，如脑电图(Electroencephalography, EEG)、功能性磁共振成像(functional Magnetic Resonance Imaging, fMRI)或正电子发射断层扫描(Positron Emission Tomography, PET)。虽然EEG的空间分辨率很低，需要在头部的不同位置放置许多电极，但它提供了很好的时间分辨率，使研究人员能够研究响应情绪刺激的阶段变化。此外，EEG的使用是非侵入性的，快速的，廉价的，使其成为研究大脑对情绪刺激反应的首选方法。如今，由于其可穿戴性、价格、便携性和易用性，新的无线EEG设备正在进入市场。因此，现在可以在不同领域使用基于EEG的情绪识别，如娱乐、电子学习、虚拟世界或电子医疗应用。它可以用于许多目的，如即时消息、网络游戏、协助治疗师和心理学家工作。
在本文中，我们回顾了基于EEG信号的情感识别方法。我们的分析是从两个不同的角度进行的：一个更一般的角度是相关的建议，即以避免在这个研究领域往往会出现的常见陷阱；另一个更具体的主题是从EEG信号中识别情绪的不同步骤。后者侧重于参与者的数量和性别、被识别的情绪集、呈现的刺激(图像、视频等)，使用的EEG设备和电极的位置，提取的EEG特征和用于提取这些特征的方法，以及最后使用的分类器。
2 方法论
我们仔细识别了2009年至2016年间发表的属于基于EEG的情绪识别的文章。从两个角度对这些论文进行了进一步的分析。首先，我们根据Brouwer等人定义的六个建议(14个要点)审查了所有的论文。其次，我们对99篇论文的一个子集进行了更具体的分析。这个子集包含符合14个关键点中至少9个。
3 背景
在接下来的段落中，我们将简要介绍情绪的定义和表示，以及EEG信号的主要特征，以便为读者提供一些背景知识。
3.1 情绪
情绪是一种复杂的心理状态，包括三个不同的组成部分：主观体验、生理反应和行为或表达反应。情绪被描述为对有机体有意义的事件(外部或内部)的离散和一致的反应。它们持续时间短，对应于一组协调的反应，可能包括语言、行为、生理和神经机制。在情感神经科学中，情感概念可以从类似的结构中区分出来，如感觉、情绪和情感。感情可以看作是情绪的主观表现。情绪是一种弥漫的情感状态，通常持续的时间比情绪长得多，也通常不如情绪强烈。最后，情感是一个包罗万象的术语，用来描述情感、感觉和心情的主题。
情绪表征有两种不同的观点。第一个(分类)表明基本情绪是通过自然选择进化而来的。Plutchik提出了八种基本情绪：愤怒、恐惧、悲伤、厌恶、惊讶、好奇、接受和快乐。其他所有的情绪都可以由这些基本情绪形成(比如失望是由惊讶和悲伤组成的)。Ekman遵循Darwinian的传统，他的工作基于面部表情和情绪之间的关系，这些情绪来自许多普遍的基本情绪：愤怒、厌恶、恐惧、快乐、悲伤和惊讶。在第二个视角(维度)中，基于认知，情绪被映射到效价、觉醒和支配维度。效价从非常积极的感觉到非常消极的感觉(或者不愉快到愉快)；唤醒(也称为激活)从困倦状态变为兴奋状态；最后，支配对应于情感的强度。最常用的模型是情感的环状（Circumplex）模型，它只使用效价和唤醒。
3.2 EEG
人脑的最大部分，即皮层，分为额叶、颞叶、顶叶和枕叶(见图1)。额叶负责有意识的思考。颞叶负责嗅觉和听觉，以及复杂刺激如面孔和场景的处理。顶叶负责整合来自各种感觉的信息，以及对物体的操纵。最后，枕叶负责视觉。
图 1 皮层细分为额叶、颞叶、顶叶和枕叶。
δ波与无意识思维有关，发生在深度无梦睡眠期间。θ波与潜意识有关，例如睡眠和做梦等活动。α波通常与放松的精神状态有关，但也是有意识的，在顶叶和枕叶更容易看到。高α活性与大脑失活有关。β波与积极的精神状态有关，在强烈的集中精神活动期间，在额叶皮层和其他区域更为突出。最后，γ波与大脑过度活动有关。在下面的段落中，我们介绍了电极定位以收集EEG信号以及用于评估它们的范例。
图 3 国际10/20系统。
每个部位都有一个字母来标识脑叶，一个数字来标识半球的位置。F代表额叶，T代表颞叶，C代表中央(虽然没有中央叶，但C字母用于识别)，P代表顶叶，O代表枕叶。z(零)指放置在中线上的电极。偶数指右半球的电极位置，奇数指左半球。四个解剖标志用于电极的正确定位：鼻根(前额和鼻子之间的点)、枕骨隆突(后脑勺的最低点)和耳朵前点。
3.2.2 EEG范式
3.3 大脑中的情绪
在过去的十年里，大量的神经心理学研究报告了EEG信号和情绪之间的相关性。大脑中与情绪活动相关的主要区域有两个：杏仁核(靠近海马体，位于颞叶的前部)；和前额叶皮层(覆盖额叶的一部分)。虽然对于杏仁核可能的偏侧化还没有一致的看法，但它的激活似乎与负面情绪的关系比正面情绪更大。
α波功率的变化和大脑半球之间的不对称与情绪有关。相对而言，右额叶激活与退缩刺激或负面情绪有关，如恐惧或厌恶。相对较大的左额叶激活与接近刺激或积极情绪有关，如快乐或幸福。因此，不对称的前额叶EEG活动可能反映了效价的变化。β波也与效价有关。对于效价识别，α波的前额叶和顶叶不对称以及γ波的颞叶不对称是存在的，而对于觉醒识别，存在α波的前额叶不对称和γ的颞叶不对称。
γ波的变化与情绪快乐和悲伤有关，颞叶不同侧的α波减少也是如此(左边是悲伤，右边是快乐)。最后，短潜伏期(N100和P100)至中间潜伏期(N200和P200)的事件相关电位成分与效价相关，而中潜伏期至长潜伏期(P300和SCP)的成分与唤醒相关。
先前的研究表明，男性和女性对情感刺激的处理方式不同。他们认为，男性依靠对过去情感经历的回忆来评估当前的情感经历，而女性似乎更容易融入情感系统。也有一些证据表明，当情绪被唤起时，女性的EEG模式更相似，而男性的EEG模式有更多的个体差异。
总之，我们可以得出结论，额叶和顶叶对情绪状态的信息最丰富，而α、γ和β波似乎最具辨别能力。与性别相关的发现与女性比男性更情绪化的普遍观点相一致，这表明对情绪刺激可能存在与性别相关的神经反应。
4 Brouwer的建议
通过EEG等神经生理信号识别情绪，以及开发利用这些信息的应用程序，需要来自不同领域的知识。例如，研究人员需要工程、实验设计、目标用户群知识、数学建模、心理生理学、传感器技术、信号处理和系统设计方面的专业知识。所以这是一个很难执行的高度跨学科的领域，也很难分析(无论是专家还是读者)。事实上，本节列举的常见陷阱主要发生在跨学科领域，这些领域将实验心理学、人的因素、机器学习和神经生理学联系在一起(见图4)。实验心理学提供了评估精神状态的方法。创建和测试应用程序需要人为因素。机器学习提供了先进的分类算法。神经生理学提供了关于神经系统功能以及如何测量的知识。
图4 六项建议中五项与其主要基础领域相关的概述。建议3与所有其他建议交织在一起。
表1 Brouwer等提出的在使用反映认知或情感状态的神经生理信号时避免常见陷阱的建议
数据处理业务介绍：
图 5 使用EEG进行情绪识别的过程。
表5伪迹过滤阶段的工作分析
由于并非所有收集到的频率都对情感识别问题有用，大约84%的工作使用了一些带通滤波器。虽然所有工作都使用了24个频率范围，但最常用的是4-45Hz(33.3%)，1-100Hz(6.25%)，8-30Hz(6.25%)，2-42Hz(6.25%)。陷波滤波器也应用于16.58%的工作(主要是在50和60Hz)。最后，43.9%的工作对原始EEG信号进行了降采样：128Hz(52%)，206Hz(16%)，256Hz(12%)，512Hz(4%)，500Hz(4%)，300Hz(4%)，250Hz(4%)，32Hz(4%)。
5.4 特征提取
在下面的段落中，我们介绍了从EEG信号中提取的最常见的特征，以及用于执行这些特征的方法(见表6)。
表 6 特征提取阶段的工作分析
分类器：k-近邻(k-Nearest Neighbors, kNN)、线性判别分析(Linear Discriminant Analysis, LDA)、逻辑回归(Logistic Regression, LR)、多类支持向量机(Multi-class Support Vector Machine, ML-SVM)、多层感知器反向传播(Multi-Layer Percepton Back Propagation, MLP-BP)、朴素贝叶斯(Naive Bayes, NB)、概率神经网络(Probabilitic Neural Network, PNN)、二次判别分析(Quadratic Discriminant Analysis, QDA)、径向基函数(Radial Basis Function, RBF)和支持向量机(Support Vector Machines, SVM)
结果：3类:正、负和中性；2类：阳性和中性vs.阴性
7 结论
本文中，我们分析了2009年至2016年的工作，这些工作提出了通过EEG信号识别情绪的新方法。我们的分析基于两个角度：一个更一般的角度考虑了一组避免该研究领域常见陷阱的建议，另一个更具体的角度考虑了从
作为分析的结果，并结合Brouwer的建议，我们得出了一套最佳实践建议，以帮助研究人员制作经过良好验证的高质量工作，这些工作能够重现和复制。我们希望这一分析将对研究界有用，特别是对那些进入这一研究领域的人。