CC BY
66
ОПРЕДЕЛЕНИЕ ЭМОЦИОНАЛЬНОГО СОСТОЯНИЯ СВЕРТОЧНОЙ НЕЙРОННОЙ СЕТЬЮ ПО ДАННЫМ ЭЛЕКТРОЭНЦЕФАЛОГРАФИИ
В. Б. Савинов, С. А. Ботман, В. В. Сапунов, В. А. Петров, И. Г Самусев, Н. Н. Шушарина^
Балтийский федеральный университет имени Иммануила Канта, Калининград, Россия
Существующие методы определения эмоционального состояния, основанные на регистрации тональности голоса и мимики, не обладают достаточной точностью и специфичностью. Эти показатели можно повысить с помощью анализа биосигналов, которые не проходят через сознательные фильтры, для чего необходимо создание эффективного алгоритма определения эмоционального состояния на основании анализа электрофизиологических сигналов. Целью работы было провести бинарную классификацию валентности эмоционального состояния по данным электроэнцефалографии с использованием сверточной нейронной сети и сравнить эффективность ее работы с эффективностью метода случайного леса. В качестве подопытного был выбран здоровый 30-летний мужчина. В течение 10 сессий по 2 ч каждая с подопытного производили запись электроэнцефалограммы во время просмотра им специально сформированного набора видеофильмов. Полученный сигнал фильтровали, сегментировали и использовали для обучения классификаторов. При использовании сети удалось достичь значения F1-меры, равного 87%, что превышает показатель, полученный при использовании метода случайного леса с входными данными в виде вектора признаков (67%). Достигнутые результаты свидетельствуют о высокой перспективности применения нейронных сетей сверточного типа в общем, и предложенной архитектуры, в частности, для решения задач по распознаванию эмоционального состояния по данным электрофизиологических сигналов. Дальнейшие работы по развитию подхода могут быть направлены на оптимизацию архитектуры сети для расширения числа идентифицируемых классов, а также повышения обобщающей способности сети при работе с большим количеством испытуемых.
Ключевые слова: машинное обучение, искусственные нейронные сети, электроэнцефалограмма, эмоциональное состояние, валентность, глубокое обучение, сверточные сети
Информация о вкладе авторов: В. Б. Савинов, С. А. Ботман, В. В. Сапунов и В. А. Петров — сбор и обработка материала, написание текста статьи; И. Г. Самусев — написание, редактирование текста статьи; Н. Н. Шушарина — руководство и редактирование статьи.
Соблюдение этических стандартов: исследование одобрено Научно-этическим комитетом Балтийского федерального университета имени И. Канта (протокол № 7 от 26 марта 2019 г). Все участники исследования подписали добровольное информированное согласие на участие в эксперименте и публикацию результатов.
gg Для корреспонденции: Наталья Николаевна Шушарина
ул. Университетская, д. 2, г. Калининград, 236006; [email protected]
Статья получена: 21.03.2019 Статья принята к печати: 16.05.2019 Опубликована онлайн: 29.05.2019 DOI: 10.24075/vrgmu.2019.037
ELECTROENCEPHALOGRAM-BASED EMOTION RECOGNITION USING A CONVOLUTIONAL NEURAL NETWORK
Savinov VB, Botman SA, Sapunov VV, Petrov VA, Samusev IG, Shusharina NN 123
Immanuel Kant Baltic Federal University, Kaliningrad, Russia
The existing emotion recognition techniques based on the analysis of the tone of voice or facial expressions do not possess sufficient specificity and accuracy. These parameters can be significantly improved by employing physiological signals that escape the filters of human consciousness. The aim of this work was to carry out an EEG-based binary classification of emotional valence using a convolutional neural network and to compare its performance to that of a random forest algorithm. A healthy 30-year old male was recruited for the experiment. The experiment included 10 two-hour-long sessions of watching videos that the participant had selected according to his personal preferences. During the sessions, an electroencephalogram was recorded. Then, the signal was cleared of artifacts, segmented and fed to the model. Using a neural network, we were able to achieve a F1 score of 87%, which is significantly higher than the F1 score for a random forest model (67%). The results of our experiment suggest that convolutional neural networks in general and the proposed architecture in particular hold great promise for emotion recognition based on electrophysiological signals. Further refinement of the proposed approach may involve optimization of the network architecture to include more classes of emotions and improvement of the network's generalization capacity when working with a large number of participants.
Keywords: machine learning, artificial neural network, electroencephalogram, emotional state, valence, deep learning, convolutional networks
Author contribution: Savinov VB, Botman SA, Sapunov VV Petrov VA — data acquisition and processing, manuscript preparation; Samusev IG — manuscript preparation and revision; Shusharina NN — project supervision and manuscript revision.
Compliance with ethical standards: this study was approved by the Ethics Committee of Immanuel Kant Baltic Federal University (Protocol № 7 dated March 26, 2019). The participants gave informed consent gave written informed consent to participation in the study and publication of his personal data.
^ Correspondence should be addressed: Natalya N. Shusharina Universitetskaya 2, Kaliningrad, 236006; [email protected]
Received: 21.03.2019 Accepted: 16.05.2019 Published online: 29.05.2019
DOI: 10.24075/brsmu.2019.037
Эмоции играют ключевую роль в повседневной жизни человека, оказывая значительное влияние на восприятие, принятие решений, общение между людьми. Внутреннее эмоциональное состояние может проявляться внешне (например, в тоне голоса или выражении лица), а также внутренне — в изменении физиологических параметров. Исследования, основанные на методах самооценки,
позволяют получить полезную информацию, однако такой подход имеет проблемы с достоверностью и верификацией полученных результатов [1]. Голос и выражение лица также не являются надежными индикаторами эмоций, поскольку их можно сымитировать [2]. В то же время анализ физиологических сигналов позволяет обеспечить достижение более глубокого понимания основных
эмоциональных реакций и связанных с ними биологических процессов [3].
Для определения эмоционального состояния путем анализа физиологических данных чаще всего используют следующие биосигналы: кожно-гальваническую реакцию (КГР), электромиограмму (ЭМГ), частоту сердечных сокращений (ЧСС), частоту дыхательных движений, электроэнцефалограмму (ЭЭГ). Среди них наиболее интересен сигнал ЭЭГ, который отражает динамику работы коры головного мозга, где происходит формирование определенных эмоциональных реакций. Несмотря на то что ЭЭГ имеет низкое пространственное разрешение, данный метод обеспечивает достаточно высокое временное разрешение, позволяя изучать фазочастотные изменения в ответ на эмоциональные раздражители. Кроме того, снятие ЭЭГ происходит неинвазивно, быстро и не требует использования дорогостоящих расходных материалов, что делает такой метод получения биологических данных предпочтительным при изучении физиологических реакций на эмоциональные раздражители.
Как правило, работы в области распознавания эмоционального состояния на основе данных ЭЭГ связаны с классификацией сравнительно небольшого числа дискретных состояний, вызываемых специфическими стимулами. При этом чаще всего используют следующий подход: сырой ЭЭГ-сигнал фильтруют, затем из него извлекают признаки, а в конце выполняют непосредственно классификацию с использованием одного из алгоритмов машинного обучения. Важным фактором, влияющим на эффективность подобного подхода, являются конструирование и подбор надлежащих признаков — математически рассчитанных характеристик сигнала от временных, частотных и иных параметров. Обычно при создании признаков учитывают эмпирические и теоретические данные о биологии работы мозга и протекающих в нем процессах, вызываемых эмоциональными стимулами.
Далее выбранные признаки используют для формирования векторов признаков для моделей машинного обучения, таких как случайный лес, многослойный перцептрон, метод опорных векторов, метод ^-ближайших соседей и пр. [4-6]. Качество классификации для подобных подходов различается в зависимости от качества входных сигналов, критериев задачи и выбора типа алгоритма. Такой подход позволяет достичь точности классификации в 77% случаев для ЭЭГ-сигнала [7] и 83% случаев при использовании дополнительных модальностей [8]. На результат значительным образом влияет выбор как модели и ее параметров, так и признаков сигнала, а также методик сокращения пространства признаков.
При альтернативном варианте решения задачи по определению эмоционального состояния по сигналам ЭЭГ используют нейронные сети сверточного типа и глубокого обучения. Нейронные сети с успехом применяют в анализе различных электрофизиологических сигналов
[9]. В настоящее время анализ ЭЭГ с помощью сверточных нейронных сетей используют для решения различных медицинских задач и организации мозг-компьютерного взаимодействия: предсказания эпилептических приступов
[10], детектирования волны Р300 [11], распознавания эмоций [12, 13] — в том числе на открытом наборе данных ЭБАР [14]. Это позволяет утверждать об эффективности применения сверточных нейронных сетей для решения поставленной задачи. При этом глубокое обучение позволяет осуществлять автоматическую генерацию оптимальных признаков в процессе обучения алгоритма и
полностью исключить ручной отбор признаков. Впрочем, в некоторых работах по распознаванию эмоционального состояния с использованием нейронных сетей в качестве входных данных используют рассчитанные вне сети признаки [15], Фурье и вейвлет-образы сигнала [16, 17].
Основной целью работы было решить задачу бинарной классификации валентности эмоционального состояния по данным электроэнцефалографии путем создания и обучения нейронной сети сверточного типа, а также сравнить эффективность ее работы с алгоритмами, использующими явное формирование вектора признаков, на примере модели случайного леса.
ПАЦИЕНТЫ И МЕТОДЫ
В качестве подопытного был выбран один из участников проекта (здоровый мужчина, 30 лет, без истории психических заболеваний), на котором проводили многократные эксперименты в течение нескольких недель с применением различных стимулов, что является адаптацией известного в литературе метода [18]. Этот вариант отличается от широко распространенного подхода по рекрутингу большого числа подопытных, с каждым из которых проводят однократные экспериментальные сессии. Однако несмотря на то что все данные получают с единственного субъекта, их объем оказывается достаточно большим за счет многократного повторения экспериментов. Разумеется, эмоциональный отклик на схожие стимулы может различаться у разных людей, однако в рамках исследования это многообразие лишь усложняет поиск физиологических паттернов, соответствующих конкретным эмоциональным состояниям. Использование единственного подопытного в череде экспериментов значительно повышает интерпретируемость данных, ведь индивидуальные особенности восприятия стимулов остаются неизменными.
Первоначальный набор видеофильмов для вызова одного из двух эмоциональных состояний (положительного или отрицательного) был сформирован на основании предпочтений испытуемого. Испытуемый был знаком со всеми «эталонными» видеосюжетами, за счет чего его эмоциональное состояние при просмотре было во многом обусловлено не столько внешним стимулом, сколько внутренними особенностями психической деятельности, например воспоминаниями. Впоследствии база видеоматериалов была расширена за счет подбора дополнительных образцов, чью принадлежность к определенной категории эмоциональных стимулов определяли на основании схожести с «эталонными». Экспериментальная часть, посвященная сбору данных, заняла две недели. За это время было проведено десять сессий по два часа каждая. В рамках одной сессии испытуемый просматривал по шесть пятнадцатиминутных видео (два для каждой категории) с перерывами. Ролики не повторяли. Различные видео демонстрировали поочередно, в таком порядке: позитивное, негативное.
Для записи данных ЭЭГ использовали разработанное ранее нейроустройство [19]. Следуя стандартным практикам, были выбраны чашечные хлорсеребряные электроды (Ад/АдС1), которые использовали вместе с электропроводящим гелем. Электроды закрепляли на специальной шапочке для снятия ЭЭГ согласно системе 10-20 в позициях Б3, Б4, С3, С4, Р3, Р4, 01, 02 по монополярной схеме — электрод на позиции Брг использовали как в качестве земли, так и в качестве
референса. Сигналы ЭЭГ снимали на частоте 250 Гц. Для выделения полезного сигнала использовали фильтры Баттерворта второго порядка на частотах 1 и 50 Гц, а также дополнительно режекторный фильтр для частоты 50 Гц.
После фильтрации данные стандартизировали (по каждому каналу отдельно) и сегментировали скользящим окном размером 2 с перекрытием 0,2 с и подавали на вход нейронной сети. Для расчета признаков использовали фильтрованный сигнал без стандартизации с аналогичной сегментацией. В качестве признаков было выбрано несколько из рекомендуемых в литературе [20]: пересечения высокого порядка (ПВП) в диапазоне от 1 до 6, мощность в полосах частот (МПЧ) для дельта, тета-, альфа-, бета- и гамма-диапазонов, а также относительная асимметрия по каналам (ОАК).
Непосредственно обучение всех моделей проходило по единой схеме: данные ЭЭГ для каждой из экспериментальных сессий размечали в зависимости от типа демонстрируемого стимула, во время которого они были получены. Использовали бинарную разметку: позитивные стимулы относили к одному классу, а негативные — к другому. Обучение нейронной сети вели методом стохастического градиентного спуска по мини-батчам (оптимизатор — Adam [21], размер мини-батча — 64, скорость обучения — 0,001, число эпох — 30) с категориальной перекрестной энтропией в качестве функции потерь. Таким образом, входной тензор имел размерность [64, 8, 500], где 64 соответствует размеру мини-батча, 8 — число каналов ЭЭГ, 500 — длительность сегмента ЭЭГ данных, взятых с перекрытием в 50 отсчетов.
Все этапы, включая регистрацию, обработку сигналов и тренировку моделей, осуществляли с помощью кода, написанного на языке Python с использованием библиотек scikit-leam и Keras.
РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ
В результате эксперимента была создана нейронная сеть со следующей структурой: два сверточных слоя по 64 ядра, слой нормализации по батчу, слой активации ELU (экспоненциальная линейная функция), слой субдискретизации (по среднему, размер окна — 4, шаг — 1), два сверточных слоя по 64 ядра, слой нормализации по батчу, слой активации ReLU (блок линейной ректификации), слой субдискретизации (по максимуму, размер окна — 2, шаг — 1), два сверточных слоя по 128 ядер, слой нормализации по батчу, слой активации ReLU, слой субдискретизации (по максимуму, размер окна — 2,
0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1
0,98 0,02
0,47 0,53
шаг — 1), полносвязный слой в 256 нейронов с активацией ЯеШ. Во всех сверточных слоях использовали следующие параметры: размер — 3, шаг — 1, заполнение — 0. В качестве функции активации для выходного слоя использовали функцию softmax (нормализованную экспоненциальную функцию).
Применение нейронной сети позволило достичь значения Р1-меры на уровне 87% на валидационной выборке, что значительно выше соответствующего показателя для модели случайного леса (составившего 67%). Согласно матрицам несоответствия (рис.), модель случайного леса успешно идентифицировала положительные состояния (несколько превосходя по этому параметру нейронную сеть), однако обладала низкой специфичностью для отрицательных, в то время как метод глубокого обучения с равной эффективностью идентифицировал и дифференцировал оба состояния.
Проверка работы сверточной нейронной сети на данных с предварительно отфильтрованными артефактами (электроокулография (ЭОГ)) не продемонстрировала существенных изменений точности классификации. Проведенный анализ активаций нейронной сети показал, что артефакты ЭОГ не вносят существенного вклада в классификацию сигнала.
ОБСУЖДЕНИЕ РЕЗУЛЬТАТОВ
В настоящее время устоявшийся подход к анализу электрофизиологических сигналов на основе ручного выбора признаков сигнала и классических моделей машинного обучения вытесняет решения, полученные на основе нейронных сетей. Такие тенденции можно наблюдать и в области классификации эмоционального состояния. Одним из основных отличий предложенного подхода от аналогов, базирующихся на применении нейронных сетей сверточного типа, является использование в качестве входных данных сигнала напрямую без перевода его в частотное представление (например с помощью преобразования Фурье или вейвлет-преобразования).
С учетом того, что для обучения и тестирования использовали данные, полученные в рамках этой работы, невозможно сравнить эффективность разработанной сети с аналогами. Однако можно с уверенностью утверждать, что данная сеть показывает лучшие результаты по сравнению с классическим подходом. Использование сети позволяет также избавиться от ручного выбора оптимального набора признаков под конкретные решаемые задачи.
' "" 0,9
0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1
0,79 0,21
0,07 0,93
Позитивный Негативный Позитивный Негативный
Предсказанные метки Предсказанные метки
Рис. Матрицы ошибок для алгоритма случайного леса (слева) и сверточной нейронной сети (справа)
ВЫВОДЫ
Предложенный подход к классификации эмоций на основе нейронной сети сверточного типа без преобразования сигнала в частотное представление показал свою эффективность по сравнению с методом случайного леса на базе признаков
сигнала. Дальнейшее развитие данного подхода будет направлено на повышение общности, а также расширение числа распознаваемых классов эмоций. В перспективе создание эффективных методов оценки эмоционального состояния человека позволит использовать их для решения прикладных задач, в частности в психологии и маркетинге.
Литература
1. Calvo RA, D'Mello S. Affect detection: An interdisciplinary review of models, methods, and their applications. IEEE Transactions on affective computing. 2010; 1 (1): 18-37.
2. Jerritta S, Murugappan M, Nagarajan R, Wan K. Physiological signals based human emotion recognition: a review. Signal Processing and its Applications (CSPA), 2011 IEEE 7th International Colloquium on. IEEE. 2011; р. 410-5.
3. Li Q, Yang Z, Liu S, Dai Z, Liu Y. The study of emotion recognition from physiological signals. Advanced Computational Intelligence (ICACI). 2015 Seventh International Conference on. IEEE. 2015; p. 378-82.
4. Soroush MZ, Maghooli K, Setarehdan SK, Nasrabadi AM. Emotion classification through nonlinear EEG analysis using machine learning methods. International Clinical Neuroscience Journal. 2018; 5 (4): 135-49.
5. Liu J, Meng H, Nandi A, Li M. Emotion detection from EEG recordings. The 2016 12th International Conference on Natural Computation, Fuzzy Systems and Knowledge Discovery (ICNC-FSKD). IEEE. 2016; p. 1722-7.
6. Ackermann P, Kohlschein C, Bitsch JA, Wehrle K, Jeschke S. EEG-based automatic emotion recognition: Feature extraction, selection and classification methods. 2016 IEEE 18th international conference on e-health networking, applications and services (Healthcom). IEEE. 2016; p. 1-6.
7. Mehmood RM, Du R, Lee HJ. Optimal feature selection and deep learning ensembles method for emotion recognition from human brain EEG sensors. IEEE Access. 2017; (5): 14797-806.
8. Yin Z, Zhao M, Wang Y, Yang J, Zhang J. Recognition of emotions using multimodal physiological signals and an ensemble deep learning model. Computer methods and programs in biomedicine. 2017; (140): 93-110.
9. Min S, Lee B, Yoon S. Deep learning in bioinformatics. Briefings in bioinformatics. 2017; 18 (5): 851-69.
10. Page A, Shea C, Mohsenin T. Wearable seizure detection using convolutional neural networks with transfer learning. 2016 IEEE International Symposium on Circuits and Systems (ISCAS). IEEE. 2016; p. 1086-9.
11. Cecotti H, Graser A. Convolutional neural networks for P300 detection with application to brain-computer interfaces. IEEE
transactions on pattern analysis and machine intelligence. 2011; 33 (3): 433-45.
12. Gao Y, Lee HJ, Mehmood RM. Deep learninig of EEG signals for emotion recognition. 2015 IEEE International Conference on Multimedia & Expo Workshops (ICMEW). IEEE. 2015; p. 1-5.
13. Tripathi S, Acharya S, Sharma RD, Mittal S, Bhattacharya S. Using Deep and Convolutional Neural Networks for Accurate Emotion Classification on DEAP Dataset. Twenty-Ninth IAAI Conference. 2017.
14. Koelstra S, Muhl C, Soleymani M, Lee JS, Yazdani A, Ebrahimi T et al. Deap: A database for emotion analysis; using physiological signals. IEEE transactions on affective computing. 2012; 3 (1): 18-31.
15. Li J, Zhang Z, He H. Hierarchical convolutional neural networks for EEG-based emotion recognition. Cognitive Computation. 2018; 10 (2): 368-80.
16. Kwon YH, Shin SB, Kim SD. Electroencephalography based fusion two-dimensional (2D)-convolution neural networks (CNN) model for emotion recognition system. Sensors. 2018; 18 (5): 1383.
17. Yuan L, Cao J. Patients' eeg data analysis via spectrogram image with a convolution neural network. International Conference on Intelligent Decision Technologies. Cham: Springer, 2017; p. 13-21.
18. Picard RW, Vyzas E, Healey J. Toward machine emotional intelligence: Analysis of affective physiological state. IEEE transactions on pattern analysis and machine intelligence. 2001; 23 (10): 1175-91.
19. Shusharina NN, Borchevkin DA, Sapunov VV, Petrov VA, Patrushev MV. A Wireless Portable Platform for Physiological Potentials Registration and Processing: A Unified Approach. Journal of Pharmaceutical Sciences and Research. 2017; 9 (7): 1178.
20. Jenke R, Peer A, Buss M. Feature extraction and selection for emotion recognition from EEG. IEEE Transactions on Affective Computing. 2014; 5 (3): 327-39.
21. Kingma DP, Ba J. Adam: A method for stochastic optimization. arXiv:1412.6980. [Preprint]. 2014 [cited 2014 Dec 22]. Available from: https://arxiv.org/abs/1412.6980.
References
1. Calvo RA, D'Mello S. Affect detection: An interdisciplinary review of models, methods, and their applications. IEEE Transactions on affective computing. 2010; 1 (1): 18-37.
2. Jerritta S, Murugappan M, Nagarajan R, Wan K. Physiological signals based human emotion recognition: a review. Signal Processing and its Applications (CSPA), 2011 IEEE 7th International Colloquium on. IEEE. 2011; p. 410-5.
3. Li Q, Yang Z, Liu S, Dai Z, Liu Y. The study of emotion recognition from physiological signals. Advanced Computational Intelligence (ICACI). 2015 Seventh International Conference on. IEEE. 2015; p. 378-82.
4. Soroush MZ, Maghooli K, Setarehdan SK, Nasrabadi AM. Emotion classification through nonlinear EEG analysis using machine learning methods. International Clinical Neuroscience Journal. 2018; 5 (4): 135-49.
5. Liu J, Meng H, Nandi A, Li M. Emotion detection from EEG recordings. The 2016 12th International Conference on Natural
Computation, Fuzzy Systems and Knowledge Discovery (ICNC-FSKD). IEEE. 2016; p. 1722-7.
6. Ackermann P, Kohlschein C, Bitsch JA, Wehrle K, Jeschke S. EEG-based automatic emotion recognition: Feature extraction, selection and classification methods. 2016 IEEE 18th international conference on e-health networking, applications and services (Healthcom). IEEE. 2016; p. 1-6.
7. Mehmood RM, Du R, Lee HJ. Optimal feature selection and deep learning ensembles method for emotion recognition from human brain EEG sensors. IEEE Access. 2017; (5): 14797-806.
8. Yin Z, Zhao M, Wang Y, Yang J, Zhang J. Recognition of emotions using multimodal physiological signals and an ensemble deep learning model. Computer methods and programs in biomedicine. 2017; (140): 93-110.
9. Min S, Lee B, Yoon S. Deep learning in bioinformatics. Briefings in bioinformatics. 2017; 18 (5): 851-69.
10. Page A, Shea C, Mohsenin T. Wearable seizure detection using
convolutional neural networks with transfer learning. 2016 IEEE International Symposium on Circuits and Systems (ISCAS). IEEE. 2016; p. 1086-9.
11. Cecotti H, Graser A. Convolutional neural networks for P300 detection with application to brain-computer interfaces. IEEE transactions on pattern analysis and machine intelligence. 2011; 33 (3): 433-45.
12. Gao Y, Lee HJ, Mehmood RM. Deep learninig of EEG signals for emotion recognition. 2015 IEEE International Conference on Multimedia & Expo Workshops (ICMEW). IEEE. 2015; p. 1-5.
13. Tripathi S, Acharya S, Sharma RD, Mittal S, Bhattacharya S. Using Deep and Convolutional Neural Networks for Accurate Emotion Classification on DEAP Dataset. Twenty-Ninth IAAI Conference. 2017.
14. Koelstra S, Muhl C, Soleymani M, Lee JS, Yazdani A, Ebrahimi T et al. Deap: A database for emotion analysis; using physiological signals. IEEE transactions on affective computing. 2012; 3 (1): 18-31.
15. Li J, Zhang Z, He H. Hierarchical convolutional neural networks for EEG-based emotion recognition. Cognitive Computation. 2018; 10 (2): 368-80.
16. Kwon YH, Shin SB, Kim SD. Electroencephalography based
fusion two-dimensional (2D)-convolution neural networks (CNN) model for emotion recognition system. Sensors. 2018; 18 (5): 1383.
17. Yuan L, Cao J. Patients' eeg data analysis via spectrogram image with a convolution neural network. International Conference on Intelligent Decision Technologies. Cham: Springer, 2017; p. 13-21.
18. Picard RW, Vyzas E, Healey J. Toward machine emotional intelligence: Analysis of affective physiological state. IEEE transactions on pattern analysis and machine intelligence. 2001; 23 (10): 1175-91.
19. Shusharina NN, Borchevkin DA, Sapunov VV, Petrov VA, Patrushev MV. A Wireless Portable Platform for Physiological Potentials Registration and Processing: A Unified Approach. Journal of Pharmaceutical Sciences and Research. 2017; 9 (7): 1178.
20. Jenke R, Peer A, Buss M. Feature extraction and selection for emotion recognition from EEG. IEEE Transactions on Affective Computing. 2014; 5 (3): 327-39.
21. Kingma DP, Ba J. Adam: A method for stochastic optimization. arXiv:1412.6980. [Preprint]. 2014 [cited 2014 Dec 22]. Available from: https://arxiv.org/abs/1412.6980.
