CC BY
18
КРАТКИЕ СООБЩЕНИЯ BRIEF NOTES
УДК 612.82; 159.931; 004.93 DOI: 10.17586/0021-3454-2023-66-3-247-250
АВТОМАТИЧЕСКОЕ РАСПОЗНАВАНИЕ ЗРИТЕЛЬНЫХ СТИМУЛОВ ПО ЕДИНИЧНЫМ ВЫЗВАННЫМ ПОТЕНЦИАЛАМ НА ЭЛЕКТРОЭНЦЕФАЛОГРАММЕ
М. Я. Марусина*, И. В. Бурдаев
Университет ИТМО, Санкт-Петербург, Россия [email protected]
Аннотация. Обоснована необходимость повышения эффективности автоматической классификации зрительных стимулов по единичным вызванным потенциалам на электроэнцефалограмме испытуемого. Определены факторы, влияющие на точность распознавания вида предъявляемых зрительных стимулов (живой/неживой, четкий/размытый). Представлен алгоритм обработки данных, позволяющий выявлять значимые различия амплитуд единичных вызванных потенциалов.
Ключевые слова: распознавание единичных вызванных потенциалов, методы глубокого обучения, искусственные нейронные сети
Ссылка для цитирования: Марусина М. Я, Бурдаев И. В. Автоматическое распознавание зрительных стимулов по единичным вызванным потенциалам на электроэнцефалограмме // Изв. вузов. Приборостроение. 2023. Т. 66, № 3. С. 247—250. DOI: 10.17586/0021-3454-2023-66-3-247-250.
AUTOMATIC RECOGNITION OF VISUAL STIMULES BY SINGLE EVOKED POTENTIALS
ON AN ELECTROENCEPHALOGRAM
M. Ya. Marusina*, I. V. Burdaev
ITMO University, St. Petersburg, Russia [email protected]
Abstract. The necessity of increasing the efficiency of automatic classification of visual stimuli by single evoked potentials on the observer's electroencephalogram is substantiated. The factors affecting the accuracy of recognition of the type of presented visual stimuli (living/non-living, clear/blurred) are determined. A data processing algorithm is developed that makes it possible to identify significant differences in the amplitudes of single evoked potentials.
Keywords: recognition of single evoked potentials, deep learning methods, artificial neural networks
For citation: Marusina M. Ya., Burdaev I. V. Automatic recognition of visual stimules by single evoked potentials on an electroencephalogram. Journal of Instrument Engineering. 2023. Vol. 66, N 3. P. 247—250 (in Russian). DOI: 10.17586/0021-3454-2023-66-3-247-250.
В настоящее время попытки автоматической классификации электроэнцефалографических сигналов (ЭЭГ) для разработки неинвазивных интерфейсов мозг-компьютер (ИМК) исчисляются сотнями [1]. Расширение научных, прикладных и промышленных областей применения ИМК определяет необходимость классификации ЭЭГ-сигналов с высокой точностью и в режиме онлайн. Основные проблемы заключаются в низком соотношении сигнал/шум [2] и высокой вариативности ЭЭГ в зависимости от человека [3].
© Марусина М. Я, Бурдаев И. В., 2023
248
М. Я. Марусина, И. В. Бурдаев
При создании различных автоматических устройств распознавания часто возникает задача детектирования заданной цели, где важно принять решение по одномоментному появлению сигнала. В медицинской диагностике, когда невозможно накопить большое количество волн вызванных потенциалов (ВП), ставят диагноз по анализу отдельных (единичных) вызванных потенциалов, например, пациентам с психическими заболеваниями [4]. Эффективное использование таких автоматических классификаторов ограничено сложностью распознавания при небольшой амплитуде сигнала. Амплитуда единичного ВП (5—15 мкВ) меньше амплитуды ЭЭГ испытуемого, пребывающего в состоянии бодрствования (20—70 мкВ) [4].
Целью исследования является повышение эффективности автоматического распознавания зрительных стимулов по единичным вызванным потенциалам на ЭЭГ испытуемого на основе повышения точности классификации.
В ходе анализа существующих решений определено, что точность распознавания вида зрительных стимулов зависит от следующих факторов: использованных методов обучения классификатора (методов машинного обучения для извлечения признаков, выбранных для распознавания) [5]; вида функции ядра классификатора; вида извлекаемых признаков [6—10]; выбранных временных интервалов; частоты дискретизации сигнала; числа и расположения электродов (выбранных каналов ЭЭГ: лобная, теменная, височная, центральная или затылочная область); вида решаемой задачи [4]. Сверточные нейронные сети глубокого обучения, применяемые непосредственно к отсчетам исходного сигнала, по мнению авторов [11], являются наиболее эффективными методами машинного обучения для распознавания ЭЭГ-сигналов. Причем сверточные архитектуры позволяют эффективно выявлять признаки, разнесенные во времени [12].
Испытуемому случайным образом предъявлялись 180 тестовых изображений живой и неживой природы, отфильтрованных на высоких (четкое) и низких (размытое) частотах (ВЧ и НЧ). Задача заключалась в разделении живых/неживых и четких/размытых объектов.
Был проведен сравнительный анализ амплитуды вызванных потенциалов в выбранных интервалах времени для каждого из 19 электродов. Определены области мозга, в которых получены статистически значимые различия по амплитуде в компонентах вызванных потенциалов при классификации испытуемым семантических (живой/неживой) и пространственно-частотных (высокочастотных/низкочастотных) характеристик объектов.
На рисунке приведены статистические данные по отведению 02 (затылочная область). После предъявления зрительного стимула в интервале 100—300 мс на ЭЭГ наблюдалось различие амплитуд волн единичных вызванных потенциалов в компонентах Р100, Р 250 и N 170. Значимое различие амплитуд ЭЭГ-сигналов в этих компонентах было зафиксировано при предъявлении испытуемому высокочастотных и низкочастотных стимулов.
При анализе единичных вызванных потенциалов, для получения надежных результатов, исследования должны проводиться на представительных выборках и с учетом особенностей зрительной системы наблюдателя.
А, мкВ 6 4
Р250
-живые, ВЧ
-неживые, ВЧ
—неживые, НЧ
живые, НЧ
2
-500
— Щф ■
4 мс
-2
-4
-6
ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2023. Т. 66, № 3
JOURNAL OF INSTRUMENT ENGINEERING. 2023. Vol. 66, N 3
Автоматическое распознавание зрительных стимулов на электроэнцефалограмме
249
В ходе исследования разработан алгоритм обработки данных, позволяющий выявлять значимые различия амплитуд единичных вызванных потенциалов на ЭЭГ при определении испытуемым вида предъявляемых зрительных стимулов. Сравнение различных методов распознавания единичных вызванных потенциалов показало, что сверточная нейронная сеть является наиболее эффективным способом определения вида предъявляемого стимула.
СПИСОК ЛИТЕРАТУРЫ
1. Капралов Н. В., Нагорнова Ж. В, Шемякина Н. В. Методы классификации ЭЭГ-паттернов воображаемых движений // Информатика и автоматизация. 2021. Т. 1, вып. 20. С. 94—132 DOI: org/10.15622/ia.2021.20.1.4.
2. Lotte F. et al. A review of classification algorithms for EEG-based brain-computer interfaces: a 10 year update // Journal Neural Eng. 2018. Vol. 15, N 3. P. 031005.
3. Zhao X., Zhao J, Liu C., Cai W. Deep Neural Network with Joint Distribution Matching for Cross-Subject Motor Imagery Brain-Computer Interfaces // BioMed. Res. Intern. 2020. Vol. 2020, N 7285057.
4. Пономарев С. В, Малашин Р. О, Моисеенко Г. А. Автоматическая классификация зрительных стимулов по электроэнцефалограмме наблюдателя // Оптич. журн. 2018. № 8. С. 67—76.
5. Spaminato C., Palazzo S., Kavasidis I, Shah M. Deep learning human mind for automated visual classification // CVPR. 2017 [Электронный ресурс]: <https://arxiv.org/abs/1609.00344>.
6. Анодина-Андриевская Е. М., Божокин С. В., Марусина М. Я, Полонский Ю. З., Суворов Н. Б. Перспективные подходы к анализу информативности физиологических сигналов и медицинских изображений человека при интеллектуальной деятельности // Изв. вузов. Приборостроение. 2011. Т. 54, № 7. C. 27—35.
7. Kiryakova T. N., Marusina M. Ya, Fedchenkov P. V. Automatic methods of contours and volumes determination of zones of interest in MRI images // REJR. 2017. N 7 (2). P. 117—127. DOI: 10.21569 / 2222-7415-2017-7-2-117-127.
8. Marusina M. Ya, Karaseva E. A. Automatic Segmentation of MRI Images in Dynamic Programming Mode // Asian Pacific Journal of Cancer Prevention (APJCP). 2018. N 19(10). P. 2771—2775. DOI: 10.22034 / APJCP.2018.19.10.2771.
9. Marusina M. Y., Mochalina A. P., Frolova E. P., Satikov V. I., Barchuk A. A., Kuznetcov V. I., Gaidukov V. S., Tarakanov S. A. MRI Image Processing Based on Fractal Analysis // Asian Pacific Journal of Cancer Prevention (APJCP). 2017. N 18 (1). P. 51—55. DOI: 10.22034/APJCP.2017.18.1.51.
10. Marusina M. Ya, Karaseva E. A. Application of fractal analysis for estimation of structural changes of tissues on MRI imagies // REJR. 2018. N 8 (3). P. 107—112. DOI: 10.21569 / 2222-7415-2018-8-3-107-112.
11. Tang Z., Sun S. Single-trial EEG classification of motor imagery using deep convolutional neural networks // Optik — Intern. Journal for Light and Electron Optics. 2017. Vol. 130. P. 11—18.
12. Malashin R. O. Extraction of object hierarchy data from trained deep-learning neural networks via analysis of the confusion matrix // Journal of Optical Technology. 2016. Vol. 83. N 10. P. 599—603.
Сведения об авторах
Мария Яковлевна Марусина — д-р техн. наук, профессор; Университет ИТМО, факультет систем
управления и робототехники; E-mail: [email protected] Игорь Владиславович Бурдаев — студент; Университет ИТМО, факультет программной инженерии и
компьютерной техники; E-mail: [email protected]
Поступила в редакцию 17.10.22; одобрена после рецензирования 25.10.22; принята к публикации 25.01.23.
REFERENCES
1. Kapralov N., Nagornova Zh., Shemyakina N. Informatics and Automation, 2021, no. 1(20), pp. 94-132, DOI: https://doi.org/10.15622/ia.2021.20.14
2. Lotte F. et al. J. Neural. Eng., 2018, no. 3(15), pp. 031005.
3. Zhao X., Zhao J., Liu C., Cai W. Biomed. Res. Int., 2020, vol. 2020, рр. 7285057
4. Ponomarev S.V., Malashin R.O., Moiseenko G.A. Journal of Optical Technology, 2018, no. 8, pp. 499-506.
5. Spaminato C., Palazzo S., Kavasidis I., Shah M. CVPR, 2017, https://arxiv.org/abs/1609.00344.
6. Anodina-Andrievskaya E.M., Bozhokin S.V., Marusina M.Ya., Polonsky Yu.Z., Suvorov N.B. Journal of Instrument Engineering, 2011, no. 7(54), pp. 27-35. (in Russ.)
250
M. H. Mapycuna, H. B. Eypdaee
7. Kiryakova T.N., Marusina M.Ya., Fedchenkov P.V. REJR, 2017, no. 2(7), pp. 117-127, DOI: 10.21569 / 2222-74152017-7-2-117-127.
8. Marusina M.Ya., Karaseva E.A. Asian Pacific Journal of Cancer Prevention, 2018, no. 10(19), pp. 2771-2775, DOI: 10.22034 / APJCP.2018.19.10.2771.
9. Marusina M.Y., Mochalina A.P., Frolova E.P., Satikov V.l., Barchuk A.A., Kuznetcov V.l., Gaidukov V.S., Tarakanov S.A. Asian Pacific Journal of Cancer Prevention, 2017, no. 1(18), pp. 51-55, DOI: 10.22034/APJCP.2017.18.1.51.
10. Marusina M.Ya., Karaseva E.A. REJR, 2018, no. 3(8), pp. 107-112, DOI: 10.21569/2222-7415-2018-8-3-107-112.
11. Tang Z., Sun S. Optik - International Journal for Light and Electron Optics, 2017, vol. 130, pp. 11-18.
12. Malashin R.O. Journal of Optical Technology, 2016, no. 10(83), pp. 599-603.
Data on authors
Maria Ya. Marusina
Dr. Sci., Professor; ITMO University, Faculty of Control Systems and Robotics; E-mail: [email protected]
Student; ITMO University, Faculty of Software Engineering and Computer Systems; E-mail: [email protected]
Igor V. Burdaev
Received 17.10.22; approved after reviewing 25.10.22; accepted for publication 25.01.23.
H3B. By30B. nPHBOPOCTPOEHME. 2023. T. 66, № 3
JOURNAL OF INSTRUMENT ENGINEERING. 2023. Vol. 66, N 3
