БИОМЕТРИЧЕСКИЕ ДАННЫЕ И МЕТОДЫ МАШИННОГО ОБУЧЕНИЯ В ДИАГНОСТИКЕ И МОНИТОРИНГЕ НЕЙРОДЕГЕНЕРАТИВНЫХ ЗАБОЛЕВАНИЙ: ОБЗОР Текст научной статьи по специальности «Компьютерные и информационные науки»

Биометрические данные и методы машинного обучения в диагностике и мониторинге нейродегенеративных заболеваний: обзор

И.А. Ходашинский1, К.С. Сарин1, М.Б. Бардамова1, М.О. Светлаков1, А.О. Слёзкин1, Н.П. Корышев1 1 Томский государственный университет систем управления и радиоэлектроники, 634050, Россия, г. Томск, проспект Ленина, д. 40

Аннотация

Представлен обзор неинвазивных биометрических методов выявления и прогнозирования развития нейродегенеративных заболеваний. Дан анализ различных модальностей, используемых для диагностики и мониторинга. Рассмотрены такие модальности, как рукописные данные, электроэнцефалограмма, речь, походка, движение глаз, а также использование композиций данных модальностей. Проведен подробный анализ современных методов и систем принятия решений, основанных на машинном обучении. Представлены наборы данных, методы предобработки, модели машинного обучения, оценки точности при диагностике заболеваний. В заключении рассмотрены текущие открытые проблемы и будущие перспективы исследований в данном направлении.

Ключевые слова: неинвазивные методы диагностики, нейродегенеративные заболевания, обработка биометрических сигналов, машинное обучение.

Цитирование: Ходашинский, И.А. Биометрические данные и методы машинного обучения в диагностике и мониторинге нейродегенеративных заболеваний: обзор / И.А. Ходашинский, К. С. Сарин, М.Б. Бардамова, М.О. Светлаков, А.О. Слёзкин, Н.П. Корышев // Компьютерная оптика. - 2022. - Т. 46, № 6. - С. 988-1019. - DOI: 10.18287/2412-6179-CO-1134.

Citation: Hodashinsky IA, Sarin KS, Bardamova MB, Svetlakov MO, Slezkin AO, Koryshev NP. Biometrie data and machine learning methods in the diagnosis and monitoring of neurodegenerative diseases: a review. Computer Optics 2022; 46(6): 988-1019. DOI: 10.18287/2412-6179-CO-1134.

Введение

Ранняя диагностика заболеваний с использованием неинвазивных процедур и компьютерных технологий является в настоящее время актуальной темой научных исследований. Хотя в научной литературе было предложено множество методов для прогнозирования состояния здоровья пациентов, очень немногие из них нашли применение в практической медицине. Нейродегенеративные заболевания (НЗ) представляют собой класс неврологических расстройств, при которых нейроны центральной нервной системы гибнут или повреждаются, что может привести к тяжелой инвалидности и, в конечном итоге, к летальному исходу. Обычно эти заболевания появляются в пожилом возрасте. Однако начало заболевания может проявиться и в более раннем возрасте. До сих пор не существует какого-либо определенного теста для определения наличия НЗ. Для установления надежного диагноза могут потребоваться месяцы при постоянном наблюдении за симптомами. Кроме того, традиционные оценки зависят от врача, принимающего решение, что затрудняет определение точного типа заболевания, а также степени его серьезности.

Сложно диагностировать НЗ на ранних стадиях, так как симптомы заболевания часто воспринимаются как последствия старения. Ситуация усугубляется тем, что симптомы различных НЗ являются схожими, и постановка верного диагноза столь же важна, как и само лечение [1].

Ранняя диагностика НЗ имеет решающее значение для правильного лечения и может улучшить качество жизни пациента. Более того, оценка признаков конкретного заболевания полезна для его диагностической дифференциации по отношению к аналогичным расстройствам и для наблюдения за его прогрессированием.

Структурная магниторезонансная томография (МРТ) является надежным подходом к оценке признаков нейродегенерации. Однако одной нейровизуа-лизации недостаточно для понимания НЗ [2]. Визуализация головного мозга является мощным инструментом диагностики заболеваний, однако она является дорогостоящей, труднодоступной и непригодной для проведения непрерывного мониторинга прогрес-сирования заболевания [3]. В [4] отмечается, что большинству методов нейровизуализации все еще не хватает валидности, чувствительности, специфичности, прогностической ценности, воспроизводимости и согласованности, для того чтобы иметь реальную диагностическую ценность. Основными причинами этой проблемы являются изменчивость в выборе участников, методологическая несогласованность и использование разных протоколов сбора данных в различных исследованиях [4].

В последние годы возрос интерес к применению биометрических методов в сфере медицины. Традиционно биометрия успешно применяется для обеспечения безопасности [5, 6]. Однако методы, в которых биометрическая информация используется в прило-

жениях, связанных с безопасностью, могут быть с успехом использованы и в сфере здравоохранения.

В [7] отмечается важность простоты инструментов, необходимых для сбора требуемой количественной информации о НЗ. В этом контексте биометрические технологии имеют явное преимущество перед многими традиционными нейрофизиологическими оценками. Биометрия - научная дисциплина, объектом исследования которой являются живые существа, а предметом - методы измерения и обработки физиологических и поведенческих особенностей (сигналов) живых существ.

В настоящее время существует значительный разрыв между результатами академических исследований и их эффективным использованием в медицинской практике, и этому феномену есть несколько объяснений: 1) большинство исследований основаны на одной модальности (под модальностью подразумевается тип биометрической характеристики человека); 2) диагностика и выявление прогрессирования заболеваний обычно рассматриваются отдельно как две самостоятельные задачи; 3) текущие исследования сосредоточены в основном на повышении точности сложных моделей машинного обучения, игнорируя при этом их объяснимость. В результате врачи и пациенты не могут интерпретировать эти модели и считают, что им трудно доверять [8].

Применяемый в настоящее время диагностический арсенал - МРТ, позитронно-эмиссионная томография (ПЭТ) и анализ спинномозговой жидкости -является дорогостоящим, малодоступным в общественных медицинских учреждениях и относительно инвазивным. Существуют альтернативные способы получения значимой диагностической информации. Одним из таких способов является снятие электроэнцефалограммы (ЭЭГ), наиболее востребованного при НЗ диагностического инструмента. [9].

Анализ почерка позволяет получить ценные сведения о начинающихся и прогрессирующих нарушениях, вызванных НЗ. Научные исследования, связанные с анализом почерка, сгруппированы по трем основными направлениям: понимание болезни, мониторинг болезни и диагностика болезни [10].

Установлена взаимосвязь между потерей моторных нейронов и нарушением стабильности движений. Сигналы походки предоставляют важную информацию для различения двигательных нарушений при различных НЗ, а также для точной диагностики и своевременного лечения пациентов с этими заболеваниями [1].

При НЗ могут возникать доклинические изменения в движениях глаз и речи, которые прогрессируют, наряду с ухудшением когнитивных функций [11]. Контроль движения глаз включает обширные области головного мозга, таким образом, независимо от того, является ли нейродегенеративный процесс относительно очаговым или распространенным, эффекты

будут проявляться в изменении глазодвигательных функций. Глазодвигательные аномалии являются признаком снижения когнитивных функций и могут быть использованы для оценки тяжести когнитивных нарушений. Движения глаз являются активной областью исследований при различных нейродегенеративных состояниях [12].

Анализ связной речи является полезным инструментом, дающим подробные данные обо всех языковых уровнях - фонетическом, фонологическом, лек-сико-семантическом, морфо-синтаксическом, синтаксическом и дискурсивно-прагматическом, что позволяет выявить языковые характеристики, связанные с конкретными НЗ [13].

В настоящее время большинство диагностических схем используют одну модальность для предсказания болезни, однако одномодальный подход может ограничивать область применения диагностических схем и затруднить распознавание различных заболеваний и классификацию уровня тяжести. Существует потребность в механизме, который может одновременно использовать мультимодальные данные для разработки динамичных и эффективных систем прогнозирования и лечения заболеваний. Данные, относящиеся к разным источникам и модальностям, предоставляют разную информацию о заболевании и состоянии пациента. Таким образом, слияние мультимодальных данных может повысить точность и надежность результатов по сравнению с одиночной модальностью. Кроме того, опора на данные из одного источника или модальности может затруднить дифференциацию заболеваний и классификацию уровня тяжести [14].

В обзоре рассмотрены следующие модальности: рукописные данные, походка, ЭЭГ, речь, движение глаз.

Существует неудовлетворенная потребность в эффективных методах лечения НЗ. Сложность молекулярных механизмов, лежащих в основе дегенерации нейронов, и демографическая несопоставимость пациентов создают серьезные проблемы для разработки инструментов ранней диагностики и эффективных методов лечения этих заболеваний. Машинное обучение позволяет ученым, врачам и пациентам решать некоторые из этих проблем [15]. Методы машинного обучения, позволяющие извлекать скрытые закономерности из больших объемов медицинских данных, являются полезным инструментом, помогающим и улучшающим диагностику, а также процесс мониторинга заболеваний [3].

На рис. 1 представлено распределение по годам количества публикаций, индексируемых в базе SCOPUS, найденных по ключевым словам: "Neurodegen-erative"&"machine learning"& {Handwriting, Gait, Electroencephalography, Speech, Eye tracking, Multimodal}.

Цель данной статьи - предоставить литературный обзор современного состояния по применению методов машинного обучения и биометрических данных для оценки нейродегенеративных расстройств.

190 180 170 160 150 140 130 120 110 100

Multimodal Eye tracking Speech

Electroencephalography Gait

Handwriting

-

L—mil

2014 2015 2016

2018 ГОД

2019 2020 2021 2022

Рис. 1. Распределение по годам количества публикаций, индексируемых в базе SCOPUS

В научной литературе можно найти несколько близких по тематике обзоров. Однако в них акценты смещены либо в сторону ориентации на конкретное НЗ, либо в сторону конкретной модальности. В обзорах первого типа чаще всего рассматриваются болезни Альцгеймера (БА) [4, 16], Паркинсона (БП) [17, 18, 19], Гентингтона (БГ) [20]. В обзорах второго типа наиболее часто рассматриваемыми модальностями являются нейровизуализация и походка [21, 22]. В [4] рассмотрены различные модальности, но только применительно к БА. Исключением из вышесказанного являются исследования [3] и [15]. В [15], помимо нейровизуализации, анализируются следующие модальности: походка, речь, молекулярные и генетические данные, а также данные истории болезни. В [3] основной акцент сделан именно на болезни, а анализу модальностей уделено значительно меньше места.

В нашем исследовании представлен углубленный анализ существующих методов машинного обучения и биометрии для диагностики и мониторинга основных НЗ.

В табл. 1 приведено распределение цитируемых статей по рассматриваемым модальностям. Распределение цитируемых статей по годам представлено на рис. 2.

Обзор состоит из шести основных параграфов, каждый из которых посвящен рассмотрению определенной модальности. В заключении рассмотрены проблемы, обсуждаемые в обзоре, и пути их решения. В приложении A приведен список используемых в статье сокращений.

1. Рукописные данные 1.1. Особенности модальности

Процесс рукописного письма требует взаимодействия нескольких областей мозга [23]. Как следствие, НЗ и такие заболевания, как глубокая депрессия, синдром дефицита внимания и гиперактивности, обсес-сивно-компульсивное расстройство, дисграфия и шизофрения приводят к значительным изменениям почерка [25, 26]. Так, в [24] авторы выделили признаки письма, на которые влияет БП: тремор, дополнитель-

ные штрихи и жирные надписи, увеличение количества поднятий пера, изменение написания формы букв, сокращение /упрощение букв или их частей, замедление скорости письма, увеличение общего объема текста за счет укрупнения букв и промежутков между ними.

Табл. 1. Распределение цитируемых статей по модальностям

№ Модальность Число ссылок Ссылки

1 Рукописные данные 27 [6], [10], [23 - 47]

2 Походка 23 [1], [15], [21], [22], [49 - 67]

3 Электроэнцефалография 28 [9], [73], [84 - 91], [94], [97], [101 - 106], [109 - 111], [114 - 120]

4 Речь 21 [11], [13], [15], [144 - 147], [149 - 152], [154 - 163]

5 Движение глаз 15 [11], [12], [164 - 176]

6 Мультимо-дальность 19 [2], [4], [8], [14], [177 - 191]

Количество

Рис. 2. Распределение цитируемых статей по годам

Большой объем знаний был накоплен за последние тридцать лет благодаря появлению новых технологий, которые позволяют исследовать не только статические характеристики почерка, но и динамические аспекты процесса письма [27]. Такими динамическими характеристиками являются: положение (х,у), давление на пишущую поверхность, азимут (т.е. угол наклона пера в горизонтальной плоскости) и альтитуда (т.е. угол наклона пера по отношению к вертикальной оси). Движение пера может быть зарегистрировано не только в то время, когда перо находится на пишущей поверхности (движения на поверхности), но и когда перо находится вблизи поверхности, т.е. движение в воздухе.

1.2. Наборы данных

Как правило, при анализе рукописных данных испытуемых просят пройти один из трех видов заданий:

простые задания на рисование, простые письменные задания или сложные задачи [27].

Простые задания на рисование. Испытуемых просят нарисовать прямые линии, спирали, меандры или круги для оценки двигательной активности при БП и БА.

Простые письменные задания. Необходимо писать несуществующие слова, содержащие один или несколько повторяющихся символов. Как правило, это такие символы, которые легко писать рекурсивно и непрерывно - их использование сводит к минимуму процессы лингвистического понимания.

Сложные задачи. В данном случае письмо является частью более сложного задания, включающего двигательные, когнитивные и функциональные процессы.

За время исследований учеными были собраны и опубликованы наборы данных, которые содержат образцы рукописных данных пациентов с НЗ и контрольной группы людей без этого заболевания (КГ). Ниже приведены примеры таких общедоступных наборов данных.

База данных PaHaW состоит из множества образцов почерка 37 пациентов с БП и 38 человек из КГ, сопоставимых по возрасту и полу. Задания включают слова, написанные на чешском языке. Основной характеристикой выбранных слов является то, что они могут быть написаны без отрыва пера от поверхности. На планшет была наложена белая бумага-шаблон, и использовалась обычная чернильная ручка [28].

Оригинальный набор данных HandPD включает в себя сигналы оцифрованных текста и рисунков пациентов с БП и КГ. Первая версия была предназначена для статического анализа. В дальнейшем набор был расширен для динамического анализа и стал содержать данные 66 человек (35 КГ и 31 пациент с БП). Расширенная версия получила название NewHandPD. Динамические характеристики рукописного текста фиксировались с помощью ручки BiSP [29].

В исследование ParkinsonHW вошли 62 пациента с БП и 15 человек из КГ. Рассматривались три типа заданий: статический спиральный тест, динамический спиральный тест и тест устойчивости на определенной точке [30].

Набор данных ISUNIBA содержит рукописные данные, собранные от 41 человека: 12 КГ и 29 пациентов с БА. Каждого участника просили написать слово "mamma" (итальянское «мама») в течение разных сеансов записи. Выбор слова «мама», одинаковый для всех авторов, связан с важностью этого слова, а также с формой написания. Это слово, помимо того, что часто является одним из первых слов, произнесенных человеком, также повторяется с высокой частотой субъектами в прогрессирующем состоянии БА [31].

Набор EMOTHAW (Emotion recognition from handwriting and drawing) был недавно разработан для исследования эмоциональных состояний. В нем не участвовали пациенты с БП и/или БА, но проведенные испытания обычно используются в исследовани-

ях, посвященных БП и БА. Этот набор данных может быть полезен для целей сравнения [32].

Авторы [33, 34] собирали данные самостоятельно и основывались на рисовании спирали. Эксперимент по сбору данных выглядел следующим образом: при помощи программы Adobe Illustrator были созданы опорные точки, при соединении которых получалась бы Архимедова спираль или волна. Затем каждому из участников предлагался лист формата А3, под которым находился графический планшет Wacom Intuos Pro Large. Каждый из участников должен был соединить опорные точки при помощи чернильной ручки Wacom Intuos. Всего было собрано 204 изображения.

В [35] авторами использовался собственный набор данных, при сборе которого участникам предлагалось нарисовать куб, треугольник и спираль Архимеда по контуру при помощи компьютерной мыши в специальной программе, которая собирала семь признаков, основанных на времени и скорости выполнения рисунка, и пять признаков, основанных на степени отличия рисунка от шаблона. Всего в эксперименте участвовало 20 человек: 10 человек с БП, 10 КГ.

В [36] авторы использовали комплексный набор данных Parkinson Disease Dataset. Набор данных включает клинические данные, сигналы движения пера при рисовании изображений и звуковые характеристики речи.

Авторами [37] был собран собственный набор данных. Участникам требовалось нарисовать доминирующей рукой по два образца прямой линии и спирали Архимеда, используя планшет iPad со стилусом Apple Pencil. Для второго испытания каждый испытуемый проводил прямую линию от левой стороны к правой. В этом исследовании 100 рисунков спиралей и 100 рисунков линий были взяты у 50 участников, включая КГ, участников с БП и участников с эссен-циальным тремором. В качестве признаков были выбраны декартовы координаты (x, y), давление пера.

В [38] авторы предлагали участникам (20 человек из КГ, 20 с БП) обвести шаблон на распечатанном рисунке перед выполнением экспериментального задания. После этого их попросили свободно нарисовать шесть экземпляров каждого рисунка на белом листе бумаги формата А4, используя черный графитный карандаш. Таким образом, была создана база данных из 960 изображений - 480 спиралей и 480 синусоид. После этого рисунки были оцифрованы.

1.3. Предобработка данных, извлечение и отбор признаков

Перечисленные наборы данных можно разделить на две подгруппы: содержащие динамические характеристики и содержащие изображения. Для каждой подгруппы требуются свои алгоритмы извлечения признаков.

Для извлечения признаков из динамических характеристик в [39] отделяли траекторию ведения пера

испытуемого от экзаменационного шаблона. После этого извлекали 9 признаков, основанных на различиях между рукописным следом и шаблоном. Авторы [40] использовали другой подход - применяли быстрое преобразование Фурье для извлечения признаков из сигналов наборов данных HandPD и NewHandPD. В [41] авторами была предложена методика извлечения с помощью сигма-логнормальной модели, распределения Максвелла-Больцмана, преобразований Фурье и Чепструма из набора данных PaHaW 24 признаков, в числе которых позиция пера, касание планшета, давление, азимут, альтитуда и 19 переменных, основанных на скорости движения пера. В [35] признаки регистрировались программно в момент сбора данных. Программа фиксировала семь признаков, основанных на времени и скорости выполнения рисунка, и пять признаков, основанных на степени отличия рисунка от шаблона. В [42] результирующий набор данных состоял из 29 кинематических признаков.

Для извлечения признаков из изображений в [33, 38] применялся алгоритм гистограммы направленных градиентов. В [43] перед извлечением признаков изображения предварительно обрабатывались: удалялся шум, текстура бумаги, а также все изображения нормализовались. Для извлечения признаков использовалась нейронная сеть SqueezeNet, которая генерировала 512 признаков.

В [39] для отбора признаков применялся критерий хи-квадрат. В [42] для отбора информативных признаков использовался генетический алгоритм, позволивший оставить 14 признаков из 29, и взаимная информация, позволившая оставить девять признаков. Для устранения дисбаланса классов в данных использовался алгоритм SMOTE. Авторами [44] в качестве алгоритма извлечения признаков использовался метод главных компонентов (PCA).

1.4. Классификаторы

При работе с набором данных HandPD авторы [45] получили наибольшую среднюю точность 72,36 % при использовании классификатора на основе генетического программирования. Использование классификатора AdaBoost и отбора признаков по критерию хи-квадрат авторами [39] позволило повысить точность до 76,44 %. В работе [46] также исследовался набор данных HandPD, авторы использовали свер-точную нейронную сеть (CNN), параметры которой настраивались метаэвристическими алгоритмами, в результате чего получена наилучшая точность, равная 79,62 %.

Авторами [44] для классификации использовались следующие алгоритмы: логистическая регрессия (LR), XGBoost и метод опорных векторов (SVM) с линейным ядром. Лучший результат для меандра, равный 72,16 %, показала LR. Для спирали наибольшую точность, составившую 77,45 %, продемонстрировал SVM.

В [40] наборы данных HandPD и NewHandPD были объединены. В качестве классификатора использовалась модель случайного леса (RF). Данный подход позволил повысить точность классификации до 90,48 %, что существенно выше точности на отдельных наборах.

Другой общедоступный набор данных - PaHaW, использовался в работе [41]. Подход авторов к извлечению признаков и использование классификатора SVM позволили достичь точности 98,44 %.

В [42] авторы для классификации использовали общедоступные рисунки спирали из набора данных ParkinsonHW. Для классификации использовались SVM, RF, AdaBoost и XGBoost. Лучший результат показал алгоритм AdaBoost с отбором признаков на основе взаимной информации, получивший точность, равную 96,02 %.

В [36] рассматривался набор данных Parkinson Disease Dataset. Предварительно данные разбивались на 8 кластеров, после чего подавались на вход оригинальной сиамской нейронной сети. Предложенный подход позволил достичь точности 76,75 % без использования кластеризации и 84,02 % после ее применения.

В [43] авторами для классификации использовались только изображения спирали Архимеда, собранные из множества открытых наборов данных Parkinson Disease Spiral Drawings Using Digitized Graphics Tablet, HandPD и Parkinson Drawings. Для классификации использовался алгоритм SVM, показавший точность классификации в 91,26 %.

Авторами [47] использовался объединенный набор данных из изображений в наборах данных PaHaW, HandPD, NewHandPD, Parkinson's Drawings dataset. Предварительно для аугментации были выполнены следующие трансформации изображений: поворот, вращение, коррекция освещения, увеличение контраста, удаление шума. Для классификации авторы использовали алгоритмы AlexNet, GoogleNet, VGGNet16/19, ResNet-50/101. Также авторами применялось трансферное обучение. Предложенная комплексная система с использованием нейронной сети AlexNet позволила добиться точности 99,22 %.

Авторы [33] для классификации собственного набора данных использовали дерево решений (DT), классификатор градиентного бустинга, алгоритм k-ближайших соседей (KNN), LR, RF, SVM. Лучшим в классификации изображений с волной стал градиентный бустинг, показавший точность в 86,7 %, а в классификации спирали лучшую точность (89,3 %) продемонстрировал KNN. Использование оригинальной CNN для классификации того же набора данных авторами [34] позволило увеличить точность до 87,44 %.

В работе [35] для классификации применялись три модели машинного обучения: лес оптимального пути, SVM и байесовский классификатор (NBC). Лучший результат показал SVM c точностью 100 %

и чувствительностью 100 % в шаблонах куба и Архимедовой спирали.

Еще один пример классификации авторского набора данных приведен в работе [37]. В качестве классификатора использовался классификатор на основе перцептивного представления цвета. С помощью пятикратной кросс-валидации был получен средний показатель чувствительности, равный 92,02 %, средний показатель специфичности, равный 88,68 %, и средний показатель точности, равный 90,44 %.

В [38] авторы для классификации собственного набора данных использовали такие алгоритмы, как RF, SVM, KNN, CNN. Лучшие результаты показала однослойная CNN, точность классификации которой достигла 83,1 %.

1.5. Резюме

Анализ рукописных данных для диагностики НЗ широко распространен; совершенствуются как общедоступные наборы данных, так и алгоритмы для их классификации. Анализ рукописных данных является достаточно простым и неинвазивным инструментом диагностики НЗ. Простота подкрепляется как широкой распространенностью методов распознавания изображений и извлечения из них признаков, так и невысокой стоимостью оборудования, позволяющего считывать не только статические характеристики изображения, но и динамические характеристики рукописных данных для повышения точности диагностики НЗ. Основной недостаток данного инструмента состоит в том, что анализ рукописных данных в задачах, не требующих сложных когнитивных и функциональных процессов, выявляет нарушения только верхних конечностей. Следовательно, его отдельное использование не гарантирует выявление НЗ [48]. Также могут возникать сложности при сборе данных с использованием специализированного оборудования, так как пациентам, как правило, нужно объяснять методику эксперимента и правильный способ ввода своих рукописных данных. Это ведет к увеличению общего времени процесса сбора информации. Также к недостаткам можно отнести тот факт, что сигналы рукописных данных, снимаемые с различного оборудования, могут иметь различный формат. Это может приводить к дополнительным проблемам при попытках объединить несколько наборов данных [47]. С другой стороны, такой подход позволяет увеличить количество обучающих данных и предотвратить переобучение модели.

В табл. 2 представлено описание рассмотренных в параграфе классификаторов. Здесь введены следующие обозначения: Acc - точность диагностики (англ. accuracy), процентная часть правильно диагностированных испытуемых); СБ - собственный набор данных; ГП - генетическое программирование; КППС -классификатор на основе перцептивного представле-

ния света; PDSDUDGT - Parkinson Disease Spiral Drawings Using Digitized Graphics Tablet. Все рассмотренные классификаторы использовались для диагностики БП.

Табл. 2. Оценки диагностики НЗ на основе рукописных данных

Алгоритм Данные Точность (Acc) %

ГП [451 HandPD 72,36

AdaBoost + chisquare [39] HandPD 76,44

CNN [461 HandPD 79,62

LR, SVM [44] HandPD Меандры: 72,16 Спирали: 77,45

RF [40] HandPD + NewHandPD 90,48

SVM [411 PaHaW 98,44

AdaBoost + Mutual info [421 ParkinsonHW 96,02

CNN [36] Parkinson Disease Dataset 84,02

SVM [43] PDSDUDGT + HandPD + Parkinson Drawings 91,26

AlexNet [47] PaHaW + HandPD + NewHandPD + Parkinson Drawings 99,22

CNN [34] СБ 87,44

SVM [35] СБ 100

КППС [37] СБ 90,44

CNN [38] СБ 83,1

2. Походка 2.1. Особенности и технические средства оценки походки

НЗ поражают нейронные клетки, в результате чего у человека возникают физические расстройства во время ходьбы. Симптомами являются ригидность тела с гипертонией, брадикинезия, акинезия и нарушение равновесия, особенно при тяжелом течении заболевания [49]. У больных боковым амиотрофическим склерозом (БАС) проявляется постепенная мышечная атрофия со снижением силы давления стопы на поверхность. У пациентов с БА наблюдаются нескоор-динированные движения при прямохождении, дизартрия, изменение дыхания, гримасы на лице, дис-фагия и гиперкинезия [50]. Особенности БГ включают чрезмерные, спонтанные движения, нерегулярные по времени, беспорядочно распределенные и резкие. Тяжесть расстройств может варьироваться от беспокойства с умеренным, прерывистым преувеличением жестов, беспокойных движений рук и неустойчивой походкой до непрерывного потока насильственных движений (хореи) [51].

Анализ походки человека призван изучить, какова последовательность физических действий, выполняемых во время ходьбы. В литературе используются два подхода к измерению характеристик цикла походки:

измерение временных /пространственных признаков и измерение давления на поверхность [52]. Первый подход является наиболее распространенным и научно подтвержденным неврологами; в рамках данного подхода легче составлять протоколы измерений.

Создано множество инструментов измерения параметров походки: силовые пластины, инструментальные коврики (электронные дорожки), системы видеофиксации, инерциальные датчики, акселерометры. Основная трудность при принятии решения о выборе методов и инструментов - это необходимость сбалансировать требование большей детализации, чувствительности, специфичности, точности измерения со сложностью и осуществимостью использования таких методов и инструментов в клиниках, обществе и клинических испытаниях [53].

2.2. Наборы данных

В [54, 55] используется общедоступный набор данных, содержащий данные о походке субъектов с БП и предоставленный в РИуБЮпе! (РРБ) [56]. Набор данных состоит из 166 записей походки, 73 человека из КГ (40 мужчин и 33 женщины, средний возраст 63,7 года) и 93 с БП (58 мужчин и 35 женщин, средний возраст 66,3 года). Этот набор включает показатели различных уровней тяжести заболевания, основанных на шкале Хен-Яра (И&У). Набор содержит в себе 10 пациентов с БП по шкале И&У = 3, 28 пациентов с БП по шкале И&У = 2,5 и 55 пациентов с БП по шкале И&У = 2. Это указывает на то, что большинство испытуемых находились на ранней или средней стадии заболевания. Для сбора данных о походке 8 датчиков вертикальной силы реакции поверхности (УвЯЕ) были помещены в стельку каждой ноги испытуемого, затем каждый из них должен был пройти в своем обычном темпе в течение 2 минут по ровной поверхности. Каждый экземпляр набора данных содержит 16 временных рядов УвКР в дополнение к 2 временным рядам, которые указывают на совокупную силу каждой ноги.

Для проверки работоспособности предлагаемых в [57 - 60] алгоритмов обучение выполнялось на наборе данных о походке РИуБЮпе! при НЗ (РвМЭБ) [61]. Данный набор состоит из сигналов силы походки (вБ) 64 субъектов, среди которых 16 человек из КГ, 15 с БП, 20 с БГ и 13 с БАС. Испытуемых просили идти в обычном темпе по прямому коридору длиной 77 м в течение 300 секунд. Сигналы походки измерялись с помощью ультратонких чувствительных к силе переключателей, размещенных внутри обуви каждого испытуемого. Исходные данные сигнала для этого набора были получены с помощью датчиков УвЯЕ. Один датчик располагался рядом с пальцами ног и плюсневыми костями в передней части стельки, а другой - возле пятки на противоположном конце. Также два ножных переключателя были подключены параллельно к обеим ногам. Набор содержит 13 при-

знаков: интервал шага влево и вправо (время от начального контакта одной ноги до немедленного последующего контакта), интервал левой и правой стойки (время, когда одна нога находится на земле), интервал поворота влево и вправо (время, когда одна нога находится в воздухе) и интервал двойной поддержки (время двустороннего контакта ног).

Авторы исследования [49], посвященного диагностике БП, использовали другой общедоступный набор данных [62]. Этот набор включает три группы людей: пожилых людей, не имеющих НЗ, здоровых пожилых людей и людей с легкой формой БП. Эксперимент проводился на платформе инерциального зондирования SHIMMER. Данные отбирались с акселерометров на левой и правой лодыжках испытуемых, в то время как испытуемые проходили 10-метровую дистанцию четыре раза с комфортной скоростью и в условиях отсутствия препятствий. Испытуемых инструктировали поворачиваться в поперечной плоскости через каждые 10 метров. Описание данного набора не располагает подробной информацией о каждом испытуемом в отдельности, что затрудняет интерпретацию результатов классификации.

В [50, 63] использовался набор данных CAVIAR [64]. Он содержит 115 видеороликов, снятых в общей сложности с 40 субъектов: 20 из КГ и 20 пациентов с НЗ (различной степени тяжести). Среди них 61 видеоролик содержит данные о походке КГ, 54 видео -о походке пациентов с НЗ. В качестве метаданных для больных указывается стадия НЗ: авторы выделяют мягкую, обнаруженную, умеренную и тяжелую стадии. Хотя выполняемая в этой работе классификация является бинарной, стадии заболевания авторы используют для оценки важности сигма-логнормальных признаков при различении «пограничных» субъектов, особенно субъектов с НЗ в легкой или обнаруженной стадии от здоровых субъектов. Оценка стадии НЗ проводилась с помощью нескольких когнитивных тестов.

В связи с разнообразием технических средств и возможностей измерений признаков походки, а также отсутствием единых протоколов измерений, исследователи нередко сами формируют наборы данных.

В исследовании [65] 303 участника (119 больных БП, 184 человека из КГ) непрерывно ходили по 25-метровой овальной трассе в течение двух минут в свободном темпе. Данные о походке участников были собраны с помощью инструментального коврика GAITRite, находящегося в середине трассы. В итоге были сформированы 16 кинематических характеристик походки каждого испытуемого.

Для исследования [66], посвященного диагностированию БА, были набраны пациенты с начальной стадией БА. В набор включены данные 36 пациентов с БА и 36 человек из КГ. При выборе участников учитывались также и антропометрические данные. Для сбора данных использовались модули кинетического

зондирования и блок измерения инерции MPU 6000 (трехосный акселерометр и гироскоп). Они были прикреплены к пяти частям тела: туловищу (на высоте 55 % от роста человека), обеим ногам (середина лодыжки - колено) и обеим бедрам (середина колена - подвздошный гребень). Данные о походке субъектов состояли из 18 кинематических признаков.

В работе [67] данные о походке были записаны с датчиков движения (акселерометр и гироскоп по трем осям) в двух смартфонах, расположенных на обеих лодыжках. Данные были собраны в течение семи дней во время медицинского осмотра пациентов, которые проходили в лаборатории всего 10 шагов. В сборе данных для обучения участвовали 7 субъектов с БА и 7 человек из КГ.

2.3. Предобработка данных, извлечение и отбор признаков

Различия между работами разных исследователей начинаются с первого этапа построения системы - с извлечения признаков. Авторы [54] извлекали из PPD два типа признаков: статические и кинематические. Информативные признаки отбирались с использованием коэффициента ранговой корреляции Пирсона.

В работе [65] извлекались признаки из показаний инструментального коврика GAITRite. После формирования набора данных исследователи провели поиск наилучшей модели классификатора. Авторами выполнялся выбор оптимальных признаков для пяти отобранных классификаторов; отбор признаков проводился только одним методом - RF с рекурсивным исключением признаков (РИП).

Оригинальный PGNDD включает два типа записанных данных: исходные данные сигналов GF и шаблоны циклов походки, полученные из сигналов GF (шаблоны состоят из времени шага, времени поворота, времени стояния, измерений времени контакта от шага к шагу). В исследовании [57] использовались только сигналы GF, поскольку целью этого исследования является разработка классификации походки с использованием признаков, связанных с энтропией: для определения энтропийных признаков требуется большой объем данных, который отсутствует в шаблонах походки. В рамках предобработки исходные сигналы разделяются на различные временные окна (10 / 20 / 30 / 60 секунд). После этого выполняется процедура извлечения признаков. Далее выполняется процедура двукратного дифференцирования; затем признаки нормализуются. Используемый здесь набор данных характеризуется несбалансированностью, поэтому выполняется балансировка данных каждого класса алгоритмом SMOTE. После этих процедур выполняется отбор информативных признаков жадными алгоритмами.

Процесс предварительной обработки в [58] начался c разделения пятиминутных сигналов с датчиков

УвКР на последовательные временные интервалы 10 / 30 / 60 секунд. Далее каждый сигнал УвКР из временной области преобразовывался в частотно-временную спектрограмму. Для извлечения признаков авторы предлагают использовать предварительно обученную сеть А1ехСМЫ, перед этим проведя извлечение признаков алгоритмом РСА.

Исследователи в работе [59] также попытались построить классификатор, используя набор РвМЭБ. Однако в этой работе в качестве данных для обучения были использованы не сигналы, а шаблоны походки, состоящие из 13 признаков. Перед построением классификатора исследователи выполняли отбор признаков с помощью критерия хи-квадрат; итоговый набор включал пять признаков: двойной интервал поддержки, интервал правой стойки, интервал правого шага, интервал левой стойки и интервал левого шага.

В работе [60] изучалась возможность классификации походки по различным статистическим характеристикам, извлеченным из исходных сигналов вБ. Для каждого временного ряда были рассчитаны статистические показатели (среднее, среднеквадратиче-ское отклонение, максимальное и минимальное значения, коэффициент асимметрии и эксцесс), а также показатели изменчивости для этих сигналов, такие как сложность Лемпеля-Зива, нечеткая энтропия, оператор Тигера-Кайзера. Количество извлеченных признаков составило 45. Далее исследователи выполняли отбор признаков для сгенерированной модели классификатора с помощью алгоритма «восхождение на холм».

На этапе предобработки данных в [66] выполнялась нормализация данных, затем оценивалась значимость каждого признака с помощью критериев Манна-Уитни и хи-квадрат. После ранжирования признаков авторы выполняли отбор наиболее значимых, используя анализ увеличения ошибок.

В рамках предобработки данных в [67] выполнялись калибровка данных датчиков с помощью линейной интерполяции, нормализация и удаление шума с помощью фильтра нижних частот. Далее для увеличения количества данных для обучения авторы выделяли из всех сигналов все временные окна, соответствующие шагам. Авторами с датчиков на каждой ноге было извлечено по 28 характеристик, связанных с походкой: шесть пространственно-временных, пятнадцать частотных и семь, связанных с регулярностью и симметрией шага.

В работе [49] исследователи откалибровали данные и использовали ось Ъ гироскопа для сегментации каждого шага; первые и последние два шага на 10-метровом отрезке пути каждого испытуемого были удалены, чтобы устранить любые нарушения, связанные с началом и окончанием походки. Из сигнала акселерометров были извлечены характеристики, представляющие собой либо характеристики шагов, либо характеристики полной последовательности походки. Для отбора информативных признаков авторы ис-

пользовали подход, называемый максимальным получением информации с минимальной корреляцией. Таким образом был определен оптимальный набор биомаркеров: изменчивость среднего времени шага, изменчивость на осях X и Z, скорость, плавность на осях X и Z, а также среднеквадратичное отклонение относительно среднего значения на оси Z.

Процесс предобработки данных в работе [50] состоял из семи этапов:

1) применение алгоритма устранения эффекта «рыбьего глаза» в тех видеороликах, в которых он присутствовал;

2) выбор объекта для съема данных;

3) оценка позы, где для каждого кадра каждого видео были извлечены координаты частей тела анализируемого объекта;

4) исправление некоторых недостающих данных и выбросов, присутствующих в извлеченных координатах и вызванных окклюзией и ошибками оценки положения из-за различных условий освещения;

5) поэтапная сегментация шагов и их последующее сглаживание;

6) извлечение пространственно-временных (перемещение, скорость, ускорение и касательный угол), сигма-логнормальных признаков (дисперсия, математическое ожидание и стандартное отклонение логнормального распределения для каждой части тела) признаков и различных углов (нос/шея/бедро, шея/бедро/колено, плечо/локоть/запястье, бедро/колено/лодыжка, колено/бедро/другое колено); признаки вычисляются на каждом анализируемом шаге в каждом кадре видео, при этом признаки для правых и левых шагов рассчитываются отдельно друг от друга;

7) после вычисления всех признаков из вышеупомянутых групп из них дополнительно извлекаются пять статистических признаков (среднее, медиана, стандартное отклонение, первый и девяносто девятый процентили), а из признаков разных ракурсов еще один дополнительный - максимальная амплитуда. Благодаря высокой интерпретируемости предлагаемой модели авторы сделали вывод: не только нижняя, но и верхняя часть тела, куда входят нос, бедра, шея и плечи, играют важную роль в различении здоровых и нездоровых субъектов.

2.4. Классификаторы

В [54] представлены несколько классификаторов походки для диагностики стадии БП. Наибольшая точность классификации была получена при использовании DT и SVM - 99,4 %. Оптимальный набор составил девять кинематических признаков из 15: длина, время и темп шага, длительность остановки, время качания, коэффициент поворотной стойки, скорость, длина и время двойного шага.

Авторы [65] выбрали 12 классификаторов и обучили их на своем наборе данных. В конечном счете после отбора признаков наибольшей точности классификации достиг RF - 97,14 %. Состав признаков по результатам классификации и отбора получился следующим: средняя скорость шага, средняя длина шага, изменчивость длины шага, средняя ширина шага и изменчивость ширины шага.

В качестве классификаторов в работе [57] использовались SVM и KNN. Построение классификаторов проходило при разных условиях: использование/неиспользование SMOTE, использование жадного алгоритма отбора признаков или отсутствие процедуры отбора, использование классификатора KNN либо SVM, длительность окна сигналов (10 / 20 / 30 / 60 секунд). Наилучшим средним значением точности классификации, которое достигли исследователи при построении классификатора на четырех классах (определяющего КГ, БП, БГ и БАС), является 99,77 %; сигналы имели 20-секундный временной интервал, предварительно была применена процедура SMOTE, а методом построения такого классификатора выступал KNN. Данная точность была достигнута и на полном наборе признаков, и на 17 признаках, отобранных с помощью жадного алгоритма.

В [58] был разработан алгоритм построения классификатора НЗ на основе сигнала VGRF и глубокого обучения. С помощью глубокого обучения выполнялось обучение классификатора SVM. В экспериментах обучение и тестирование работы классификатора проводилось по двум схемам кросс-валидации: схеме без исключения (LOOCV) и 5-кратной. Исследователи также проводили большой объем экспериментов с различными условиями: используемая длина временного окна, метод преобразования признаков, использование/неиспользование алгоритма PCA, метод кросс-валидации, выбор и количество классов, на которых строится классификатор. При такой комбинации методов точность распознавания КГ составила 98,96 %, людей с БП - 97,86 %, с БГ - 98,28 %, с БАС - 99,11 %. В роли значимых признаков выступают отдельные величины частотных составляющих спектра сигнала в диапазонах 0,1 - 5 Гц и 5 - 50 Гц.

Исследователи в работе [59] попытались построить классификатор на основе многослойного персеп-трона (MLP) для диагностики НЗ. Наилучшая точность классификации, которую достигли авторы при построении классификатора, отличающего КГ от людей с НЗ, составила 84 % без использования алгоритма отбора признаков.

Авторы [55] представили новый метод формирования классификатора шаблонов походки пациентов с БП, основанный на ансамблевом Vibes algorithm. Ансамбль формируется из нескольких деревьев классификации и регрессии (CART). Наивысшая достигнутая ими точность классификации составила 98,79 %. По результатам процедуры отбора признаков сигналы с пяток оказались наиболее информативными при

различении субъектов с БП и КГ. Кроме того, сигналы левой ноги в целом дают больше информации по сравнению с сигналами правой ноги с точки зрения задачи классификации.

В [60] классифицировались данные из PGNDD. Исследователи пришли к выводу, что при бинарной классификации SVM работает наиболее эффективно: авторы смогли достичь точности больше 90 % при диагностике НЗ при среднем количестве признаков, равном 7. В оптимальных наборах признаков для SVM чаще встречаются следующие: четыре, связанные с оператором Тигера-Кайзера, два - с величинами нечеткой энтропии, и один - с величиной средне-квадратического отклонения. Результаты данной работы при различении четырех классов показывают следующее: наивысший показатель точности SVM при различении групп субъектов с НЗ и КГ составил 96,83 %, с БП и с БАС - 96,43 %, с БГ и с БАС -96,88 %, с БП и с БГ - 91,18 %. Также авторы связывают сложность построения системы диагностирования с недостатками набора PGNDD. Во-первых, возраст и пол разных групп пациентов довольно сильно различаются; во-вторых, набор данных относительно мал; в-третьих, испытуемым приходилось поворачивать назад, когда они достигали конца коридора, что приводит к внезапным отклонениям в походке, которые устраняются на этапе предварительной обработки.

В [66] результаты показали, что наиболее работоспособным классификатором оказался MLP; его точность равна 86,1 % при 11 кинематических признаках. После добавления исследователями признака, содержащего нейропсихологическую оценку (Монреальский когнитивный тест, MoCA), его точность возросла до 96,6 %. Обратим внимание, что MoCA не является признаком походки, поэтому данное исследование всего лишь подтверждает, что мультимодальное диагностирование увеличивает точность классификации болезней.

В [49] авторы использовали в своем исследовании распространенные классификаторы, в том числе и ансамблевые. Также для оценки выполненной классификации и подтверждения корректного выполнения отбора признаков исследователи использовали сеть подобия. Значение корреляции между каждой парой субъектов рассматривается как мера сходства; субъекты считались схожими, если показатель корреляции был равен или превышал 85 %. Авторы утверждают, что сеть подобия не подвержена переобучению, поскольку она создается с использованием меры подобия между каждой парой испытуемых. Точность в 100 % достигли системы диагностирования на основе AdaBoost и RF.

В [50] анализ походки проводился на данных с 2D-камер. На полном наборе данных наивысшую точность показал SVM с линейной функцией ядра -95,5 %, поэтому последующие эксперименты исследователи проводили только с этим классификатором. Точность SVM повысилась при использовании пол-

ного набора признаков, относящихся к левой стороне тела - 99,1 %.

В работе [67] авторы предлагают использовать подход, основанный на построении двоичного «ме-таклассификатора». Под ним подразумевают классификатор, который сам по себе не реализует алгоритм классификации, а использует другой классификатор для выполнения фактической работы. Примерами ме-таклассификаторов являются Logitboost, Random Committee и MultiBoostAB. Для своего исследования авторы составили список из 15 известных в литературе метаклассификаторов и 15 базовых классификаторов, основанных на деревьях решений; далее исследователи проверяли на своем наборе работоспособность каждой комбинации метаклассификатора и классификатора; эксперименты по построению итогового классификатора выполнялись по схеме LOOCV. Авторы получили наилучшие результаты с помощью комбинации Logitboost и RF на 45 итерациях выполнения метаклассификатора и при исходном количестве извлеченных признаков: точность такого классификатора составила 94,4 % (был некорректно распознан только один субъект из КГ). Авторы утверждают, что метаклассификаторы более работоспособны, чем отдельные классификаторы, даже если последние были обучены в соответствии с конкретным заболеванием.

В табл. 3 приведены оценки эффективности вышеприведенных классификаторов при диагностике НЗ по походке.

Табл. 3. Оценки диагностики НЗ на основе походки

Алг. Данные Точность (Acc) % Заболевание

DT, SVM [541 PPD 99,4 БП

CART [551 PPD 98,79 БП

KNN [571 PGNDD 99,77 БП, БГ, БАС

SVM [581 PGNDD 98,96 (КГ) 97,86 (БП) 98,28 (БГ) 99,11 (БАС) БП, БГ, БАС

MLP [591 PGNDD 84 БП, БГ, БАС

SVM [601 PGNDD 96,83 (НЗ / КГ) 96,43 (БП / БАС) 96,88 (БГ / БАС) 91,18 (БП / БГ) БП, БГ, БАС

AdaBoo st, RF [491 Данные с акселерометров SHIMMER 100 БП

SVM [501 CAVIAR 99,1 БП, БГ, БАС, БА

RF [651 Данные с коврика GAITRite 97,14 БП

MLP [661 Данные с акселерометра и гироскопа 86,1 БА

Logitboost + RF [671 Данные с акселерометра и гироскопа 94,44 БГ

2.5. Резюме

Разработка методов анализа походки для диагностики НЗ является развивающимся направлением исследований благодаря широкому спектру технических средств измерения. Однако такое разнообразие инструментов и снимаемых ими признаков чревато осложнением составления единого протокола измерений признаков походки. Также затрудняется сравнительный анализ различных систем диагностирования НЗ, так как создаваемые исследователями классификаторы решают разные задачи.

Исследователи используют как данные в открытом доступе, так и собираемые ими самими. Формирование сбалансированных наборов данных остается сложной задачей, поскольку исследователям трудно найти достаточное число пациентов. Почти все используемые наборы характеризуются несбалансированностью и малым объемом, поэтому создание работоспособных классификаторов не обходится без применения алгоритмов предварительной обработки.

Высокой эффективностью обладают системы, построенные с использованием нескольких алгоритмов машинного обучения, в том числе алгоритмов предобработки данных. Определенного ответа на вопрос, какие алгоритмы позволят достичь максимальной точности классификации НЗ по походке, не существует.

Направления дальнейших исследований состоят не только в расширении возможностей диагностики НЗ, но и в разработке систем непрерывного мониторинга болезней у пациентов, систем выявления ранних стадий НЗ и алгоритмов обнаружения закономерностей походки при конкретном НЗ для дифференциальной диагностики.

3. Электроэнцефалография 3.1. Особенности модальности

Существует несколько методов измерения активности мозга для определения изменений активности и нарушений работы нейронных связей (характерных для нейродегенративных заболеваний [68, 69]), различающихся пространственно-временным разрешением и применимостью [70]. ЭЭГ, по сравнению, например, с функциональной МРТ, демонстрирует более низкое пространственное, но более высокое временное разрешение, а оборудование для снятия ЭЭГ является менее дорогостоящим и также является неинвазивным методом [71, 72].

В случае сигнала ЭЭГ обычно рассматривается диапазон частот 0,5 - 30 Гц, в соответствии с которым выделяют пять ритмов головного мозга [73]:

1) Альфа-ритм (8 - 12 Гц, 30 - 50 мВ);

2) Бета-ритм (14 - 26 Гц, 5 - 30 мВ);

3) Тета-ритм (4 - 8 Гц, > 20 мВ);

4) Дельта-ритм (0,5 - 4 Гц, 20 - 200 мВ);

5) Гамма-ритм (30 - 80 Гц, < 5 мВ);

6) Инфрамедленные осцилляции (менее 0,5 Гц) [74 - 76].

Сигма-волны наблюдаются в стадии сна и называются «сонным шпинделем». Они могут быть медленными (12 - 14 Гц) или быстрыми (14 - 16 Гц) и наиболее заметны в лобно-центральных областях головы [77].

Использование ЭЭГ в качестве инструмента для обнаружения изменений в деятельности мозга и клинической диагностики становится все более популярным, благодаря ее возможностям оценки изменений в сетевой структуре головного мозга [11, 73]. ЭЭГ также можно использовать для выявления эпилептической болезни и припадков, которые связывают с нейродеге-неративными заболеваниями, поэтому в данной работе также рассмотрена классификация и обнаружение подобных припадков на основе ЭЭГ [78 - 82].

3.2. Наборы данных

Протоколы записи ЭЭГ в основном подразделяются на два типа:

1) ЭЭГ в состоянии покоя с открытыми или закрытыми глазами;

2) получение множества записей ЭЭГ одновременно с некоторой сенсорной стимуляцией (например, фотостимуляция или гипервентиляция), для их усреднения и выявления вызванных потенциалов в ответ на стимул в устойчивом состоянии или связанных с событиями потенциалов во время выполнения когнитивных задач [83]. Частота дискретизации оборудования ЭЭГ варьируется от 128 до 1024 Гц, при этом чаще всего находится в диапазоне 128 - 256 Гц. Нормальная ЭЭГ человека показывает активность в диапазоне частот от 1 Гц до 100 Гц. Учитывая верхний предел диапазона частот в сочетании с теоремой Найквиста-Котельникова, это приблизительно соответствует 256 Гц, одной из наиболее используемых частот дискретизации. Количество используемых электродов варьируется от 2 до 128 (чаще всего используется 19) [84].

В [85] набор данных был записан в реальных клинических условиях в больнице СИаг1е8-Ро1х, данные доступны по запросу. Набор содержит данные ЭЭГ 169 пациентов с различными патологиями, в том числе и БА. Данные собраны в состоянии покоя, частота дискретизации - 256 Гц. Лучшая достигнутая точность классификации - 81,8 %.

В [86] описаны 26 носителей гена БГ и 25 из КГ. ЭЭГ записывалась в течение трех минут в состоянии покоя. Классификация была протестирована с помощью 10-кратной перекрестной проверки и имела точность 83 %. Данные предоставляются авторами по запросу.

Набор данных для классификации БП [87]: 41 пациент с БП и 41 человек из КГ. Используются данные шести отведений ЭЭГ 2-минутной длительности. Полученная точность классификации - 85,7 %.

В исследование [88] были включены 39 участников: 13 пациентов с БП с симптомом застывания походки, 13 пациентов без данного симптома и 13 из КГ. Исследователи регистрировали ЭЭГ во время выполнения моторной задачи ногой с началом и остановкой движения.

Исследователи [89] собрали ЭЭГ у пациентов с БП и демографически сопоставимо подобранных участников КГ во время выполнения модифицированной задачи на время реакции Саймона. Классификация на основе выделенных признаков дала специфичность 69 % и чувствительность 72 %.

Исследователи [90] использовали ЭЭГ для изучения кортикальной основы связанных с БП когнитивных нарушений во время выполнения задачи интервального хронометража. Набор данных состоит из 71 пациента с БП и 37 демографически подобранных контрольных пациентов.

В исследовании [91] приняли участие 25 человек с БП и такое же количество из КГ. ЭЭГ регистрировалась во время задания «oddball». Классификатор достиг точности 82 %.

3.3. Предварительная обработка, извлечение и отбор признаков

Для экономии вычислительных ресурсов и времени обработки сигнала некоторые исследователи [92] уменьшают частоту дискретизации сигнала, например, понижение частоты дискретизации до 64 Гц с 512 Гц, с 256 Гц до 16 Гц или с 2400 Гц до 600 Гц.

Измеренные необработанные сигналы ЭЭГ могут содержать помехи, которые делятся на систематические артефакты (наводки электропитания и др.) и связанные с пациентом (физиологические). Крайне важно эффективно обрабатывать и сохранять информацию сигналов ЭЭГ, удаляя артефакты и помехи, с целью получения четкой информации для последующей классификации и диагностики. Различные подходы к фильтрации, которые используются для устранения артефактов ЭЭГ и подавления шума, включают регрессионные методы [92, 93], частотную фильтрацию [94], адаптивную фильтрацию [95], фильтрацию Винера [96], методы слепого разделения источников (ICA - метод анализа независимых компонентов, PCA, канонический корреляционный анализ) [97, 98], вейвлет-преобразования [99].

Помимо перечисленных методов, существуют их гибридные версии и множество других аналогов, например, преобразование Фурье, эмпирическое мо-довое разложение, преобразование Гильберта, преобразование Холо-Гильберта [100, 101]. В [102] для удаления артефактов из набора данных ЭЭГ используется ICA. Затем набор данных ЭЭГ сегментируется на фиксированные временные окна по 50 секунд и фильтруется для удаления шума и помех с использованием эллиптического полосового фильтра. Разбиение на временные окна (эпохи) с небольшим пересе-

чением обычно применяется для искусственного увеличения объема данных (аугментация).

3.4. Извлечение признаков и классификация сигналов ЭЭГ

Методы извлечения признаков можно условно разделить на 4 группы [103]:

1) использующие временную область сигналов: ICA, PCA [104, 105], авторегрессионные модели и полученные на их основе статистики и коэффициенты;

2) использующие частотную область сигналов: быстрое преобразование Фурье, метод Уэлша, вейвлет-преобразование, оконное преобразование Фурье;

3) использующие частотно-временную область сигналов;

4) основанные на использовании пространственной информации.

Коэффициенты авторегрессионной модели используются в работе [105] для определения легких когнитивных нарушений (ЛКН) с точностью классификации 98,78 %.

В работе [86] быстрое преобразование Фурье применяется для извлечения признаков и классификации пациентов с БГ с точностью 83 %. ЭЭГ является нестационарным сигналом, поэтому чаще используется другой метод - оконное преобразование Фурье. Это преобразование является естественным расширением преобразования Фурье для решения проблемы нестационарности сигнала путем применения окон для сегментированного анализа [104]. Согласно [98], из подходящих для работы с нестационарным сигналом методов можно также выделить метод вариационного модового разложения, метод эмпирического модово-го разложения, ансамблевый метод эмпирического модового разложения, метод преобразования Гиль-берта-Хуанга [107], преобразования Холо-Гильберта [108], непрерывное вейвлет-преобразование.

В [109] для диагностирования БА применяется преобразование Гильберта вместе с другими методами, достигая 79 % точности классификации.

В [102] признаки сигнала ЭЭГ после применения метода предварительной обработки извлекаются с использованием дискретного вейвлет-преобразования для разложения отфильтрованного сигнала на поддиапазоны дельта, тета, альфа, бета и гамма. Впоследствии для извлечения характеристик из поддиапазонов ЭЭГ используются пять статистических методов: мощность логарифмического диапазона (Logarithmic Band Potential), стандартное отклонение, дисперсия, эксцесс и энтропия Шеннона.

В [110] обнаружено, что БА можно предсказать на ранних стадиях с помощью фрактальной размерности, частоты пересечения нуля, энтропии выборки и энтропии Колмогорова, меры центральной тенденции и индекса Хйорта. Основываясь на полученных зна-

чениях чувствительности, специфичности, точности, площади под ROC-кривой (AUC) и стандартной ошибки, обнаружено, что признаки «фрактальная размерность» и «частота пересечения нуля» дают лучшую точность.

Авторы [111] использовали дискретное вейвлет-преобразование для извлечения признаков и исследовали методы снижения размерности с помощью PCA, линейного дискриминантного анализа (LDA), ICA. Итоговая точность классификации составила 98,75 %.

Используемые классификаторы можно разделить на две категории: классические модели (SVM, RF и др.) и модели глубокого обучения (CNN, рекуррентные нейронные сети с долгой краткосрочной памятью (LSTM) и др.). Классические модели требуют «ручного» извлечения и конструирования признаков, и при работе с входными данными высокой размерности могут возникать затруднения. Модели глубокого обучения полагаются на обучение представлений и работают напрямую с временными сериями или изображениями.

LDA и SVM являются наиболее популярными методами, используемыми для классификации нарушений головного мозга, таких как деменция и эпилепсия, благодаря их точности и скорости работы [112, 113].

В [114] представлено использование признаков, извлеченных с помощью непрерывного вейвлет-преобразования и преобразования Фурье с двойным деревом, и KNN для классификации.

В [104] признаки передаются в четыре классификатора LDA, SVM, KNN и MLP. Сочетание дискретного вейвлет-преобразования с энтропией Шеннона, мощности логарифмического диапазона и использование SVM дает самую высокую точность среди всех классификаторов.

В [115] использовали SVM для диагностики БА. Модель достигла 87,0 % точности и 91,7 % чувствительности. Для частотного анализа использовалось 512-точечное быстрое преобразование Фурье. Когерентность между парой каналов ЭЭГ для каждой эпохи была получена делением оцененного кросс-спектра двух каналов на автоспектр каждого канала. Средние спектральные окна каждой эпохи рассчитывались с помощью метода периодограмм Уэлша. Другим используемым признаком был спектральный пик, полученный с помощью быстрого преобразования Фурье.

В работе [116] рассматриваются три различные группы признаков: спектральные, вейвлет-признаки и признаки, основанные на сложности (спектральная энтропия, спектральный центроид, спектральный rolloff, частота пересечения нуля). Классификация осуществляется с помощью KNN-классификатора, дающего 96 % точности для признаков, основанных на сложности.

В работе [117] для диагностики БА использовались данные ЭЭГ в виде скалограмм. Признаки извлекались с помощью непрерывного вейвлет-

преобразования, классификация проводилась CNN. Итоговая точность классификации - 82 %.

В работе [118] применяется гибридная CNN-LSTM нейронная сеть для определения пациентов с БА. В результате была достигнута точность классификации 71,95 % для задания «oddball» и 69,4 % для задания «N-back».

В работе [119] были протестированы различные архитектуры CNN (1D-CNN для исходных временных серий, однослойные и двухслойные 2D-CNN для спектрограмм и временных серий) для определения эпилептического припадка на записях ЭЭГ. Лучшую точность показала модель, основанная на одномерных свертках и архитектуре DenseNet - 85,3 % правильной классификации.

В работе [120] используется 13-слойная одномерная сверточная архитектура для определения БП. Использовались собранные авторами записи ЭЭГ 40 участников (как больных, так и относящихся к КГ), лучшая достигнутая точность - 88,25 %. В табл. 4 указаны оценки некоторых вышеприведенных классификаторов при диагностике НЗ, СБ обозначает собственный набор данных.

Табл. 4. Оценки диагностики НЗ на основе ЭЭГ

Алгоритм Данные Точность (Acc) % Заболевание

SVM [85] СБ 81,8 БА, ЛКН

MLP [86] СБ 83 БГ

Linear-predictive-coding EEG Algorithm [87] СБ 85,7 БП

Parkin-

SVM [89] son's Conflict Task 71 БП

SVM [91] СБ 82 БП

Extreme Learning Machine [105] СБ 98,78 ЛКН

Elastic Net LR [109] СБ 79 БА

LR [110] СБ 92,68 БА

SVM [115] СБ 87 БА

KNN [116] СБ 96 БА

CNN [117] СБ 82 БА, ЛКН

CNN-LSTM [118] СБ 71,95 БА

CNN [120] СБ 88,25 БП

3.5. Резюме

Использование ЭЭГ является перспективным и развивающимся методом диагностирования большинства НЗ. Неинвазивная технология носимых ЭЭГ-гарнитур имеет хорошую точность, может удешевить и упростить диагностический процесс. Однако этому пока препятствует ряд причин.

1. Сильная зашумленность данных неинвазивной ЭЭГ мешает детектировать и определять возможные нарушения моторики. Большая часть существующих способов очистки сигнала либо требует дополнительные опорные данные, либо предъяв-

ляет жесткие требования в процессе снятия данных, либо вычислительно затратны, либо не учитывают нестационарность сигнала. 2. Для лучшей точности электроды ЭЭГ-гарнитуры должны быть влажными, что предоставляет неудобства пользователю и увеличивает время снятия данных; у ЭЭГ-гарнитуры должно быть большое число отведений, что повышает ее стоимость.

С усилением тренда на воспроизводимость научных результатов (открытие доступа к программному коду и наборам данных становится практически стандартом для области машинного обучения), появлением и ростом популярности корпуса данных ТиИ-ББО и репозитория РИББ+СТ проблема наличия наборов данных постепенно начинает решаться.

Для решения первой проблемы перспективным является направление совершенствования ЭЭГ-гарнитур, исследование и разработка возможности использования и безболезненного имплантирования миниатюрных инвазивных гарнитур, использование новых методов обработки данных (например, преобразования Холо-Гильберта-Хуанга).

4. Речь

4.1. Симптомы речевых нарушений при нейродегенеративных заболеваниях

Проблемы с речью являются характерным симптомом когнитивных нарушений больных НЗ. Такой неврологический синдром, как первичная прогрессирующая афазия (ППА), характеризующийся нарушением речевых способностей, обычно является клиническим проявлением различных нейродегенеративных расстройств [121, 122]. Этот синдром возникает относительно изолированно по отношению к другим неврологическим проявлениям в течение первых 1 - 2 лет после начала заболевания и остается преобладающим на протяжении большей части течения болезни [123, 124]. Другие когнитивные способности, такие как память и мышление, обычно не поражаются на ранних стадиях заболевания, но часто нарушаются по мере прогресси-рования заболевания. ППА проявляется постепенно, с различными речевыми и языковыми симптомами в зависимости от областей мозга, пораженных болезнью. Помимо замедления речи, люди с ППА могут испытывать трудности при подборе слов, грамматически верном построении предложений, понимании речи других людей, преобразовании мыслей в речь или письмо.

НЗ избирательно воздействуют на определенные слои и области коры головного мозга. Разрушение нейронов никогда не бывает полным, а оставшиеся нейроны продолжают участвовать в языковой функции даже с искаженными связями нейронной сети [125]. Частичные и прогрессирующие нарушения сети вызывают тонкие диссоциации языковой функции, которые менее вероятны у пациентов с нарушениями мозгового кровообращения. Кроме этого, в [126] от-

мечается, что причиной ППА может быть нейродеге-нерация области, не подверженной изолированным нарушениям мозгового кровообращения, например, передняя височная доля.

Выделяют три наиболее часто распознаваемых клинических проявления ППА: аграмматическое, семантическое и логопеническое [127].

Первыми симптомами аграмматического проявления являются нарастающая аномия (трудность давать названия окружающим предметам, хотя их понимание, а также способность складывать слова в предложения сохраняются), при этом относительно сохраняется память и невербальное познание. Затем снижается беглость речи, и у некоторых пациентов начинаются проблемы с артикуляцией, их речь становится затрудненной и прерывистой. По мере прогрессиро-вания заболевания пациенты часто испытывают проблемы с построением предложений и синтаксисом, т.е. речь становится аграмматической [128]. Например, в [129] упоминается, что разговорная речь пациентов характеризуется значительным дефицитом глаголов. Кроме этого, в [130] отмечается, что нарушается грамматический строй речи, появляется «телеграфный стиль»: больной говорит отдельными не связанными между собой словами или словосочетаниями. Между словами и фразами прослеживаются длительные паузы, отмечаются «застревания» и персеверации отдельных фонем, литеральные парафазии, страдает номинативная функция речи, появляются грубые нарушения повторения.

Семантическое проявление обычно характеризуется прогрессирующей и мультимодальной потерей семантических знаний. Первыми симптомами выступает семантическое нарушение в языковой области, особенно в названии и понимании отдельных малоизвестных объектов (например, «дикобраз» по сравнению с более знакомым/частым «собакой») [131]. Позже эти проблемы становятся очевидными и для более типичных слов. Так, в [128] упоминается, что для спонтанной речи и в конкретных заданиях на называние объектов малоупотребительные слова заменяются более знакомыми, как правило, из вышестоящего разряда: «животное» вместо «собака», «вещь» вместо «вилка». Постепенно больной теряет смысл слов, но в то же время сохраняет беглость речи, появляются повторения фраз и предложений [132]. Сохранена артикуляция произношения, фонология и синтаксис, возникают трудности с подбором слов. В итоге семантические нарушения провоцируют затруднения в понимании как обращенной речи, так и собственной.

Логопеническое проявление ППА похоже на аграмматическое. При таком проявлении присутствует замедленная речь с частыми словообразовательными паузами и фонематическими парафазиями. У пациентов отсутствуют аграмматизм, нарушения моторного контроля речи и нарушения просодии [123].

В [133] отмечается, что больные логопеническим проявлением ППА не произносят телеграфную речь с отсутствующими служебными словами и морфемами. В их речи присутствуют общая семантика и понимание отдельных слов, особенно на ранних стадиях заболевания. Имеются серьезные трудности с повторением предложений и более длинных фраз, но воспроизведение коротких отдельных слов сохраняется [134].

Клинические критерии, которые определяют проявления ППА, представлены ниже [123,135,136]. Аграмматическое. Обязательные признаки (один из двух): немногословная речь с литеральными па-рафазиями, заикание; аграмматизм. Дополнительные признаки (два из трех): сохранность общих знаний; сохранность понимания отдельных слов; нарушение понимания сложных предложений. Семантическое. Обязательные признаки (один из двух): нарушение в именовании объектов; нарушение понимания отдельных слов. Дополнительные признаки (три из четырех): нарушение общих знаний; дислексия, дисграфия; сохранность повторной речи; отсутствие моторных и грамматических нарушений речи.

Логопеническое. Обязательные признаки (два из двух): трудности в подборе слов; нарушение повторения простых фраз и предложений. Дополнительные признаки (три из четырех): фонетические парафазии; отсутствие моторных нарушений речи; отсутствие грамматических нарушений; сохранность понимания отдельных слов и общих знаний. Данные клинические проявления ППА присущи как для БА, так и для БП. Поэтому наряду с клиническими критериями для установления точного диагноза клиницист проводит дополнительные исследования.

В [137] предложена балльная шкала, чтобы оценивать такие характеристики речи, как аграмматизм, синтаксические расстройства, беглость речи, нарушения в именовании объектов и понимании слов. Данная шкала предназначена для выявления отклонений в вышеприведенных характеристиках и может быть дополнительным инструментом для выявления нейродегенеративных расстройств. Также существует Бостонская шкала оценки ППА [138], которая состоит из набора тестов, позволяющая оценить степень тяжести ППА. Тесты включают задания на разговорную и разъяснительную речь, понимание на слух, устное выражение, чтение и письмо. В [139] был предложен адаптированный русскоязычный вариант данной шкалы.

4.2. Задания

Определение клинических проявлений пациентов с НЗ обычно осуществляется на связной речи. Для этого пациенту предлагается выполнять различного рода задачи. Описание ситуационной картинки и повествование вызывает полуспонтанную речь (т.е. ко-

гда определена тема разговора) [140]. Испытуемому предоставляется изображение, которое необходимо устно описать. Обычно у здоровых людей задача выполняется за 2 - 5 минут. Поскольку речь должна содержать элементы информации или смысловые единицы изображения (предметы, объекты, действия и др.), здесь речевые проблемы могут быть оценены с помощью лексического и семантического содержания, т.е. такая задача обычно хорошо подходит для выявления семантических отклонений и трудностей с подбором слов [141]. Наиболее распространенной задачей описания изображения является задача «Кража печенья» из Бостонской шкалы оценки ППА [138, 142]. На изображении показана женщина, моющая посуду и рассеянно глядящая в сторону, не замечая, что раковина переполнена водой. За ее спиной мальчик и девочка крадут печенье из вазы, стоящей на кухонном шкафу. Мальчик стоит на стуле и теряет равновесие, рискуя упасть.

Следующей задачей, применяемой для проверки связной речи, является изложение какой-либо истории. Пациенту предлагается составить рассказ, в котором фигурирует последовательность событий или действий. Обычно рассказ составляется по набору картинок, последовательно описывающих некоторую историю [143]. Также может быть предложена книга с картинками без слов, которая основана, например, на известной сказке. После завершения просмотра книги пациенту предлагается рассказать ее своими словами. Обычно на задание дается 10 - 15 минут. В [13] замечают, что такого рода задачи позволяют количественно оценить полноту повествования, поскольку описываемые события должны быть рассказаны в заранее определенном временном и последовательном порядке, в зависимости от сюжетной линии книги.

Интервью также используется для исследования спонтанной речи. В [13] упоминается, что для оценки спонтанной речи при НЗ используются полуструктурированный и неструктурированный тип интервью. В первом случае подробно обсуждается какая-либо тема, иногда интервьюер направляет субъекта в конкретную область разговора. Во втором случае разговор не имеет определенной темы, нет заранее определенного набора вопросов, а есть только более широкие темы, которые обычно касаются семьи, хобби, работы и т. д. Продолжительность выполнения задачи варьируется от 5 до 20 минут в зависимости от типа интервью.

В некоторых работах проведен анализ применения задач для вызова спонтанной речи. В работе [141] сделан вывод о том, что полуструктурированное интервью более чувствительно в выявлении нарушений в дискурсе и отклонений морфологической и синтаксической структуры, чем описание изображения. Напротив, описание изображения лучше подходит для оценки лексико-семантических нарушений, чем

полуструктурированное интервью. В [143] сравнивали задания на описание изображения и повествование и пришли к выводу, что данные задания могут быть взаимозаменяемыми для оценки фонетической, семантической и синтаксической областей у лиц с клиническими диагнозами аграмматического, логопенического и семантического проявления ППА.

4.3. Извлечение признаков

Приведенные выше клинические проявления речевых нарушений при НЗ предназначены для диагностики врачом-клиницистом. Основываясь на своем опыте, он определяет наличие нарушения в каждом из признаков. Многие из данных признаков могут быть определены количественно или качественно методами автоматического анализа речи. Данные методы базируются на обработке естественного языка и распознавании речи. Полученные признаки, наряду с методами машинного обучения, могут обеспечить объективные и быстрые результаты диагностики [144]. В [145] авторы предлагают разделить признаки на три класса: морфологические, синтаксические и фонологические.

Морфологические признаки характеризуют употребление испытуемым различных частей речи. В [146] количественно оценивались и использовались для диагностики БА различные типы морфологических признаков: количество и частота отдельных лемм, количество и частота существительных, глаголов, прилагательных, местоимений и союзов, а также количество глаголов первого лица единственного числа. В нескольких исследованиях [147, 148] подтверждается, что частота и количество употребления существительных, глаголов, а также отношение между количеством глаголов и существительными являются статистически значимыми признаками.

Синтаксические признаки характеризуют сложность предложений или словосочетаний спонтанной речи больного. В работе [149] использовались среднее количество слов в предложении, среднее значение Т-единиц предложения, расчет оценок на основе дерева синтаксического анализа, включая высоту дерева и среднюю, общую и максимальную глубину Ингве [150].

Фонологические признаки характеризуют свойства звуков, произносимых при спонтанной речи. В работе [151] предложен классификатор диагностики БА, основанный на общей длительности фонемы «8», скорости псевдосложности, средней длительности паузы и количестве произнесенных фонем «т». В [152] использовалась длительность гласных звуков во время чтения. В [145] к фонологическим признакам относят скорость артикуляции, темп речи, коэффициент колебаний, длительность немых пауз. В [153] было выявлено, что длительность немых пауз напрямую зависит от беглости речи пациентов, страдающих БА. В работе [154] использовалось преобразование Гиль-

берта-Хуанга и Mel-частотные кепстральные коэффициенты гласных звуков «a», «i», «u» для диагностики БП. Преобразование Гильберта-Хуанга применялось для извлечения первых двух формант из звуковых сигналов.

В недавней работе [155] впервые проведена попытка извлечь семантические признаки из спонтанной речи для диагностики БА и БП. В качестве признаков авторы использовали так называемые оценки гранулярности терминов, употребляемых в речи. Термины можно представить в виде иерархического (прямого, ациклического, невзвешенного) графа, охватывающего узлы верхнего уровня (например, «животное») и нижнего (например, «собака»). Оценка гранулярности определяет количество узлов графа, отделяющих текущий термин от термина верхнего уровня. Такие общие термины, как «еда» или «животное», имеют более низкую оценку гранулярности, чем более точные термины, такие как «морковь» или «собака».

4.4. Общедоступные базы данных

Существует несколько общедоступных речевых баз данных для исследований диагностики НЗ. Описание данных баз представлено ниже.

TalkBank DementiaBank (DB) состоит из расшифрованных интервью и тестов на описание изображений, в частности, используется задание «Кража печенья» из Бостонской шкалы оценки ППА [138, 142]. Использовались 169 пациентов с БА и 74 из КГ.

Parkinson Speech Dataset (PSD) [156] из репози-тория UCI калифорнийского университета (https://archive.ics.uci.edu). Данные от 20 больных БП и 20 не страдающих БП, снятые на кафедре неврологии медицинского факультета Стамбульского университета. У всех испытуемых брались несколько типов звукозаписей: 26 образцов голоса, включая устойчивые гласные, слова и короткие предложения. В наборе данных также доступна оценка UPDRS (Единая шкала оценки БП) каждого пациента, которая определяется врачом-экспертом.

PC-GITA(PG) [157] содержит записи речи на испанском языке 50 пациентов с БП (25 мужчин и 25 женщин) и 50 здоровых испытуемых (25 мужчин и 25 женщин). База данных включает речь, собранную с помощью следующих заданий:

1) устойчивая фонация (гласные произносятся в постоянном и модулированном тоне),

2) чтение слов вслух (25 отдельных слов, взятых из фонологического инвентаря колумбийского испанского языка),

3) повторение последовательности слогов: /pa-ta-ka/, /pe-ta-ka/, /pa-ka-ta/, /pa/, /ka/, /ta/,

4) чтение предложений вслух (шесть простых и сложных предложений),

5) чтение текста (чтение диалога между врачом и пациентом),

6) проведение интервью (испытуемых просят рассказать о своей повседневной жизни и деятельности).

4.5. Классификаторы

В [158] на основе фонологических признаков с помощью базы TalkBank DementiaBank были построены классификаторы диагностики БА. Признаки были представлены коэффициентами разложений речевого сигнала, такими как Mel-частотные кепстраль-ные коэффициенты, коэффициенты быстрого преобразования Фурье и т.д. Всего было получено 87 признаков. В данной работе использовались пять различных классификаторов — RF, MLP, SVM, LR и NBC. В [159] была использована CNN, построенная на стенограммах TalkBank DementiaBank, которая автоматически формировала признаки. В [160] на основе этих же стенограмм были извлечены синтаксические Ж-граммы из теста «Кража печенья». На основе данных Ж-грамм была построена LSTM для диагностики БА.

С помощью данных базы Parkinson Speech Dataset в работе [161] на основе фонологических признаков преобразований речевого сигнала были построены классификаторы KNN и SVM для диагностики БА. С помощью этой же базы в [157] на основе 26 частотно-временных признаков построены классификаторы KNN и SVM.

Широкий спектр морфологических и фонологических признаков использован в [157] для построения SVM на основе базы данных PC-GITA. В работе [162] для этой же базы применялся анализ обратной голосовой фильтрации с квазизамкнутой фазой [163] при извлечении признаков. Для классификации также использовался SVM.

В табл. 5 приведены оценки вышеприведенных классификаторов при диагностике болезней. Чувствительность (P) определяет процентную часть больных испытуемых, у которых была диагностирована болезнь, а специфичность (R) - здоровых испытуемых, у которых не диагностирована болезнь.

4.6. Резюме

Анализ речи для диагностики НЗ имеет ряд преимуществ по сравнению с другими биометрическими модальностями. Для снятия звуковых сигналов не требуется специальное дорогостоящее оборудование. Сама процедура съема не вызывает трудностей и неудобств у больного. Помимо нарушений моторного характера, речь позволяет определить и когнитивные нарушения, что проблематично выявить при других модальностях.

Большинство исследований для диагностики НЗ используют морфологические и фонологические признаки, поскольку в данном направлении достаточно проработана теория обработки речевых сигналов. В последнее время появились исследования, использующие синтаксические и семантические признаки.

Трудности использования данных признаков заключаются в недостаточном уровне работоспособности методов автоматического распознавания речи (распознавании слов, слогов, звуков).

Подавляющее большинство работ используют SVM в качестве классификатора диагностики. В последнее время, в связи с развитием методов глубокого обучения, для обработки речевых сигналов стали применяться CNN, которые уже достигли точности 93 % при обнаружении БА. Такие показатели говорят о многообещающих успехах анализа речи для диагностики НЗ.

Табл, 5. Оценки диагностики НЗ на основе речи

Алгоритм Данные Эффективность Признаки Заболевание

RF [158] DB P = 78 %, R = 78 % Фонологические БА

MLP [158] DB P = 74 %, R = 75 % Фонологические БА

SVM [158] DB P = 67 %, R = 68 % Фонологические БА

LR [158] DB P = 64 %, R = 65 % Фонологические БА

NBC [158] DB P = 76 %, R = 75 % Фонологические БА

CNN [159] DB P = 93 %, R = 93 % Синтаксические БА

LSTM [160] DB P = 86 %, R = 85 % Синтаксические, морфологические БА

KNN [161] PSD P = 86 %, R = 46 % Фонологические БП

SVM [161] PSD P = 100 %, R = 69 % Фонологические БП

KNN [156] PSD P = 55 %, R = 75 % Фонологические БП

SVM [156] PSD P = 80 %, R = 75 % Фонологические БП

SVM [157] PG P = 92 %, R = 90 % Морфо-логические, фонологи-ческие БП

SVM [162] PG P = 70 %, R = 66 % Фонологические БП

5. Движение глаз

Аномалии движения глаз являются признаком снижения когнитивных функций человека. Регистрация и анализ окуломоторной активности - окулогра-фия - может применяться для диагностики или оценки прогрессирования НЗ, поскольку позволяет получить представление о состоянии сознания пациента [164]. Хотя простейший анализ глазодвигательной системы может проводиться неврологом без использования программно-аппаратных средств, применение таких инструментов расширяет возможности диагностики. Наибольшей информативностью для изучения особенностей здоровья пациента обладают сак-кады - быстрые и короткие движения глаз, совершаемые при перемещении точки фиксации взгляда на некоторую цель [165]. Для точной оценки количества

саккад, их скорости, направления и других характеристик недостаточно простой визуальной оценки.

Саккадическая система отличается высокой чувствительностью к нейродегенеративным процессам [166]. Гипотезу о том, что показатели состояния глазодвигательной системы можно использовать для диагностики наличия НЗ, подтверждают исследования различных научных групп. Эксперимент в работе

[166] показал следующее: несмотря на то, что ухудшение состояния глазодвигательной системы наблюдается со старением, в каждой исследованной возрастной группе значения латентных периодов саккад (задержка между включением периферического стимула и стартом саккады) и доля мультисаккад у пациентов с БП существенно отличается по сравнению с испытуемыми без этого заболевания. Исследование

[167] показало, что у больных рассеянным склерозом и у здоровых людей из КГ наблюдается различие в среднем количестве микросаккадических движений

глаз (перемещение взгляда к периферическому стимулу, при котором осуществляются саккады с малой амплитудой), пиковом вертикальном ускорении и вертикальной амплитуде микросаккад.

5.1. Типы задач при исследовании окуломоторных функций

В научных экспериментах, направленных на обнаружение связи между движениями глаз и НЗ, перед испытуемыми ставят определенные глазодвигательные задачи. Например, переместить взгляд на некоторый стимул и зафиксировать внимание на нем, просмотреть изображение или видеозапись, прочитать текст. Предметом анализа чаще всего является время реакции на выполнение задач, диапазон движения глаз, продолжительность фиксаций взгляда, а также количество, скорость и другие характеристики сак-кад. Основные виды заданий для исследования оку-

ломоторных функций представлены в табл. 6.

Табл. 6. Типичные виды заданий в экспериментах по анализу движений глаз при диагностике НЗ

Вид задания Описание Снимаемые данные

Фиксация Фиксация взгляда на определенной точке заданное количество времени Длительность фиксации, количество саккад, наличие сак-кадических интрузий

Просаккады Перемещение взгляда в направлении статичной периферийной цели Количество, точность и продолжительность саккад, диапазон движения глаз, длительность латентного периода

Антисаккады Перемещение взгляда в сторону, противоположную периферийной цели Количество, точность, направление и продолжительность саккад, число ошибок, диапазон движения глаз, длительность латентного периода

Слежение Перемещение взгляда за движущейся с различной скоростью целью Количество, точность и продолжительность саккад, соотношение скорости глаза и цели, диапазон движения глаз

Изображения Задания на узнавание ранее просмотренных изображений, распознавание фигур или букв, поиск отличий и изменений, подсчет элементов и т.п. Скорость и точность выполнения задания, количество попыток, характеристики саккад и фиксаций, расположение точек фиксации, различные специфические признаки в зависимости от задачи

Видео Просмотр коротких видеороликов Расположение точек фиксации, характеристики саккад и фиксаций, положение головы

Чтение Чтение отдельных слов, предложений, коротких текстов Скорость и точность чтения, количество попыток, характеристики саккад и фиксаций, регрессии

Естественные задачи Выполнение хорошо знакомых испытуемым бытовых задач; задачи в виртуальной реальности Скорость и точность выполнения задания, количество попыток, характеристики саккад и фиксаций

Испытания на выполнение фиксаций, просаккад и антисаккад легко организовать и провести, однако информативность таких испытаний меньше, чем у тестов с более сложными сценариями. Усложнение задач, использование графических материалов и видеороликов позволяет исследовать посредством анализа движения глаз такие уязвимые для НЗ когнитивные аспекты, как внимание, память, восприятие, обучаемость, самоконтроль. Для получения репрезентативных данных сценарии испытаний должны быть качественно проработаны.

В литературе представлены разнообразные сценарии проведения экспериментов по анализу движения глаз при наличии у испытуемых когнитивных нарушений. В [168] проводился тест на опознавательную память, в котором требовалось найти среди двух изображений ранее просмотренное. Цель проведения

теста заключалась в оценке времени, затрачиваемого испытуемым на узнавание старого стимула и изучение нового. Близкая работа представлена в [169], где проводился тест на зрительную память - испытуемым требовалось исследовать модифицированную версию ранее исследованных изображений и определить, какой элемент добавлен или, наоборот, удален. Участники исследования [170] просматривали шесть коротких видеороликов, вызывающих такие эмоции, как радость, печаль, гнев, страх, удивление, отвращение, а исследователи изучали мимические и глазные движения испытуемых. Анализ движения глаз при чтении в исследовании [171] позволил выяснить, что пациенты с БА тратят больше времени на чтение, так как их способность предсказывать последующие слова в осмысленных предложениях уменьшается.

С возрастом или при возникновении некоторых особенностей здоровья ухудшается способность обучаться, что осложняет прохождение испытаний. Авторы [172] отмечают, что возникновение аномалий в движениях глаз может объясняться затруднениями в понимании задачи, а не наличием или отсутствием когнитивного расстройства. В связи с этим целесообразно накапливать данные во время выполнения испытуемым естественной для него задачи, например, заваривания чая или приготовления завтрака.

5.2. Устройства для регистрации движения глаз и снимаемые данные

Одним из способов исследования глазодвигательной системы является электроокулография. На лице испытуемого размещают электроды, которые регистрируют разницу потенциалов между сетчаткой и роговицей во время перемещения взгляда. Результат фиксируется в виде графика на электроокулограмме: по горизонтальной оси откладывается время, а по вертикальной - движения глаз. В работе [166] исследователи регистрировали саккадические движения, совершаемые испытуемыми при переводе взгляда с фиксационного стимула на периферийный, путем записи электроокулограммы с полосой пропускания 0,1 - 60 Гц. После проведения аналого-цифрового преобразования с частотой 512 Гц исследователи анализировали латентные периоды сак-кад и долю мультисаккад.

Для анализа окуломоторной активности полезна видеофиксация. В [170] на расстоянии одного метра от испытуемого, просматривавшего видеоролики, была закреплена камера, записывающая видео с частотой 30 кадров в секунду. В полученных записях с помощью открытой библиотеки ОрепРасе 2.0 были расставлены ориентиры лица и глаз испытуемых, затем рассчитаны изменения координат во время перемещения глаз и головы. Такой эксперимент позволил обнаружить тенденцию одновременного вертикального движения лица и глаз у пациентов с БА.

Широкое применение в исследованиях связи между аномалиями глазодвигательной системы и НЗ получила лазерная офтальмоскопия. Например, в [167] для регистрации движения глаз применялся оригинальный ретинальный трекер на основе лазерного офтальмоскопа. Испытуемый фиксировал взгляд на заданной исследователями точке (правый верхний угол красного квадрата, который испытуемый видел в устройстве), трекер сканировал сетчатку глаза пациента и записывал видеокадры с движениями глаз. Видеокадры при помощи специального программного обеспечения разбивались на полосы для формирования записи горизонтального и вертикального смещения глаза. На каждого испытуемого было получено по шесть 10-секундных видео, по три на каждый глаз. Для расчета средней пиковой скорости, амплитуды, количества и пикового ускорения микросаккад использовалось специальное программное обеспечение.

На основе технологии лазерной офтальмоскопии созданы устройства для отслеживания глаз - айтреке-ры. Они регистрируют отражение света при освещении глаз встроенным инфракрасным источником и записывают движение в виде последовательности кадров. Айтрекеры могут быть выполнены в виде устройств, закрепляющихся на голове пациента (ExpressEye), очков (tobii, SMI, Argus Science, Pupil Labs и др.) или стационарных вариантов, устанавливающихся на рабочую поверхность, монитор компьютера или планшет (Tobii, EyeTech, Smart Eye, Gazepoint и др.). Применяются айтрекеры не только в исследовательских целях, но и для реабилитации пациентов с нарушениями двигательных функций организма, а также в маркетинге и игровой индустрии.

В [168] положение взгляда испытуемого, проходящего тест на опознавание нового и старого изображений, регистрировалось с помощью айтрекера ASL с частотой дискретизации 120 Гц. Для дальнейшего построения модели, разделяющей на имеющих и не имеющих когнитивные нарушения, в [168] были выделены следующие признаки:

1) доля общего времени, затраченного на просмотр новой области изображения;

2) продолжительность фиксаций во время тестовой фазы испытаний с двухминутной задержкой;

3) фиксация промежутка времени, когда испытуемый повторно просматривает ранее увиденные части стимулов;

4) ориентация саккад;

5) диаметр зрачка.

При проведении экспериментов, построенных на выполнении естественных задач, сочетают применение мобильных айтрекеров и миниатюрных камер (GoPro, SJCAM и другие). Айтрекеры регистрируют движения глаз, а камеры записывают видео от первого лица. Сопоставление данных, полученных от этих двух устройств, позволяет исследовать, как распределяется внимание испытуемого при выполнении поставленных задач [173].

Для безопасного исследования таких когнитивных аспектов, как пространственное мышление, зрительное внимание и память, полезно использование айтрекеров вместе со средствами виртуальной реальности. Например, в работе [174] описан эксперимент, в котором испытуемым требовалось найти путь к заданному месту внутри виртуальной реальности, ориентируясь по подсказкам в окружающей среде. Изображение виртуальной среды, наполненной несущественными объектами (двери, фонари, перила и тому подобное) и объектами-подсказками (флаг, картины, воздушные шары) транслировалось на экран, для управления перемещением использовался джойстик, отслеживание глаз выполнялось с помощью айтреке-ра в форме очков. С помощью программного обеспечения рассчитывались продолжительность и процент фиксаций на значимых и второстепенных объектах.

Несмотря на то, что количество производителей айтрекеров растет, эти устройства всё еще являются дорогостоящими, в основном ввиду необходимости покупки совместимого программного обеспечения. Однако в течение последнего десятилетия стали появляться отечественные лаборатории и стартапы, занимающиеся разработками по отслеживанию зрения. Например, в [164] описывается программно-аппаратный комплекс, позволяющий снимать данные о фиксациях и саккадах во время просмотра статических (изображения) или динамических (видео) стимулов.

5.3. Модели классификации данных о движении глаз

Большинство исследований, направленных на анализ взаимосвязи между аномалиями глазодвигательной системы и когнитивными функциями человека, ограничиваются статистическим анализом полученных данных. Существует весьма небольшое число попыток создать классифицирующую модель для диагностики НЗ (табл. 7).

Табл. 7. Оценки диагностики НЗ на основе данных о движении глаз

Хотя многими группами исследователей подтверждается, что окулография является полезным инструментом для диагностики НЗ, есть ряд причин не останавливаться на этой модальности как на единственном инструменте анализа состояния здоровья пациента. Современные устройства отслеживания движения глаз позволяют быстро накопить большой объем данных, однако стоимость таких устройств и сопутствующего программного обеспечения исчисляется десятками тысяч долларов. Использование мобильных айтрекеров при выполнении естественных задач, в которых у испытуемого больше свободы действий, достаточно ненадежно из-за возможности за-шумления данных ввиду неоптимального положения головы во время записи [173].

В имеющихся исследованиях при проведении экспериментов отбор испытуемых в наблюдаемые груп-

пы проводится крайне строго: предъявляются высокие требования к физическому и психическому состоянию пациента, исключаются пациенты, имеющие в анамнезе травмы головы, инсульт и другие неврологическими патологии, а также испытуемые, имеющие нарушения зрения. В реальности же НЗ могут сопровождаться многими перечисленными чертами, особенно у пожилых людей. В [172] отмечается, что многие люди с нейродегенеративными нарушениями имеют сопутствующие заболевания, которые значительно влияют на естественное движение глаз. Кроме того, уменьшить точность эксперимента может усталость или спутанность сознания испытуемого.

Результаты исследований показывают, что с помощью анализа аномалий окуломоторной системы с использованием машинного обучения действительно можно разделить испытуемых на здоровых и имеющих когнитивные нарушения. Но построение классифицирующей модели, которая была бы способна дифференцировать различные НЗ, является трудной и еще не решенной задачей. Впрочем, авторы работы [165] предложили аналитический алгоритм по дифференцированию заболеваний по результатам исследования характеристик саккадической системы (скорости, точности, траектории, сопряженности саккад, длительности латентного периода, диапазона движения взгляда, наличию саккадических колебаний), следовательно, появление аналогичного классификатора является вопросом времени.

6. Мультимодальные данные

Наборы данных могут содержать информацию о пациентах, полученную из разных источников, например, данные МРТ, генетические данные, данные клинических обследований [177]. Мультимо-дальные данные содержат синергетическую информацию, которую необходимо использовать для повышения точности моделей диагностики НЗ.

В Программе фундаментальных научных исследований в Российской Федерации на долгосрочный период (2021 - 2030 годы) «Компьютерное мультимодальное моделирование патологических процессов и образований нервной системы на основе методов машинного обучения и интеллектуального анализа данных» обозначено как приоритетное направление фундаментальных и поисковых научных исследований [178].

6.1. Объединение данных

Концепция объединения многомодальных данных не нова. Слияние данных от нескольких сенсоров (слух, запах, обоняние, вкус) естественным образом выполняется животными и людьми для достижения адекватной оценки окружающей среды и выявления внешних угроз, тем самым улучшая их шансы на выживание. К настоящему времени технология объединения данных из совокупности разрозненных методов превратилась в самостоятельную инженерную дисци-

Алг. Испытание Эффективность Заболевание

SVM [168] Тест на опознавательную память Acc = 87 % ЛКН

LR [175] Слежение за плавно перемещающейся точкой Acc = 95 % БА

LR [169] Тест на зрительную память AUC = 0,85 БА

SVM [176] Просмотр видеороликов и решение простых задач AUC 0,90 (БА / КГ), 0,75 (ЛКН / КГ), 0,78 (БА / ЛКН), 0,83 (БА+ЛКН / КГ) БА, ЛКН

5.4. Резюме

плину со стандартизированной терминологией, математическими методами и принципами проектирования.

Симптоматика НЗ мультимодальна по своей природе. У пациентов наблюдаются изменения в памяти, походке, речи, письме. Обычно медицинские эксперты не в состоянии вручную проанализировать все эти обширные и разнообразные признаки и распознать небольшие поведенческие отклонения у пациентов с НЗ. Мульти-модальные системы позволяют учитывать различные аспекты физиологии человека. Объединение информации из разных модальностей и применение методов машинного обучения позволяет существенно повысить точность классификации, что в конечном итоге приведет к достоверной диагностике [2, 8, 14, 177, 179, 180].

Современные технологические достижения по обмену информацией позволяют получить доступ к разнородным наборам данных о пациентах. Проблема интеграции данных из этого множества наборов остается фундаментальным вопросом вычислительной медицины [181]. Традиционно выделяют три типа объединения данных из нескольких модальностей [14, 179]: на уровне датчиков, на уровне признаков, на уровне знаний и решений (рис. 3). При объединении на уровне датчиков сигналы различных модальностей предварительно обрабатываются и затем объединяются. Здесь необходимы алгоритмы синхронизации датчиков, буферизации, шумоподавления и нормализации данных. Основным недостатком такого объединения данных является чрезмерное потребление ресурсов, связанное с большим количеством признаков в объединенном наборе данных. При объединении на уровне признаков сначала извлекаются признаки из разных сигналов, а перед классификацией они объединяются. Здесь требуются алгоритмы нормализации пространственно-временных признаков, а также алгоритмы отбора признаков. Объединение на уровне знаний и решений основано на обработке сигналов, классификации каждой отдельной модальности и объединении решений, полученных каждым классификатором. Решения могут быть объединены различными способами, например на основе голосования, максимального правдоподобия и оценки достоверности [179].

Устранение нерелевантных признаков позволяет уменьшить размерность данных и повысить точность классификации. Цель отбора признаков:

1) избежать переобучения,

2) уменьшить объем анализируемых данных,

3) улучшить эффективность классификации,

4) устранить нерелевантные и «шумовые» признаки,

5) повысить интерпретируемость полученных результатов,

6) визуализировать данные [182].

Методы отбора признаков делятся на три категории: фильтры, обертки и встроенные (embedded) методы. Метод фильтров основан на обобщенных свойствах обучающих данных и не включает в процесс

отбора признаков собственно алгоритм построения классификатора. Здесь критически важным является определение взаимосвязи между отдельными признаками, а также нахождение зависимости между признаками и меткой класса. Для определения такой взаимосвязи используются статистические методы, в частности статистические тесты, корреляционный анализ, а также понятия теории информации, такие как взаимная информация. Достоинством метода фильтров является сравнительно невысокая вычислительная сложность, неплохая обобщающая способность и независимость от классификатора; основной недостаток данного метода заключается в том, что признаки, как правило, отбираются независимо друг от друга. В [183] формируются две матрицы признаков, извлеченные из данных ПЭТ и структурной МРТ. Каждый вектор признаков представляет определенную область мозга. Для отбора признаков были использованы корреляционные методы и регуляризация.

(№>| Предобработка |-

Предобработка ^

(мГ)->[

Предобработка L

Извлечение и отбор признаков

Классификация |->| PemeHHeJ

(g>[

Предобработка

Предобработка

Извлечение и отбор признаков

Извлечение и отбор признаков

Предобработка

Извлечение и отбор признаков

Классификация [-»^PemeHHeJ

ПреДОбрабОТ^отС^наек'овН К^сф.каЦия [*

•|"классификация |-»

Предобработка

К

Извлечение и отбор признаков

Предобработка L

Извлечение и отбор признаков

•| Классификация |-»

Рис. 3. Типы объединения данных

Взаимная информация лежит в основе метода отбора признаков тЯМЯ (минимальная избыточность и максимальная релевантность). Метод хорошо зарекомендовал себя в работе с признаками разных типов, поэтому авторы [177] выбрали именно его для обработки мультимодальных данных (изображений, клинических данных и генетической информации).

Метод обертки включает построение классификатора в процесс отбора признаков и использует прогностическую точность классификатора для оценки эффективности отобранного подмножества признаков. Такое взаимодействие с классификатором, как правило, дает результаты лучшие, чем метод фильтра, однако при этом возрастает вычислительная сложность метода и существует риск переобучения. Метод оберток выполняется в два этапа. На первом этапе формируется подмножество признаков. На втором этапе оценивается точность классификации сформи-

рованного подмножества. Указанные этапы повторяются до тех пор, пока не будут выполнены заданные условия останова [184]. Проблемы отбора признаков методом обертки является NP-трудной. Значит, оптимальное решение может быть гарантированно найдено только полным перебором. При объединении мультимодальных данных количество признаков может достигать сотен и даже тысяч. Полный перебор в этом случае не применим.

Проблема может быть решена с использованием простых алгоритмов, таких как жадный последовательный поиск, или с применением сложных методов, таких как метод РИП или метаэвристики, которые позволяют найти оптимальное либо субоптимальное решение за приемлемое время [185]. Авторы [186] применили метод РИП в сочетании с RF для классификации и прогнозирования тяжести БА с использованием исходных данных из базы данных нейровизу-ализации БА (ADNI) (adni.loni.usc.edu).

Встроенные методы выполняют отбор признаков в процессе обучения и включают алгоритм отбора признаков в алгоритм построения классификатора. Примерами таких методов являются LASSO, DT, RF, а также метод повышения градиента. Авторы [187] применили метод LASSO для отбора признаков на каждой отдельной модальности и на объединенных модальностях набора данных ADNI. В этой же работе [187] был предложен алгоритм отбора признаков, основанный на гиперграфе. В [183] для отбора признаков в задаче классификации пациентов с БА и ЛКН, помимо LASSO, были использованы MTFS [188] с регуляризатором нормы L2,i и HMTFS - метод, основанный на MTFS и гиперграфе.

В [7] ЭЭГ и движение глаз использованы одновременно для исследования легкой формы БА. С этой целью 19 пациентов с БА легкой степени тяжести сравнивали с 19 людьми из КГ того же пола и возраста, у которых в анамнезе не было когнитивных или неврологических расстройств. Данные ЭЭГ и отслеживания взгляда были одновременно собраны в обеих группах в задаче на фиксацию взгляда (способность удерживать взгляд на цели в течение длительного времени). Результаты показали, что общая продолжительность фиксации была значительно короче у пациентов с БА, но их частота фиксации была выше, чем у здоровых. Кроме того, в группе БА наблюдались повышенная мощность тета-ритма и сниженная мощность альфа-ритма. В группе здоровых наблюдалась статистически значимая корреляция между частотой фиксации и мощностью альфа-ритма в теменной области. Однако эта связь не была статистически значимой в группе с БА.

Простая конкатенация мультимодальных данных приводит к доминированию модальности с наибольшей размерностью. Для решения этой проблемы авторы [181] применяют метод неконтролируемого обучения - слияние сети подобия [189] - для инте-

грации четырех модальностей данных: структурную МРТ, клинико-поведенческие оценки, анализы спинномозговой жидкости и данные однофотонной эмиссионной компьютерной томографии. Объединение этих мультимодальных данных происходит в два этапа: сначала создаются сети подобия пациентов для каждой модальности, а затем они итеративно объединяются в единую сеть пациентов, которая используется для выявления биотипов БП.

6.2. Сбор данных

В [180] предложена методика моделирования трудностей, связанных с началом или остановкой движений у пациентов с БП. Методика основана на анализе сигналов речи, почерка и походки. Проведено несколько экспериментов, в результате которых сформирована база данных, содержащая биометрию 44 пациентов с БП и 40 из КГ. Биометрические сигналы были зарегистрированы за один сеанс в течение одного часа и распределены следующим образом: 15 минут для речи, 30 минут для походки и 15 минут для письма. Особенность проведенного исследования заключается в том, что оно проводилось с учетом речевых сигналов носителей трех языков: испанского, немецкого и чешского.

В [11] использована веб-платформа для поддержки сбора данных для научных исследований. В данной платформе накоплены данные об эксперименте по отслеживанию движения глаз и речевых функций. Участники прошли Монреальский когнитивный тест и когнитивный скрининговый тест для оценки ЛКН и БА. Кроме того, участники заполнили демографический вопросник и вопросник истории болезни.

Использование технологий интернета вещей позволяет проводить наблюдение за пациентами с НЗ в повседневной жизни и в домашних условиях. Авторы [190] использовали видеокамеры и датчики носимых инерциальных измерительных устройств для сбора данных от пациентов с БП и здоровых людей, занимающихся приготовлением пищи в домашних условиях. В целях соблюдения требований конфиденциальности обрабатывались не полноценные видеоданные, а только лишь силуэты испытуемых. Таким образом, видеоданные силуэта фиксировали положение тела и походку, а носимый на запястье акселерометр записывал движения рук, в том числе и тремор.

База данных ADNI содержит информацию о пациентах с ЛКН, БА и людей без когнитивных расстройств. В базе представлены данные трех модальностей: нейровизуализации (МРТ и ПЭТ), биологические маркеры (однонуклеотидные полиморфизмы), а также данные электронных медицинских карт. Причем из 2004 пациентов 220 человек представлены всеми тремя модальностями, 588 пациентов имеют биологические маркеры и электронные медицинские карты, 283 пациента имеют визуализацию и электронные медицинские карты, остальные

пациенты имеют только данные электронных медицинских карт [177].

6.3. Классификаторы

В [190] описан мультимодальный классификатор БП на основе нейронной сети вариационного автоэн-кодера, который обрабатывал данные двух модальностей: данные временных рядов акселерометра и видеоданные силуэта. Предложенный классификатор может работать и в отсутствие одной из модальностей. Нейронная сеть обучалась на пяти эпохах с использованием оптимизатора Adam.

Авторы [8] разработали точную и интерпретируемую модель диагностики и выявления прогрессиро-вания БА. Эта модель предоставляет врачам точные решения вместе с объяснениями каждого решения. В частности, модель объединяет 11 модальностей 1048 субъектов из реального набора данных ADNI: 294 человека без когнитивных отклонений, 254 пациента со стабильными ЛКН, 232 пациента с прогрессирующими ЛКН и 268 пациентов с БА. Разработанная модель является двухуровневой, классификация в которой выполняется на основе RF. На первом уровне модель выполняет многоклассовую классификацию для ранней диагностики пациентов с БА. На втором уровне модель применяет бинарную классификацию для выявления возможного перехода ЛКН в БА в течение трех лет после начального диагноза. Объяснение выполнено с использованием структуры атрибуции признаков SHAPLEY Additive explanations (SHAP). Кроме того, реализованы 22 объясняющие модели на ос-

нове БТ и нечетких правил, чтобы предоставить дополнительные обоснования для каждого решения. Для лучшего понимания объяснения представлены на естественном языке.

6.4. Резюме

В связи с тем, что большинство симптомов НЗ не являются уникальными, необходимо найти специфический набор биомаркеров для каждого НЗ. Такой набор позволил бы диагностировать заболевание на максимально ранней стадии. Рассмотренные исследования показали, что такой набор может быть сформирован только на базе мультимодальных данных, чтобы в полной мере использовать все виды симптомов и обнаруживать даже самые малые изменения в состоянии пациента.

Достижения в области биометрии и машинного обучения предоставляют возможность улучшить диагностику и прогнозирование НЗ за счет использования мультимодальных наборов данных. Однако для внедрения методов машинного обучения в клиническую практику диагностики и мониторинга НЗ потребуются большие коллекции тщательно отобранных наборов данных и надежная оценка как результатов, так и процессов получения результата, а также самих методов машинного обучения.

В табл. 8 представлено описание рассмотренных в параграфе классификаторов. Здесь РКОП - регуляризация + корреляционные методы отбора признаков,

ГР - гребневая регрессия.

Табл. 8. Оценки диагностики НЗ на основе мультимодальных данных

Алгоритм Данные Эффективность Модальности Заболевание

RF + РИП [8] ADNI Acc = 93,95 %, Л-мера = 93,94 % тесты, генетика, МРТ, ПЭТ, анамнез БА, ЛКН

LR, RF, NBC [11] СБ AUC = 0,83 речь, движение глаз БА, ЛКН

SVM + CNN [180] СБ Acc = 97,3 % речь, почерк, походка БП

SVM + РКОП [183] ADNI Acc = 91,85 % МРТ + тесты БА, ЛКН

RF + РИП [186] ADNI Acc = 88,9 % МРТ + тесты БА

ГР + РИП [186] ADNI R2 = 0,874 МРТ + тесты БА

CNN [190] СБ Л-мера = 0,66 походка, тремор БП

Заключение

Представлен обзор неинвазивных методов выявления нейродегенеративных расстройств на основе биометрических данных. Дан анализ различных биометрических модальностей, используемых для диагностики заболевания. В табл. 9 приведены лучшие результаты диагностики НЗ по каждой из рассмотренных модальностей. Однако невозможно сделать однозначный вывод о том, какая из модальностей является «наилучшей». Во-первых, эффективность модальностей проверена на очень разных наборах данных. Во-вторых, для оценки эффективности использованы разные меры. В-третьих, эффективность мо-

дальностей и алгоритмов различна для различных заболеваний.

Далее перечислены аргументы в пользу применения методов машинного обучения [15]:

1. Использование методов машинного обучения позволяет находить закономерности в больших объемах мультимодальных медицинских данных, что не может сделать человек.

2. Технологии машинного обучения могут обеспечить более точную и раннюю диагностику НЗ на основе истории болезни, молекулярно-генетических профилей, биометрической информации, а также путем идентификации специфических диагностических биомаркеров, а за точным диагнозом может последовать индивидуализированное лечение.

Табл. 9. Лучшие результаты диагностики НЗ

Модальность Алгоритм Набор данных Эффективность Заболевание Ссылка

Рукописные данные AlexNet PaHaW+ + HandPD + NewHandPD + + Parkinson Drawings Acc = 99,22 % БП [47]

Походка AdaBoost, RF Данные с акселерометров SHIMMER Acc = 100 % БП [49]

ЭЭГ Extreme Learning Machine Собственный Acc = 98,78 % ЛКН [105]

Речь, синтаксические признаки CNN DB P = 93 %, R = 93 % БА [159]

Речь, фонологические признаки SVM PSD P = 100 %, R = 69 % БП [161]

Движение глаз LR Собственный Acc = 95 % БА [175]

Когнитивные и лабораторные тесты, генетика, МРТ, ПЭТ, анамнез RF+РИП ADNI Acc = 93,95 %, Л-мера = 93,94 % БА, ЛКН [8]

3. Машинное обучение может сократить временные и материальные затраты, связанные с проведением клинических испытаний, и повысить шансы на успех за счет эффективной стратификации пациентов и определения точных биомаркеров-ответов на лечение.

4. Политика открытости наборов данных и исходных кодов, а также доступность высокопроизводительных вычислительных инфраструктур позволяют с оптимизмом смотреть в будущее применения технологии машинного обучения в медицинской практике.

Проблемы и решения

1. Данные. Модели машинного обучения настолько эффективны, насколько эффективны данные, которые они используют [15]. Зашумленность, ошибки измерений, пропуски - факторы, неблагоприятно влияющие на эффективность машинного обучения. Возможным решением указанной проблемы может быть привлечение экспертов к анализу данных на этапе предварительной обработки, однако это требует больших временных затрат.

Проведенный в обзоре анализ показал, что большая часть исследований проводится на небольших закрытых наборах данных, адаптированных к конкретным заболеваниям и симптомам. Для применения глубокого обучения требуются выборки объемом в тысячи и десятки тысяч. Решением этой проблемы может быть применение стратегий активного обучения, которые предоставляют обратную связь по данным по мере построения модели. Однако этот подход остается в значительной степени неисследованным в отношении НЗ [15].

2. Методы. Большинство методов диагностики и мониторинга НЗ используют неглубокие сети и отобранные вручную признаки. Сети глубокого обучения могут повысить эффективность решений. Однако здесь требуются большие объемы данных. Для реше-

ния этой проблемы можно использовать генеративно-состязательные сети или методы трансферного обучения при исследовании заболеваний со сходной симптоматикой [15].

Проблема многих современных моделей машинного обучения заключается в отсутствии транспарентности и интерпретируемости. Модель типа нейронной сети представляет собой «черный ящик», который не предоставляет информации о решаемой проблеме и формируемых результатах. Хотя алгоритмы обучаются на основе медицинских данных, невозможно точно объяснить, почему алгоритм делает именно такие выводы. Отсутствие транспарентности серьезно ограничивает полезность получаемых результатов и готовность исследователей применять эти модели [15]. Решением этой проблемы являются бурно развиваемые в последние годы «объяснимый искусственный интеллект» и «интерпретируемое машинное обучение» [191].

Внедрение методов машинного обучения в практику диагностической и прогностической неврологии, а также разработка будущих терапевтических средств, вероятно, будут достигнуты благодаря национальным и международным усилиям по созданию междисциплинарных групп экспертов для решения указанных проблем. Потенциал этих совместных усилий огромен, если учесть проблемы со здоровьем, с которыми обществу придется столкнуться в ближайшие 50 лет в результате увеличения старения населения [15].

Благодарности

Работа выполнена при поддержке Российского научного фонда (проект № 22-21-00021).

References

[1] Iram S, Vialatte F-B, Qamar MI. Early diagnosis of neurodegenerative diseases from gait discrimination to neural synchronization. In Book: Al-Jumeily D, ed. Applied

computing in medicine and health. Chap 1. Elsevier Inc; 2016: 1-26. DOI: 10.1016/B978-0-12-803468-2.00001-1.

[2] Oxtoby NP, Alexander DC. Imaging plus X: Multimodal models of neurodegenerative disease. Curr Opin Neurol 2017; 30(4): 371-379. DOI: 10.1097/WC0.0000000000000460.

[3] Tautan A-M, Ionescu B, Santarnecchi E Artificial intelligence in neurodegenerative diseases: A review of available tools with a focus on machine learning techniques. Ar-tif Intell Med 2021; 117: 102081. DOI: 10.1016/j.artmed.2021.102081.

[4] Alberdi A, Aztiria A, Basarab A. On the early diagnosis of Alzheimer's Disease from multimodalsignals: a survey. Artif Intell Med 2016; 71: 1-29. DOI: 10.1016/j.artmed.2016.06.003.

[5] Hodashinsky IA, Kostyuchenko EYu, Sarin KS, Anfilo-fiev AE, Bardamova MB, Samsonov SS, Filimonenko IV. Dynamic-signature-based user authentication using a fuzzy classifier. Computer Optics 2018; 42(4): 657-666. DOI: 10.18287/2412-6179-2018-42-4-657-666.

[6] Sarin KS, Hodashinsky IA. Bagged ensemble of fuzzy classifiers and feature selection for handwritten signature verification. Computer Optics 2019; 43(5): 833-845. DOI: 10.18287/2412-6179-2019-43-5-833-845.

[7] Moghadami M, Moghimi S, Moghimi A, Malekzadeh GR, Fadardi JS. The investigation of simultaneous EEG and eye tracking characteristics during fixation task in mild Alzheimer's disease. Clin EEG Neurosci 2021; 52(3): 211-220. DOI: 10.1177/1550059420932752.

[8] El-Sappagh S, Alonso JM, Islam SMR, Sultan AM, Kwak KS. A multilayer multimodal detection and prediction model based on explainable artificial intelligence for Alzheimer's disease. Sci Rep 2021; 11: 2660. DOI: 10.1038/s41598-021-82098-3.

[9] Rossini PM, Di Iorio R, Vecchio F, Anfossi M, Babiloni C, Bozzali M, Bruni AC, Cappa SF, Escudero J, Fraga FJ, Giannakopoulos P, Guntekin B, Logroscino G, Marra C, Miraglia F, Panza F, Tecchio F, Pascual-Leone A, Dubois B. Early diagnosis of Alzheimer's disease: the role of bi-omarkers including advanced EEG signal analysis. Report from the IFCN-sponsored panel of experts. Clin Neuro-physiol 2020; 131(6): 1287-1310. DOI: 10.1016/j.clinph.2020.03.003.

[10] Vessio G. Dynamic handwriting analysis for neurodegen-erative disease assessment: A literary review. Appl Sci 2019; 9(21): 4666. DOI: 10.3390/app9214666.

[11] Jang H, Soroski T, Rizzo M, Barral O, Harisinghani A, Newton-Mason S, Granby S, Lewis C, Tutt P, Carenini G, Conati C, Field TS. Classification of Alzheimer's disease leveraging multi-task machine learning analysis of speech and eye-movement data. Front Hum Neurosci 2021; 15: 716670. DOI: 10.3389/fnhum.2021.716670.

[12] MacAskill MR, Anderson TJ. Eye movements in neuro-degenerative diseases. Curr Opin Neurol 2016; 29(1): 6168. DOI: 10.1097/WCO.0000000000000274.

[13] Boschi V, Catricala E, Consonni M, Chesi C, Moro A, Cappa SF. Connected speech in neurodegenerative language disorders: A review. Front Psychol 2017; 8: 269. DOI: 10.3389/fpsyg.2017.00269.

[14] Ayesha S, Hanif MK, Talib R. Performance enhancement of predictive analytics for health informatics using dimensionality reduction techniques and fusion frameworks. IEEE Access 2022; 10: 753-769. DOI: 10.1109/ACCESS.2021.3139123.

[15] Myszczynska MA, Ojamies PN, Lacoste AMB, Neil D, Saffari A, Mead R, Hautbergue GM, Holbrook JD, Fer-

raiuolo L. Applications of machine learning to diagnosis and treatment of neurodegenerative diseases. Nat Rev Neurol 2020; 16: 440-456. DOI: 10.1038/s41582-020-0377-8.

[16] Naik B, Mehta A, Shah M. Denouements of machine learning and multimodal diagnostic classification of Alzheimer's disease. Visual Computing for Industry, Biomedicine, and Art 2020; 3: 26. DOI: 10.1186/s42492-020-00062-w.

[17] Godinho C, Domingos J, Cunha G, Santos AT, Fernandes, Abreu D, Goncalves N, Matthews H, Isaacs T, Duffen J, Al-Jawad ARM, Larsen F, Serrano A, Weber P, Thoms A, Sollinger S, Graessner H, Maetzler W, Ferreira JJ. A systematic review of the characteristics and validity of monitoring technologies to assess Parkinson's disease. J. Neu-roeng. Rehabilitation 2016; 13: 24. DOI: 10.1186/s12984-016-0136-7.

[18] Shrivastava P, Shukla A, Vepakomma P, Bhansali N, Verma K. A survey of nature-inspired algorithms for feature selection to identify Parkinson's disease. Comput Methods Programs Biomed 2017; 139: 171-179. DOI: 10.1016/j.cmpb.2016.07.029.

[19] Mei J, Desrosiers C, Frasnelli J. Machine learning for the diagnosis of Parkinson's disease: A review of literature. Front Aging Neurosci 2021; 13: 633752. DOI: 10.3389/fnagi.2021.633752.

[20] Tortelli R, Rodrigues FB, Wild EJ. The use of wearable/portable digital sensors in Huntington's disease: A systematic review. Parkinsonism Relat Disord 2021; 83: 93-104. DOI: 10.1016/j.parkreldis.2021.01.006.

[21] Moon Y, Sung JH, An R, Hernandez ME, Sosnoff JJ. Gait variability in people with neurological disorders: A systematic review and meta-analysis. Hum Mov Sci 2016; 47: 197-208. DOI: 10.1016/j.humov.2016.03.010.

[22] Figueiredo J, Santos CP, Moreno JC. Automatic recognition of gait patterns in human motor disorders using machine learning: A review. Hum Mov Sci 2016; 47: 197208. DOI: 10.1016/j.humov.2016.03.010.

[23] Stefano C, Fontanella F, Impedovo D, Pirlo G, Scotto diFreca A. A brief overview on handwriting analysis for neurodegenerative disease diagnosys. Proc Workshop on Artificial Intelligence with Application in Health (WAI-AH17) 2017: 9-16.

[24] Saini K, Kaur M. Forensic study on the effect of age and illness (Parkinsonism) on handwriting characteristics. Egypt J Forensic Sci 2019; 9: 24. DOI: 10.1186/s41935-019-0131-9.

[25] Singh P, Yadav H. Influence of neurodegenerative diseases on handwriting. Forensic Research & Criminology International Journal 2021; 9(3): 110-114. DOI: 10.15406/frcij.2021.09.00347.

[26] Saha R, Mukherjee A, Sadhukhan A, Roy A, De M. Handwriting analysis for early detection of Alzheimer's disease. In Book: Gupta D, Bhattacharyya S, Khanna A, Sagar K, eds. Intelligent data analysis: From data gathering to data comprehension. Chap 18. Hoboken, NJ: John Wiley & Sons Ltd; 2020: 369-385. DOI: 10.1002/9781119544487.ch18.

[27] Impedovo D, Pirlo G. Dynamic handwriting analysis for the assessment of neurodegenerative diseases: A pattern recognition perspective. IEEE Rev Biomed Eng 2019; 12: 209-220. DOI: 10.1109/RBME.2018.2840679.

[28] Drotar P, Mekyska J, Rektorova I, Masarova L, Smekal Z, Faundez-Zanuy M. A new modality forquantitative evaluation of Parkinson's disease: In-air movement. 13 th IEEE Int Conf on BioInformatics and BioEngineering 2013: 14. DOI: 10.1109/BIBE.2013.6701692.

[29] Pereira CR, Weber SA, Hook C, Rosa GH, Papa JP. Deep learning-aided Parkinson's disease diagnosis from handwritten dynamics. 2016 29th SIBGRAPI Conf on Graphics, Patterns and Images (SIBGRAPI) 2016: 340346. DOI: 10.1109/SIBGRAPI.2016.054.

[30] Isenkul M, Sakar B, Kursun O. Improved spiral test using digitized graphics tablet for monitoring Parkinson's disease. 2nd Int Conf on E-Health and TeleMedicine 2014: 171-175. DOI: 10.13140/RG.2.1.1898.6005.

[31] Pirlo G, Diaz-Cabrera M. M, Ferrer M.A, Impedovo D, Occhionero F, Zurlo U. Early diagnosis of neurodegenerative diseases by handwritten signature analysis. In Book: New Trends in Image Analysis and Processing -- ICIAP 2015 Workshops 2015: 290-297. DOI: 10.1007/978-3-319-23222-5_36.

[32] Likforman-Sulem L, Esposito A, Faundez-Zanuy M, Clemenjon S, Cordasco G. EMOTHAW: A novel database for emotional state recognition from handwriting and drawing. IEEE Trans Hum Mach Syst 2017; 47(2): 273284. DOI: 10.1109/THMS.2016.2635441.

[33] Al-Islam F, Akter L. Early identification of Parkinson's Disease from Hand-drawn Images using Histogram of oriented gradients and machine learning techniques. Emerging Technology in Computing, Communication and Electronics (ETCCE) 2020: 1-6. DOI: 10.1109/ETCCE51779.2020.9350870.

[34] Aghzal M, Mourhir A. Early diagnosis of Parkinson's disease based on handwritten patterns using deep learning. Fourth Int Conf on Intelligent Computing in Data Sciences (ICDS) 2020: 1-6. DOI: 10.1109/ICDS50568.2020.9268738.

[35] Bernardo SL, Quezada A, Munoz R, Maia FM, Pereira CR, Wu W, Albuquerque VHC. Handwritten pattern recognition for early Parkinson's disease diagnosis. Pattern Recognit Lett 2019; 125: 78-84. DOI: 10.1016/j.patrec.2019.04.003.

[36] Shalaby M, Belal N, Omar Y. Data clustering improves siamese neural networks classification of Parkinson's disease. Complexity 2021; 2021: 1-9. DOI: 10.1155/2021/3112771.

[37] Kan PJ, Lin CH, Su CS, Lin HY, Chen WL, Liang CK. Polar expression feature of digitized handwritten pattern for automated- Parkinson's-disease screening using perceptual color representation-based classifier. IEEE Access 2019; 7: 61738-61755. DOI: 10.1109/ACCESS.2019.2916411.

[38] Folador JP, Santos MC, Luiz LM, SouzaLA, Vieira MF, Pereira AA,Andrade OA. On the use of histograms of oriented gradients for tremor detection from sinusoidal and spiral handwritten drawings of people with Parkinson's disease. Med Biol Eng Comput 2021; 59: 195-214. DOI: 10.1007/s11517-020-02303-9.

[39] Ali L, Zhu C, Golilarz NA, Javeed A, Zhou M,Liu Y. Reliable Parkinson's disease detection by analyzing handwritten drawings: Construction of an unbiased cascaded learning system based on feature selection and adaptive boosting model. IEEE Access 2019; 7: 116480-116489. DOI: 10.1109/ACCESS.2019.2932037.

[40] Xu S, Pan Z. A novel ensemble of random forest for assisting diagnosis of Parkinson's disease on small handwritten dynamics dataset. Int J Med Inform 2020; 144: 104283. DOI: 10.1016/j.ijmedinf.2020.104283.

[41] Impedovo D. Velocity-based signal features for the assessment of Parkinsonian handwriting. IEEE Signal Process Lett 2019; 26(4): 632-636. DOI: 10.1109/LSP.2019.2902936.

[42] Lamba R, Gulati T, Al-Dhlan KA, Jain A. A systematic approach to diagnose Parkinson's disease through kinematic features extracted from handwritten drawings. J Re-liab Intell Environ 2021; 7(1): 253-262. DOI: 10.1007/s40860-021-00130-9.

[43] Bernardo L, Damasevicius R, Albuquerque V, Maskel-iunas R. A hybrid two-stage SqueezeNet and support vector machine system for Parkinson's disease detection based on handwritten spiral patterns. Int J Appl Math Comput Sci 2021; 31(4): 549-561. DOI: 10.34768/amcs-2021-0037.

[44] Xu Z, Zhu Z. Handwritten dynamics classification of Parkinson's disease through support vector machine and principal component analysis. 4th Int Conf on Advanced Algorithms and Control Engineering (ICAACE) 2021; 1848: 012098. DOI: 10.1088/1742-6596/1848/1/012098.

[45] Senatore R, Della Cioppa A, Marcelli A. Automatic diagnosis of neurodegenerative diseases: An evolutionary approach for facing the interpretability problem. Information 2019; 10(1): 30. DOI: 10.3390/info10010030.

[46] Pereira CR, Pereira DR, Papa JP, Rosa GH, Yang XS. Convolutional neural networks applied for Parkinson's disease identification. In Book: Holzinger A, ed. Machine learning for health informatics. Springer International Publishing AG; 2016: 1-24. DOI: 10.1007/978-3-319-50478-0_19.

[47] Kamran I, Naz S, Razzak I, Imran M. Handwriting dynamics assessment using deep neural network for early identification of Parkinson's disease. Future Gener Com-put Syst 2021; 117: 234-244. DOI: 10.1016/j.future.2020.11.020.

[48] Khanna K, Gambhir S, Gambhir M. Current challenges in detection of Parkinson's disease. Journal of Critical Reviews 2020; 7(18): 1461-1467.

[49] Rastegari E, Azizian S, Ali H. Machine learning and similarity network approaches to support automatic classification of Parkinson's diseases using accelerometer-based gait analysis. Hawaii Int Conf on System Sciences 2019: 1-12. DOI: 10.24251/HICSS.2019.511.

[50] Dentamaro V, Impedovo D, Pirlo G. Gait analysis for early neurodegenerative diseases classification through the kinematic theory of rapid human movements. IEEE Access 2020; 8: 193966-193980. DOI: 10.1109/ACCESS.2020.3032202.

[51] Justo D, Charles P, Jean D, Delmaire C, Gargiulo M, Hahn-Barma V, Naccache L, Durr A. Is non-recognition of choreic movements in Huntington disease always pathological? Neuropsychologia 2013; 51(4): 748-759. DOI: 10.1016/j.neuropsychologia.2012.12.005.

[52] Moraes CRL, Junior EA, Lucena RJRS, Cavalcanti L, Rodrigues MAB. Human gait cycle analysis using an adapted mechanical prosthesis. In Book: Costa-Felix R, Machado JC, Alvarenga AV, eds. 26th Brazilian congress on biomedical engineering. Vol 70/2. Singapore: Springer; 2019: 241-248. DOI: 10.1007/978-981-13-2119-1_38.

[53] Buckley C, Alcock L, McArdle R, Rehman RZU, Del Din S, Mazza C, Yarnall AJ, Rochester L. The role of movement analysis in diagnosing and monitoring neurodegen-erative conditions: Insights from gait and postural control. Brain Sciences 2019; 9(2): 34. DOI: 10.3390/brainsci9020034.

[54] Balaji E, Brindha D, Balakrishnan R. Supervised machine learning based gait classification system for early detection and stage classification of Parkinson's disease. Appl Soft Comput 2020; 94: 106494. DOI: 10.1016/j.asoc.2020.106494.

[55] Aydin F, Asian Z. Recognizing Parkinson's disease gait patterns by vibes algorithm and Hilbert-Huang transform. Eng Sci Technol 2020; 24(1): 112-125. DOI: 10.1016/j.jestch.2020.12.005

[56] Goldberger AL, Amaral LAN, Glass L, Hausdorff JM, Ivanov PC, Mark RG, Mietus JE, Moody GB, Peng C-K, Stanley HE. PhysioBank, PhysioToolkit, and PhysioNet: Components of a new research resource for complex physiologic signals. Circulation 2000; 101: 215-220, DOI: 10.1161/01.CIR.101.23.e215.

[57] Nam Nguyen QD, Liu A-B, Lin C-W. Development of a neurodegenerative disease gait classification algorithm using multiscale sample entropy and machine learning classifiers. Entropy 2020; 22(12): 1340. DOI: 10.3390/e22121340.

[58] Setiawan F, Lin C-W. Identification of neurodegenerative diseases based on vertical ground reaction force classification using time-frequency spectrogram and deep learning neural network features. Brain Sciences 2021; 11(7): 902. DOI: 10.3390/brainsci11070902.

[59] Sanchez-Delacruz E, Parra MPP. Machine learning-based classification for diagnosis of neurodegenerative diseases. CEUR Workshop Proceeding 2018; 2264: 40-50.

[60] Xia Y, Gao Q, Ye Q. Classification of gait rhythm signals between patients with neuro-degenerative diseases and normal subjects: Experiments with statistical features and different classification models. Biomed Signal Process Control 2015; 18: 254-262. DOI: 10.1016/j.bspc.2015.02.002.

[61] Hausdorff JM, Lertratanakul A, Cudkowicz ME, Peterson AL, Kaliton D, Goldberger AL. Dynamic markers of altered gait rhythm in amyotrophic lateral sclerosis. J Appl Physiol 2000; 88: 2045-2053. DOI: 10.1152/jappl.2000.88.6.2045.

[62] Barth J, Oberndorfer C, Pasluosta C, Schülein S, Gassner H, Reinfelder S, Kugler P, Schuldhaus D, Winkler J, Klucken J, Eskofier BM. Stride segmentation during free walk movements using multi-dimensional subsequence dynamic time warping on inertial sensor data. Sensors 2015; 15(3): 6419-6440. DOI: 10.3390/s150306419.

[63] Kumar SS, John M. Human activity recognition using optical flow based feature set. IEEE Int Carnahan Conf on Security Technology (ICCST) 2016: 1-5. DOI: 10.1109/CCST.2016.7815694.

[64] CAVIAR: Context aware vision using image-based active recognition. 2001. Source: (http://homepages.inf.ed.ac.uk/rbf/CAVIAR/).

[65] Rehman RZU, Din S, Guan Y, Yarnall A, Shi J, Rochester L. Selecting clinically relevant gait characteristics for classification of early Parkinson's disease: A comprehensive machine learning approach. Sci Rep 2019; 9: 17269. DOI: 10.1038/s41598-019-53656-7.

[66] Costa L, Gago M, Yelshyna D, Ferreira J, Silva H, Rocha L, Sousa N, Bicho E. Application of machine learning in postural control kinematics for the diagnosis of Alzheimer's disease. Comput Intell Neurosci 2016; 2016: 1-15. DOI: 10.1155/2016/3891253.

[67] Acosta-Escalante FD, Beltran-Naturi E, Boll MC, Hernan-dez-Nolasco JA, Pancardo Garcia P. Meta-classifiers in Huntington's disease patients classification, using iPhone's movement sensors placed at the Ankles. IEEE Access 2018; 6: 30942-30957. DOI: 10.1109/ACCESS.2018.2840327.

[68] Ahmed RM, Devenney EM, Irish M, Ittner A, Naismith S, Ittner LM, Rohrer JD, Halliday GM, Eisen A, Hodges JR, Kiernan MC. Neuronal network disintegration: common pathways linking neurodegenerative diseases. J Neurol

Neurosurg Psychiatry 2016; 87: 1234-1241. DOI: 10.1136/jnnp-2014-308350.

[69] McMackin R, Bede P, Pender N, Hardiman O, Nasse-roleslami B. Neurophysiological markers of network dysfunction in neurodegenerative diseases. Neurolmage: Clinical 2019; 22: 101706. DOI: 10.1016/j.nicl.2019.101706.

[70] Luján M, Jimeno M, Mateo Sotos J, Ricarte J, Borja A. A survey on EEG signal processing techniques and machine learning: Applications to the neurofeedback of autobiographical memory deficits in schizophrenia. Electronics 2021; 10: 3037. DOI: 10.3390/electronics10233037.

[71] Moral-Rubio C, Balugo P, Fraile-Pereda A, Pytel V, Fernández-Romero L, Delgado-Alonso C, Delgado-Álvarez A, Matias-Guiu J, Matias-Guiu JA, Ayala JL. Application of machine learning to electroencephalography for the diagnosis of primary progressive aphasia: A pilot study. Brain Sciences 2021; 11: 1262. DOI: 10.3390/brainsci11101262.

[72] Jurcak V, Tsuzuki D, Dan I. 10/20, 10/10, and 10/5 systems revisited: Their validity as relative head-surface-based positioning systems. NeuroImage 2007; 34: 16001611. DOI: 10.1016/j.neuroimage.2006.09.024

[73] Al-Qazzaz NK, Ali MABM, Ahmad SA, Chellappan K, Islam MS, Escudero J. Role of EEG as biomarker in the early detection and classification of dementia. Sci World J 2014; 2014: 906038. DOI: 10.1155/2014/906038.

[74] Voipio J, Tallgren P, Heinonen E, Vanhatalo S, Kaila K. Millivolt-scale DC shifts in the human scalp EEG: Evidence for a non-neuronal generator. J Neurophysiol 2003; 89: 2208-2214. DOI: 10.1152/jn.00915.2002.

[75] Vanhatalo S, Tallgren P, Becker C, Holmes MD, Miller JW, Kaila K, Voipio J. Scalp-recorded slow EEG responses generated in response to hemodynamic changes in the human brain. Clin Neurophysiol 2003; 114: 17441754. DOI: 10.1016/s1388-2457(03)00163-9.

[76] Ikeda A. Focal ictal direct current shifts in human epilepsy as studied by subdural and scalp recording. Brain 1999; 122: 827-838. DOI: 10.1093/brain/122.5.827.

[77] Fernandez LMJ, Lüthi A. Sleep spindles: Mechanisms and functions. Physiol Rev 2020; 100: 805-868. DOI: 10.1152/physrev.00042.2018.

[78] McMackin R, Muthuraman M, Groppa S, Babiloni C, Taylor J-P, Kiernan MC, Nasseroleslami B, Hardiman O. Measuring network disruption in neurodegenerative diseases: New approaches using signal analysis. J Neurol Neurosurg Psychiatry 2019; 90: 1011-1020. DOI: 10.1136/jnnp-2018-319581.

[79] Petit D, Gagnon J-F, Fantini ML, Ferini-Strambid L, Montplaisir J. Sleep and quantitative EEG in neurodegen-erative disorders. J Psychosom Res 2004; 56: 487-496. DOI: 10.1016/j.jpsychores.2004.02.001.

[80] Arnaldi D, Donniaquio A, Mattioli P, Massa F, Grazzini M, Meli R, Filippi L, Grisanti S, Famá F, Terzaghi M, Girtler N, Brugnolo A, Doglione E, Pardini M, Villani F, Nobili F. Epilepsy in neurodegenerative dementias: A clinical, epidemiological, and EEG study. J Alzheimer's Dis 2020; 74: 865-874. DOI: 10.3233/jad-191315.

[81] Farrell JS, Wolff MD, Teskey GC. Neurodegeneration and pathology in epilepsy: Clinical and basic perspectives. In Book: Beart P, Robinson M, Rattray M, Maragakis NJ, eds. Neurodegenerative diseases. Springer International Publishing AG; 2017: 317-334. DOI: 10.1007/978-3-319-57193-5_12.

[82] Noachtar S, Rémi J. The role of EEG in epilepsy: A critical review. Epilepsy Behav 2009; 15: 22-33. DOI: 10.1016/j.yebeh.2009.02.035.

[83] Meghdadi AH, Karic MS, Berka C. EEG analytics: benefits and challenges of data driven EEG biomarkers for neurodegenerative diseases. IEEE Int Conf on Systems, Man and Cybernetics (SMC) 2019: 1280-1285. DOI: 10.1109/smc.2019.8914065.

[84] Sanchez-Reyes L-M, Rodriguez-Resendiz J, Avecilla-Ramirez GN, Garcia-Gomar M-L, Robles-Ocampo J-B. Impact of EEG parameters detecting dementia diseases: A systematic review. IEEE Access 2021; 9: 78060-78074. DOI: 10.1109/access.2021.3083519.

[85] Houmani N, Vialatte F, Gallego-Jutgla E, Dreyfus G, Nguyen-Michel V-H, Mariani J, Kinugawa K. Diagnosis of Alzheimer's disease with electroencephalography in a differential framework. PLOS ONE 2018; 13: e0193607. DOI: 10.1371/journal.pone.0193607.

[86] Odish OFF, Johnsen K, van Someren P, Roos RAC, van Dijk JG. EEG may serve as a biomarker in Huntington's disease using machine learning automatic classification. Sci Rep 2018; 8: 16090. DOI: 10.1038/s41598-018-34269-y.

[87] Anjum MF, Dasgupta S, Mudumbai R, Singh A, Cavanagh JF, Narayanan NS. Linear predictive coding distinguishes spectral EEG features of Parkinson's disease. Parkinsonism Relat Disord 2020; 79: 79-85. DOI: 10.1016/j.parkreldis.2020.08.001.

[88] Singh A, Cole RC, Espinoza AI, Brown D, Cavanagh JF, Narayanan NS. Frontal theta and beta oscillations during lower-limb movement in Parkinson's disease. Clin Neu-rophysiol 2020; 131: 694-702. DOI: 10.1016/j.clinph.2019.12.399.

[89] Singh A, Richardson SP, Narayanan N, Cavanagh JF. Mid-frontal theta activity is diminished during cognitive control in Parkinson's disease. Neuropsychologia 2018; 117: 113-122. DOI: 10.1016/j.neuropsychologia.2018.05.020.

[90] Singh A, Cole RC, Espinoza AI, Evans A, Cao S, Cavanagh JF, Narayanan NS. Timing variability and mid-frontal ~4 Hz rhythms correlate with cognition in Parkinson's disease. NPJ Parkinson's Disease 2021; 7(1): 14. DOI: 10.1038/s41531-021-00158-x.

[91] Cavanagh JF, Kumar P, Mueller AA, Richardson SP, Mueen A. Diminished EEG habituation to novel events effectively classifies Parkinson's patients. Clin Neuro-physiol 2018; 129: 409-418. DOI: 10.1016/j.clinph.2017.11.023.

[92] Sheoran M, Kumar S, Chawla S. Methods of denoising of electroencephalogram signal: a review. Int J Biomed Eng Technol 2015; 18: 385. DOI: 10.1504/ijbet.2015.071012.

[93] Klados MA, Papadelis C, Braun C, Bamidis PD. REG-ICA: A hybrid methodology combining Blind Source Separation and regression techniques for the rejection of ocular artifacts. Biomed Signal Process Control 2011; 6: 291-300. DOI: 10.1016/j.bspc.2011.02.001.

[94] Trambaiolli LR, Lorena AC, Fraga FJ, Kanda PAM, Anghinah R, Nitrini R. Improving Alzheimer's disease diagnosis with machine learning techniques. Clin EEG Neurosci 2011; 42: 160-165. DOI: 10.1177/155005941104200304.

[95] Kher R, Gandhi R. Adaptive filtering based artifact removal from electroencephalogram (EEG) signals. Int Conf on Communication and Signal Processing (ICCSP) 2016: 561-564. DOI: 10.1109/iccsp.2016.7754202.

[96] Sweeney KT, Ward TE, McLoone SF. Artifact removal in physiological signals-practices and possibilities. IEEE Trans Inf Technol Biomed 2012; 16: 488-500. DOI: 10.1109/titb.2012.2188536.

[97] Shahbakhti M, Taherifar D, Zareei Z. Combination of PCA and SVM for diagnosis of Parkinson's disease. 2nd Int Conf on Advances in Biomedical Engineering 2013: 137-140. DOI: 10.1109/icabme.2013.6648866.

[98] Saeidi M, Karwowski W, Farahani FV, Fiok K, Taiar R, Hancock PA, Al-Juaid A. Neural decoding of EEG signals with machine learning: A systematic review. Brain Sciences 2021; 11: 1525. DOI: 10.3390/brainsci11111525.

[99] Shan X, Huo S, Yang L, Cao J, Zou J, Chen L, Sarrigian-nis PG, Zhao Y. A revised Hilbert-Huang transformation to track non-stationary association of electroencephalography signals. IEEE Trans Neural Syst Rehabilitation Eng 2021; 29: 841-851. DOI: 10.1109/tnsre.2021.3076311.

[100] Murugappan M. Human emotion classification using wavelet transform and KNN. Int Conf on Pattern Analysis and Intelligence Robotics 2011: 148-153. DOI: 10.1109/icpair.2011.5976886.

[101] Moradi N, LeVan P, Akin B, Goodyear BG, Sotero RC. Holo-Hilbert spectral-based noise removal method for EEG high-frequency bands. J Neurosci Methods 2022; 368: 109470. DOI: 10.1016/j.jneumeth.2021.109470.

[102] Alturki FA, AlSharabi K, Abdurraqeeb AM, Aljalal M. EEG signal analysis for diagnosing neurological disorders using discrete wavelet transform and intelligent techniques. Sensors 2020; 20(9): 2505. DOI: 10.3390/s20092505.

[103] Mirzaei S, Ghasemi P. EEG motor imagery classification using dynamic connectivity patterns and convolutional autoencoder. Biomed Signal Process Control 2021; 68: 102584. DOI: 10.1016/j.bspc.2021.102584.

[104] Alturki FA, Aljalal M, Abdurraqeeb AM, Alsharabi K, Al-Shamma'a AA. Common spatial pattern technique with EEG signals for diagnosis of autism and epilepsy disorders. IEEE Access 2021; 9: 24334-24349. DOI: 10.1109/access.2021.3056619.

[105] Siuly S, Alcin OF, Kabir E, Sengur A, Wang H, Zhang Y, Whittaker F. A new framework for automatic detection of patients with mild cognitive impairment using resting-state EEG signals. IEEE Trans Neural Syst Rehabilitation Eng 2020; 28: 1966-1976. DOI: 10.1109/tnsre.2020.3013429.

[106] Cao Z, John AR, Chen H-T, Martens KE, Georgiades M, Gilat M, Nguyen HT, Lewis SJG, Lin C-T. Identification of EEG Dynamics During Freezing of Gait and Voluntary Stopping in Patients With Parkinson's Disease. IEEE Transactions on Neural Systems and Rehabilitation Engineering 2021; 29: 1774-1783. DOI: 10.1109/tnsre.2021.3107106

[107] Arrufat-Pié E, Estévez-Baez M, Estévez-Carreras JM, Machado-Curbelo C, Leisman G, Beltran C. Comparison between traditional fast Fourier transform and marginal spectra using the Hilbert-Huang transform method for the broadband spectral analysis of the electroencephalogram in healthy humans. Eng Rep 2021; 3(8): e12367. DOI: 10.1002/eng2.12367.

[108] Huang NE, Hu K, Yang ACC, Chang H-C, Jia D, Liang W-K, Yeh JR, Kao C-L, Peng CK, Meijer JH, Wang Y-H, Long SR, Wu Z. On Holo-Hilbert spectral analysis: a full informational spectral representation for nonlinear and non-stationary data. Philos Trans Royal Soc A 2016; 374: 20150206. DOI: 10.1098/rsta.2015.0206.

[109] Simpraga S, Alvarez-Jimenez R, Mansvelder HD, van Ger-ven JMA, Groeneveld GJ, Poil S-S, Linkenkaer-Hansen K. EEG machine learning for accurate detection of cholinergic intervention and Alzheimer's disease. Scientific Reports 2017; 7: 5775. DOI: 10.1038/s41598-017-06165-4.

[110] Hamadicharef B, Guan C, Ifeachor E, Hudson N, Wima-laratna S. Performance evaluation and fusion of methods for early detection of Alzheimer disease. Int Conf on BioMedical Engineering and Informatics 2008: 347-351. DOI: 10.1109/bmei.2008.196.

[111] Subasi A, Ismail Gursoy M. EEG signal classification using PCA, ICA, LDA and support vector machines. Expert Syst Appl 2010; 37: 8659-8666. DOI: 10.1016/j.eswa.2010.06.065.

[112] Antuvan CW, Masia L. An LDA-based approach for realtime simultaneous classification of movements using surface electromyography. IEEE Trans Neural Syst Rehabilitation Eng 2019; 27: 552-561. DOI: 10.1109/tnsre.2018.2873839.

[113] Patle A, Chouhan DS. SVM kernel functions for classification. Int Conf on Advances in Technology and Engineering (ICATE) 2013: 1-9. DOI: 10.1109/icadte.2013.6524743.

[114] Chen G. Automatic EEG seizure detection using dual-tree complex wavelet-Fourier features. Expert Syst Appl 2014; 41: 2391-2394. DOI: 10.1016/j.eswa.2013.09.037.

[115] Trambaiolli LR, Lorena AC, Fraga FJ, Kanda PAM, Anghinah R, Nitrini R. Improving Alzheimer's disease diagnosis with machine learning techniques. Clin EEG Neurosci 2011; 42: 160-165. DOI: 10.1177/155005941104200304.

[116] Kulkarni N. Use of complexity based features in diagnosis of mild Alzheimer disease using EEG signals. Int J Inf Technol Decis Mak 2017; 10: 59-64. DOI: 10.1007/s41870-017-0057-0.

[117] Morabito FC, Campolo M, Ieracitano C, Ebadi JM, Bo-nanno L, Bramanti A, Desalvo S, Mammone N, Bramanti P. Deep convolutional neural networks for classification of mild cognitive impaired and Alzheimer's disease patients from scalp EEG recordings. IEEE 2nd Int Forum on Research and Technologies for Society and Industry Leveraging a Better Tomorrow (RTSI) 2016: 1-6. DOI: 10.1109/rtsi.2016.7740576.

[118] Ho TKK, Jeon Y, Na E, Ullah Z, Kim BC, Lee KH, Song J-I, Gwak J. DeepADNet: A CNN-LSTM model for the multi - class classification of Alzheimer's disease using multichannel EEG. Alzheimers Dement 2021; 17: e057573. DOI: 10.1002/alz.057573.

[119] Bizopoulos P, Lambrou GI, Koutsouris D. Signal2Image modules in deep neural networks for EEG classification. 41st Annual Int Conf of the IEEE Engineering in Medicine and Biology Society (EMBC) 2019: 702-705. DOI: 10.1109/EMBC.2019.8856620.

[120] Oh SL, Hagiwara Y, Raghavendra U, Yuvaraj R, Arunkumar N, Murugappan M, Acharya UR. A deep learning approach for Parkinson's disease diagnosis from EEG signals. Neural Comput Appl 2018; 32: 1092710933. DOI: 10.1007/s00521-018-3689-5.

[121] Gonnerman LM, Aronoff JM, Almor A, Kempler D, Andersen ES. From beetle to bug: progression of error types in naming in Alzheimer's disease. Proc Annual Meeting of the Cognitive Science Society 2004; 26: 1563.

[122] Matias-Guiu J, Garcia-Ramos R. Primary progressive aphasia: from syndrome to disease. Neurologia 2013; 28(6): 366-374. DOI: 10.1016/j.nrleng.2012.04.018.

[123] Gorno-Tempini ML, Hillis AE, Weintraub S. et al. Classification of primary progressive aphasia and its variants. Neurology 2011; 76(11): 1006-1014. DOI: 10.1212/WNL.0b013e31821103e6.

[124] Mesulam MM, Weintraub S. Primary progressive aphasia and kindred disorders. In Book: Duyckaerts C, Litvan I,

eds. Handbook of clinical neurology: Dementias. 3rd ed. Vol 89. Chap 54. Elsevier; 2008: 573-587.

[125] Sonty SP, Mesulam MM, Weintraub S, Johnson NA, Par-rish TB, Gitelman DR. Altered effective connectivity within the language network in primary progressive aphasia. J Neurosci 2008; 27(6): 1334-1345. DOI: 10.1523/JNEUROSCI.4127-06.2007.

[126] Mesulam MM, Rogalski EJ, Wieneke C, Hurley RS, Geu-la C, Bigio EH, Thompson CK, Weintraub S. Primary progressive aphasia and the evolving neurology of the language network. Nat Rev Neurol 2014; 10: 554-569. DOI: 10.1038/nrneurol.2014.159.

[127] Gorno-Tempini M, Hillis A, Weintraub S, et al. Classification of primary progressive aphasia and its variants. Neurology 2011; 76: 1006-1014. DOI: 10.1212/WNL.0b013e31821103e6.

[128] Kertesz A, Harciarek M. Primary progressive aphasia. Scand J Psychol 2014; 55(3): 191-201. DOI: 10.1111/sjop.12105.

[129] Hillis AE, Tuffiash E, Caramazza A. Modality-specific deterioration in naming verbs in nonfluent primary progressive aphasia. J Cogn Neurosci 2002; 14: 1099-1108. DOI: 10.1162/089892902320474544.

[130] Semenova TN, Guzanova EV, Sorokina TA. Features of speech disorders and their diagnosis in patients with neu-rodegenerative diseases [In Russian]. Practical Medicine 2019; 17(3): 23-27. DOI: 10.32000/2072-1757-2019-323-27.

[131] Caine D, Breen N, Patterson K. Emergence and progression of "non-semantic" deficits in semantic dementia. Cortex 2009; 45: 483-494. DOI: 10.1016/j.cortex.2007.07.005.

[132] Knels C, Danek A. Loss of word-meaning with spared object semantics in a case of mixed primary progressive aphasia. Brain and Language 2010; 113: 96-100. DOI: 10.1016/j.bandl.2009.09.007.

[133] Wilson SM, Henry ML, Besbris M, Ogar JM, Dronkers NF, Jarrold W, Miller B, Gorno-Tempin M. Connected speech production in three variants of primary progressive aphasia. Brain 2010; 133: 2069-2088. DOI: 10.1093/brain/awq129.

[134] Bonner MF, Ash S, Grossman M. The new classification of primary progressive aphasia into semantic, logopenic, or nonfluent/agrammatic variants. Curr Neurol Neurosci Rep 2010; 10(6): 484-490. DOI: 10.1007/s11910-010-0140-4.

[135] Grishina DA. Speech disorders in neurodegenerative diseases [In Russian]. Effective Pharmacotherapy 2017; 31: 56-61.

[136] Mikhailov VA, Kotsiubinskaya YV, Safonova NY, Ananieva NI, Stulov IK. Primary progressive aphasia [In Russian]. Neurology, Neuropsychiatry, Psychosomatics 2019; 11(1): 411. DOI: 10.14412/2074-2711-2019-1-4-11.

[137] Sapolsky D, Bakkour A, Negreira A, Nalipinski P, Wein-traub S, Mesulam M, Caplan D, Dickerson B. Cortical neuroanatomic correlates of symptom severity in primary progressive aphasia. Neurology 2010: 75(4): 358-366. DOI: 10.1212/WNL.0b013e3181ea15e8.

[138] Fong MWM, Van Patten R, Fucetola RP. The factor structure of the boston diagnostic aphasia examination. 3rd ed. J Int Neuropsychol Soc 2019; 25(7): 772-776. DOI: 10.1017/S1355617719000237.

[139] Vasenina EE, Levin OS. Heterogeneity of speech disorders in Parkinson's disease: potential for classification, diagnostics and therapy [In Russian]. Medical Council 2020; 2: 55-66. DOI: 10.21518/2079-701X-2020-2-55-66.

[140] Prins RS, Bastiaanse R. Analysing the spontaneous speech of aphasic speakers. Aphasiology 2004; 18: 10751091. DOI: 10.1080/02687030444000534.

[141] Sajjadi SA, Patterson K, Tomek M, Nestor PJ. (2012). Abnormalities of connected speech in semantic dementia vs. Alzheimer's disease. Aphasiology 2012; 26: 847-866. DOI: 10.1080/02687038.2012.654933.

[142] Fraser K, Fors K, Kokkinakis D. Multilingual word em-beddings for the assessment of narrative speech in mild cognitive impairment. Comput Speech Lang 2019; 53: 121-139. DOI: 10.1016/j.csl.2018.07.005.

[143] Ash S, Menaged A, Olm C, et al. Narrative discourse deficits in amyotrophic lateral sclerosis. Neurology 2014; 83: 520-528. DOI: 10.1212/WNL.0000000000000670.

[144] Konig A, Satt A, Sorin A, Hoory R, Derreumaux A, David R, Robert PH. Use of speech analyses within a mobile application for the assessment of cognitive impairment in elderly people. Curr Alzheimer Res 2018; 15(2): 120-129. DOI: 10.2174/1567205014666170829111942.

[145] Bertinia F, Allevib D, Luterob G, Calza L, Montesib D. An automatic Alzheimer's disease classifier based on spontaneous spoken English. Comput Speech Lang 2022; 72: 101298. DOI: 10.1016/j.csl.2021.101298.

[146] Vincze V, Gosztolya G, Toth L., Hoffmann I., Szatloczki G. Detecting mild cognitive impairment by exploiting linguistic information from transcripts. Proc 54th Annual Meeting of the Association for Computational Linguistics 2016: 181-187. DOI: 10.18653/v1/P16-2030.

[147] Beltrami D, Calza L, Gagliardi G, Ghidoni E, Marcello N, Favretti RR, Tamburini F. Automatic identification of mild cognitive impairment through the analysis of Italian spontaneous speech productions. Proc Tenth International Conference on Language Resources and Evaluation (LREC'16) 2016: 2086-2093.

[148] Fraser K, Lundholm Fors K, Eckerstrom M, Themisto-cleous C, Kokkinakis D. Improving the sensitivity and specificity of MCI screening with linguistic information. Proc LREC 2018 Workshop "Resources and ProcessIng of linguistic, para-linguistic and extra-linguistic Data from people with various forms of cognitive/psychiatric impairments (RaPID-2)" 2018: 19-26.

[149] Fraser KC, Meltzerb JA, Rudzicza F. Linguistic features identify Alzheimer's disease in narrative speech. J Alzhei-mer1 s Dis 2016; 49: 407-422. DOI: 10.3233/JAD-150520.

[150] Yngve V. A model and hypothesis for language structure. Proc Am Physical Soc 1960; 104: 444-466.

[151] Yu B, Quatieri TF, Williamson JR, Mundt JC. Cognitive impairment prediction in the elderly based on vocal bi-omarkers. Sixteenth Annual Conference of the International Speech Communication Association 2015; 37343738. DOI: 10.21437/Interspeech.2015-741.

[152] Themistocleous C, Kokkinakis D, Eckerstrom M, Fraser K, Fors KL. Effects of mild cognitive impairment on vowel duration. Proc ExLing 2018: 9th Tutorial and Research Workshop on Experimental Linguistics, 27-30 August 2018, Paris, France. DOI: 10.36505/ExLing-2018/09/0027/000360.

[153] Meilan JJ, Martinez-Sanchez F, Carro J, Sanchez JA, Perez E. Acoustic markers associated with impairment in language processing in Alzheimer's disease. Span J Psychol 2012; 15(2): 487-494. DOI: 10.5209/rev_SJOP.2012.v15.n2.38859.

[154] Lopez-Pabon FO, Arias-Vergara T, Orozco-Arroyave JR. Cepstral analysis and Hilbert-Huang transform for automatic detection of Parkinson's disease. TecnoLogicas 2020; 23(47): 93-108. DOI: 10.22430/22565337.1401.

[155] Sanz C, Carrillo F, Slachevsky A, Forno G, Gorno Tempini ML, Villagra R, Ibanez A, Tagliazucchi E, Garcia AM. Automated text-level semantic markers of Alzheimer's disease. Alzheimers Dement (Amst) 2022; 14(1): e12276. DOI: 10.1002/dad2.12276.

[156] Sakar BE, Isenkul ME, Sakar C, Sertbas A, Gurgen F, De-lil S, Apaydin H, Kursun O. Collection and analysis of a Parkinson speech dataset with multiple types of sound recordings. IEEE J Biomed Health Inform 2013; 17(4): 828834. DOI: 10.1109/JBHI.2013.2245674.

[157] Orozco-Arroyave JR, Arias-Londono JD, Vargas-Bonilla JF, Gonzalez-Rativa MC, Noth E. New Spanish speech corpus database for the analysis of people suffering from Parkinson's disease. Proc Language Resources and Evaluation Conference (LREC) 2014: 342-347.

[158] Triapthi A, Chakraborty R, Kopparapu SK. Dementia classification using acoustic descriptors derived from sub-sampled signals. Proc 28th European Signal Processing Conference (EUSIPCO) 2021: 91-95. DOI: 10.23919/Eusipco47968.2020.9287830.

[159] Di Palo F, Parde N. Enriching neural models with targeted features for dementia detection. Proc 57th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop 2019: 302-308. DOI: 10.18653/v1/P19-2042.

[160] Fritsch J, Wankerl S, Noth E. Automatic diagnosis of Alzheimer's disease using neural network language models. ICASSP 2019 - 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) 2019: 5841-5845. DOI: 10.1109/ICASSP.2019.8682690.

[161] Radouani L, Lagdali S, Rziza M. Detection of voice impairment for parkinson's disease using machine learning tools. 2020 10th Int Symposium on Signal, Image, Video and Communications (ISIVC) 2021: 20944370. DOI: 10.1109/ISIVC49222.2021.9487544.

[162] Narendra NP, Schuller B, Alku P. The detection of Parkinson's disease from speech using voice source information. IEEE/ACM Trans Audio, Speech, Language Process 2021; 29: 1925-1936. DOI: 10.1109/TASLP.2021.3078364.

[163] Airaksinen M, Raitio T, Story B, Alku P. Quasi closed phase glottal inverse filtering analysis with weighted linear prediction. IEEE/ACM Trans Audio, Speech, Language Process 2014; 22(3): 596-607.

[164] Barabanshchikov VA, ed. Eye tracking in psychological science and practice [In Russian]. Moscow: "Cogito" Publisher; 2015. ISBN: 978-5-89353-477-1.

[165] Termsarasab P, Thammongkolchai T, Rucker JC, Frucht SJ. The diagnostic value of saccades in movement disorder patients: a practical guide and review. J Clin Mov Disord 2015; 2: 14.

[166] Ratmanova PO, Litvinova AS, Evina EI, Bogdanov PP, Napalkov DA. Analysis of oculomotor reactions as a method for assessing neurodegenerative processes [In Russian]. Proceedings of the Southern Federal University. Technical Science 2010; 8(109): 171-179.

[167] Sheehy CK, Bensinger ES, Romeo A, Rani L, Stepien-Bernabe N, Shi B, Helft Z, Putnam N, Cordano C, Gelfand JM, Bove R, Stevenson SB, Green AJ. Fixational microsaccades: A quantitative and objective measure of disability in multiple sclerosis. Mult Scler J 2020; 26(3): 343-353. DOI: 10.1177/1352458519894712.

[168] Lagun D, Manzanares C, ZolaSM, Buffalo EA, Agichtein E. Detecting cognitive impairment by eye movement analysis using automatic classification algorithms. J Neu-rosci Methods 2011; 201(1): 196-203. DOI: 10.1016/j.jneumeth.2011.06.027.

[169] Haque RU, Manzanares CM, Brown LN, Pongos AL, Lah JJ, Clifford GD, Levey AI. VisMET: a passive, efficient, and sensitive assessment of visuospatial memory in healthy aging, mild cognitive impairment, and Alzheimer's disease. Learn Mem 2019; 26(3): 93-100. DOI: 10.1101/lm.048124.118.

[170] Nam U, Lee K, Ko H, Lee JY, Lee EC. Analyzing facial and eye movements to screen for Alzheimer's disease. Sensors 2020; 20(18): 5349. DOI: 10.3390/s20185349.

[171] Fernández G, Manes F, Politi LE, Orozco D, Schumacher M, Castro L, Agamennoni O, Rotstein NP. Patients with mild Alzheimer's disease fail when using their working memory: Evidence from the eye tracking technique. J Alzheimer's Dis 2019; 50(3): 827-838. DOI: 10.3233/JAD-150265.

[172] Readman MR, Polden M, Gibbs MC, Wareing L, Crawford TJ. The potential of naturalistic eye movement tasks in the diagnosis of Alzheimer's disease: A review. Brain Sciences 2021; 11(11): 1503. DOI: 10.3390/brainsci11111503.

[173] Beltran J, Garcia-Vazquez MS, Benois-Pineau J, Gutierrez-Robledo LM, Dartigues J-F. Computational techniques for eye movements analysis towards supporting early diagnosis of Alzheimer's disease: A review. Comput Math Methods Med 2018; 2018: 2676409. DOI: 10.1155/2018/2676409.

[174] Davis R, Sikorskii A. Eye tracking analysis of visual cues during wayfinding in early stage Alzheimer's disease. Dement Geriatr Cogn Disord Extra 2020; 49(1): 91-97. DOI: 10.1159/000506859.

[175] Pavisic IM, Firth NC, Parsons S, Rego DM, Shakespeare TJ, Yong KXX, Slattery CF, Paterson RW, Foulkes AJM, Macpherson K, Carton AM, Alexander DC, Shawe-Taylor J, Fox NC, Schott JM, Crutch SJ, Primativo S. Eyetracking metrics in young onset Alzheimer's disease: A window into cognitive visual functions. Front Neurol 2017; 8: 377. DOI: 10.3389/fneur.2017.00377.

[176] Tadokoro K, Yamashita T, Fukui Y, Nomura E, Ohta Y, Ueno S, Nishina S, Tsunoda K, Wakutani Y, Takao Y, Miyoshi T, Higashi Y, Osakada Y, Sasaki R, Matsumoto N, Kawahara Y, Omote Y, Takemoto M, Hishikawa N, Morihara R, Abe K. Early detection of cognitive decline in mild cognitive impairment and Alzheimer's disease with a novel eye tracking test. J Neurol Sci 2021; 427: 117529. DOI: 10.1016/j.jns.2021.117529.

[177] Venugopalan J, Tong L, Hassanzadeh HR, Wang MD. Multimodal deep learning models for early detection of Alzheimer's disease stage. Sci Rep 2021; 11: 3254. DOI: 10.1038/s41598-020-74399-w.

[178] The program of fundamental scientific research in the Russian Federation for the long time (2021 - 2030) [In Russian]. 2022. Source:

(http://static.government.ru/media/files/skzO0DEvyFOIBt XobzPA3zTyC71cRAOi.pdf).

[179] Muhammad G, Alshehri F, Karray F, Saddik AE, Al-sulaiman M, Falk TH. A comprehensive survey on multimodal medical signals fusion for smart healthcare sys-

tems. Inf Fusion 2021; 76: 355-375. DOI: 10.1016/j.inffus.2021.06.007.

[180] Vasquez-Correa JC, Arias-'Vergara T, Orozco-Arroyave JR, Eskofier BM, Klucken J, Noth E. Multimodal assessment of Parkinson's disease: a deep learning approach. IEEE J Biomed Health Inform 2019; 23(4): 1618-1630. DOI: 10.1109/JBHI.2018.2866873.

[181] Markello RD, Shafiei G, Tremblay C, Postuma RB, Dagher A, Misic B. Multimodal phenotypic axes of Parkinson's disease. npj Parkinson's Disease 2021; 7: 6. DOI: 10.1038/s41531-020-00144-9.

[182] Hodashinsky I, Sarin K, Shelupanov A, Slezkin A. Feature selection based on swallow swarm optimization for fuzzy classification. Symmetry 2019; 11(11): 1423. DOI: 10.3390/sym11111423.

[183] Jiao Z, Chen S, Shi H, Xu J. Multi-modal feature selection with feature correlation and feature structure fusion for MCI and AD classification. Brain Sciences 2022; 12(1): 80. DOI: 10.3390/brainsci12010080.

[184] Hodashinsky I, Sarin K. Feature selection for classification through population random search with memory. Au-tom Remote Control 2019; 80(2): 324-333. DOI: 10.1134/S0005117919020103.

[185] Slezkin AO, Hodashinsky IA, Shelupanov AA. Binariza-tion of the Swallow swarm optimization for feature selection. Program Comput Softw 2021; 47(5): 374-388. DOI: 10.1134/S0361768821050066.

[186] Bucholc M, Ding X, Wang H, Glass DH, Wang H, Prasad G, Maguire LP, Bjourson AJ, McClean PL,Todd S, Finn DP, Wong-Lin KF. A practical computerized decision support system for predicting the severity of Alzheimer's disease of an individual. Expert Syst Appl 2019; 130: 157-171. DOI: 10.1101/573899.

[187] Shao W, Peng Y, Zu C, Wang M, Zhang D. Hypergraph based multi-task feature selection for multimodal classification of Alzheimer's disease. Comput Med Imaging Graph 2020; 80: 101663. DOI: 10.1016/j.compmedimag.2019.101663.

[188] Zhang DQ, Shen DG. Multi-modal multi-task learning for joint prediction of multiple regression and classification variables in Alzheimer's disease. NeuroImage 2012; 59: 895-907. DOI: 10.1016/j.neuroimage.2011.09.069.

[189] Wang B, Mezlini A, Demir F, Fiume M, Tu Z, Brudno M, Haibe-Kains B, Goldenberg A. Similarity network fusion for aggregating data types on a genomic scale. Nature Methods 2014; 11(3): 333. DOI: 10.1038/nmeth.2810.

[190] Heidarivincheh F, McConville R, Morgan C, McNaney R, Masullo A, Mirmehdi M, Whone AL Craddock I. Multimodal classification of parkinson's disease in home environments with resiliency to missing modalities. Sensors 2021; 21(12): 4133. DOI: 10.3390/s21124133.

[191] Emmert-Streib F, Yli-Harja O, Dehmer M. Explainable artificial intelligence and machine learning: A reality rooted perspective. WIREs Data Mining and Knowledge Discovery 2020; 10(6): e1368. DOI: 10.1002/widm.1368.

Приложение А (Список сокращений)

БА - болезнь Альцгеймера;

БАС - боковой амиотрофический склероз;

БГ - болезнь Гентингтона;

БП - болезнь Паркинсона;

МРТ - магниторезонансная томография;

КГ - контрольная группа людей без нейродегенеративных заболеваний; ЛКН - легкие когнитивные нарушения;

НЗ - нейродегенеративные заболевания; ППА - первичная прогрессирующая афазия; ПЭТ - позитронно-эмиссионная томография; СБ - собственная база; РИП - рекурсивное исключение признаков; ЭЭГ - электроэнцефалограмма;

Acc - точность диагностики (англ. accuracy), процентная часть правильно диагностированных испытуемых; AUC - площадь под ROC-кривой; CNN - сверточная нейронная сеть; DT - дерево решений; GF - сила походки;

ICA - метод анализа независимых компонент;

KNN - алгоритм ^-ближайших соседей;

LDA - алгоритм линейного дискриминантного анализа;

LR - алгоритм логистической регрессии;

LSTM - рекуррентная нейронная сеть с долгой краткосрочной памятью; MLP - классификатор на основе многослойного персептрона; NBC - Байесовский классификатор;

P - чувствительность диагностики, процентная часть больных испытуемых, у которых была диагностирована болезнь;

PCA - метод главных компонент для снижения размерности признакового пространства;

R - специфичность диагностики, процентная часть здоровых испытуемых, у которых не диагностирована

болезнь;

RF - алгоритм случайного леса; SVM - метод опорных векторов.

Сведения об авторах

Ходашинский Илья Александрович, 1953 года рождения, в 1975 году окончил Новосибирский электротехнический институт по специальности 0646 «Автоматизированные системы управления», профессор кафедры компьютерных систем в управлении и проектировании(КСУП) ФГБОУ ВО «Томский государственный университет систем управления и радиоэлектроники» (ТУСУР), доктор технических наук. Область научных интересов: вычислительный интеллект, биометрия, метаэвристические методы оптимизации. E-mail: hodashn@rambler. ru .

Сарин Константин Сергеевич, 1980 года рождения, в 2002 году окончил ТУСУР по специальности 2202 «Автоматизированные системы обработки информации и управления», доцент кафедры КСУП ТУСУР. Область научных интересов: нечеткие системы, анализ данных, машинное обучение, биометрия. E-mail: [email protected] .

Бардамова Марина Борисовна, 1995 года рождения, в 2017 году окончила ТУСУР по специальности 10.05.03 «Информационная безопасность автоматизированных систем», доцент кафедры КСУП ТУСУР. Область научных интересов: вычислительный интеллект, метаэвристические методы оптимизации, машинное обучение, биомедицина. E-mail: 722bmb@gmail. com .

Светлаков Михаил Олегович, 1995 года рождения, в 2019 году окончил ТУСУР по специальности 10.05.04 «Информационно-аналитические системы безопасности», аспирант ТУСУР по направлению 09.06.01 «Информатика и вычислительная техника», младший научный сотрудник ЛИС кафедры КСУП ТУСУР, ассистент кафедры КСУП ТУСУР. Область научных интересов: вычислительный интеллект, метаэвристические методы оптимизации, методы глубокого обучения, кластеризация, нечеткие системы, биометрия. E-mail: svetlakov.m4@gmail. com .

Слёзкин Артем Олегович, 1996 года рождения, в 2019 году окончил ТУСУР по специальности «Информационная безопасность автоматизированных систем». Аспирант ТУСУР по направлению 09.06.01 «Информатика и вычислительная техника», младший научный сотрудник ЛИС кафедры КСУП ТУСУР, ассистент кафедры КСУП ТУСУР. Область научных интересов: машинное обучение, метаэвристические алгоритмы оптимизации, методы отбора признаков, нечеткие системы, биометрия. E-mail: saotom 724@gmail. com .

Корышев Николай Павлович, 1997 года рождения, в 2021 году окончил ТУСУР по специальности «Информационная безопасность телекоммуникационных систем». Аспирант ТУСУР по направлению 09.06.01 «Информатика и вычислительная техника», младший научный сотрудник ЛИС кафедры КСУП ТУСУР, ассистент кафедры КСУП ТУСУР. Область научных интересов: машинное обучение, метаэвристические алгоритмы оптимизации, нечеткие системы. E-mail: [email protected] .

ГРНТИ: 28.23.15

Поступила в редакцию 26 марта 2022 г. Окончательный вариант - 30 августа 2022 г.

Biometric data and machine learning methods in the diagnosis and monitoring of neurodegenerative diseases: a review

I.A. Hodashinsky1, K.S. Sarin1, M.B. Bardamova1, M.O. Svetlakov1, A.O. Slezkin1, N.P. Koryshev1 1 Tomsk State University of Control Systems and Radioelectronics, 634050, Russia, Tomsk, Lenina avenue, 40

Abstract

A review of noninvasive biometric methods for detecting and predicting neurodegenerative diseases is presented. An analysis of various modalities used to diagnose and monitor diseases is given. Such modalities as handwritten data, electroencephalography, speech, gait, eye movement, as well as the use of compositions of these modalities are considered. A detailed analysis of modern methods and solutions based on machine learning is conducted. Data sets, preprocessing methods, machine learning models, and accuracy estimates for disease diagnosis are presented. In the conclusion current open problems and future prospects of research in this direction are considered.

Keywords: non-invasive diagnostic methods, neurodegenerative diseases, biometric signal processing, machine learning.

Citation: Hodashinsky IA, Sarin KS, Bardamova MB, Svetlakov MO, Slezkin AO, Koryshev NP. Biometric data and machine learning methods in the diagnosis and monitoring of neurodegenerative diseases: a review. Computer Optics 2022; 46(6): 988-1019. DOI: 10.18287/2412-6179-CO-1134.

Acknowledgements: This work was supported by the Russian Science Foundation (project no. 22-21-00021).

Authors' information

Ilya Aleksandrovich Hodashinsky (b. 1953) in 1975 graduated from Novosibirsk Electro-Technical Institute with a degree in 0646 "Automated Control Systems", Professor of the Safety faculty of the Federal State Budgetary Professor of the Department of Computer Systems in Control and Design (KSUP) Tomsk State University of Control Systems and Radioelectronics (TUSUR) Doctor of Technical Sciences. Research interests: computational intelligence, biometrics, metaheuristic optimization methods. E-mail: [email protected] .

Konstantin Sergeevich Sarin (b. 1980) graduated from TUSUR in 2002 with a degree in 2202 "Automated Information Processing and Control Systems", Associate Professor of the KSUP Department of TUSUR. Research interests: fuzzy systems, data analysis, machine learning, biometrics. E-mail: [email protected] .

Marina Borisovna Bardamova (b. 1995), Associate Professor of the KSUP Department of TUSUR, Senior Researcher at Laboratory of Intelligent Systems (LIS) of KSUP Department. Research interests: computational intelligence, metaheuristic optimization methods, machine learning, biomedicine. E-mail: [email protected] .

Mikhail Olegovich Svetlakov (b. 1995), graduated from TUSUR in 2019 with a degree in 10.05.04 "Information and Analytical Security Systems", postgraduate student of TUSUR in the direction of 09.06.01 "Informatics and Computer Engineering", Junior Researcher at LIS of KSUP Department, Assistant of the KSUP Department of TUSUR. Research interests: computational intelligence, metaheuristic optimization methods, deep learning methods, clustering, fuzzy systems, biometrics. E-mail: [email protected] .

Artem Olegovich Slezkin, (b. 1996), graduated from TUSUR in 2019 with a degree in Information Security of Automated Systems. Post-graduate student of TUSUR in the field of 09.06.01 "Computer Science and Computer Technology", Junior Researcher at LIS of KSUP Department, Assistant of the KSUP Department of TUSUR. Research interests: machine learning, metaheuristic optimization algorithms, feature selection methods, fuzzy systems, biometrics. E-mail: [email protected] .

Nikolay Pavlovich Koryshev, (b. 1997), graduated from TUSUR in 2021 with a degree in Information Security of Telecommunication Systems. Junior Researcher at LIS of KSUP Department, Assistant of the KSUP Department of TUSUR. Research interests: machine learning, metaheuristic optimization algorithms, fuzzy systems. E-mail: [email protected] .

Received March 26, 2022. The final version - August 30, 2022.