CC BY
75
УДК 004.8 DOI 10.18522/2311-3103-2022-2-180-189
Е.С. Подоплелова
АНАЛИЗ МЕТОДОВ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА, ПРИМЕНЯЕМЫХ ДЛЯ РЕШЕНИЯ ЗАДАЧ ПСИХИАТРИИ
Использование методов искусственного интеллекта в области медицины получило широкое распространение, помогая диагностировать, анализировать и давать рекомендации по лечению. Психиатрия - это область медицины, изучающая психические расстройства, методы их диагностики и лечения. В спектр ее задач входит не только диагностика и лечение, но также наблюдение, мониторинг и последующая реабилитация пациентов. Эта предметная область имеет существенные проблемы, такие как объективность, противоречивость диагноза, сложность классификации болезней, непредсказуемость течения заболевания. С рядом этих проблем помогает справиться использование методов машинного обучения и алгоритмы искусственного интеллекта. Данная работа посвящена обзору исследований методов искусственного интеллекта, применяемых для решения задач в области психиатрии. Актуальность темы обусловлена высокой потребностью данной предметной области в улучшениях. Конкретные проблемы представлены в данной статье. Среди них были выделены основные направления: деидентификация данных, классификация тяжести симптомов, точность прогнозирования состояния. Для их решения авторами были применены такие методы как латентный семантический анализ для обработки естественного языка, методы классификации, сверточные нейронные сети для прогнозирования, когнитивное моделирование. Отдельно отмечена эффективность гибридных систем, включающих реализацию сразу нескольких метолов машинного обучения. Целью исследования было выделить основные направления развития исследований научного сообщества, которые демонстрируют успешную интеграцию искусственного интеллекта в психиатрию, а также сравнение их между собой по полученным оценкам точности моделей. Что, в свою очередь, подразумевает разбор и анализ конкретных алгоритмов, их производительность для конкретных задач.
Методы искусственного интеллекта; латентный семантический анализ; обработка естественного языка; сверточные нейронные сети; гибридные системы.
E.S. Podoplelova
ANALYSIS OF ARTIFICIAL INTELLIGENCE METHODS APPLIED TO SOLVING PSYCHIATRY PROBLEMS
The use of artificial intelligence methods in the field of medicine has become widespread, helping to diagnose, analyze and make recommendations for treatment. Psychiatry is a branch of medicine that studies mental disorders, methods for their diagnosis and treatment. Her range of tasks includes not only diagnosis and treatment, but also observation, monitoring and subsequent rehabilitation of patients. This subject area has significant problems, such as objectivity, inconsistency in the diagnosis, the complexity of the classification of diseases, and the unpredictability of the course of the disease. With a number of these problems, the use of machine learning methods and artificial intelligence algorithms helps to cope. This paper is devoted to a review of research on artificial intelligence methods used to solve problems in the field of psychiatry. The relevance of the topic is due to the high need for improvements in this subject area. Specific issues are presented in this article. Among them, the main directions were identified: data de-identification, classification of symptom severity, accuracy of condition prediction. To solve them, the authors used such methods as latent semantic analysis for natural language processing, classification methods, convolutional neural networks for prediction, and cognitive modeling. Separately, the effectiveness of hybrid systems, including the implementation of several machine learning methods at once, is noted. The aim of the study was to highlight the main directions of development of research in the scientific community, which demonstrate the successful integration of arti-
ficial intelligence into psychiatry, as well as to compare them with each other according to the obtained estimates of the accuracy of the models. Which, in turn, implies the analysis and analysis of specific algorithms, their performance for specific tasks.
Artificial intelligence methods; latent semantic analysis; natural language processing; con-volutional neural networks; hybrid systems.
Введение. В нынешнее время отмечается повышение значимости психиатрии с развитием нейронаук [1], и общим техническим прогрессом. Авторы описывают современные исследования в этой области, раскрывая тем самым вектор дальнейшего развития психиатрии и проблемы, с которыми она сейчас сталкивается. Одна из них - невозможность использования универсального метода диагностики и лечения, авторы выделяют необходимость «индивидуализации» психиатрии для каждой болезни с учетом особенностей конкретного больного.
Задача исследований в области искусственного интеллекта - помочь решить эти проблемы, повысить качество результатов и продвинуть эту область в развитии, как это было сделано в других сферах медицины, где уже были внедрены и применены методы ИИ как в исследованиях, так и на практике. Поэтому, в этой статье представлен обзор ряда исследований, в которых используются методы искусственного интеллекта для исследований в области психиатрии.
Использование методов обработки естественного языка для клинических записей. Одной из важных проблем развития ИИ в психиатрии является сложность обработки клинических записей. Их форма отличается от обычных структурированных данных, включающих физиологические параметры, результаты лабораторных тестов (золотой стандарт) и т.п. Из-за этого невозможно применить методы и алгоритмы, которые уже применяются для работы с медицинскими записями.
Второй важный аспект - конфиденциальность. Данные о психическом здоровье людей сильно ограничены в распространении. Единственный выход - деиден-тификация этих записей.
Масштабное исследование [2] посвящено трем основным направлениям направлениям:
1) Деидентификация - обезличивание клинических записей для возможности использования исследовательским сообществом [3-8].
2) Классификация тяжести симптомов - цель состояла в том, чтобы определить тяжесть симптомов у пациента с использованием порядковой шкалы от 0 до 3 в рамках RDoC(Research Domains Criteria - критерии области исследований) на основе информации, включенной в первоначальную психиатрическую оценку пациента. Эта задача представляет собой первую попытку классифицировать записи о психическом здоровье по порядковой шкале с использованием обработки естественного языка [9].
3) Новое использование данных - представление новых данных для других исследовательских задач.
Задачу деидентификации разбили на два этапа. На первом в системах прогонялись новые данные без каких-либо изменений в параметрах. Результаты этой подзадачи предоставили информацию о том, можно ли точно деидентифицировать новые данные на основе существующих моделей. Самая производительная система для этой подзадачи получила оценку F1 0,7985, что свидетельствует о том, что готовые решения не дают надежных результатов на новых данных, но обеспечивают хороший старт для построения моделей, которые можно настроить для новые данные с реальными данными и независимо от них хорошо работать в своих целевых приложениях.
Второй этап длился два месяца, за которые системы и методы настраивались вручную. Почти все команды в этой подзадаче использовали гибридные системы различных алгоритмов, обучая каждый компонент конкретному подмножеству частной медицинской информации (PHI), а затем объединяли выходные данные всех компонентов, чтобы охватить всю PHI. Некоторые команды использовали комбинации условных случайных полей (CRF) [3, 17], каждое из которых было обучено для разных подмножеств PHI, например, используя одну CRF для выявления шаблонов в датах, телефонных номерах и другой PHI со стандартизированными буквенно-цифровыми шаблонами, а другую CRF для текстовой PHI, такой как имена. и локациях [5, 6]. Другие использовали комбинации CRF и двунаправленных систем долговременной кратковременной памяти (BI-LSTM) [7, 8]. Другая команда использовала систему «многопроходного сита», при этом различные сита фокусировались на сопоставлении с образцом, сопоставлении по словарю или CRF [3]. В целом, эти гибридные системы оказались в значительной степени эффективными, самый высокий результат с оценкой F1 0,9422 [7].
Задача второго этапа [2, 9] была сосредоточена на прогнозировании тяжести симптомов в области положительной валентности структуры RDoC. Данные, используемые для этой задачи: 1000 записей о первоначальном психиатрическом обследовании. Профессиональные психиатры маркировали записи с определенным уровнем тяжести симптомов: отсутствующие, легкие, умеренные и тяжелые. Самая высокоэффективная система получила официальный рейтинговый балл 0,863019, что близко к уровню производительности, зарегистрированному для наименее опытного психиатра среди аннотаторов.
Результаты этого направления определяют классификацию задачи по тяжести симптомов как эффективно выполнимую в разряде подходов, основанных на данных, хотя пространство для улучшения все еще остается. Были выявлены два сложных для обработки класса записей: записи с очень небольшим количеством важных сигналов положительной валентности, и записи, описывающие пациентов, на которых преимущественно воздействовала отрицательная, а не положительная валентность. [9]
Третья задача посвящена представлению медицинских данных RDoC для иных задач. Ввиду нехватки наборов записей о психическом здоровье, целью было пополнить базу этих данных.
Подробности о методах и алгоритмах, реализованных для решения вышеописанных задач будут описаны в будущих.
Обработка естественного языка для предсказания развития психоза на ранней стадии. Авторы работы [10] в своем исследовании использовали обработку естественного языка и машинное обучение для классификации полученных результатов. Целью исследования было предсказание позднего развития психоза у подростков из группы высокого клинического риска (CHR). Для диагностики и установления статуса высокого риска авторы использовали структурированное интервью для продромальных синдромов / шкалы продромальных симптомов (SIPS / SOPS). Эта шкала была выбрана для оценки исходных и квартальных симптомов, а также для определения исхода психоза. SIPS / SOPS оценивает положительные (подпороговые психотические), отрицательные, дезорганизованные и общие симптомы.
Все участники CHR в этом исследовании соответствовали критериям синдрома ослабленных положительных симптомов. Обученные ассистенты-исследователи, имеющие степень магистра проводили SIPS / SOPS с клиническими оценками, полученными на основе консенсуса экспертов. Участники проспективно обследовались на предмет наличия симптомов каждые 3 месяца в течение до 2,5 лет.
Стенограммы интервью были предварительно обработаны с использованием набора инструментов для естественного языка (NLTK)[16]. После исключения знаков препинания каждое интервью автоматически разбивалось на фразы. Затем слова были преобразованы в корни, от которых они образованы, или лемматизиро-ваны, с помощью лемматизатора NLTK WordNet.
Полученные в результате предварительно обработанные данные состояли из списка лемматизированных слов, разбитых на фразы, сохраняя исходный порядок, без знаков препинания и в нижнем регистре.
Для семантического анализа авторы использовали скрытый семантический анализ - LSA (Latent Semantic Analysis). Это многомерная ассоциативная модель, основанная на предположении, что значение слова является функцией отношения каждого слова к любому другому слову. Если семантически похожие слова встречаются в текстах с согласованной тематикой чаще, чем несвязанные слова, то семантическое сходство двух слов можно количественно проиндексировать по частоте их совместного появления в достаточно большом корпусе текстов. Таким образом, LSA фиксирует значение слов через линейные представления в многомерном (300-400 мерном) семантическом пространстве на основе частот совместной встречаемости слов.
Каждому слову в лексике назначается вектор, представляющий его семантическое содержание; ориентация этих векторов может быть использована для сравнения семантического сходства между словами.
Здесь LSA прошла обучение на базе Touchstone Applied Science Associates (TASA) Corpus - коллекции учебных материалов, собранных TASA. Разработанная авторами мера семантической когерентности аналогична той, что использовалась в работе [11] Она проводила различие между установленными пациентами с шизофренией и контрольной группой. Настоящая мера отличается от более раннего подхода тем, что она явно включает синтаксическую информацию: семантические траектории представлены сходством между парами последовательных фраз или парами фраз, разделенными промежуточной фразой (см. Рисунок 1). Учитывая транскрипцию речи D, документ разбивается на n фраз Si и преобразуется в векторное представление путем замены каждого слова во фразе соответствующим ему вектором Затем, векторы фраз суммируются, принимая среднее значение их составных частей:
L i = ih к (1)
т.е. среднее значение всех векторов LSA каждого слова во фразе.
Далее определялась когерентность первого порядка, взяв подобие последовательных векторов фраз, усредненное по всем фразам в тексте (обозначено h: i ниже):
(2)
и связность второго порядка, взяв сходство между фразами, разделенными другой промежуточной фразой, усредненное по всем фразам в тексте:
5 О С = < с о s (L i,L i+2 ) > . (3)
С помощью этих двух функций авторы исследования смогли охарактеризовать семантическую согласованность путем измерения компонентов распределений когерентности первого и второго порядка по выборкам речи, включая такие характеристики, как минимум, среднее значение, медиана и стандартное отклонение.
Таким образом, была проиндексирована связность речи с помощью:
1) автоматического разделения интервью по фразам;
2) присвоение семантических векторов фраз как среднее значение семантических векторов LSA для каждого слова во фразе;
3) оценка семантического сходства (т. е. косинуса) между векторами фраз последовательных фраз или фразами, разделенными другой промежуточной фразой.
Рис. 1. Модель для работы с текстом
В дополнение к семантическому анализу авторы определили еще одну меру обработки документов на основе тегов Part Of Speech[18] (POS-Tag). Он состоит из обозначения каждого слова его грамматической функцией.
Например, предложение «Кот под столом» помечается процедурой POS-Tag как (('The', 'DT'), ('cat', 'NN'), ('is', 'VBZ '), (' под ',' IN '), (' the ',' DT '), (' table ',' NN ')), где DT - это тег для определителей, NN для существительных, VBZ для глаголов и IN для предлогов. Для каждой расшифровки они рассчитали информацию POS-Tag (с помощью NLTK)[14, 18, 19] и использовали частоту каждого тега в качестве дополнительного атрибута текста. Автоматизация тегов использует помеченный вручную корпус для обучения процессу синтаксического анализа с использованием различных эвристик. NLTK использует модель под названием Pen Tree Bank [14, 15].
Результат исследования показал 100% точность предсказания позднего психоза, однако, выборка по словам автора является маленькой. Необходимо провести тестирование этого метода на крупных объемах данных[12].
Использование сверточной нейронной сети для прогнозирования психических заболеваний у детей. В следующей работе [13] авторы используют модель прогнозирования на ранних стадиях ментальных заболеваний у детей. В предлагаемой модели сверточные нейронные сети (CNN) сначала создаются для изучения особенностей поведенческих данных пациента. Использование встроенных семантических, математических методов позволяет получить представление о нарушениях, эффективную классификацию и прогноз. Цель исследования - использование методов ИИ для улучшения качества оказания помощи, путем ранней диагностики. Работа посвящена очередной попытке когнитивного моделирования, так как проблема переноса мышления человека на алгоритмы машины до сих пор не решена. В данном случае цель исследования - разработка модели, которая может выявлять проблемы с психическим здоровьем у детей.
Искусственный интеллект и машинное обучение или глубокое обучение преобразуют данные с помощью уровней нелинейных вычислительных модулей, что дает возможность работать с динамическими данными и получать из них знания. Машинное обучение эффективно направлено на разработку статистических моделей или вычислительных алгоритмов, которые могут автоматически предполагать скрытые закономерности из данных. Модель сверточной нейронной сети была выбрана для лучшего анализа и обозначения информации о психологических особенностях текста. На основе модельного словаря оценивается способность каждого слова дифференцировать психическое здоровье детей, а сверточная нейронная сеть направляется для извлечения более актуальных психологических характеристик из сообщений, а также обучается модель автоматической оценки психического здоровья.
В этой статье предполагается, что модифицированная сверточная нейронная сеть классифицирует поведенческие данные о психическом здоровье детей. Входными данными является текстовый документ, в котором каждое слово 5 = (5^ 52? ■ ■ . ,5т ) обозначено соответствующими индексами в словаре и. Слова преобразовываются в векторы слов с помощью матриц вложения - Ре И'и ' х с для создания матрицы документа С ейтхс, где с - векторы изображения размерности слова.
с= I Р52 ) . (4)
Дальнейшие расчёты для нейросети приведены подробно в самой работе. В качестве способов для сравнения прогнозов с их фактическим влиянием были выбраны средняя абсолютная ошибка (MASE) и средний квадрат ошибки. Они суммируют свой результат таким образом, чтобы игнорировать направление завышенного или заниженного прогноза. Эффективность распознавания тяжести депрессии оценивается с помощью среднеквадратичной ошибки (RMSE) и средней абсолютной ошибки (MAE) между прогнозами.
Новые исследовательские методы CNN на основе искусственного интеллекта, включая иммерсивную и смешанную реальность, а также машинный анализ прогнозных выражений могут использоваться для улавливания чувств субъектов, погруженных в моделирование с более высокой чувствительностью и коэффициентами F-Measure. В дополнение к традиционным подходам важны методы медицинского анализа. Численные результаты показывают, что предлагаемый метод имеет высокий уровень чувствительности 97,9%, уровень специфичности 96,7%, коэффициент отзыва 95,6%, коэффициент точности 90,1% F-меры 95,6% и меньшую частоту ошибок 9,2%, чем другие существующие методы. В будущей работе авторы обещают более мощные регрессионные модели для дальнейшего повышения точности прогнозов тревожности или депрессии.
В качестве итогового результата исследования представлена таблица методов искусственного интеллекта, которые показали наилучшие результаты для решения задач, выделенных в начале статьи.
Таблица 1
Сводные результаты анализа алгоритмов
Методы Задача Результаты Примечания
NLP Деидентификация F1: Токенизация
клинических за- 0.7985 была выполне-
писей (без модификации) на 2 методами:
F1: HIT-DEID
0.9422 (CRF)[17]
(после подификации) BI-LSTM[20]
Ensemble of Support Vector Machine with RBF kernel, Random Forest, Multinomial Naive Bayes, Adaboost, Deep Neural Network Классификация по тяжести симптомов MAE: 0.8602
LSA, Логистическая регрессия Прогнозирование 83% в прогнозировании начала психоза (внутри-протокольный), перекрестно подтвержденная точность 79% предсказания начала психоза в исходной когорте риска(перекрест- ный протокол) 72% точность в различении речи пациентов с недавно начавшимся психозом от речи здоровых людей.
CNN Прогнозирование F-measure: 95,6%
Заключение. В результате данного исследования можно сделать вывод, что использование искусственного интеллекта способно улучшить сферу психиатрии по определенным критериям:
♦ повысить объективность клинических результатов;
♦ выявление скрытых связей;
♦ обработка большего количества информации;
♦ повысить точность диагноза;
♦ возможность прогнозирования развития болезни (либо конкретных симптомов);
♦ преодолеть проблему конфиденциальности клинических данных, способствующую застою в исследованиях.
Исследование вышеописанных методов демонстрирует новый, комплексный подход к решению определённого ряда задач на примере психиатрии. Совокупность выделенных методов позволяет создать гибридную систему искусственного интеллекта, способную:
а) деидентифицировать записи;
б) классифицировать записи(пациентов) по тяжести симптомов;
в) прогнозировать развитие заболевания.
Реализация всех трех этапов в одной системе позволит комплексно подойти к улучшению качества оказания помощи, в отличии от исследований, посвященных одной обособленной задаче. Здесь же были проанализированы и выделены наилучшие методы, которые показали высокую точность в каждом из своих направлений.
В перспективе, выявление скрытых когнитивных связей или же напротив, нарушение структуры мышления возможно реализовать через когнитивные методы -например, построением когнитивных карт, однако, автоматизация этого процесса, а также получение точных результатов в данный момент является целью будущих исследований.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Макушкин Е.В., Осколкова С.Н. и Фастовцов Г.А. Психиатрия будущего: многоаспектность проблем современной психиатрии и разработка новых классификационных систем // Журнал неврологии и психиатрии им. С.С. Корсакова. - М.: Медиа Сфера, 2017.
2. Uzuner O., Stubbs A., Filannino M. A Natural Language Processing Challenge for Clinical Records: Research Domains Criteria (RDoC) for Psychiatry // Journal of Biomedical Informatics. - 2017. - DOI: 10.1016/j.jbi.2017.10.005.
3. Liu Z., Tang B., Wang X., Chen Q. De-identification of clinical notes via recurrent neural network and conditional random field // Journal of Biomedical Informatics. - 2017. - P. 34-42.
- DOI: 10.1016/j .jbi.2017.05.023.
4. Stubbs A., Filannino M., Uzuner O. De-identification of psychiatric intake records: Overview of 2016 CEGS N-GRID shared tasks Track 1 // Journal of Biomedical Informatics. - 2017.
- P. 4-18. - DOI: 10.1016/j.jbi.2017.06.011.
5. Lee H.J., Wu Y., Zhang Y., Xu J., Xu H., Roberts K. A hybrid approach to automatic de-identification of psychiatric notes // Journal of Biomedical Informatics. - 2017. - DOI: 10.1016/j.jbi.2017.06.006.
6. Azad Dehghan, Aleksandar Kovacevic, George Karystianis, John A Keane, and Goran Nenadic. Learning to identify Protected Health Information by integrating knowledge- and data-driven algorithms: A case study on psychiatric evaluation notes // J Biomed Inform. - 2017.
- 75S. - P. 28-33.
7. Liu Z., Tang B., Wang X., Chen Q. De-identification of clinical notes via recurrent neural network and conditional random field // J Biomed Inform. - 2017. - 75S. - P. 34-42. - DOI: 10.1016/j.jbi.2017.05.023.
8. Jiang Z., Zhao C., He B., Guan Y., Jiang J. De-identification of medical records using conditional random fields and long short-term memory networks // J Biomed Inform. - 2017. - 75S.
- P. 43-53. - DOI: 10.1016/j.jbi.2017.10.003.
9. Filannino, Michele, Stubbs, Amber, Uzuner, Ozlem. Symptom severity prediction from neuropsychiatry clinical records: Overview of 2016 CEGS N-GRID shared tasks Track 2. This issue // Journal of Biomedical Informatics. - 2017 November. - 75 Suppl: S62-S70. - DOI: 10.1016/j.jbi.2017.04.017.
10. Bedi G., Carrillo F., Cecchi G. et al. Automated analysis of free speech predicts psychosis onset in high-risk youths // npj Schizophr. - 2015. - Vol. 1, 15030. - https://doi.org/10.1038/ npjschz.2015.30.
11. Elvevag B., Foltz P. W., Weinberger D.R., Goldberg T.E. Quantifying incoherence in speech: an automated methodology and novel application to schizophrenia // Schizophr Res. - 2007.
- Numb. 93. - P. 304-316.
12. Landauer T.K., Dumais S.T. A solution to Plato's problem: the latent semantic analysis theory of acquisition, induction, and representation of knowledge // Psychol Rev. - 1997. - Vol. 104.
- P. 211-240.
13. Zhang X., Wang R., Sharma A., et al. Artificial intelligence in cognitive psychology - Influence of literature based on artificial intelligence on children's mental disorders // Aggression and Violent Behavior. - 2021. - https://doi.org/10.1016/j.avb.2021.1015 90This.
14. BirdS., Klein E., Loper E. Natural Language Processing with Python // O'Reilly Media: Sebastopol. - USA, 2009.
15. Panjabi S. Language modelling with Penn Treebank. - Режим доступа: https://towardsdatascience.com/language-modelling-with-penn-treebank-64786f641f6 (дата обращения: 18.03.2022).
16. Natural Language Toolkit. - Режим доступа: http://www.nltk.org/ (дата обращения: 10.02.2022)
17. Sutton C., McCallum A. An Introduction to Conditional Random Fields // Foundations and Trends in Machine Learning. - Vol. 4, No. 4. - P. 267-373. - http://dx.doi.org/10.1561/2200000013.
18. Complete Tutorial on Parts Of Speech (PoS) Tagging. - Режим доступа: https://analyticsindiamag.com/complete-tutorial-on-parts-of-speech-pos-tagging/ (дата обращения: 1.01.2022).
19. NLP | Part of speech tagged - word corpus. - Режим доступа: https://www.geeksforgeeks.org/nlp-part-of-speech-tagged-word-corpus/ (дата обращения: 11.02.2022).
20. Jang B., Kim M., Harerimana G., Kang S-u, Kim J. W. Bi-LSTM Model to Increase Accuracy in Text Classification: Combining Word2vec CNN and Attention Mechanism // Applied Sciences. - 2020; 10(17):5841. - https://doi.org/10.3390/app10175841.
REFERENCES
1. Makushkin E. V., Oskolkova S.N. iFastovtsov G.A. Psikhiatriya budushchego: mnogoaspektnost' problem sovremennoy psikhiatrii i razrabotka novykh klassifikatsionnykh sistem [Psychiatry of the future: the multidimensionality of the problems of modern psychiatry and the development of new classification systems], Zhurnal nevrologii i psikhiatrii im. S.S. Korsakova [Journal of Neurology and Psychiatry. S.S. Korsakov]. Moscow: Media Sfera, 2017.
2. Uzuner O., Stubbs A., Filannino M. A Natural Language Processing Challenge for Clinical Records: Research Domains Criteria (RDoC) for Psychiatry, Journal of Biomedical Informatics, 2017. DOI: 10.1016/j.jbi.2017.10.005.
3. Liu Z., Tang B., Wang X., Chen Q. De-identification of clinical notes via recurrent neural network and conditional random field, Journal of Biomedical Informatics, 2017, pp. 34-42. DOI: 10.1016/j.jbi.2017.05.023.
4. Stubbs A., Filannino M., Uzuner O. De-identification of psychiatric intake records: Overview of 2016 CEGS N-GRID shared tasks Track 1, Journal of Biomedical Informatics, 2017, pp. 4-18. DOI: 10.1016/j.jbi.2017.06.011.
5. Lee H.J., Wu Y., Zhang Y., Xu J., Xu H., Roberts K. A hybrid approach to automatic de-identification of psychiatric notes, Journal of Biomedical Informatics, 2017. DOI: 10.1016/j.jbi.2017.06.006.
6. Azad Dehghan, Aleksandar Kovacevic, George Karystianis, John A Keane, and Goran Nenadic. Learning to identify Protected Health Information by integrating knowledge- and data-driven algorithms: A case study on psychiatric evaluation notes, J Biomed Inform, 2017, 75S, pp. 28-33.
7. Liu Z., Tang B., Wang X., Chen Q. De-identification of clinical notes via recurrent neural network and conditional random field, J Biomed Inform, 2017, 75S, pp. 34-42. DOI: 10.1016/j.jbi.2017.05.023.
8. Jiang Z., Zhao C., He B., Guan Y., Jiang J. De-identification of medical records using conditional random fields and long short-term memory networks, J Biomed Inform, 2017, 75S, pp. 43-53. - DOI: 10.1016/j.jbi.2017.10.003.
9. Filannino, Michele, Stubbs, Amber, Uzuner, Ozlem. Symptom severity prediction from neuropsychiatry clinical records: Overview of 2016 CEGS N-GRID shared tasks Track 2. This issue, Journal of Biomedical Informatics, 2017 November, 75 Suppl: S62-S70. DOI: 10.1016/j.jbi.2017.04.017.
10. Bedi G., Carrillo F., Cecchi G. et al. Automated analysis of free speech predicts psychosis onset in high-risk youths // npj Schizophr. - 2015. - Vol. 1, 15030. - https://doi.org/10.1038/ npjschz.2015.30.
11. Elvevag B., Foltz P.W., Weinberger D.R., Goldberg T.E. Quantifying incoherence in speech: an automated methodology and novel application to schizophrenia, Schizophr Res., 2007, Numb. 93, pp. 304-316.
12. Landauer T.K., Dumais S.T. A solution to Plato's problem: the latent semantic analysis theory of acquisition, induction, and representation of knowledge, Psychol Rev., 1997, Vol. 104, pp. 211-240.
13. Zhang X., Wang R., Sharma A., et al. Artificial intelligence in cognitive psychology - Influence of literature based on artificial intelligence on children's mental disorders, Aggression and Violent Behavior, 2021. Available at: https://doi.org/10.1016/j.avb.2021.101590This.
14. Bird S., Klein E., Loper E. Natural Language Processing with Python, O'Reilly Media: Sebastopol. USA, 2009.
15. Panjabi S. Language modelling with Penn Treebank. Available at: https://towardsdatascience.com /language-modelling-with-penn-treebank-64786f641f6 (accessed 18 March 2022).
16. Natural Language Toolkit. Available at: http://www.nltk.org/ (accessed 10 February 2022).
17. Sutton C., McCallum A. An Introduction to Conditional Random Fields, Foundations and Trends in Machine Learning, Vol. 4, No. 4, pp. 267-373. - http://dx.doi.org/10.1561/ 2200000013.
18. Complete Tutorial on Parts Of Speech (PoS) Tagging. Available at: https://analyticsindiamag.com/ complete-tutorial-on-parts-of-speech-pos-tagging/ (accessed 1 January 2022).
19. NLP | Part of speech tagged - word corpus. Available at: https://www.geeksforgeeks.org/nlp-part-of-speech-tagged-word-corpus/ (accessed 11 February 2022).
20. Jang B., Kim M., Harerimana G., Kang S-u, Kim J. W. Bi-LSTM Model to Increase Accuracy in Text Classification: Combining Word2vec CNN and Attention Mechanism, Applied Sciences, 2020; 10(17):5841. Available at: https://doi.org/10.3390/app10175841.
Статью рекомендовал к опубликованию д.т.н., профессор А.В. Боженюк.
Подоплелова Елизавета Сергеевна - Южный федеральный университет; e-mail:
chuzhinova@sfedu.ru; г. Таганрог, Россия; тел.: +79525844188; аспирант.
Podoplelova Elizaveta Sergeevna - Southern Federal University; e-mail: chuzhinova@sfedu.ru;
Taganrog, Russia; phone: +79525844188; postgraduate student.
УДК 004.8+004.75 DOI 10.18522/2311-3103-2022-2-189-199
В.В. Курейчик, С.И. Родзин, В.В. Бова
МЕТОДЫ ГЛУБОКОГО ОБУЧЕНИЯ ДЛЯ ОБРАБОТКИ ТЕКСТОВ НА ЕСТЕСТВЕННОМ ЯЗЫКЕ*
Представлен анализ подходов, основанных на глубоком обучении (DL), к задачам обработки естественного языка (NLP). Исследование охватывает различные задачи NLP, реализованные с помощью искусственных нейронных сетей (ANNs), сверточных нейронных сетей (CNNs) и рекуррентных нейронных сетей (RNNs). Эти архитектуры позволяют решать широкий спектр задач обработки естественного языка, ранее не поддававшихся эффективному решению: моделирование предложений, маркировка семантической роли, распознавание именованных сущностей, ответы на вопросы, категоризация текста, машинный перевод. Наряду с преимуществами использования CNN для решения задач NLP имеются проблемы, связанные с большим числом варьируемых параметров сети и выбором ее архитектуры. Мы предлагаем для оптимизации архитектур сверточных нейронных сетей эволюционный алгоритм. Алгоритм инициализирует случайную популяцию из малого числа агентов (не более 5) и с помощью фитнесс функции получает оценки каждого агента в популяции. Затем проводится турнирная селекция между всеми агентами и применяется оператор кроссинговера между выбранными агентами. Алгоритм обладает таким преимуществом как малый размер популяции сетей, он использует несколько типов слоев CNN: сверточный слой, максимальный слой пулинга (субдискретизации), средний слой пу-линга и полносвязный слой. Алгоритм тестировался на локальном компьютере с графическим процессором ASUS Cerberus GeForce ® GTX 1050 Ti OC Edition 4 ГБ GDDR5, 8 ГБ оперативной памяти и процессором IntelR) Core(TM) i5-4670. Результаты экспериментов показали, что предлагаемый нейроэволюционный подход способен достаточно быстро найти оптимизированную архитектуру CNN для заданного набора данных с приемлемым значением точности. Для завершения выполнения алгоритма потребовалось около 1 часа. Для создания и обучения CNN был использован популярный фреймворк TensorFlow. Для оценки алгоритма использовались общедоступные наборы данных: MNIST и MNIST-RB. Наборы содержали черно-белые изображения рукописных букв и цифр с 50000 обучающими образцами и 10000 тестовыми образцами.
Глубокое обучение; обработка естественного языка; нейронные сети; сверточные нейронные сети; рекурсивные нейронные сети; обучение представлению.
*
Исследование выполнено за счет гранта Российского научного фонда № 22-21-00316, https://rscf.ru/project/22-21-00316/ в Южном федеральном университете.
