CC BY
27
DOI: 10.24143/2072-9502-2021-2-57-65 УДК 004.891.2
РАЗРАБОТКА И ВАЛИДАЦИЯ МЕТОДА КЛАССИФИКАЦИИ
ОФТАЛЬМОЛОГИЧЕСКОЙ ПАТОЛОГИИ С ПРИМЕНЕНИЕМ ГЛУБОКОГО МАШИННОГО ОБУЧЕНИЯ1
В. И. Лошманов, А. Г. Кравец
Волгоградский государственный технический университет, Волгоград, Российская Федерация
Огромное количество исследований по разработке новых препаратов требует совершенствования существующих подходов в поиске новых химических соединений, обладающих фармакологической активностью. Одним из возможных путей внедрения инновационных методов в процесс проведения доклинических исследований лекарственных средств является использование активно развивающихся направлений в области информационных технологий, например интеллектуального анализа данных с использованием методов глубокого машинного обучения. При наличии огромного объема информации, накопленной за несколько лет доклинических исследований, существующие решения в данной сфере позволяют получить нейросетевую модель данных достаточной степени точности, тем не менее, нет универсального метода, который позволил бы комплексно подойти к проблеме анализа результатов доклинических лабораторных исследований лекарственных средств. Существующие решения обладают рядом недостатков, которые зачастую не позволяют использовать их на практике. Две главные проблемы - это сложность верификации результатов и неполнота списка рассчитываемых параметров. Для решения данной проблемы предложена система идентификации фармакологической активности нового лекарственного средства, рассмотренная на примере офтальмологических доклинических лабораторных исследований. В рамках разработки данной системы реализован метод классификации офтальмологической патологии на основе сверточной нейронной сети. Разработана архитектура нейронной сети, экспериментальным путем подобраны ее гиперпараметры. Точность модели во время обучения составила 90 %, а точность тестовой выборки - 81 %.
Ключевые слова: лекарственное средство, офтальмологическая патология, сверточные нейронные сети, фармакологическая активность, лабораторные исследования.
Для цитирования: Лошманов В. И., Кравец А. Г. Разработка и валидация метода классификации офтальмологической патологии с применением глубокого машинного обучения // Вестник Астраханского государственного технического университета. Серия: Управление, вычислительная техника и информатика. 2021. № 2. С. 57-65. DOI: 10.24143/2072-9502-2021-2-57-65.
Введение
В настоящее время активно внедряются новые технологии в различных медицинских сферах, в том числе и в фармацевтике. В среднем на разработку одного лекарства тратится от 1 до 2,5 млрд долл. и занимает данный процесс от 10 до 15 лет. Разработка нового лекарственного средства состоит из большого количества этапов, на каждом из которых исследуемое синтезированное химическое соединение может оказаться не соответствующим каким-либо стандартам. По статистике из всех веществ, участвующих в доклинических исследованиях, лишь 2 % доходят до регистрации в качестве лекарственного препарата [1]. В связи с этим возникает потребность в разработке различных систем поддержки принятия решений, с помощью которых было бы возможно определить наличие конкретных фармакологических свойств химического соединения на ранних этапах проведения доклинических испытаний. Одной из основных задач в данном подходе является задача идентификации наличия патологии у пациента и определение этапа ее развития на основе результатов доклинических лабораторных испытаний [2].
1 Исследование выполнено при финансовой поддержке РФФИ в рамках научных проектов №20-37-90105, №19-07-01200.
Основными целями исследования являются разработка и валидация метода классификации офтальмологических патологий пациента в рамках проведения доклинических лабораторных исследований. Кроме того, необходимо определить возможность применения данного метода в процессе идентификации фармакологической активности нового лекарственного средства.
Основными задачами в рамках достижения цели являются:
- анализ существующих методов классификации патологий, применяемых в сфере доклинических лабораторных исследований;
- формирование тестовой и обучающей выборки, основанной на изображениях нормального состояния глазного дна пациента и при наличии какой-либо патологии (например, катаракты), полученных из открытых источников;
- подбор подходящей архитектуры нейросетевой модели экспериментальным путем;
- обучение и оценка полученной модели классификации с оптимальными параметрами нейросети, определенными в ходе выполнения предыдущей задачи.
Анализ основных офтальмологических доклинических лабораторных испытаний
В рамках разрабатываемой концепции системы идентификации фармакологических свойств нового лекарственного средства было выбрано направление офтальмологии. В данном направлении имеется большое количество данных из открытых источников, на основе которых можно разработать и оценить модели классификации и идентификации изменения состояния пациента в процессе применения исследуемого лекарственного средства. На начальном этапе выделено три основных доклинических лабораторных испытания: офтальмоскопия, допплеро-графия, электроретинография.
Офтальмоскопия (визуальная оценка состояния сосудов и сетчатки глаза) - исследование глазного дна (выстланная сетчаткой внутренняя поверхность глаза), позволяющее выявить множество офтальмологических патологий и (в некоторых случаях) заболевания других систем организма (например, нервной, сердечно сосудистой, эндокринной), т. к. их первые симптомы могут проявляться именно на этом участке зрительной системы [3].
При офтальмоскопии осматривается сетчатка, а также ее отдельные структуры: зрительный нерв, сосуды, зона желтого пятна и периферические области, кроме того, оценивается помутнение стекловидного тела или хрусталика [3].
Результатом проведения офтальмоскопии является изображение глазного дна пациента (рис. 1), на основе которого проводится оценка изменений, их качественные и количественные характеристики [3].
Рис. 1. Результат проведения офтальмоскопии - изображение глазного дна пациента
Допплерография (ультразвуковая оценка кровоснабжения глаза) применяется для выявления нарушений кровотока в сосудах. Кровоснабжение глаза осуществляется из бассейна внутренней сонной артерии, которая делится на несколько ветвей: центральную артерию сетчатки, глазничную артерию и др. Функциональное состояние глаза и острота зрения во многом зависят от того, насколько хорошо глазные структуры снабжаются кровью [4]. Результатом данного вида исследования является график динамики кровоснабжения сетчатки глаза (рис. 2).
н$с РЕ01АТгаС НАМОЮТ 17-4 М*%с1Ьх\
06 ^п 03 Т1$ 0 6 М1 0.59 1233:51 рт Рг #16 3.0 ст
Со156% Мар 1 WF Н|дЬ РЯР2500 Н2 Ркт Ор!: №4 V
ЭУ Апдк -70е 0«р 17 ст Эй« 15 тт Рг«я4.0 МН2 WP 1о*
Оор 62% Мар 4 PRF 3731 Нх
Рис. 2. График динамики кровоснабжения сетчатки глаза
Электроретинография - метод диагностики состояния сетчатки, суть которого заключается в регистрации биоэлектрических импульсов в ответ на световое раздражение посредством осциллографа (рис. 3).
Рис. 3. График реакции сетчатки на раздражение светом
В процессе обследования параметры раздражителей могут меняться. Исследование проводят в затемненном помещении и на свету, используется свет с длинными и короткими волнами, постоянный и пульсирующий (стробоскоп) [5].
Электроретинография позволяет получить представление об общем состоянии сетчатки и ее отдельных частей и выявить заболевания глаз на ранних стадиях, когда видимые изменения еще не произошли. Данный способ исследования эффективен при патологиях, связанных с помутнением прозрачных сред [5].
Система идентификации фармакологической активности нового лекарственного средства
В данном исследовании рассмотрен метод анализа результатов проведения офтальмоскопии, основанный на сверточной нейронной сети. Этот метод реализован в разрабатываемой системе идентификации фармакологической активности нового лекарственного средства. Общий алгоритм работы системы представлен на рис. 4.
Рис. 4. Алгоритм определения активности лекарственного средства
В настоящее время реализация системы ограничена исследованиями в области офтальмологии ввиду наличия в открытом доступе данных, на основе которых можно проверить разработанный алгоритм.
Формирование обучающей выборки
Данные из источника [6] представлены в виде общего каталога изображений, в названии которых указаны их идентификаторы, и *.сэу файла, в котором соотносятся названия файлов изображений, данные пациента и поставленные диагнозы для левого и правого глаза (табл.).
Описание выборки изображений глазного дна (фрагмент)
Id* Возраст пациента Пол Фото левого глаза Фото правого глаза Диагноз левого глаза Диагноз правого глаза
32 59 Male 119_left.jpg 119_right.jpg Cataract Drusen
131 60 Female 254_left.jpg 254_right.jpg Cataract Macular epiretinal membrane
56 69 Female 294_left.jpg 294_right.jpg Cataract Normal fundus
345 65 Female 330_left.jpg 330_right.jpg Cataract Normal fundus
742 68 Male 448_left.jpg 448_right.jpg Cataract Moderate non proliferative retinopathy
* ID пациента. Датасет деперсонифицирован.
Был написан скрипт на языке Python, для формирования выборки изображений нормального состояния глазного дна и состояния при наличии у пациента катаракты (рис. 5).
Рис. 5. Обучающая выборка изображений глазного дна пациентов (фрагмент)
Для проведения текущего эксперимента выбрана одна патология - катаракта, в дальнейшем выборка будет постепенно расширяться.
Программная реализация модуля классификации офтальмологической патологии
В ходе исследования была обучена сверточная нейронная сеть в целях классификации изображений глазного дна для идентификации наличия патологий с использованием языка программирования Python и библиотек TensorFlow и Keras.
Разработанный модуль получает на входе обучающий и тестовый набор фотографий глазного дна, разделенных на классы по признаку наличия или отсутствия патологии. На выходе получается обученная нейросетевая модель с описанием ее параметров, функции потерь и точности.
Архитектура сверточной нейронной сети, используемой для обучения (рис. 6), состоит из 4-х повторяющихся сверточных и субдискретизирующих слоев, полносвязного слоя из 512 нейронов и двух нейронов выходного слоя.
Рис. 6. Архитектура разработанной сверточной нейросети
Была использована функция активации ReLU (Rectified Linear Unit), т. к. она менее требовательна к вычислительным ресурсам, в отличие от, например, гиперболического тангенса или сигмоида, и лучше подходит для разработки глубоких нейронных сетей [7].
Результаты экспериментов
Обучение нейронной сети проводилось на двух выборках. Первая состояла из 260 изображений (объем обучающей выборки - 180 изображений, тестовой - 80) размером 2 240 х 1 488. При этом на 24-й эпохе началось переобучение, и в конечном итоге точность модели не превышала 75 % (рис. 7) [8].
В процессе обучения нейросети на второй выборке, состоявшей из 4 000 изображений размером 192 х 256, разделенных на 2 668 изображений для обучающего набора и 1 332 - для тестового, переобучения не происходило [9].
Рис. 7. Графики точности и функции потерь модели первого эксперимента
В результате обучения на тестовом наборе данных точность около 70 % была получена на момент 20 эпохи (рис. 8).
00 2.5 5.0 7.5 10.0 12.5 15.0 17.5 00 2.5 50 75 10.0 12.5 15.0 17.5
Рис. 8. Графики точности и функции потерь модели второго эксперимента
Так как для второго набора данных точность продолжала расти и для тестовых данных была ниже, чем у тренировочных, был проведен третий эксперимент с установленным количеством эпох, равным 100. Точность модели во время обучения составила 90 %, а точность тестовой выборки - 81 %. При этом начиная с 71-й эпохи точность тестового набора прекратила изменяться и обучение было остановлено (рис. 9).
Рис. 9. Графики точности и функции потерь модели третьего эксперимента
Обучение проводилось на персональном компьютере (Intel Core i7-8750H, 16 ГБ ОЗУ, Nvidia GeForce 1050Ti). Переобучение нейронной сети в ходе исследования не происходило.
Заключение
Исходя из результатов третьего эксперимента, можно сделать вывод, что потенциал используемой обучающей выборки полностью исчерпан и достигнут достаточный показатель точности модели для корректной классификации изображения глазного дна на предмет наличия патологии. Развитие данной задачи может быть в добавлении новых видов патологий и расширении классификации, а в дальнейшем - в адаптации полученной модели на изображения более высокого расширения, что позволит разрабатываемому программному обеспечению быть более универсальным по отношению к приборам, с помощью которых проводится получение фотографий глазного дна пациента. В то же время результаты исследования дают возможность разработать комплексный подход в определении фармакологической активности новых лекарственных препаратов, действующих в рамках лечения различных патологий глаз.
В дальнейшем планируется расширить обучающую выборку и провести повторный эксперимент. В то же время разработанная модель уже может быть внедрена в концепцию системы идентификации фармакологических свойств химического соединения [10, 11]. В рамках этой концепции появляется возможность формирования наборов данных, необходимых для автоматизации проведения доклинических лабораторных исследований. И далее, на основе обработанных результатов проведения офтальмоскопических испытаний (электроретинография, тонометрия и до-пплерография) [12], применяя разработанный метод классификации офтальмологических патологий, можно построить более точную модель, которая будет использована в поддержке принятия решения при определении фармакологической активности лекарственного средства.
СПИСОК ЛИТЕРА ТУРЫ
1. Al-Gunaid M. A., Shcherbakov M. V., Kravets A. G., Loshmanov V. I., Shumkin A. M., Trubitsin V. N., Vakulenko D. V. Analysis of Drug Sales Data based on Machine Learning Methods // 7th International Conference on System Modeling & Advancement in Research Trends (SMART-2018, IEEE Conference ID: 44078) (23rd-24th November, 2018): Proceedings. New Delhi, 2018. P. 32-38.
2. Kravets A. G., Al-GunaidM. A., Loshmanov V. I., Rasulov S. S., Lempert L. B. Model of medicines sales forecasting taking into account factors of influence // Journal of Physics: Conference Series. 2018. V. 1015. P. 8.
3. Nagasato D., Tabuchi H., Ohsugi H., Masumoto H., Enno H., Ishitobi N., Sonobe T., Kameoka M., Niki M., Hayashi K., Mitamura Y. Deep Neural Network-Based Method for Detecting Central Retinal Vein Occlusion Using Ultrawide-Field Fundus Ophthalmoscopy // Hindawi Journal of Ophthalmology. 2018. V. 1-6. DOI: 10.1155/2018/1875431.
4. Guven A., Kara S. Classification of electro-oculogram signals using artificial neural network // Expert Systems with Applications. 2006. V. 31. P. 199-205.
5. Bagheri A., Adorno D. R., Rizzo P., Barraco R., Bellomonte R. Empirical mode decomposition and neural network for the classification of electroretinographic data // Medical and Biological Engineering. 2014. V. 52. P. 619-628.
6. Ocular Disease Recognition. URL: https://www.kaggle.com/andrewmvd/ocular-disease-recognition-odir5k (дата обращения: 21.02.2021).
7. Avinash Sharma V. Understanding Activation Functions in Neural Networks. URL: https://medium.com/the-theory-of-everything/understanding-activation-functions-in-neural-networks-9491262884e0 (дата обращения: 21.02.2021).
8. Нгуен Т. В., Зыонг К. Х. Т., Кравец А. Г. Анализ и прогноз тенденций использования терминов в компьютерных науках на основе нейросетевых моделей // Вестн. компьютер. и информац. технологий. 2021. Т. 18. № 2. С. 24-38.
9. Кравец А. Г., Бурмистров А. С., Задорожный П. А. Экспериментальное определение оптимальных параметров рекуррентной нейронной сети для задач классификации патентов // Моделирование, оптимизация и информационные технологии (Modeling, Optimization and Information Technology «MOIT»): науч. журн.: сетевое изд. 2019. Т. 7. № 2 (25). C. 325-338. URL: https://moit.vivt.ru/wp-content/uploads/2019/05/KravetsSoavtors_2_19_1 .pdf (дата обращения: 21.02.2021).
10. Ажмухамедов И. М., Демина Р. Ю. Повышение качества классификации объектов на основе введения новой метрики кластеризации // Вестн. Астрахан. гос. техн. ун-та. Сер.: Управление, вычислительная техника и информатика. 2019. № 4. С. 106-114.
11. Веденина Н. В., Кравец А. Г. Программный комплекс прогнозирования опасности новых и малоизученных химических соединений и веществ // Вестн. компьютер. и информац. технологий. 2011. № 6. C. 53-56.
12. Boquete L., Miguel-Jiménez J. M., Ortega S., Rodríguez-Ascariz J. M., Pérez-Rico C., Blanco R. Multi-focal electroretinogram diagnosis of glaucoma applying neural networks and structural pattern analysis // Expert Systems with Applications. 2012. V. 39. Iss. 1. P. 234-238.
Статья поступила в редакцию 23.03.2021
ИНФОРМАЦИЯ ОБ АВТОРАХ
Вадим Игоревич Лошманов - аспирант кафедры систем автоматизированного проектирования и поискового конструирования; Волгоградский государственный технический университет; Россия, 400005, Волгоград, loshmanov.vadim17@gmail.com.
Алла Григорьевна Кравец - д-р техн. наук, профессор; профессор кафедры систем автоматизированного проектирования и поискового конструирования; Волгоградский государственный технический университет; Россия, 400005, Волгоград, agk@gde.ru.
DEVELOPMENT AND VALIDATION OF OPHTHALMIC PATHOLOGY CLASSIFICATION METHOD USING DEEP MACHINE LEARNING
V. I. Loshmanov, A. G. Kravets
Volgograd State Technical University, Volgograd, Russian Federation
Abstract. The article highlights the problem of improving the numerous practical methods of developing the new chemical compounds that can be used in pharmacology. One of the possible ways to introduce innovative methods into conducting preclinical drug tests is the application of actively developing information technologies, such as data mining with methods of deep machine learning. With a huge amount of data accumulated over several years of preclinical research, the practical solutions in this area allow to obtain a neural network data model with greater degree of accuracy, though, there is no universal method that would allow a comprehensive approach to the problem of analyzing the results of preclinical laboratory studies of drugs. Existing solutions have a few disadvantages, which prevents from using them in practice. The two main problems are: the difficulty in verifying the results and the incompleteness of the list of calculated parameters. A system of identifying the pharmacological activity of a new drug is proposed to solve the problem, which was considered on the example of ophthalmic preclinical laboratory studies. As part of the system development, a method for classifying ophthalmic pathology based on a convolutional neural network has been implemented. The architecture of the neural network has been developed, its hyperparameters being matched experimentally. The model accuracy during training made 90%, and the test sample accuracy made 81%.
Key words: medication, ophthalmic pathology, convolutional neural networks, pharmacological activity, laboratory research.
For citation: Loshmanov V. I., Kravets A. G. Development and validation of ophthalmic pathology classification method using deep machine learning. Vestnik of Astrakhan State Technical University. Series: Management, Computer Science and Informatics. 2021;2:57-65. (In Russ.) DOI: 10.24143/2072-9502-2021-2-57-65.
REFERENCES
1. Al-Gunaid M. A., Shcherbakov M. V., Kravets A. G., Loshmanov V. I., Shumkin A. M., Trubitsin V. N., Vakulenko D. V. Analysis of Drug Sales Data based on Machine Learning Methods. 7th International Conference on System Modeling & Advancement in Research Trends (SMART-2018, IEEE Conference ID: 44078) (23rd-24th November, 2018): Proceedings. New Delhi, 2018. Pp. 32-38.
2. Kravets A. G., Al-Gunaid M. A., Loshmanov V. I., Rasulov S. S., Lempert L. B. Model of medicines sales forecasting taking into account factors of influence. Journal of Physics: Conference Series, 2018, vol. 1015, pp. 8.
3. Nagasato D., Tabuchi H., Ohsugi H., Masumoto H., Enno H., Ishitobi N., Sonobe T., Kameoka M., Niki M., Hayashi K., Mitamura Y. Deep Neural Network-Based Method for Detecting Central Retinal Vein Occlusion Using Ultrawide-Field Fundus Ophthalmoscopy. Hindawi Journal of Ophthalmology, 2018, vol. 1-6. DOI: 10.1155/2018/1875431.
4. Guven A., Kara S. Classification of electro-oculogram signals using artificial neural network. Expert Systems with Applications, 2006, vol. 31, pp. 199-205.
5. Bagheri A., Adorno D. R., Rizzo P., Barraco R., Bellomonte R. Empirical mode decomposition and neural network for the classification of electroretinographic data. Medical and Biological Engineering, 2014, vol. 52, pp. 619-628.
6. Ocular Disease Recognition. Available at: https://www.kaggle.com/andrewmvd/ocular-disease-recognition-odir5k (accessed: 21.02.2021).
7. Avinash Sharma V. Understanding Activation Functions in Neural Networks. Available at: https://medium.com/the-theory-of-everything/understanding-activation-functions-in-neural-networks-9491262884e0 (accessed: 21.02.2021).
8. Nguen T. V., Zyong K. Kh. T., Kravets A. G. Analiz i prognoz tendentsii ispol'zovaniia terminov v komp'iuternykh naukakh na osnove neirosetevykh modelei [Analysis and forecast of trends in using terms in computer science based on neural network models]. Vestnik komp'iuternykh i informatsionnykh tekhnologii, 2021, vol. 18, no. 2, pp. 24-38.
9. Kravets A. G., Burmistrov A. S., Zadorozhnyi P. A. Eksperimental'noe opredelenie optimal'nykh par-ametrov rekurrentnoi neironnoi seti dlia zadach klassifikatsii patentov [Experimental determination of optimal parameters of recurrent neural network for problems of patent classification]. Modelirovanie, optimizatsiia i in-formatsionnye tekhnologii (Modeling, Optimization and Information Technology «MOIT»): nauchnyi zhurnal: setevoe izdanie, 2019, vol. 7, no. 2 (25), pp. 325-338. Available at: https://moit.vivt.ru/wp-content/uploads/2019/05/KravetsSoavtors_2_19_1 .pdf (accessed: 21.02.2021).
10. Azhmukhamedov I. M., Demina R. Iu. Povyshenie kachestva klassifikatsii ob"ektov na osnove vvedeniia novoi metriki klasterizatsii [Improving quality of object classification based on introduction of new clustering metric]. Vestnik Astrakhanskogo gosudarstvennogo tekhnicheskogo universiteta. Seriia: Upravlenie, vychislitel'naia tekhnika i informatika, 2019, no. 4, pp. 106-114.
11. Vedenina N. V., Kravets A. G. Programmnyi kompleks prognozirovaniia opasnosti novykh i maloi-zuchennykh khimicheskikh soedinenii i veshchestv [Software complex for predicting danger of new and little-studied chemical compounds and substances]. Vestnik komp'iuternykh i informatsionnykh tekhnologii, 2011, no. 6, pp. 53-56.
12. Boquete L., Miguel-Jiménez J. M., Ortega S., Rodríguez-Ascariz J. M., Pérez-Rico C., Blanco R. Multifocal electroretinogram diagnosis of glaucoma applying neural networks and structural pattern analysis. Expert Systems with Applications, 2012, vol. 39, iss. 1, pp. 234-238.
The article submitted to the editors 23.03.2021
INFORMA TION ABOUT THE A UTHORS
Vadim I. Loshmanov — Postgraduate Student of the Department of CAD and Search Engineering Systems; Volgograd State Technical University; Russia, 400005, Volgograd; loshmanov.vadim17@gmail.com.
Alla G. Kravets — Doctor of Technical Sciences, Professor; Professor of the Department of CAD and Search Engineering Systems; Volgograd State Technical University; Russia, 400005, Volgograd; agk@gde.ru.
