CC BY
65
i/i информационные
технологии
В.А. ЛАЗАРЕНКО,
д.м.н., профессор, федеральное государственное бюджетное образовательное учреждение высшего образования «Курский государственный медицинский университет» Министерства здравоохранения Российской Федерации, г. Курск А.Е. АНТОНОВ,
к.м.н., федеральное государственное бюджетное образовательное учреждение высшего образования «Курский государственный медицинский университет» Министерства здравоохранения Российской Федерации, г. Курск
ОПЫТ РАЗРАБОТКИ ПРОГРАММНОГО КОМПЛЕКСА ДЛЯ НЕЙРОСЕТЕВОЙ ДИАГНОСТИКИ И ПРОГНОЗИРОВАНИЯ ЗАБОЛЕВАНИЙ ГЕПАТОПАНКРЕАТОДУОДЕНАЛЬНОЙ ЗОНЫ
УДК [616.366-002+616.37-002+616.342]-037:004.9
Лазаренко В.А., Антонов А.Е. Опыт разработки программного комплекса для нейросетевой диагностики и прогнозирования заболеваний гепатопанкреатодуоденальной зоны (федеральное государственное бюджетное образовательное учреждение высшего образования «Курский государственный медицинский университет» Министерства здравоохранения Российской Федерации, г. Курск)
Аннотация. В статье приводится опыт самостоятельной разработки программного комплекса для диагностики и прогнозирования заболеваний гепатопанкреатодуоденальной зоны с применением искусственной нейронной сети типа многослойного персептрона с активационной функцией - гиперболическим тангенсом. Описывается характеристика анализируемых данных, в качестве которых выступила совокупность факторов риска развития язвенной болезни, холецистита и панкреатита. Обосновывается потребность в применении автоматизированных систем управления, действующих на принципах искусственных нейронных сетей. Приводятся принципы функционирования многослойного персептрона, а также предлагаются модификации, оптимизирующие разработку программного комплекса и способствующие решению ряда проблем, возникающих при практической реализации самой системы, а также при подготовке данных. Предлагается набор возможных входных и выходных параметров сети, предназначенных для ее обучения. Статья содержит описание реализованного на практике интерфейса пользователя, сконструированного для создания, настройки, обучения и клинического применения искусственной нейронной сети, а также построения ее графов и статистической оценки качества ее функционирования.
Ключевые слова: язвенная болезнь, холецистит, панкреатит, многослойный персептрон, искусственный интеллект, искусственная нейронная сеть, прогнозирование, диагностика.
UDC [616.366-002+616.37-002+616.342]-037:004.9
Lazarenko V.A., Antonov A.E. Experience of the Development of the Software Package for Neural Network Diagnosis and Prediction of Diseases of Hepatopancreatoduodenal Zone (Federal State Budgetary Educational Institution of Higher Education «Kursk State Medical University» of the Ministry of Healthcare of the Russian Federation, Kursk, Russia) Abstract. The article presents the experience of the internal development of a software package for diagnosis and forecasting diseases of hepatopancreatoduodenal zone based on the artificial neural network of multilayer perceptron type with hyperbolic tangent taken as an activation function. The article includes the characteristics of the analyzed data which is the set of risk factors for the development of peptic ulcer, cholecystitis and pancreatitis and substantiates the necessity for the application of automated control systems acting on the principles of artificial neural networks. The methods of operating of a multilayer perceptron are given, and there are proposed modifications intended to optimize the development of the software package and to solve a number of problems that arise during practical implementation of the system and during data preparation. A set of possible input and output parameters of the network, intended for its training, is proposed. The article contains the description of the practically developed user interface, intended to create, configure, train and clinically apply the artificial neural network, as well as to construct its graphs and statistically control its functioning.
Keywords: peptic ulcer, cholecystitis, pancreatitis, multilayer perceptron, artificial intelligence, artificial neural network, forecasting, diagnosis.
© В.А. Лазаренко, А.Е. Антонов, 2017 г.
ВВЕДЕНИЕ
Традиционный математический подход применим в отношении статистической оценки популяционных и групповых закономерностей [1,6—8], однако совокупность анализируемых медицинских данных больных с заболеваниями гепатопанкреатодуоденальной зоны демонстрирует паутинную причинность [5], что налагает ряд ограничений на возможности применения таких методов [13], в том числе сложность формирования индивидуализированной клинической стратегии. Одним из актуальных методов комплексной обработки сложной медицинской информации является применение современных информационных технологий [11], в частности, интеллектуального анализа, основывающегося на искусственных нейронных сетях (ИНС) [3, 9, 12, 15]. Особую роль ИНС приобретают в диагностике, дифференциальной диагностике и прогнозировании заболеваний [2]. На рынке присутствуют предложения по программному обеспечению, обладающему возможностями по анализу данных с помощью ИНС. Вместе с тем такие средства, как NeuroPro® В.Г. Царегородцева© [14] и MATLAB® компании Mathworks© [4], являются коммерческими и неспециализированными (неадаптированными для медицинских задач), что затрудняет их применение практическим врачом, организующим лечение пациентов с язвенной болезнью, холециститом и панкреатитом.
В связи с изложенным, целью нашего исследования явилось: разработать программный комплекс для создания, обучения, настройки и клинического применения искусственной нейронной сети для диагностики и прогнозирования заболеваний гепатопанкреатодуоде-нальной зоны.
МЕТОДЫ
Исследование проведено по данным анкетирования и сбора объективной информации о состоянии здоровья 488 пациентов с заболеваниями гепатопанкреатодуоденальной зоны
(язвенной болезнью, холециститом и панкре атитом), проходивших стационарное лечение в медицинских организациях города Курска.
В качестве признаков, принятых для анализа, использовались факторы риска, известные из доступной литературы, посвященной этиопа-тогенезу заболеваний гепатопанкреатодуоде-нальной зоны, а именно те из них, которые могут быть установлены в ходе опроса больного без применения дополнительных лабораторно-инструментальных методов исследования. К количественным факторам относились, в частности, возраст пациента (или год рождения - при прогнозировании возраста вероятной госпитализации). К качественным - пол, наличие стресса перед поступлением, факт злоупотребления алкоголем и курение, наличие инвалидности и степень тяжести при поступлении, занятость, одиночество, отношения и ссоры в семье, особенности питания (субъективное и объективное соблюдение диеты, сухоядение), периодическое обращение за медицинским консультированием в профилактических целях, выполнение врачебных рекомендаций.
Разработка искусственной нейронной сети осуществлялась с применением языка программирования семейства Pascal с учетом особенностей этиопатогенеза, диагностики и классификации заболеваний гепатопан-креатодуоденальной зоны. В качестве архитектуры ИНС был избран многослойный пер-септрон, продемонстрировавший по данным литературы свою эффективность в решении практических задач [16]. В качестве функции активации нами был выбран гиперболический тангенс (tanh), поскольку он обладает как общими преимуществами сигмоидальных функций, в т.ч. большим усилением малых значений NET, возможностью выражения своей первой производной через свое значение, что исключает необходимость повторного ресурсоемкого расчета значений функций активации, так и дополнительным преимуществом - симметричностью относительно начала координат.
>
РЕЗУЛЬТАТЫ
В ходе разработки программы использовалась математическая модель искусственной нейронной сети (ИНС) на основе многослойного персептрона с дополнительным выходным (восстанавливающим) слоем (рис. 1).
Рис. 1. Архитектура многослойного персептрона с двумя входами, одним выходом, тремя скрытыми слоями,
содержащими по три нейрона. 10 - входной нормализующий слой,
Н1-Н3 - скрытые слои, О0 - выходной слой, 01 - выходной восстанавливающий слой.
Распространение сигнала в представленной сети происходит слева направо. Каждый нейрон скрытых слоев и О0 выходного слоя ИНС включает в себя два компонента - взвешенный сумматор и функцию активации (рис. 2).
Рис. 2. Схема устройства искусственного нейрона.
В целях оптимизации вычислительных ресурсов смещение нейрона (офсет) было замещено нами нулевым входом, не ассоциированным с какими-либо нейронами предыдущего слоя. Это позволило выполнить преобразование суммы произведений входов на их весовые коэффициенты по формуле (1), а также упростить алгоритмизацию обучения ИНС:
NET=Wq + IwiXi
x. = <
i=1
I
i=0
Xf\
wx = WX,
(1)
= 1
где w0 - смещение нейрона и весовой коэффициент нулевого входа;
х. - величина импульса на i-ом входе нейрона;
w. - весовой коэффициент данного входа;
X - входной вектор, включающий х0 = 1;
W - массив весов входов нейрона, включающий w0.
Таким образом, математической моделью работы искусственного нейрона становится расчет значения OUT по следующей формуле (2):
OUT = f (NET) = tanh WX (2)
Поскольку значения входа ИНС могут иметь разную размерность, а также быть числовыми и булевыми, ИНС нуждается в наличии входного нормализующего слоя (I0), адаптирующего значения по следующему алгоритму:
1. Для логических входов отрицательный ответ (ложь) передается как -1, положительный (истина) - как +1. Неопределенный ответ принимается равным 0.
2. Для количественных входов сеть вычисляет среднее значение для данного входа во всем обучающем множестве, после чего определяет разность между максимумом и средним значением, а также между средним значением и минимумом. Большее из этих чисел принимается в качестве коэффициента. Среднее значение принимается равным 0. Нормализованные значения xN определяются согласно формуле (3):
х
х х
N
max( х — х, х — х )
V"^max ' mm/
(3)
Неопределенное значение х подается на вход сети как 0.
В качестве точки отсчета помимо среднего арифметического х могут быть выбраны мода,
медиана, среднее значение между xmax и xmin или иное число. Приращение такого аргумента от оптимального значения будет корректироваться другим слагаемым взвешенного сумматора NET нейрона слоя H - офсетом w(x0 = wQ (1), а также весовым коэффициентом w., связанным с рассматриваемым входным значением x„r. Обе величины на этапе создания сети устанавливаются случайным образом, а их оптимальное значение вычисляется в процессе обучения ИНС. Выбор х был обусловлен алгоритмической простотой его вычисления, простотой преобразований значений количественного входа.
3. Для качественных входов, принимающих одно из нескольких значений из перечня, на этапе проектирования создавался словарь соответствия каждого варианта некоторому числу отрезка [-1; 1]. Неопределенное и максимально нейтральное значения принимались равными 0. Прочие значения располагались на числовой оси, сообразуясь с предположительным действием фактора и его направленностью.
Значение OUT нейронов выходного слоя O0 лежит в интервале от -1 до 1. В связи с этим выход OUT данного слоя нуждается в интерпретации результата (восстановлении значения). Эту функцию осуществляет слой Oj
1. Для логических выходов используется устанавливаемое пользователем пороговое значение yB е [0; 1) и преобразование осуществляется по формуле (4):
fsgn y,\у\ > Ув ydN Ч 0| < (4)
[ 0,|у\ < Ув
Для целей исследования было подобрано оптимальное значение yB = 0,3. Математически такое преобразование может быть упрощено заменой активационной функции нейрона выходного слоя (tanh) на некоторую пороговую функцию, однако такая замена усложнит архитектуру ИНС и алгоритм ее обучения.
2. Для количественных выходов применяет ся статистика обучающего множества (5):
ydN = У Х max(zrnax - z > z - zmm) + Z >
(5)
где z и z . . z - максимальное, минимальное
max mm' '
и среднее значение данного выхода в обучающем множестве.
3. Применение качественных выходов для поставленных задач диагностики и прогнозирования возраста возникновения заболеваний не требовалось.
Обучение ИНС осуществляется методом обратного распространения ошибки. Для выходного слоя ошибка ö определяется как (6)
Ö = ZN - У
(6)
где z
N
нормализованное значение выхода образа из обучающего множества, y - расчётное значение, определяемое ИНС, т.е. выход OUT соответствующего нейрона слоя O0.
Ошибки нейронов скрытых слоев определяются как взвешенная по весовым коэффициентам сумма ошибок нейронов слоя, имеющего порядковый номер l больше на 1, т.е. соседнего справа.
После определения ошибок нейронов ИНС вычисляет скорректированное значение весов их входов. В случае использования гиперболического тангенса как функции активации применяется формула (7):
d tanh NET,
wyi = wji
jl
dNET
-X: =
jl
wul +nSjl (l - OUT)
(7)
где w' - новое значение весового коэффициента,
w - текущее значение коэффициента,
П - коэффициент, описывающий скорость обучения ИНС. Его значение определяется сетью в начале каждой эпохи обучения, индексы i, j, I соответственно обозначают порядковые номера входа нейрона, нейрона в слое и слоя в ИНС.
>
■■■
РЧН
и информационные
технологии
Рис. 3. Форма настройки ИНС.
Практическая реализация приведенной математической логики заключается в следующем. После запуска задания для настройки ИНС программа выводит на экран форму (рис. 3).
На данном этапе пользователь имеет возможность указать количество скрытых слоев, число нейронов в скрытом слое. Поле «начальные веса» позволяет указать точное значение или предоставить сети установить случайные величины принадлежащие отрезку [-1; 1]. Поле «пороговое значение для булевых выходов» соответствует значению ув. Значения начального коэффициента ц и скорости обучения V позволяют сети вычислять показатель п в зависимости от порядкового номера эпохи 5 по формуле (8):
(8)
Число эпох обучения сети и число попыток создания ИНС также могут быть установлены исследователем. Обучающее множество перед началом каждой эпохи перетасовывается с применением алгоритма Фишера-Йетса.
Сеть обладает функциональностью для расчета своей ошибки. Алгоритм вычисления может быть выбран пользователем из следующего перечня:
1. Расчет не выполняется.
2. Суммарная квадратическая ошибка (вычисляется для выходов слоя О0).
3. Средняя относительная ошибка (вычисляется для выходов слоя О0).
4. Оптимальные чувствительность и специфичность (вычисляется для логических выходов слоя О,).
В случае если исследователем указано число попыток >1, сеть создается и обучается
■ ■■
РЧН
повторно. После последней итерации матрица весов Ж, обеспечивающая минимальное значение ошибки при расчете выходов обучающего множества, признается оптимальной и устанавливается в качестве активной.
«Система интеллектуального анализа и диагностики заболеваний» реализована с учетом исполнения на многопроцессорных и многоядерных ЭВМ. Пользователю предоставлена возможность установить параметры ее работы, указывающие количество создаваемых потоков, вычисления в которых идут параллельно. В зависимости от настроек и загрузки ПК фоновыми процессами прирост производительности достигает 400%.
Важной настройкой является определение объема выборки для статистической оценки работы обученной сети. Пользователь может указать как точное число единиц наблюдения, так и предоставить ИНС возможность использовать все доступные.
В правой верхней части формы (рис. 3) присутствует группа элементов настройки фильтров. Исследователь может определить
категории больных, данные которых будут ис пользоваться для обучения ИНС или для статистического анализа ее работы.
Правая нижняя часть формы предлагает исследователю возможность выбора использующихся для обучения сети входных (пол, возраст, вредные привычки и образ жизни) и выходных (различные заболевания, возраст вероятной госпитализации) параметров. Их число определяет количество и типы входов и выходов ИНС.
Присутствующие на форме кнопки с наглядными иллюстрациями запускают связанные с ними процедуры однократного создания ИНС, создания серии ИНС и выбора обладающей меньшей ошибкой, сохранения сети в файл и загрузки из файла.
Дополнительными функциями являются:
I. Возможность построить граф сети (кнопка «Нарисовать»). Данный метод позволяет изобразить структуру сети (рис. 4), сообщить пользователю ее подробные параметры.
Такая схема позволяет исследователю визуально оценить параметры нормализующего и восстанавливающего слоев, значения
Рис. 4. Пример структуры ИНС с четырьмя входами (тремя логическими и одним параметрическим), одним логическим выходом, тремя скрытыми слоями, содержащими по три нейрона.
>
весовой матрицы, выявить ошибки проектирования сети и наметить пути их исправления.
II. Кнопка «Анализ пациента» обеспечивает возможность подробно оценить числовые значения входного и выходного вектора случайного больного. Пользователь может убедиться в корректности нормализации входного и восстановления выходного векторов, увидеть фактические и расчетные показатели выходного вектора, сравнить их.
III. Кнопка «Статистика» запускает процедуру статистической оценки работы обученной ИНС. Для ее проведения используется выборка, определяемая настройками фильтра формы настройки ИНС. Для обучения и статистического анализа могут применяться различные выборки, отбираемые с помощью фильтра.
Для каждого логического выхода ИНС определяет чувствительность (долю корректно определенных положительных результатов), специфичность (долю корректно определенных отрицательных результатов), долю ложнополо-жительных и ложноотрицательных результатов.
Для количественных выходов анализ работы ИНС составляет отдельную статистическую подпрограмму, вычисляющую среднюю ошибку прогноза ME, средний квадрат ошибки прогноза MSE, среднюю абсолютную ошибку прогноза MAE, среднюю процентную ошибку MPE, среднюю абсолютную процентную ошибку MPAE и другие статистические показатели.
IV. Кнопка «Соединить сети» открывает диалоговое окно, в котором исследователь выбирает одну из сохраненных ранее сетей. После чего «Система интеллектуального анализа и диагностики заболеваний» осуществляет ее присоединение к открытой (активной) ИНС. Для слияния сети должны иметь одинаковый набор входных и различный набор выходных векторов, а также иметь равное число скрытых слоев. Функция может запускаться последовательно несколько раз, что позволит объединить серию сетей в одну. Математической основой соединения сетей является
суммирование количества нейронов скрытых и выходных слоев с последующим присвоением 0 весовым коэффициентам, отвечающим за связь нейронов смежных сетей между собой. Таким образом, результирующая сеть приобретает несколько независимых кластеров, объединяемых общим входным слоем I0 и независимым вычислением значений NET и OUT скрытых и выходного слоев. Такое объединение позволяет осуществлять независимое обучение сетей для диагностики различных заболеваний, что позволяет снизить временные затраты на обучение объединенной сети.
Обученная ИНС может использоваться для диагностики заболеваний гепатопанкреатоду-оденальной области на основе анализов факторов риска, а также прогнозирования количественных показателей здоровья (например, возраст вероятной госпитализации). Для этого данные о факторах риска больного вводятся в основную форму программы. После чего нажатием на кнопку «Диагностический совет» программа выполняет обработку введенных данных и выводит на экран форму с результатом своего анализа (рис. 5).
ОБСУЖДЕНИЕ
Президент В.В. Путин 1 сентября 2017 года отмечал, что «искусственный интеллект - это будущее не только России, это будущее всего человечества...» [10]. Достижение стратегической цели развития таких технологий требует разработки и накопления опыта применения ИНС в различных отраслях экономики. Однако понимание механизма их функционирования требует глубокого анализа специальной литературы, что не всегда доступно исследователям, не обладающими техническими знаниями, что формирует у ученых убеждение, что для применения ИНС требуются дорогостоящие программные комплексы. Представленный опыт разработки нейросети для диагностики и прогнозирования заболеваний гепатопанкреатодуоденальной зоны
■ ■■
РЧН
Рис. 5. Примеры форм с решениями обученной ИНС в отношении пациентов: а - показано корректное заключение сети о диагнозе больного (панкреатит); б - решение обученной ИНС в отношении пациента 50 лет. Показано заключение сети с высокой точностью (абсолютная процентная ошибка МРАЕ < 5%) о возрасте вероятной госпитализации (й = -1,2 года).
демонстрирует возможности самостоятельного проектирования новых ИНС для интеллектуального анализа биомедицинских данных и более широкого внедрения нейросетей в медицинскую практику.
ЗАКЛЮЧЕНИЕ
«Система интеллектуального анализа и диагностики заболеваний» прошла официальную регистрацию. Получено свидетельство о государственной регистрации программы для ЭВМ № 2017613090. Среда обеспечивает возможность анализа данных пациентов с применением ИНС на основе многослойного персептрона. Программа обладает широкими возможностями по тонкой настройке своих параметров (начальных значений весовых коэффициентов, скорости обучения,
числа скрытых слоев и количества нейронов в них и пр.), позволяет наглядно графически представить свою структуру, автоматически осуществляет выбор оптимально обученной ИНС за счет вычисления ошибок. Система обладает функциональностью сохранения в файл и загрузки из файла обученных сетей, объединения таких сетей между собой. Программа адаптирована к использованию на многопроцессорных и многоядерных ЭВМ. По результатам ввода данных в БД пользователь может запросить решение ИНС по конкретному больному и получить его в наглядной форме. «Система интеллектуального анализа и диагностики заболеваний» включает подпрограмму, предназначенную для проведения статистической оценки качества работы ИНС. В среду заложен функционал по
■■■
РЧН
оценке чувствительности, специфичности, долям ложноположительных и ложноотрицатель-ных результатов определения значений выходов логического типа. При анализе выходов, связанных с количественными показателями
система вычисляет значения различных видов ошибок прогноза (ME, MSE, MAE, MPE, MPAE), а также оценивает качество работы сети с применением методов описательной и индуктивной статистики.
ЛИТЕРАТУРА
| I 1. Авксентьева М.В., Салахутдинова С.К. Клинико-статистические группы (КСГ) как новый ■ÄU I'1' метод оплаты стационарной и стационарозамещающей помощи в Российской Федерации. 1Лекарственный вестник. - 2016. - Т. 10. - № 2 (62): 31-36.
' 2. Алексеева О.В., Россиев Д.А., Ильенкова H.A. Применение искусственных нейронных сетей в дифференциальной диагностике рецидивирующего бронхита у детей. Сибирское медицинское обозрение. - 2010. - № 6 (66): 75-79.
3. Жариков О.Г. Экспертные системы в медицине. Мед. новости. 2008; № 10: 15-18.
4. Запрос цены. Matlab. URL: http://matlab.ru/price.
5. Константинова Е.Д., Вараксин А.Н., Жовнер И.В. Определение основных факторов риска развития неинфекционных заболеваний: метод деревьев классификации. Гигиена и санитария. - 2013. - № 5: 69-72.
6. Лазаренко В.А., Антонов А.Е., Новомлинец Ю.П. Визуальная среда непараметрического корреляционного анализа факторов риска у больных с хирургической патологией. Журнал научных статей Здоровье и образование в XXI веке. - 2017. - № 19(4): 34-37.
7. Лазаренко В.А., Антонов А.Е., Прасолов А.В., Чурилин М.И. Проблема оптимизации регрессионного анализа в оценке факторов риска, влияющих на развитие хирургических заболеваний гепатопанкреатодуоденальной зоны. Журнал научных статей Здоровье и образование в XXI веке. - 2017. - № 19 (5): 24-27.
8. Лазаренко В.А., Антонов А.Е. Роль социальных факторов риска в развитии язвенной болезни в Курской области. Курский научно-практический вестник «Человек и его здоровье». - 2016. - № 2: 35-39. DOI: 10.21626/vestnik/2016-2/06.
9. Мустафаев А.Г. Применение искусственных нейронных сетей для ранней диагностики заболевания сахарным диабетом. Кибернетика и программирование. - 2016. - № 2: 1-7. DOI: 10.7256/2306-4196.2016.2.17904.
10. Путин: лидер по созданию искусственного интеллекта станет властелином мира. ТАСС. Информационное агентство России (1.09.2017). URL: http://tass.ru/obschestvo/4524746
11. Стародубов В.И., Зарубина Т.В., Сидоров К.В., Швырев С.Л., Раузина С.Е, Королева Ю.И. Нормативно-справочная информация при построении электронного здравоохранения в России: взгляд на проблему. Врач и информационные технологии. - 2017. - № 2: 19-28.
12. Соломаха А.А., Горбаченко В.И., Зарубина Т.В. Алгоритмы нейросетевой диагностики и прогнозирования осложнений у больных с гнойно-деструктивными заболеваниями лёгких. Системный анализ и управление в биомедицинских системах. - 2017. - Т. 16. - № 1: 125-134.
13. Федяева В.К., Реброва О.Ю., Омельяновский В.В. Сравнение методов оценки важности критериев при проведении многокритериального анализа принятия решений по финансированию редких заболеваний. Медицинские технологии. Оценка и выбор. - 2016. - № 3 (25): 8-13.
14. Царегородцев В.Г. Вопросы и ответы. NeuroPro. URL: http://neuropro.ru/faq.shtml.
15. Чубукова И.А. Data Mining. М.: БИНОМ. Лаборатория знаний. - 2008. - 324 с.
16. Ясницкий Л.Н. Богданов К.В., Черепанов Ф.М. Технология нейросетевого моделирования и обзор работ пермской научной школы искусственного интеллекта. Фундаментальные исследования. - 2013. - № 1 (часть 3): 736-740.
