Научная статья на тему 'Бионическая модель для идентификации биологических систем'

Бионическая модель для идентификации биологических систем Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
140
20
Читать
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
ЭНЕРГОИНФОРМАЦИОННЫЙ ПОДХОД / НЕЙРОННЫЕ СЕТИ / ГЕНЕТИЧЕСКИЙ АЛГОРИТМ / БИОНИЧЕСКАЯ МОДЕЛЬ / ОПТИМИЗАЦИЯ ГИПЕРПАРАМЕТРОВ

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Гергет Ольга Михайловна, Девятых Дмитрий Владимирович

В статье рассмотрена схема решения задачи поддержки принятия решений на основе обработки биомедицинских данных. С этой целью разработана бионическая модель, в основе которой лежат энергоинформационные подходы, нейронные сети и генетические алгоритмы. Апробация системы поддержки принятия решения на основе бионической модели проводилась на данных, характеризующих состояние беременных женщин. В статье представлен подход, посредством которого осуществляется выбор управляющего воздействия для минимизации риска возникновения неблагоприятного исхода. Управляющее воздействие (новый тип гиперпараметра) используется в качестве дополнительного входного сигнала, а его значения определяются методом конфигурации гиперпараметров. Приведено краткое описание программного обеспечения, реализованного на языке программирования Python.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Гергет Ольга Михайловна, Девятых Дмитрий Владимирович

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
Предварительный просмотр
i Надоели баннеры? Вы всегда можете отключить рекламу.

This article proposes a clinical decision support system that processes biomedical data. For this purpose a bionic model has been designed based on neural networks and genetic algorithms. The developed system has been tested on data from pregnant women. The paper focuses on the approach to enable selection of control actions that can minimize the risk of adverse outcome. The control actions (hyperparameters of a new type) are further used as an additional input signal. Its values are defined by a hyperparameter optimization method. A software developed with Python is briefly described.

Текст научной работы на тему «Бионическая модель для идентификации биологических систем»

УДК 004.93'12

БИОНИЧЕСКАЯ МОДЕЛЬ ДЛЯ ИДЕНТИФИКАЦИИ БИОЛОГИЧЕСКИХ СИСТЕМ

Гергет Ольга Михайловна

К.т.н., доцент, научный сотрудник, e-mail: gerget@tpu.ru Девятых Дмитрий Владимирович

Программист кафедры «Программной инженерии», e-mail: ddv.edu@gmail.com Томский политехнический университет, 634050, г. Томск, пр. Ленина, 30

Аннотация. В статье рассмотрена схема решения задачи поддержки принятия решений на основе обработки биомедицинских данных. С этой целью разработана бионическая модель, в основе которой лежат энергоинформационные подходы, нейронные сети и генетические алгоритмы. Апробация системы поддержки принятия решения на основе бионической модели проводилась на данных, характеризующих состояние беременных женщин. В статье представлен подход, посредством которого осуществляется выбор управляющего воздействия для минимизации риска возникновения неблагоприятного исхода. Управляющее воздействие (новый тип гиперпараметра) используется в качестве дополнительного входного сигнала, а его значения определяются методом конфигурации гиперпараметров. Приведено краткое описание программного обеспечения, реализованного на языке программирования Python. Ключевые слова: энергоинформационный подход, нейронные сети, генетический алгоритм, бионическая модель, оптимизация гиперпараметров.

Введение. В настоящее время актуальным является вопрос совершенствования технологий интеллектуальной поддержки принятия решений по минимизации риска возникновения неблагоприятных ситуаций [4, 12, 13]. Направление разработки систем поддержки принятия решений в медицине является продолжением и развитием дифференциальной диагностики.

Наиболее перспективным подходом для совершенствования систем диагностики является использование технологий анализа данных и машинного обучения. В частности решения, основанные на глубоком обучении (Deep Learning), комитете моделей (GradientBoosting), алгоритмах случайного леса (RandomForest) [7, 15] показывают хорошие результаты. Однако решения, внедряемые на практике и основанные на использовании данных технологий, носят эпизодический и скорее научно-исследовательский характер. В связи с этим была поставлена цель разработать систему поддержки принятия решения для идентификации функционального состояния биосистем в контексте идеи энергоинформационных процессов.

Рассмотрим схему поддержки принятия решений:

1. В момент времени ti сформировать образ объекта исследования на основании значений признаков, характеризующих функциональное состояние биообъекта.

2. Рассчитать интегральные показатели 1адапт для момента времени ti. Построить интегральные кривые.

3. Осуществить прогноз изменений признаков во времени (с различным горизонтом прогнозирования).

4. Определить прогнозное функциональное состояние. Рассчитать прогнозные значения 1*адапт и функциональные резервы.

5. Выполнить процедуру поиска оптимальных управляющих воздействий в моменты времени 11+1,11+2, ...

6. Отобразить возможные варианты управляющих воздействий для выбора оптимального.

Для решения задачи поддержки принятия решения разработана бионическая модель, в основе которой лежат энергоинформационный подход, генетические и нейронные системы.

1. Материалы и методы. Под бионическими моделями будем понимать математические модели, а также их программные реализации, построенные по принципу функционирования и организации биосистем.

Удобным способом реализации подхода для идентификации развивающихся систем является представление биообъекта посредством бионической модели, построенной на принципе взаимодействия нейронных сетей (N8), генетических алгоритмов (ОЛ) и энергоинформационных систем (I). Таким образом, каждый биообъект описывается бионической моделью вида <N8, ОЛ, I, Л> , где Л - алгоритмы настройки моделей.

Синтез NS, GA, I в бионических моделях позволяет системам обмениваться информацией и передавать в качестве входных воздействий на другую подсистему значения своих характеристик, что повышает качество функционирования и интрепретируемость.

2. Интегральная оценка функционального состояния на основе энергоинформационного подхода. Нормальное функционирование биосистемы протекает при малых отклонениях факторов от равновесного состояния, которые задают гомеостатическую область. Нарушение условий саморегуляции в области гомеостаза свидетельствует о деградации системы и характеризуется выходом за границы допустимых значений функциональных переменных. Это означает, что оценку качества динамической биосистемы разумно формировать на основе энергоинформационных показателей, что позволит выявлять не только функциональные особенности организма в различных условиях, но и делать выводы об адаптационных возможностях на основе проведения дозонологических обследований и соответствующего моделирования.

На основании реализации и анализа методов построения интегральных оценок в системе поддержки принятия решений использован подход [6], в котором рассматривается информационная мера, как мера предпочтительности поведения биообъекта.

Выбор обоснован анализом результатов, полученных с помощью:

1) интегрального критерия, в основе которого лежит оценка меры близости областей наблюдаемого и предпочтительного (референтного) состояний в пространстве признаков, где мера близости нормирована в метрике Махаланобиса на внутримножественное расстояние области референтного состояния [5];

2) интегрального критерия, в основе которого информационная мера Кульбака рассматривается как мера предпочтительности поведения биообъекта [ 1, 2].

3. Прогнозирование функционального состояния на основе бионических моделей. С целью прогнозирования изменения признаков, характеризующих состояние биосистемы во времени, а также функционального состояния организма при выборе того или

иного управляющего воздействия, в системе поддержки принятия решений на основе бионической модели выбраны нейронные сети. Это обусловлено: высокой эффективностью прогнозирования; возможностью реализации комитета моделей для выбора оптимального прогноза и использования рекурсивных нейронных сетей для вектора переменной структуры.

Пусть имеется объект, функциональное состояние которого характеризуется различными признаками xi, и способами влияния u на функциональное состояние. Функциональное состояние определяется на основе энергоинформационного подхода.

Считаем, что значение i-го признака в момент времени t+1 определяется следующей схемой: xi(t+1) = f(xi(t), xi(t-1), ... , uj)

Задача сводится к решению задачи прогнозирования временного ряда. C этой целью формируем n нейронных сетей (каждая нейронная сеть для каждого признака) и на основе имеющейся выборки данных осуществляем обучение.

Реализация алгоритмов прогнозирования осуществляется на основе рекуррентных динамических нейронных сетей (Recurrent Neural Networks) [11, 14], посредством которых можно получить точную идентификацию поведения. Основным преимуществом использования данного подхода является реализация идеи «sequence-to-sequence learning», а именно вектор произвольной длины на входе, вектор произвольной длины на выходе.

4. Формирование управляющего воздействия и минимизация риска перехода в неблагоприятное функциональное состояние. Функциональное состояние объекта в каждый момент времени характеризуется интегральным показателем /адаит, который является функцией от значений признаков. Кроме этого, для каждого объекта исследования заданы значения управляющего воздействия U = и^щ, ■■■ . Считаем, что для заданного горизонта управления заданы желаемые значения / (t), te[t0,tj в каждый момент времени. Задана

функция потерь [12], которая рассчитывается как разница между желаемым значением функционального состояния и реальным состоянием в определенный момент времени Q = Аср _ 4дапт- В этом случае функционал оптимизации может быть представлен в виде:

1 h * 2 J(x;и) = - £ С,,,, - /крг -> min,

i=h

где J(x;u)- целевая функция; /адапт! - прогнозные значения интегрального показателя.

5. Гиперпараметры модели и методы их оптимизации. Основой для моделирования индивидуальных медицинских процессов выступает нейросетевая модель, адаптивные нелинейные и динамические свойства которой могут быть использованы для извлечения большего количества знаний, заключенных во множестве информации, полученной в ходе диагностики и лечения.

Свойства нейросетевой модели могут быть отражены в виде параметров (весовые коэффициенты, изменяющиеся в процессе обучения), и гиперпараметров (все свойства модели, которые остаются неизменными в процессе обучения). Базовыми подходами к выбору гиперпараметров являются экспертные заключения или проход по сетке (grid-search). При экспертной оценке поиск модели осуществляется в некоторой области, вокруг точки в пространстве гиперпараметров. Проход по сетке осуществляет перебор всевозможных комбинаций моделей в заданном диапазоне значений гиперпараметров. Недостатком таких

где:--локальный градиент нейрона первого слоя; и - активационный потенциал; 117 -

подходов является то, что происходит обучение большого количества заведомо неудачных моделей.

Достижения в области глубокого обучения [10, 11] в настоящее время являются востребованными при моделировании динамических процессов.

Если рассмотреть проблему глубокого обучения с позиции обратного распространения ошибки, то становится очевидным наличие в сети затухания градиентов. В самом деле, для частного случая, когда максимум производной достигается в нуле и равен 0.25, а начальная инициализация подчиняется стандартному нормальному закону распределения, можно определить затухание следующим образом:

<0.25 <0^25

Н/7 / А / А пЕ

оЬ^ дип

дЕ

весовой параметр нейросетевой модели; f' - производная активационной функции по и. Подобный эффект обращения градиентов в ноль возникает при использовании любой активационной функции или способа инициализации весовых коэффициентов, так как проистекает из линейности обратного прохода по сети. Генетические же алгоритмы, не требующие вычисления градиентов нейронов, могут равномерно обучать нейроны, вне зависимости от их принадлежности к слою.

Оптимизация гиперпараметров, к которым мы относим управляющие воздействия, может быть решена с применением генетических алгоритмов. Благодаря механизму скрещивания, мутации и корректного формирования популяций можно существенно сократить процесс поиска гиперпараметров по сравнению с алгоритмами прохода-по-сетке. Применение генетического алгоритма заключается в формировании вариантов управляющего воздействия на основе, полученных с помощью предлагаемого энергоинформационного подхода, характеристик функционального состояния пациента с целью минимизации риска возникновения неблагоприятного исхода.

6. Программная реализация. В настоящее время ведется работа по реализации программного обеспечения системы поддержки принятия решений по принципу многомерной сети. Каждая ячейка сети содержит значение, отражающее эффективность решения конкретной задачи, достигнутое при определенных гиперпараметрах модели и примененного численного метода.

В нейросетевой модели в качестве гиперпараметров рассматриваем: количество слоев и нейронов в них; тип активационных функций и значения их коэффициентов, а также способ взаимодействия между нейронами.

Гиперпараметры обучающего алгоритма включают в себя: шаг обучения; тип начальной инициализации параметров; целевую функцию; механизм регуляризации; способ разделения обучающих данных на обучающую/тестовую/валидационную выборки; тип нормализации данных.

Программный комплекс допускает использование некоторых гиперпараметров в качестве входных сигналов. Для обозначения таких гиперпараметров используется термин «управляющее воздействие». При прогнозировании значения некоторой величины х(1) ее

значение определяется как на основе предыдущих значений: x(t-1), x(t-2), ..., x(t-p), так и контролируемого воздействия u(t). В контексте некоторой медицинской задачи u(t) можно интерпретировать как лечебно-корректирующее воздействие на организм.

Оптимизация гиперпараметров в рамках программного комплекса осуществляется с помощью генетического алгоритма, значение фиттинг-функции которого определяется разницей интегральных показателей.

Программное обеспечение (ПО) системы поддержки принятия решений реализуется на высокоуровневом языке программирования Python. ПО состоит из главного модуля и второстепенных: pybrain, numpy, pandas, scikit_learn, которые можно подключить при выполнении кода главного модуля. Второстепенные модули предоставляют готовые модели прогнозирования, в том числе и нейросетевые, а также алгоритмы их обучения. В основном модуле осуществляется: загрузка двух dataframe с наборами исходных данных и гиперпараметров, которые затем подаются в качестве аргументов конструкторам экземпляров классов «Модель» и «Учитель», и заполнение ячеек grid.

7. Результаты. Апробация системы поддержки принятия решений на основе бионической модели проводилась на данных, характеризующих состояние беременных женщин в течение 3-х триместров беременности. В качестве управляющего воздействия u(t) рассматривались коррекционные комплексы [2, 3]: 1) физические упражнения, дыхательная гимнастика, музыкальная терапия, аквагимнастика; 2) физические упражнения, дыхательная гимнастика, лекарственная терапия; 3 ) аквагимнастика, дыхательная гимнастика.

На первом этапе исследования были рассчитаны интегральные показатели и построены интегральные кривые (рис. 1).

Рис. 1. Интегральная кривая, где в качестве признаков xi были исследованы показатели

крови женщины

На втором этапе с помощью нейронных сетей были получены прогнозные значения показателей (в частности показателей крови женщины), характеризующих функциональное состояние женщины, и рассчитаны прогнозные значения /ад апт..

На следующем этапе исследования на основе генетического подхода, минимизируя риск отклонения интегрального показателя [1], характеризующего состояние управляемого объекта, от желаемого значения (магистрали нормального функционирования), были

подобраны корректирующие мероприятия. В таблице 1 приведены результаты реализации данного подхода.

Таблица 1. Варианты управляющего воздействия, подобранные с целью минимизации риска возникновения неблагоприятного исхода

Триместр Значения функции потерь С^ рассчитанные по показателям женщины из основной группы с соматическим заболеванием

1 коррекционный комплекс 2 коррекционный комплекс 3 коррекционный комплекс

1 0,4 0,7 0,1

2 0,2 0,7 0,3

3 0,1 0,5 0,4

По результатам, приведенным в таблице для конкретного объекта исследования, можно сделать вывод, что комплекс оптимальных корректирующих мероприятий в соответствии с триместрами должен включать 3-1-1 коррекционные комплексы.

Заключение. Использование энергоинформационного подхода, нейронных сетей и генетических алгоритмов в машинном обучении приводит к созданию бионической модели, обучение которой может осуществляться при совместном использовании градиентных и бионических алгоритмов. При исследовании влияния независимых переменных на зависимые учитывается значение управляющего воздействия.

Успешный выбор параметров и гиперпараметров модели и алгоритма обучения позволит минимизировать риск отклонения между реальными и желаемыми интегральными показателями, что даст возможность подобрать оптимальное управляющее воздействие на организм.

СПИСОК ЛИТЕРАТУРЫ

1. Гергет О.М., Кочегуров А.И. Использование энергетических и информационных показателей в оценке состояния функционирования медицинских систем // Известия Томского политехнического университета. 2012. Т. 321. №5. С. 117-120.

2. Гергет О.М., Берестнева О.Г., Пеккер Я.С. Автоматизированная информационная система оценки адаптации развивающихся систем // Проблемы информатики. 2011. № 2. С. 76-82.

3. Кривоногова Т.С., Евтушенко И.Д., Тренькаева Н.А., Гладких Л.К., Гергет О.М. Комплексный подход к оздоровлению беременных женщин. Томск. 2008. 183 с.

4. Массель Л.В., Массель А.Г. Интеллектуальные вычисления в исследованиях направлений развития энергетики // Известия Томского политехнического университета. 2012. Т.321. №5. С. 135-140.

5. Фокин В.А. Статистическое моделирование данных при оценке состояния биологических систем // Известия Томского политехнического университета. Инжиниринг георесурсов. 2004. Т. 307, №5. С. 136-138

6. Фокин В.А., Пеккер Я.С., Берестнева О.Г., Гергет О.М. Интегральные методы оценки состояния сложных систем // Известия Томского политехнического университета. 2012. Т. 321. № 5. С. 120-124.

7. Carmesin, H. (1994). Multilinear back-propagation convergence theorem. Physics Letters A. 188(1). Pp. 27-31.

8. D. Dasgupta. An immunological approach и их применение. 2006

9. D. Dasgupta, S. Forrest, P. Helman. An immunological approach to change detection: algorithms, analysis and implications. In Proceedings of the IEEE Symposium on Computer Security and Privacy. IEEE Computer Society Press. Los Alomitos. CA. 1996.

10. Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning: Data Mining, Inference, and Prediction. 2009. 745 p.

11. Goodfellow I., Bengio Y., Courville A. Deep Learning. Book in preparation for MIT Press.

12. Shcherbakov M., Kamaev V., Shcherbakova N. Automated Electric Energy Consumption Forecasting System Based On Decision Tree Approach // 7th IFAC Conference on Manufacturing Modelling, Management, and Control. 2013. Volume 46. Issue 9. Pp. 1027-1032.

13. Yurchenko M.A., Kochegurova E.A., Fadeev A.S., Piletskaya A.Y. Calculation of performance indicators for passenger transport based on telemetry information // Engineering Technology, Engineering Education and Engineering Management : proceedings of the International Conference on Engineering Technologies, Engineering Education and Engineering Management (ETEEEM 2014), China, November 15-16, 2014. London: Taylor & Francis Group. 2015. Pp. 847-851.

14. Wang, H. and Song, G. (2014). Innovative NARX recurrent neural network model for ultra-thin shape memory alloy wire. Neurocomputing. 134. Pp. 289-295.

15. http://scikit-

learn.org/stable/modules/generated/sklearn.ensemble.RandomForestClassifier.html

UDK 004.93'12

BIONIC MODELS FOR IDENTIFICATION OF BIOLOGICAL SYSTEMS

Olga M. Gerget

Ph.D., docent, e-mail: gerget@tpu.ru Dmitry V. Devjatykh

Programmer, e-mail: ddv.edu@gmail.com Tomsk Polytechnic University, 30, Lenina ave., Tomsk, 634050, Russia

Abstract. This article proposes a clinical decision support system that processes biomedical data. For this purpose a bionic model has been designed based on neural networks and genetic algorithms. The developed system has been tested on data from pregnant women. The paper focuses on the approach to enable selection of control actions that can minimize the risk of adverse outcome. The control actions (hyperparameters of a new type) are further used as an additional input signal. Its values are defined by a hyperparameter optimization method. A software developed with Python is briefly described.

Keywords: Energy-information approach, neural networks, genetic algorithm, bionic model, optimization of hyperparameters.

References

1. Gerget O.M., Kochegurov A.I. Ispol'zovanie jenergeticheskih i informacionnyh pokazatelej v ocenke sostojanija funkcionirovanija medicinskih sistem [Use of energy and information indicators in assessing the state of functioning of medical systems ] // Izvestija Tomskogo politehnicheskogo universiteta = Bulletin of the Tomsk Polytechnic University. 2012. T. 321. № 5. Pp. 117-120. (inRuaaian)

2. Gerget O.M., Berestneva O.G., Pekker Ja.S.Avtomatizirovannaja informacionnaja sistema ocenki adaptacii razvivajushhihsja sistem [Automated information system for assessing the adaptation of developing systems] // Problemy informatiki = Problems of Informatics. 2011. № 2. Pp. 76-82. (in Ruaaian)

3. Krivonogova T.S., Evtushenko I.D., Tren'kaeva N.A., Gladkih L.K., Gerget O.M. Kompleksnyj podhod k ozdorovleniju beremennyh zhenshhin [An integrated approach to the recovery of pregnant women] Tomsk. 2008. 183 p. (in Ruaaian)

4. Massel' L.V., Massel' A.G. Intellektual'nye vychislenija v issledovanijah napravlenij razvitija jenergetiki [Intellectual computations in researches of energy development directions] // Izvestija Tomskogo politehnicheskogo universiteta = Bulletin of the Tomsk Polytechnic University. 2012. T.321. №5. Pp. 135-140 (in Ruaaian)

5. Fokin V.A. Statisticheskoe modelirovanie dannyh pri ocenke sostojanija biologicheskih sistem [Statistical modeling of data in assessing the state of biological systems] // Izvestija Tomskogo politehnicheskogo universiteta. Inzhiniring georesursov = Bulletin of the Tomsk Polytechnic University. Geo Assets Engineering. 2004. T. 307. №5. Pp. 136-138. (in Ruaaian)

6. Fokin V.A., Pekker Ja.S., Berestneva O.G., Gerget O.M. Integral'nye metody ocenki sostojanija slozhnyh sistem [Integral methods for assessing the state of complex systems] // Izvestija Tomskogo politehnicheskogo universiteta = Bulletin of the Tomsk Polytechnic University. 2012. T. 321. № 5. Pp. 12-124. (in Ruaaian)

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

7. Carmesin, H. (1994). Multilinear back-propagation convergence theorem. Physics Letters A. 188(1). Pp. 27-31.

8. D. Dasgupta. An immunological approach и их применение. 2006

9. D. Dasgupta, S. Forrest, P. Helman. An immunological approach to change detection: algorithms, analysis and implications. In Proceedings of the IEEE Symposium on Computer Security and Privacy, IEEE Computer Society Press, Los Alomitos,. CA. 1996.

10. Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning: Data Mining, Inference, and Prediction. 2009. 745 p.

11. Goodfellow I., Bengio Y., Courville A. Deep Learning. Book in preparation for MIT Press.

12. Shcherbakov M., Kamaev V., Shcherbakova N. Automated Electric Energy Consumption Forecasting System Based On Decision Tree Approach // 7th IFAC Conference on Manufacturing Modelling, Management, and Control. 2013. Volume 46. Issue 9. Pp. 1027-1032.

13. Yurchenko M.A., Kochegurova E.A., Fadeev A.S., Piletskaya A.Y. Calculation of performance indicators for passenger transport based on telemetry information // Engineering Technology, Engineering Education and Engineering Management : proceedings of the International Conference on Engineering Technologies, Engineering Education and Engineering Management (ETEEEM 2014). China. November 15-16. 2014. London: Taylor & Francis Group. 2015. Pp. 847-851

14. Wang, H. and Song, G. (2014). Innovative NARX recurrent neural network model for ultra-thin shape memory alloy wire. Neurocomputing. 134. Pp. 289-295.

15. http://scikit-

learn.org/stable/modules/generated/sklearn.ensemble.RandomForestClassifier.html

i Надоели баннеры? Вы всегда можете отключить рекламу.