Проектирование систем принятия решений на нечетких сетевых моделях в задачах медицинской диагностики и прогнозирования Текст научной статьи по специальности «Компьютерные и информационные науки»

Статья

Раздел I.

БИОЛОГИЯ СЛОЖНЫХ СИСТЕМ. ФИЗИКО-БИОЛОГИЧЕСКОЕ И МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ ФУНКЦИОНИРОВАНИЯ ОРГАНОВ И СИСТЕМ ЧЕЛОВЕКА

УДК 577.38:681.3.06

ПРОЕКТИРОВАНИЕ СИСТЕМ ПРИНЯТИЯ РЕШЕНИЙ НА НЕЧЕТКИХ СЕТЕВЫХ МОДЕЛЯХ В ЗАДАЧАХ МЕДИЦИНСКОЙ ДИАГНОСТИКИ И ПРОГНОЗИРОВАНИЯ

Н.А. КОРЕНЕВСКИЙ*

В задачах прогнозирования и диагностики состояния здоровья человека часто встречаются ситуации, когда исходная информация представляется в различных количественных и качественных шкалах (наименований, порядка, интервалов, отношений). При этом решение требуется принимать в условиях отсутствия достаточно полного статистического материала, одновременно охватывающего различные стороны функционирования исследуемого объекта, при отсутствии информации о значениях тех или иных информативных признаков, и при наличии определенного количества артефактов. Задача осложняется еще и тем, что исследуемые классы состояний имеют сложную, часто пересекающуюся геометрическую структуру в пространстве признаков. Встречаются задачи, в которых составители обучающих выборок («учителя») не имеют возможности точно указать класс объекта на обучающей выборке и не дают информации о наличии переходных зон между классами, хотя в обучающей выборке эти объекты имеются. Анализ литературных данных и результаты собственных исследований позволяют сделать вывод о том, что в этих условиях предпочтение следует отдавать двум подходам принятым в теории принятий решений: на основе теории нечеткой логики принятия решений; на основе аппарата обеспечивающего изучение структуры классов с выдвижением гипотез о наилучших классификаторах в ходе вычислительного эксперимента (диалоговые системы распознавания образов). Каждый из этих подходов обладает определенными достоинствами, но при решении практических задач они используются раздельно, что снижает потенциально достижимые возможности проектируемых классификаторов.

В предлагаемом варианте синтез систем нечетких решающих правил реализуется в три этапа. На первом этапе производится разведочный анализ, позволяющий изучить геометрическую структуру классов в пространстве информативных признаков, имея в виду под структурой взаимоположение объектов различных классов на обучающей выборке. На втором этапе под известную структуру классов и типов признаков выбираются носители и параметры частных функций принадлежностей, решающие задачи классификации по подпространствам и областям исходного пространства признаков. При этом выбор ведется так, чтобы при заданной сложности классификатора каждая частная функция принадлежности на каждом технологическом шаге принятия решений обеспечивала максимально возможную уверенность классификации или прогнозирования. На третьем этапе частные функции принадлежностей объединяются в коллективы нечетких решающих правил в виде сетевых структур обеспечивающих требуемое качество решаемой задачи.

При проведении разведочного анализа для изучения структуры исследуемых классов нами разработан пакет прикладных программ, решающий задачи: выделения характерных точек обучающей выборки (многомерных центров классов и выделяемых объектов, групп наиболее близких и наиболее далеких объектов между парами различных классов, казуистических и арте-фактных объектов); расчета расстояний между характерными точками и между всеми заданными точками, как внутри своего класса, так и до точек чужого класса; различные методы отображения многомерных данных в двумерных пространствах с сохранением выбираемых структурных свойств исследуемых объектов (сохранение близких расстояний, сохранение далеких расстоя-

* 305040 г. Курск, ул. 50 лет Октября, д. 94, Курский государственный технический университет

ний, сохранение структур задаваемых ядер и т.д.); построение гистограмм распределений объектов исследуемых классов на координатах признаков (признаковые гистограммы); построение гистограмм распределения объектов исследуемых классов на шкалах, определяемых как меры близости до эталонных многомерных структур (точек, гиперплоскостей, гиперкубов, гиперсфер и т.д.) (дистальные гистограммы); определение исходных координат объектов по выбираемым участкам гистограмм и областям отображающих пространств; определение группировок объектов в многомерном пространстве признаков; определение областей пересечений различных классов в исходном пространстве с описанием структурных особенностей этих областей. Разведочный анализ исследует возможность решения задачи распознавания в её геометрической интерпретации, линейного или кусочно-линейного разделения классов, наличие «вложенных» структур классов типа «шар в шаре», «шар в чаше» «эллипсоид в шаре» и зон пересечения классов, их типы и т.д.

Знание характеристик структурных особенностей классов позволяет под структуру классов выбирать тип носителя и характеристики частных функций принадлежностей. Рис. 1 иллюстрирует вариант выбора носителя функций принадлежностей для случая линейно - разделимых классов ©1 и ©2 в двумерном пространстве признаков {х, ^2 } . Из этого рисунка хорошо видно, что признаковые гистограммы классов Ь^х^, Ь^хО и Ь^^) и ЬЮ2 (2), сильно перекрываются. Так же сильно перекрываются и частные функции принадлежностей.

Анализ признаковых функций принадлежностей показывает, что по ним нельзя построить надежных решающих правил для классификации ©1 и ©2 ■ Имея по данным разведочного анализа информацию о линейной разделимости классов ©1 и ©2 легко получить разделяющую линию у0 = а1Х1+а2Х2 и семейство взаимнопараллельных линий вида У=а1Х1+а2Х2 (в многомерном варианте

У = ^ах ), использование которых подтверждает линейную разде-

I=1

лимость (дистальные гистограммы ЬЮ1(У) и ЬЮ2(У)) и построить непересекающиеся функции принадлежности цЮ1(У), Цю2(У) обеспечивающие построение надежного классификационного правила типа

□ = шах^(у),ц'„2(у)} П = {©1,©2} . (1)

По этому правилу объект с номером ] относится к тому из классов или ©2 , для которого функция принадлежности максимальна.

То, что на рис. 1 графики функций принадлежностей и гистограмм отличаются, характеризует то, что амплитуда гистограммы отражает частость появления объектов в исследуемых классах с теми или иными координатами, в то время как амплитуда соответствующей функции принадлежностей отражает экспертную уверенность в принимаемом решении. Рис. 2 а иллюстрирует вариант построения решающего правила для пересекающихся классов ©1 и ©2 через функции принадлежностей цЮ1(У), ЦЮ2(У), с носителем на шкале

У = £ а,х, (2)

I=1

Здесь наклонные участки гистограмм могут быть построены с учетом плотности распределения объектов в окрестности зоны пересечения классов в исходном пространстве, структура которой изучается на этапе разведочного анализа.

Если в ходе разведочного анализа выясняется, что в исходном многомерном пространстве один из классов ©1 является «вложенной» структурой по отношению к классу ©2 то рекомендуется в качестве дистальной шкалы для гистограммы и носителя для функции принадлежностей использовать расстояние от центральной области «охватываемого» класса до точек обучающей выборки. Это вариант построения правила типа (1) иллюстриру-

Н.А. Кореневский

ется рис. 2 б. Под различные типы структур классов нами разработаны рекомендации по выбору типов носителей и параметров функций принадлежностей, обеспечивающих высокое качество классификации при хорошей интерпретируемости получаемых результатов и небольшой вычислительной сложности.

Х2

что соответствует интерпретации в форме логического произведения. Каждой агрегированной предпосылке (3) приписывается единственное значение функции принадлежностей Ма-^б (, ^) , которое

называется процедурой агрегирования на уровне импликации [3, 4]. С геометрической точки зрения (4) в многомерном пространстве признаков образует многомерный гиперпараллелепипед с границами, определяемыми переходом в ноль значений ца(хО по каждому из носителей х Если величины ца(хО уменьшаются при приближении к границам гиперпараллелепипеда, то Цц (Х) будет определяться

относительно границы с меньшим Ца*(хО- С классификационной точки зрения не для всякой структуры классов использование выражения (4) может дать надежную классификацию, что видно на рис. 3. Однако множество выражений типа (4) могут использоваться для «покрытия» сколь угодно сложной структуры классов. Тогда задача обучения на классификацию может быть сведена к поиску набора таких гиперпараллелепипедов (4), которые в случае непересекаю-щихся классов «покрывали» бы только объекты своих классов, а в случае пересекающихся классов своими функциями принадлежностей давали бы характеристику зоны пересечения аналогично тому, как это было по отношению к примеру с носителем по шкале (2). В этом варианте агрегирование на уровне импликаций следует осуществлять в соответствии с выражением:

^б = шах|"л (х ), Мб (у)|

(5)

что соответствует интерпретации в форме логического сложения.

М©1(х2)

Рис. 1. Построение признаковых и дистальных гистограмм для линейноразделимых классов

Область действия правила 4 для класса ©2

Область действия правила (4) для класса —

^0

= а1х1 + а2 Х2

2

(©| у V хх©// /

Х1

Ь(У), м (У)

Х1

Ь(У)

^уУ(у1

У

У0

а)

Рис. 2. Варианты выбора функций принадлежностей по дистальным гистограммам

Покажем, что при сложной геометрической структуре классов с различными вариантами зон пересечений по структуре данных синтезируется правило нечеткого рассуждения типа:

ЕСЛИ х1 ЭТО А1 И х2 ЭТО А2 И ... И хп ЭТО Ап, ТО У ЭТО В (3) Как и в классической геометрической постановке задачи распознавания в этом выражении х^..., хп образуют п-мерный вектор Х составляющий аргумент условия, в котором А1,., Ап и В означают величины функцией принадлежностей Ца1(х0, ..., Цдп(хп) и Цв(У). Множественное условие Ма (Х) интерпретируется с помощью

операций допустимых над элементами нечетких множеств. Приписывание многомерному логическому условию единственного значения называют агрегированием предпосылки. При синтезе нечетких правил вывода наиболее популярной формой агрегирования предпосылки является выражение типа:

МА (х )= ш1п{Мц (х )} (4)

Рис. 3. Иллюстрация применения правила (4) к варианту разделения классов о>1 и ®2

Рис. 4 иллюстрирует пример полного «покрытия» объектов класса ®1 с помощью трех прямоугольников в двухмерном пространстве {Х1, Х2} в задаче с непересекающимися классами.

Рис. 4. Вариант «покрытия» объектив класса о>1 тремя системами функций принадлежности

Для этого примера принадлежность объектов к классу ®1 осуществляется набором формул агрегирования предпосылок.

Мм(х)= ), м1л(х2)|; (6)

м111(х)=) м111 (х2 )|; (7)

цЦ1(х) = шт{м1!1(х1), цЦ1(х2 )} (8)

У

Х

У

Н.А. Кореневский

Общая уверенность отнесения объекта к классу ®1 определяется формулой агрегирования аппликации типа

Мх и—, = шаХ]мЦх) ММ1(х)

цЦ1(х)

(9)

Аналогично может быть построено правило определения уверенности в отнесении объектов и классу ®2 и т.д. Опираясь на структурные особенности разделяемых классов можно предложить ряд алгоритмов обучения для определения параметров выражения (3) как для непересекающихся, так и пересекающихся классов. Рассмотрим один из таких алгоритмов обучения.

1. Исходя из общих рекомендаций теории распознавания образов при необходимости производится нормирование пространства признаков, удаляются пробелы и артефакты, выделяются казуистические ситуации для их анализа экспертами.

2. Выбирается класс для покрытия гиперпараллелепипедами. На этапе разведочного анализа для этого класса, используя информацию о мере близости между объектами своих и чужих классов, выбирается точка, вокруг которой группируются объекты «своего» класса при достаточном «удалении» объектов чужого класса.

3. Используя выбранную точку, как стартовую, для построения эталонного гиперпараллелепипеда (ЭГП) покоординатно увеличиваем границы ЭГП с некоторым шагом Дх1 до тех пор, пока каждая из его границ не достигнет наперед определенного условия останова (нет объектов своего класса, захват чужих объектов, приближение к чужим объектам на некоторую наперед заданную величину, приближение к зоне пересечения классов, снижение плотности объектов при увеличении объема ЭГП на выбранную величину и т. д).

4. Координаты полученного ЭГП сообщаются экспертам с характеристиками его «заполнения» объектами своего класса и мерами близости к чужому классу. По этим характеристикам эксперт выбирает максимальную величину соответствующих функций принадлежностей к ЭГП выбранного класса, форму и предварительные параметры их наклонных участков.

5. Из обучающей выборки исключаются все объекты, попавшие в область ЭГП, и для оставшихся объектов выбирается стартовая точка для нового ЭГП. Повторяются п. 3-5 до пор, пока все объекты выбранного класса не будут «покрыты» ЭГП.

6. Для ЭГП, по данным о зонах пересечения классов, уточняют параметры наклонных участков функций принадлежностей.

7. Уточняется роль казуистических ситуаций и в зависимости от структуры их расположения по отношению к ЭГП и объектам «чужого» класса для них уточняются функции принадлежностей.

8. Для данного класса синтезируются системы правил типа (3).

9. Пункты 2-8 повторяются для всех исследуемых классов.

Для удобства работы экспертов синтез ЭГП сопровождается

графиками, характеризующими изменение плотности объектов и расстояний до объектов «чужого» класса на каждом шаге изменения его объема. В результате проведенных нами исследований были получены рекомендации по выбору стартовых точек ЭГП, стартовых размеров ЭГП, шага Дх^ критериев останова «выращивания» ребер ЭГП, формированию наклонных участков ЭГП для непересекаю-щихся и пересекающихся структур классов.

Аналогичный алгоритм может быть легко построен если вместо эталонных гиперпараллелепипедов выбрать системы функций принадлежностей в виде гиперобъемов с носителями типов

У =

£ (а,-х,)2, У = £|а-х,| У = £ Р.(а.-х)\ У = Е Р,|а - 4

ряда других. В ряде случаев, в задачах диагностики и прогнозирования состояния сложных систем геометрическая интерпретация нецелесообразна или неприемлема. Тогда принятие решения может быть осуществлено с использованием формул расчета коэффициентов уверенности в отнесении объекта к классу —1 - КУ©^, которые

выбираются в соответствии с типом решаемой задачи и ролью диагностических и (или) прогностических признаков х1 входящих в общие правила принятия решений. В простейшем случае коэффициент уверенности может совпадать с соответствующей функцией принадлежности, т.е. КУ©^ = С^), где функция принадлежности

может характеризовать уверенность отнесения объекта к классу —I при наличии свидетельства представляемого носителем У, или может быть получена как частное решение о классификации, например, в подпространствах или пространствах признаков в геометрической интерпретации задачи распознавания. В частном случае У=х*. При наличии ряда свидетельств в пользу решения —I или нескольких

частных решений с частными коэффициентами уверенности решается задача синтеза более общего правила принятия решений или окончательного решения. При этом рекомендуется придерживаться следующей логики агрегирования частных правил в более общие.

1. Если по группе частных решений с КУ©^ (') или, в частном

случае, с М—1 (х ) каждая из составляющих такова, что при отсутствии хотя бы одного из значащих свидетельств (т.е. хотя бы один частный коэффициент уверенности равен нулю) необходимо отказаться от решения в пользу класса — I целесообразно проверить применимость правила типа.

Ку0,1 = шт\кУш10')} (10)

Это правило соответствует минимизации риска ошибки от «захвата» объектов «чужого» класса и не работает при неполном описании объектов исследуемого класса без принятия специальных мер.

2. В случае, когда общее решение следует принимать при наличии хотя бы одного значимого свидетельства в пользу диагноза —I целесообразно проверить применимость правил типа

У = шах{ку-10 )} (И)

которое минимизирует риск пропуска «своего» объекта.

3. Если по условию задачи в формировании общего решения участвуют группы свидетельств, удовлетворяющие условиям 10 и 11, исследуется применимость комбинированного правила типа.

[КУ-10 з)]}

* ^ .............. (12)

4. В медицинской практике часто встречаются ситуации, когда каждое из вновь привлекаемых свидетельств (в частном случае диагностический призрак) вносит свой вклад в увеличение уверенности в диагнозе —1 или в его опровержение.

В первом варианте для расчета обобщающего коэффициента уверенности удобно использовать формулы обеспечивающие рост уверенности в —1 по мере поступления новых свидетельств. В частности могут быть использованы итерационные зависимости вида:

КУЧ (з+1)=/ [ку-1 з ку*1 0+1) а 1 (13)

где КУ-1 (з) - уверенность в принятии решения по классу — на '-ом шаге итерации; КУ^ (з +1) - уверенность в — от свидетельства поступившего на ]+1-ом шаге итерации (в частном случае КУ*10 +1) = М-1 (х+1) ); - настраиваемый в ходе обучения

параметр. Во втором варианте для опровержения классификационного вывода — [ можно ввести меру недоверия, которая может определяться по формуле, аналогичной (13):

КУ -10 +1) = / КУ -10) КУ *10 +1), а о}}

(14)

где о - номер свидетельства против класса ©

Если для отнесения объекта — были задействованы обе формулы (13) и (14), то после проведения всех итераций общая уверенность в диагнозе — может быть определена по формуле

КУ°Н = КУН 0)-~КУ-102), (15)

где 0 - число итераций в (13); Q - число итераций в (14).

Задача синтеза правил типа (13) и (14) заключается в выборе таких функциональных зависимостей и параметров, чтобы коэффициенты уверенности более соответствовали представлению учителя (экспертов) о классификации (в классической поставке задачи распознавания обеспечивали минимум ошибки классификации). Рассмотрим ряд типовых примеров. В работе [1] для определения меры доверия к классу предлагается использовать формулу вида: КУ с (з +1)= КУ ч (з)+ КУ*} 0 +1) - КУ-10)] (16)

Смысл этой формулы состоит в том, что эффект нового свидетельства КУ* в пользу гипотезы —I при уже известных свидетельствах КУ©} 0) сказывается на смещении меры уверенности в ©} в

сторону полной определенности на «расстояние» зависящее от нового свидетельства. Важным свойством формулы (16) является её симметричность в том смысле, что порядок следования свидетельств не имеет значения и движение к доверию (или не доверию) в решении — производится по мере накопления свидетельств.

и

Н.А. Кореневский

При практическом использовании (16) эксперты должны иметь в виду, что общая уверенность достаточно быстро (в квадратичной зависимости) стремится к единице, не достигая её. Это порождает ситуации, когда малое число частных решений (признаков хО приводит к достижению высокой уверенности в классификации, что не всегда соответствует сути решаемой задачи. Другой тип зависимости роста уверенности от поступающих свидетельств реализуется, если накапливаемые свидетельства (уверенности) использовать как носитель обобщающей функции принадлежности к классу —Например, в качестве носителя можно использовать выражение типа

У = £ КУ*,(/ ) (17)

/

или

У = £<КУ*,(/), (18)

3

где а/, - весовой коэффициент, определяющий вклад /-ой составляющей в общее решение о гипотезе Общий коэффициент уверенности в гипотезе — определяется выражением КУ°, = м)

с носителями типа (17) или (18). Выбирая выражения для КУ*, (/), величины аи параметры ц©, ), можно получить зависимость

роста уверенности в классификации , от поступающих свидетельств и частных коэффициентов уверенности. На носителях (17) и (18) определяются функции принадлежностей к классам и подклассам.

Поставив задачу определения обобщающего коэффициента уверенности в , как среднюю величину от частных коэффициентов уверенности можно воспользоваться соотношением

КУ-,0+1)=КУ, (/)+-+1 {ку*, 0+1)-КУ, (/)}.

В классических приложениях задача прогнозирования определяется через различные функции времени. В другой интерпретации задачи медицинского нечеткого прогнозирования можно рассматривать как определение ответов на один их следующих вопросов. С какой вероятностью или уверенностью при наличии определенных факторов риска у обследуемого может развиться патология в течение фиксированного интервала времени? Какой из классов патологий и с какой вероятностью или уверенностью может развиться при определенных наборах факторов риска в течение фиксированного интервала времени с учетом сопутствующих патологий? Через какое время и с какой вероятностью или уверенностью может развиться патология при временном ограничении с учетом известного набора факторов риска? Через какое время и с какой вероятностью у обследуемого может развиться один из известного набора классов патологий с учетом возможных сочетанных патологий при определенных наборах факторов риска при заданном временном ограничении?

Выделим вначале два класса состояния обследуемых —о - не заболеет в течение заданного времени То - и класс —1 - заболеет. Пусть экспертами для прогнозирования заболевания —1 выбрано пространство информативных признаков Х = (,...Х;, к, Хп). Исходя из анализа структуры признакового пространства, выберем носитель У = Е(X) для построения функций принадлежности Ц—) и м(у) так, чтобы обеспечить максимальные величины ц© 0 (У ) и ц © х (У) при их минимальном пересечении при меньшем числе информативных признаков. В практических приложениях пользователей больше интересует значение функции ц-1 (У ) . Тогда задача поиска формы и параметров функции принадлежностей может заключаться в поиске такого носителя, при котором М-1(У) достигает своего максимума при минимуме информативных признаков с учетом дополнительных требований на временные и технико-экономические ограничения на получение значений информативных признаков. Формально процедура выбора параметров функции принадлежности к прогнозируемому классу сводится к минимизации функционала МР(х)]и шах; т и шт;

X ^- * доп;

Г=1

ХСг - С»"■

Г=1

где А - параметры функции принадлежностей; Б - функция вычисления шкалы носителя; ш - число отбираемых признаков из общего перечня х^...хп; tr - время на получение значения признака с номером г - п; tдon - допустимое время на получение данных о состоянии обследуемого; С г - стоимость получения значения признака с номером г; Сдоп - общая допустимая стоимость обследования одного пациента. В другом варианте может быть задана минимально допустимая величина прогностической уверенности ц© ^ доп , тогда

задача поиска параметров функций принадлежностей к прогнозируемому классу может определяться формальной записью:

М Аа, р(х)]> М лдоп

т „

а —+ а+ас и шт,

п

где t - общее время обследования; С - стоимость обследования; «1 , «2 и аъ - весовые коэффициенты, характеризующие вклад

каждой из составляющих в «цену» получения информации об обследуемом, определяемые экспертами для к решаемой задаче.

В более общем случае на оси времени может быть задано несколько временных промежутков Т1, Т2,... для каждого из которых определяется соответствующая функция принадлежностей и как вариант одной из переменных формирующих носитель может выступать время прогноза. При возникновении затруднений в выборе типа решающих правил может быть реализован вычислительный эксперимент по проверке эффективности правил и выборке из них наилучшего. Возможно использование решающих правил с объединением их в комитеты решателей с целью повышения качества принимаемых решений. Исходя из особенностей медицинских диагностических и прогностических задач, целесообразно решающие правила реализовать в качестве унифицированных решающих модулей, находящихся в узлах сетевой структуры. Объем задач, решаемых одним модулем, удобно связывать с технологическим этапом общего решения. Этап постановки предварительного диагноза по данным осмотра с запросом дополнительной информации; этап уточнения диагноза с учетом стандартных исследований; этап уточнения диагноза с учетом данных инструментальных исследований и т. д. Удобно договориться, что проход по строке сетевой модели соответствует уточнению гипотезы ©,, проход по столбцу - смене гипотезы. Для реализации механизмов перехода каждый решающий модуль снабжается механизмами запроса дополнительной информации и расчета адресов переходов по узлами сети. Для всей сети запоминаются трассы переходов, сравнивающиеся с эталонными трассами, что дает реализовать механизмы объяснения причин решений и рекомендаций по рациональным траекториям принятия решений [5, 6].

В таком варианте построения нечетких решающих сетей их обучение состоит из двух основных этапов: обучения решающих модулей; обучения решающей сети, заключающегося в построении правил определения адресов переходов, установлении связей между решающими модулями, формировании механизмов объяснения причин принимаемых решений и траекторий рационального ведения пациента. Используя механизм синтеза нечетких решающих правил, решали задачи прогнозирования и диагностики розовых угрей, тромбозов центральной вены сетчатки и её ветвей, язвенной болезни желудка, анемий и др. При этом в задачах прогнозирования достигается уверенность не хуже 0,85, а в задачах диагностики - не хуже 0,9.

Литература

1. Устинов А.Г. и др. Автоматизированные медикотехнологические системы: В 3 ч. / Под ред. А.Г. Устинова.- Курск: КГТУ, 1995.- 315 с.

2. Прикладная статистика: Классификация и снижение размерности / Под ред С.А. Айвазяна.- М.: Финансы и статистика, 1989.- 328 с.

3. Осовский С. Нейронные сети для обработки информации.-М.: Финансы и статистика, 2002.- 344 с.

4. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика.- М.: Горячая линия - телеком, 2002.- 382 с.

5. Кореневский Н.А. и др. Проектирование медикотехнологических информационных систем.- Курск: КГТУ, 2001.194 с.

6. Кореневский Н.А. и др. Проектирование систем поддержки принятия решений для медико-экологических приложений.-Курск: КГТУ, 2004.- 180 с.