CC BY
56
ИТ и диагностика
www.idmz.ru 2 00 7, №2
■■■■
W-ЩЯЯ
А.С.СКУДНЫХ,
специалист отдела перспективных разработок управления информационных технологий ГОУ ВПО ТюмГМА Росздрава
А.Г.САННИКОВ,
к.м.н, доцент, заведующий курсом медицинской информатики, начальник отдела перспективных разработок управления информационных технологий ГОУ ВПО ТюмГМА Росздрава, г.Тюмень
МЕТОДИКА ОЦЕНКИ КЛИНИЧЕСКОЙ ЭФФЕКТИВНОСТИ ДИАГНОСТИЧЕСКОЙ ЭКСПЕРТНОЙ СИСТЕМЫ
В статье
представлен
метод
качественного анализа данных посредством компьютерных интеллектуальных систем и его применение для задач
фармакологии и медицинской диагностики. Части 1 и 2 статьи были опубликованы в «ВиИТ», 2006, №5-6.
Заболевания почек представляют значительную проблему клинической медицины. Связано это в первую очередь с тем, что эти заболевания зачастую приводят к инвалидизации и летальным исходам [1]. Использование современных методов лечения приводит к снижению смертности, улучшает качество жизни больных, но не гарантирует полного излечения [2]. Имеется большое количество факторов риска развития нефрологической патологии. Летальность при острой почечной недостаточности, по данным разных авторов, у пожилых людей колеблется от 27 до 68%, у молодых - от 12 до 57%. По данным аутопсии, пиелонефрит, как самое частое заболевание почек, выявляют примерно у каждого 10-12-го умершего [3, 4]. У каждого 5-го умершего среди лиц пожилого и старческого возраста также встречаются пиелонефрит и другие почечные заболевания. При этом значительный процент случаев не распознан при жизни. Почти в каждом 4-м случае пиелонефрита при вскрытии констатируется его острая или гнойная форма, что свидетельствует о тяжести этой патологии на финальном этапе жизни [5].
По многочисленным данным, процент больных с различными хроническими заболеваниями почек в популяции составляет около 10,9% от общего числа. Предполагается, что до 2010 года будет наблюдаться рост распространенности терминальной хронической почечной недостаточности [6] и что число пациентов за это время удвоится (рис.1).
Существующие методы клинической и инструментальной диагностики не всегда позволяют поставить своевременный и точный диагноз. На этом этапе могут помочь информационные технологии, позволяющие применять математические методы в диагностическом процессе. Уже сейчас создано большое количество компьютерных программ медицинского назначения, включая экспертные системы (ЭС). Развивается очень перспективный когнитологический подход в диагностике [7]. Актуальной остается проблема оценки качества заключения ЭС.
© А.С.Скудных, А.Г.Санников, 2007 г.
17
ИТ и диагностика
Шр
W4UM
I и информационные
технологии
>
Целью настоящего исследования являлась разработка метода оценки клинической эффективности ЭС. Исследование проводилось на подготовленной ЭС «Нефрология», реализующей Байесов подход. В ЭС содержатся сведения по 9 нефро-логическим нозологическим формам.
□ПИСАНИЕ
ПРОГРАММЫ
Интерфейс программы содержит три поля и кнопки в верхней части экрана слева («Нефрология », «Поиск», «Выход» и «О программе», рис.2)
Поле №2 (рис.2) содержит иерархию симптомов в системе, привычной практическому врачу: жалобы, осмотр, пальпация, перкуссия, дан-
ФАЙЛ ГЪЖЪЦь
Нефрология
? Я 7
Поиск а“™ Q гфогрвмме
1
Желобы
GO Нарушение мочввтделмев1 □О Отеки |почбмч,1е|
□О Лихорадке □О а пояетмоА оплести □ О Иаменение цвета мры GO Проарамноеть GO (Фззрачпая
□ фм -
□ О Лиса J
« «влети □О Гемо» лив поойвлвтя 0О КсшиьДауп 20 □ О «*"■
GO ■Артериальное давление □ О Жалобы общага характера GO Осмотр □ О Г1вг>ьлация -ПО Пвркуссия
ПО Д**ые МборДГОрИаК И HIIUp^MaMI.
Рис.2. Общий вид программы
Рис.1. Распространенность и первичная заболеваемость ТХПН в США (USRDS, 2000) (Батюшкин М.М., 2005)
ные лабораторных и инструментальных исследований. Иерархия представлена в виде дерева, в котором каждый пункт содержит подпункты, более полно характеризующие отдельные симптомы. Слева от каждого пункта в иерархии расположен флажковый переключатель, с помощью которого можно отметить выявленные у пациента симптомы.
Лабораторно-инструментальные данные включают в себя наиболее распространенные и соответствующие уровню оснащения ЛПУ амбулаторного и стационарного звена муниципального здравоохранения:
♦ общий анализ крови;
♦ биохимический анализ крови;
♦ клинический анализ мочи;
♦ функциональное исследование почек.
В поле №1 выводятся заключения ЭС, получаемые в результате оценки симптомов, с указанием вероятности заболевания.
В поле №3 представлена информация справочного характера по заболеваниям (этиология, патогенез, классификация, описание клинических проявлений болезни, принципы лечения), внесенным в ЭС, описывающая классическую клиническую характеристику болезни.
ПИЕЯОНЕТ>РНТ->
почек, поражающее почвякуо гиражиыц, грмичществвмнс «гфсгедиальядо тк.ФФ. nniii»jiiri»riH Пиелонефрит может был? идоктороннын, nepBMWMwi и япцина*-! острьеи, крамаческим шм рвцшиаыдавдм.
Пиелонефрит гестееюеый пожег доенгвся у боремеидд. рожеми и рааильпни
не протяжент всего гасгеииомщго периоде Чете встречается при первой беременности Кв* правило. еыомеается эщерияаями, >итеро*о*ком. протеем |грвиотрж1вте๫А флорой)
Патогене» оея>»1 с и^тимыни додмнеммкн &ся«-ст*«е гормона*»*» BJinift a pa мк сроки беременности действия механического Фактора в более псвдме сроки Принтом нар*|01вотся урадинеммка вертикмочеыл путей и Фуещия I ючсдогогкрьря, нередка^ "тврюдамем пуз^ипмочегоянковхо рвфЛОКСА
У больинкетважегии»! острей пн . Л сюэгыкоет во?т^*«этре беремемюегн (22-28-я неделя]. Пас. ^ ^рштакмя вашикммвык путей
гоне £3 нед. Именно в ЭТОТ период гкибсясу вероятно военкло-
Клинике. В ьфажене тпжсм^ешя. высокая температу-ра, озноб, в пояснило,
дизурия Goa в попскче в (триместре беременности »алм<м4вег по характеру почтецро ко/ве^у. во П н Hi тртестрак становится мапоияеисиоиой, что объясняется анкет воней верхним мочевын путей и ctwtwmw виутоиюзиючлдго
J]HyMoe,iijW"Tepfiiuie(iaiiWiiflHTnQ3 Дкагио-сгже нередко зетрувнен» в связи с гуообяайаиием в капп ческой картине песпеиифжвскм симптоме I ликер едка, мстоксмидий). резкими гематмогимвскины сдвигами (гипехрочлдп анемия, нейтрофилтнй лейкоцитоз, нередко о лейсемонднЫ’Ы pobkummi днсгротем1етекя) гуы умеренной на кеевеиальной выражен дети до*ала>ыи ппчнаа прод/аиЛ ГеетациомьД пиелонефрит дпффаращгрутт от круизной •
ИТ и диагностика
www.idmz.ru 2 00 7, №2
■■■■
W-ЩЯЯ
Таблица 1
Данные сравнения клинического диагноза и заключения ЭС
Нозологическая единица, или синдром Ожидаемое количество Полученное количество % совпадения Средний % вероятности нозологии
Острый гломерулонефрит 30 30 100 72,00
Острый пиелонефрит 30 30 100 70,93
Хронический пиелонефрит 30 30 100 78,56
Хроническая почечная недостаточность 30 30 100 65,53
Хронический гломерулонефрит (смешанный тип) 30 30 100 68,50
Хронический гломерулонефрит (нефротический тип) 30 30 100 67,66
Хронический гломерулонефрит (латентный тип) 30 30 100 67,26
Хронический гломерулонефрит (гипертонический тип) 30 30 100 68,06
Хронический гломерулонефрит (гематурический тип) 30 30 100 68,70
ОЦЕНКА ЭФФЕКТИВНОСТИ
I. На первом этапе мы оценивали работу ЭС по архивным данным из клинических историй болезней (архив нефрологического отделения Тюменской ОКБ №1). Для переноса данных из историй в программу мы разработали формализованную карту, содержащую все симптомы, заложенные в ЭС.
Отбиралось минимально по 30 историй болезней по каждой нозологической форме, представленной в ЭС. В целом в исследовании задействовали данные свыше 270 историй болезней, вносившиеся в ЭС для получения заключения. В табл. 1 представлены результаты анализа заключений ЭС.
Очевидно, что ЭС показала достаточно высокую эффективность: по всем заболеваниям обнаружено 100% совпадения клинического диагноза, указанного в истории болезни, с заключением ЭС. В то же время вероятность диагноза в ЭС оказалась по разным нозоформам в пределах 54-81%. При анализе столь невысоких показателей вероятности диагностированных заболеваний в каждом конкретном случае выяснилось, что причины можно сгруппировать в 2 блока:
1. В анамнезе историй болезней есть указания на неоднократные обращения конкретного больного с обострением хронического почечного заболевания в данный стационар, что, по-видимому, приводит к минимизации сбора доказательной базы и, как следствие, установлению диагноза по минимальному количеству признаков.
2. В истории болезни врач не указывает более точной расшифровки симптома, например, при осмотре могут быть указаны отеки без
четкой локализации, что также снижает возможности применения описываемой ЭС.
Тем не менее, программа показала точность при диагностике заболеваний, на что указывает совпадение клинического диагноза и заключения ЭС.
II. В последующем для оценки эффективности ЭС мы использовали натурную модель нефрологическо-го отделения городской клинической больницы. Количество коек принималось равным 55. Учитывая ежемесячный оборот койки, который составляет 2,0 за месяц, в отделении могут пролечиться около 110 человек. В стационаре на больного заводится история болезни, содержащая сведения по семиотике заболевания. В нашей модели заполнялись карты, отражающие клинические и лабораторно-инструментальные проявления болезни. Поскольку в не-фрологическом отделении пролечиваются больные с патологией, не представленной в ЭС (например, амилоидоз и т.д.), то мы добавили ограниченное количество карт с данными по заболеваниям легких. Всего было заполнено 216 карт, что примерно соответствует двум месяцам работы отделения.
Из них:
♦ «точные» карты, содержащие исчерпывающие данные по заболеванию нефрологического профиля, - 68;
♦ «близкие» карты, содержащие неполные данные по заболеваниям почек, - 118;
♦ карты ненефрологического профиля (непрофильные) - 30.
19
ИТ и диагностика
Шр
W4UM
kJH
I и информационные
технологии
>
Затем карты были разделены на две равные группы, соответствующие двум месяцам работы нашего условного отделения. Для максимального устранения фактора субъективности использовалась рандомизация методом последовательных номеров (табл.2) [8].
Основными гипотезами для проверки эффективности ЭС служили:
1. Если внутри исследуемой группы экспертная система диагностирует нефрологические патологии, то ее работа эффективна.
2. Между точно и близко заполненными картами, с одной стороны, и заключениями ЭС, с другой стороны, должна быть четкая связь.
3. Между исследуемыми группами («первый» и «второй» месяц работы условного отделения) достоверных различий быть не должно в любых условиях - стабильная работа во времени.
Для статистической обработки данных использовали пакет Primer of Biostatistics 4.03 (McGraw-Hill, 1998). Оценка достоверности различий долей проводилась по Z-критерию. Корреляционный анализ проводился методом ранговой корреляции Спирмена.
Затем все заполненные карты были проанализированы ЭС «Нефрология». В результате полученные данные в группах незначительно отличаются от ожидаемых (табл.3).
Анализируя результаты оценки модельных случаев экспертной системой, установлено, что ЭС точно распознает и отделяет непрофильные карты. Факт того, что доля
Итоги рандомизации карт
Таблица 2
Карты 1 гр уппа 2 гр' уппа По Z-критерию
Количество % Количество %
«Точные» 34 31,5 34 31,5 р = 0,884
«Близкие» 60 55,5 58 54 р = 0,932
Непрофильные 14 13 16 14,5 р = 0,903
Таблица 3
Результаты анализа ЭС по группам
Карты Ожидание, % Получилось в ЭС По Z-критерию
Кол-во карт % Вероятность диагноза
I группа
«Точные» 31,5* 52 48* 100-95% р = 0,019
«Близкие» 55,5* 42 39* 94-60% р =0,022
Непрофильные 13 14 13 <60% р = 0,849
II группа
«Точные» 31,5** 53 49** 100-95% р = 0,013
«Близкие» 54** 43 * * о -г 94-60% р = 0,054
Непрофильные 14,5 12 11 <60% р = 0,571
Примечание: * Rs = +0,847 (р = 0,000) между ожидаемым и полученным количеством “точных ” и “близких ” карт.
** Rs = +0,806 (р = 0,000) между ожидаемым и полученным количеством “точных ” и “близких ” карт.
профильных карт изменилась в сторону повышения «точных», свидетельствует о «гипердиагностической настроенности» системы. Мы полагаем, что гипердиагностика - важный элемент предупреждения недооценки клинических данных.
Таким образом, исследование диагностических возможностей ЭС «Нефрология» в рамках натурной модели специализированного отделения показало достаточно высокую эффективность: отсеяны непрофильные заболевания, искомые диагнозы установлены с определенной долей гипердиагностики, достоверных различий между группами (условными месяцами) не наблюдалось.
III. На последнем этапе мы апробировали ЭС непосредственно в клинике (приемное и терапевтическое отделения Отделенческой железнодорожной больницы станции Тюмень) совместно с профессором С.А.Осколковым. Проверка проведена на 7 клинических случаях.
В случае обращения пациента с подозрением на заболевание почек в процессе первичного осмотра данные вносились не только в историю болезни, но и в ЭС «Нефрология». По данным симптомам получали заключение.
ИТ и диагностика
После проведения необходимого клинико-инструментального обследования (3 дня) по каждому клиническому случаю в ЭС вносились данные лабораторно-инструментальных исследований с последующей диагностической оценкой. Затем сравнивали клинический диагноз и заключение ЭС, а также оценивали нарастание вероятности диагноза в самой системе.
В результате отмечено, что во всех 7 случаях наблюдалось совпадение клинического диагноза с заключением ЭС, а вероятность повышалась в среднем с 69% на этапе клинических данных до 91% по результатам лабораторно-инструментальных исследований. Таким образом, ЭС оказалась эффективной в клинике.
www.idmz.nu , k.ill 2 00 7, № 2 ’
Сопоставляя различные методические подходы к оценке клинической эффективности необходимо заключить, что все они имеют право на использование с обозначенной целью. В то же время анализ архивного материала представляется наименее ценным методом, поскольку истории болезней оказались наименее информативным источником. Изолированное использование модели, по нашему мнению, также не является адекватным вследствие выявленной склонности к гипердиагностике. Наиболее оптимальным представляется сочетание методов моделирования и клинической апробации. Только такое сочетание позволяет оценить сильные и слабые стороны ЭС и спланировать дальнейшее усовершенствование программных продуктов диагностического назначения.
ЛИТЕРАТУРА
1. Горбачев А.Г. Врачебно-трудовая экспертиза при урологических болезнях. - Л.: Медицина, 1986. - 224 с.
2. Рябов С.И. Нефрология: Руководство для врачей. - СПб.: СпецЛит, 2000. - 672 с., ил.
3. Лопаткин Н.А., Шабад А.Л. Урологические заболевания почек у женщин. - М.: Медицина, 1985. - 240с.
4. Zollinger H.U., Mihatsch M.J. Renal Pathology in Biopsy. - Berlin: Springer-Verlag, 1978. - 189 p.
5. Нефрология: Руководство для врачей/Под. ред. И.Е.Тареевой. - М.: Медицина, 2000. - 2-е изд., перераб. и доп., ил. - 688 с.
6. Батюшкин М.М. Нефрология: основы доказательной терапии/Под. ред. проф. В.П.Терентьева. - Ростов-на-Дону: «Феникс», 2005. - 348 с. (Гиппократ).
7. Карась С.И., Конев А.В., Архипова А.В. Компьютерные инструменты исследования знаний медицинских экспертов//Врач и информационные технологии. - 2004. - № 1. - С.37-41.
8. Сергиенко В.И., Бондарева И.Б. Математическая статистика в клинических исследованиях. -М.: ГЭОТАР-МЕД, 2001. - 256 с.
21
