CC BY
57
1 и информационные
технологии
ИТ и диагностика
А.С.СКУДНЫХ,
специалист отдела перспективных разработок Управления информационных технологий
ГОУ ВПО ТюмГМА Росздрава, г. Тюмень
А.Г.САННИКОВ,
доцент, к.м.н., зав. курсом медицинской информатики, начальник отдела перспективных разработок Управления информационных технологий ГОУ ВПО ТюмГМА Росздрава.
МЕТОДИКА ОЦЕНКИ КЛИНИЧЕСКОЙ ЭФФЕКТИВНОСТИ ДИАГНОСТИЧЕСКОЙ ЭКСПЕРТНОЙ СИСТЕМЫ
Заболевания почек представляют значительную проблему клинической медицины. Связано это в первую очередь с тем, что эти заболевания зачастую приводят к инвалидизации и летальным исходам [1]. Использование современных методов лечения приводит к снижению смертности, улучшает качество жизни больных, но не гарантирует полного излечения [2]. Имеется большое количество факторов риска развития нефрологической патологии. Летальность при острой почечной недостаточности, по данным разных авторов, у пожилых людей колеблется от 27 до 68%, у молодых — от 12 до 57%. По данным аутопсии пиелонефрит как самое частое заболевание почек выявляют примерно у каждого 10-12-го умершего [3, 4]. У каждого 5-го умершего среди лиц пожилого и старческого возраста также встречаются пиелонефрит и другие почечные заболевания. При этом значительный процент случаев не распознан при жизни. Почти в каждом 4-м случае пиелонефрита при вскрытии констатируется его острая, или гнойная форма, что свидетельствует о тяжести этой патологии на финальном этапе жизни [5].
По многочисленным данным, процент больных с различными хроническими заболеваниями почек в популяции составляет около 10,9% от общего числа. Предполагается, что до 2010 года будет наблюдаться рост распространенности терминальной хронической почечной недостаточности [6] и что число пациентов за это время удвоится (рис.1).
Существующие методы клинической и инструментальной диагностики не всегда позволяют поставить своевременный и точный диагноз. На этом этапе могут помочь информационные технологии, позволяющие применять математические методы в диагностическом процессе. Уже сейчас создано большое количество компьютерных программ медицинского назначения, включая экспертные системы (ЭС). Развивается очень перспек-
© А.С.Скудных, А.Г.Санников, 2007 г.
' 50 ! ! ! ! ■ ■ 1 1 1 ■ ■ ■■ ■ ■ ■ i i i i i i i i i i i i i rT~TJ ■■■ ■ ■ ■ i i i i i i i i i 11,, ■■ ■ ■ ■■■ ■ ■ ■ ■ ■ 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
I/IT и диагностика
www.idmz.nu 2007, № 5
700
600
500
400
300
100
0
1984 1986 1988 1990 1992 1994 1996 1998 2000 2002 2004 2006 2008 2010
Рис. 1. Распространенность и первичная заболеваемость ТХПН в США (USRDS, 2000)
/Батюшкин М.М. 2005/
Рис. 2. Общий вид программы
■ 1 1 1 1 1 1 ■ ■ 1 1 1 ■ ■ ■■ ■ ■ ■ i i i i i i i i i i i i i 1 1 ■■■ ■ ■ ■ i i i i i i i i i ГГТ , ■■ ■ ■ ■■■ ■ ■ ■ ■ 51 ■ !!!!!!!!!!!!! 1 1 1 1
I/IT и диагностика
и информационные
технологии
>тивный когнитологический подход в диагностике [7]. Актуальной остается проблема оценки качества заключения ЭС.
Целью настоящего исследования являлась разработка метода оценки клинической эффективности ЭС. Исследование проводилось на подготовленной ЭС «Нефрология», реализующей Байесов подход. В ЭС содержатся сведения по 9 нефрологическим нозологическим формам.
ОПИСАНИЕ ПРОГРАММЫ
Интерфейс программы содержит три поля и кнопки в верхней части экрана слева («Нефрология», «Поиск», «Выход» и «О программе», см. рис.2).
Поле № 2 (рис.2.) содержит иерархию симптомов в системе, привычной практическому врачу: жалобы, осмотр, пальпация, перкуссия, данные лабораторных и инструментальных исследований. Иерархия представлена в виде дерева, в котором каждый пункт содержит подпункты, более полно характеризующие отдельные симптомы. Слева от каждого пункта в иерархии расположен флажковый переключатель, с помощью которого можно отметить выявленные у пациента симптомы.
Лабораторно-инструментальные данные включают в себя наиболее распространенные и соответствующие уровню оснащения ЛПУ амбулаторного и стационарного звена муниципального здравоохранения:
• общий анализ крови;
• биохимический анализ крови;
• клинический анализ мочи;
• функциональное исследование почек.
В 1-м поле выводятся заключения ЭС, получаемые в результате оценки симптомов, с указанием вероятности заболевания.
В поле № 3 представлена информация справочного характера по заболеваниям (этиология, патогенез, классификация, описание клинических проявлений болезни, принципы лечения), внесенным в ЭС, описывающая классическую клиническую характеристику болезни.
ОЦЕНКА ЭФФЕКТИВНОСТИ
1. На первом этапе мы оценивали работу ЭС по архивным данным из клинических историй болезней (архив нефрологического отделения Тюменской ОКБ№1). Для переноса данных из историй в программу мы разработали формализованную карту, содержащую все симптомы, заложенные в ЭС.
Отбиралось минимально по 30 историй болезней по каждой нозологической форме, представленной в ЭС. В целом в исследовании задействовали данные свыше 270 историй болезней, вносившиеся в ЭС для получения заключения. В таблице 1 представлены результаты, итоги анализа заключений ЭС.
Очевидно, что ЭС показала достаточно высокую эффективность — по всем заболеваниям обнаружено 100% совпадения клинического диагноза, указанного в истории болезни, с заключением ЭС. В то же время вероятность диагноза в ЭС оказалась по разным нозоформам в пределах 54-81%. При анализе столь невысоких показателей вероятности диагностированных заболеваний в каждом конкретном случае выяснилось, что причины можно сгруппировать в 2 блока:
1) в анамнезе историй болезни есть указания на неоднократные обращения конкретного больного с обострением хронического почечного заболевания в данный стационар, что, по-видимому, приводит к минимизации сбора доказательной базы и, как следствие, установлению диагноза по минимальному количеству признаков;
2) в истории болезни врач не указывает нам более точной расшифровки симптома, например, при осмотре могут быть указаны отеки без четкой локализации, что также снижает возможности применения описываемой ЭС.
Тем не менее, программа показала точность при диагностике заболеваний, на что указывает совпадение клинического диагноза и заключения ЭС.
2. В последующем для оценки эффективности ЭС мы использовали натурную модель
■ 52 ! ! ! ! ■ ■ 1 1 1 ■ ■ ■■ ■ ■ ■ i i i i i i i i i i i i i rT~TJ ■■■ ■ ■ ■ i i i i i i i i i 11,, ■■ ■ ■ ■■■ ■ ■ ■ ■ ■ 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
I/IT и диагностика
www.idmz.nu 2007, № 5
Таблица J
Данные сравнения клинического диагноза и заключения ЭС
Нозологическая единица, Ожидаемое Полученное % совпадения Средний % вероятности нозологии
или синдром количество количество
Острый гломерулонефрит 30 30 100 72,00
Острый пиелонефрит 30 30 100 70,93
Хронический пиелонефрит 30 30 100 78,56
Хроническая почечная недостаточность 30 30 100 65,53
Хронический гломерулонефрит (смешанный тип) 30 30 100 68,50
Хронический гломерулонефрит (нефротический тип) 30 30 100 67,66
Хронический гломерулонефрит (патентный тип) 30 30 100 67,26
Хронический гломерулонефрит (гипертонический тип) 30 30 100 68,06
Хронический гломерулонефрит (гематурический тип) 30 30 100 68,70
нефрологического отделения городской клинической больницы. Количество коек принималось равным 55. Учитывая ежемесячный оборот койки, который составляет 2,0 за месяц, в отделении могут пролечиться около 110 человек. В стационаре на больного заводится история болезни, содержащая сведения по семиотике заболевания. В нашей модели заполнялись карты, отражающие клинические и лабораторно-инструментальные проявления болезни. Поскольку в нефрологическом отделении пролечиваются больные с патологией, не представленной в ЭС (например, амилои-доз и т.д.), то мы добавили ограниченное количество карт с данными по заболеваниям легких. Всего было заполнено 216 карт, что примерно соответствует двум месяцам работы отделения. Из них:
— «точные» карты, содержащие исчерпывающие данные по заболеванию нефрологического профиля, — 68;
— «близкие» карты, содержащие неполные данные по заболеваниям почек, — 118;
— карты не нефрологического профиля (непрофильные) — 30.
Затем карты были разделены на две равные группы, соответствующие двум месяцам работы нашего условного отделения. Для максимального устранения фактора субъективности использовалась рандомизация методом последовательных номеров (табл. 2) [8].
Основными гипотезами для проверки эффективности ЭС служили:
1. Если внутри исследуемой группы экспертная система диагностирует нефрологичес-кие патологии, то ее работа эффективна.
2. Между точно и близко заполненными картами, с одной стороны, и заключениями ЭС, с другой стороны, должна быть четкая связь.
3. Между исследуемыми группами («первый» и «второй» месяц работы условного отделения) достоверных различий быть не должно в любых условиях — стабильная работа во времени.
Для статистической обработки данных использовали пакет Primer of Biostatistics 4.03
■ 1 1 1 1 1 1 ■ ■ 1 1 1 ■ ■ ■■ ■ ■ ■ i i i i i i i i i i i i i 1 1 ■■■ ■ ■ ■ i i i i i i i i i ГГТ , ■■ ■ ■ ■■■ ■ ■ 53" !!!!!!!!!!!!! ! ! !
I/IT и диагностика
и информационные
технологии
> (McGraw-Hill 1998). Оценка достоверности различий долей проводилась по Z-критерию. Корреляционный анализ проводился методом ранговой корреляции Спирмена.
Затем все заполненные карты были проанализированы ЭС «Нефрология». В результате полученные данные в группах незначительно отличаются от ожидаемых (табл. 3).
Анализируя результаты оценки модельных случаев экспертной системой, установлено, что ЭС точно распознает и отделяет непрофильные карты. Факт того, что доля профильных карт изменилась в сторону повышения «точных», свидетельствует о «гипердиагности-
ческой настроенности» системы. Мы полагаем, что гипердиагностика — важный элемент предупреждения недооценки клинических данных.
Таким образом, исследование диагностических возможностей ЭС «Нефрология» в рамках натурной модели специализированного отделения показало достаточно высокую эффективность: отсеяны непрофильные заболевания, искомые диагнозы установлены с определенной долей гипердиагностики, достоверных различий между группами (условными месяцами) не наблюдалось.
3. На последнем этапе мы апробировали ЭС непосредственно в клинике (приёмное и
Итоги рандомизации карт
Таблица 2
Карты
1 группа 2 группа
Количество % Количество %
По Z-критерию
«Точные» 34 31,5 34 31,5 Р=0,884
«Близкие» 60 55,5 58 54 Р=0,932
Непрофильные 14 13 16 14,5 Р=0,903
Результаты анализа ЭС по группам
Таблица 3
Получилось в ЭС
Ожидание, % Количество у. Вероятность
карт диагноза
I группа
«Точные» 31,5* 52 48* 100-95% Р=0,019
«Близкие» 55,5* 42 39* 94-60% Р=0,022
Непрофильные 13 14 13 <60% Р=0,849
II группа
«Точные» 31,5** 53 49** 100-95% Р=0,013
«Близкие» 54** 43 40** 94-60% Р=0,054
Непрофильные 14,5 12 11 <60% Р=0,571
Примечание: * Rs=+0,847 (р= ** Rs=+0,806 (р= :0,000) между :0,000) между ожидаемым и ожидаемым и полученным полученным количеством количеством «точных» и «точных» и «близких» карт «близких» карт
По Z-критерию
Карты
■ 54 ! ! ! ! ■ ■ 1 1 1 ■ ■ ■■ ■ ■ ■ i i i i i i i i i i i i i rT~TJ ■■■ ■ ■ ■ i i i i i i i i i 11,, ■■ ■ ■ ■■■ ■ ■ ■ ■ ■ 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
I/IT и диагностика
терапевтическое отделения Отделенческой железнодорожной больницы станции Тюмень совместно с профессором С.А. Осколковым). Проверка проведена на 7 клинических случаях.
В случае обращения пациента с подозрением на заболевание почек в процессе первичного осмотра данные вносились не только в историю болезни, но и в ЭС «Нефрология». По данным симптомам получали заключение.
После проведения необходимого клиникоинструментального обследования (3 дня), по каждому клиническому случаю в ЭС вносились данные лабораторно-инструментальных исследований с последующей диагностической оценкой. Затем сравнивали клинический диагноз и заключение ЭС, а также оценивали нарастание вероятности диагноза в самой системе.
В результате отмечено, что во всех 7 случаях наблюдалось совпадение клинического диагноза с заключением ЭС, а вероятность повышалась в среднем с 69% на этапе клинических
данных до 91% по результатам лабораторноинструментальных исследований. Таким образом, ЭС оказалась эффективной в клинике.
Сопоставляя различные методические подходы к оценке клинической эффективности необходимо заключить, что все они имеют право на использование с обозначенной целью. В то же время анализ архивного материала представляется наименее ценным методом, поскольку истории болезни оказались наименее информативным источником. Изолированное использование модели, по нашему мнению, также не является адекватным вследствие выявленной склонности к гипердиагностике. Наиболее оптимальным представляется сочетание метода моделирования и клинической апробации. Только такое сочетание позволяет оценить сильные и слабые стороны ЭС и спланировать дальнейшее усовершенствование программных продуктов диагностического назначения.
ЛИТЕРАТУРА
1. Горбачев А.Г. Врачебно-трудовая экспертиза при урологических болезнях. — Л.: Медицина, 1986. — 224 с.
2. Рябов С.И. Нефрология: Руководство для врачей. — СПб.: СпецЛит, 2000. — 672 с.: ил.
3. Лопаткин Н.А., Шабад А.Л. Урологические заболевания почек у женщин. — М.: Медицина, 1985. — 240 с.
4. Zollinger H.U., Mihatsch M.J. Renal Pathology in Biopsy. — Berlin: Springer-Verlag, 1978. — 189 p.
5. Нефрология: Руководство для врачей/Под. ред. И.Е. Тареевой. 2-е изд., пере-раб. и доп. — М.: Медицина, 2000. — 688 с.: ил.
6. Батюшкин М.М. Нефрология: основы доказательной терапии/М.М. Батюшкин; Под. ред. проф. В.П. Терентьева — Ростов н/Д: «Феникс», 2005. — 348 с. — (Гиппократ).
7. Карась СИ, Конев А.В, Архипова А.В. Компьютерные инструменты исследования знаний медицинских экспертов//Врач и информационные технологии. — 2004. — № 1. — С. 37-41.;
8. Сергиенко В.И, Бондарева И.Б. Математическая статистика в клинических исследованиях — М.: ГЭОТАР-МЕД, 2001. — 256 с.
■ 1 1 1 1 1 1 ■ ■ 1 1 1 ■ ■ ■■ ■ ■ ■ i i i i i i i i i i i i i 1 1 ■■■ ■ ■ ■ i i i i i i i i i ГГТ , ■■ ■ ■ ■■■ ■ ■ 55" !!!!!!!!!!!!! ! ! !
