CC BY
187
ИТ и лечебно-диагностический процесс
Др
W-ЩШШ
kJH
I и информационные
технологии
А.В.ВЛАДЗИМИРСКИЙ,
к.м.н., заведующий отделом информатики и телемедицины ДНИИТО, отдел информатики и телемедицины НИИ травматологии и ортопедии Донецкого государственного медицинского университета им. М.Горького, Донецк, Украина
КРИТЕРИИ ОЦЕНКИ ЭФФЕКТИВНОСТИ ТЕЛЕМЕДИЦИНСКОЙ КОНСУЛЬТАЦИИ
Телемедицинское консультирование все более активно внедряется в повседневную клиническую деятельность лечебно-профилактических учреждений различного уровня. Все более насущной проблемой становится оценка качества проводимых телеконсультаций для выбора оптимальных решений, оптимизации телемедицинской деятельности, принятия эффективных решений. Различные исследователи рассматривают финансовые выгоды от использования телеконсультаций [8, 10,14], влияние их на клинические показатели [1, 13, 18], психологические аспекты [11, 17], организационное улучшение [15, 16].
ЦЕЛЬ ИССЛЕДОВАНИЯ - разработать совокупность критериев для оценки эффективности телемедицинской консультации.
МАТЕРИАЛ И МЕТОДЫ
Использованы материалы 370 асинхронных и синхронных телемедицинских консультаций, проведенных по 15 медицинским специальностям; данные комплексных исследований эффективности телемедицины [9].
РЕЗУЛЬТАТЫ И ОБСУЖДЕНИЕ
Нами предложено три группы показателей качества телемедицинской консультации: релевантность [3]; экономическая целесообразность; качественные показатели.
РЕЛЕВАНТНОСТЬ
«Получил ли абонент от консультанта необходимую, качественную и максимально полную информацию?» - вот ключевой вопрос оценки одиночной телеконсультации. То есть необходимо ввести критерий качества рекомендаций/ответа дистанционного консультанта. В некоторых источниках для характеристики эффективности той или иной телемедицинской процедуры используется термин «relevance» - «релевантность» (от англ. relevant - относящийся к делу) [12, 20]. В терминологии современной информатики релевантность обозначает соответствие найденного документа запросу, сделанному пользователем поисковой системы (чаще в Интернет). В приложении к телемедицине предлагаем следующую формулировку [3].
© А.В.Владзимирский, 2007 г.
ИТ и лечебно-диагностический процесс
Релевантность телеконсультации - соответствие ответа удаленного консультанта информационо-меди-цинским потребностям абонента.
На наш взгляд, существуют два вида оценки релевантности (Rel) [3]: субъективный и объективный. В своей практике для субъективной оценки мы использовали приблизительную индивидуальную оценку по 3-балльной шкале (табл.1).
С помощью данной шкалы можно определить количество и удельный вес высоко-, средне- и низкорелевантных ответов в группе однородных телеконсультаций (по клиническому диагнозу, технологическому варианту проведения и т.д.).
Для объективной оценки мы разработали опросник и электронный калькулятор (табл.2).
Опросник/электронный калькулятор для определения релевантности включает в себя 7 вопросов с несколькими вариантами ответов (сроки, соответствие ответов, наличие дополнительной информации, влияние на лечебно-диагностическую программу, запрос дополнительных диагностических данных, содержание ответа, проведение консилиума). Каждый ответ оценивается от 1 до 3 баллов. Сумма баллов в пределах 17-21 указывает на высокую, 12-16 - среднюю, а 7-11 -низкую релевантность проведенной телеконсультации.
Опросник пригоден и для более качественной оценки эффективности одиночной телеконсультации. При проведении некоего исследования опросник должен быть запол-
www.idmz.ru , Щ| 2007, '
Таблица 1
Шкала для субъективной оценки релевантности телеконсультации
Баллы Характеристика телеконсультации
i Несоответствие ответов поставленным вопросам
2 Неполное соответствие ответов поставленным вопросам, нечеткость формулировок и рекомендаций
3 Полное соответствие ответов вопросам, наличие дополнительной подтверждающей информации (текстов статей, ссылок на публикации и ресурсы Интернета, демонстрация аналогичных клинических случаев)
Таблица 2
Опросник для определения релевантности телеконсультации
1. Срочность, ТК проведена:
ранее оговоренных/необходимых сроков 3
в оговоренные/необходимые сроки 3
позже оговоренного/необходимого срока 2
после в сроки полной потери актуальности 1
2. Соответствие ответов:
полное соответствие ответов поставленным вопросам 3
частичное соответствие ответов поставленным вопросам, нечеткость формулировок и рекомендаций 2
несоответствие ответов поставленным вопросам 1
3. Наличие дополнительной информации по теме ТК (текстов статей, ссылок на публикации и ресурсыг Интернета, демонстрация аналогичных клинических случаев):
да 3
нет 1
4. Влияние ТК на лечебно-диагностическую программу:
полностью принята тактика консультанта/существенное изменение тактики 3
коррекция отдельных этапов 2
подтверждение программы 2
отказ от рекомендаций удаленного консультанта 1
5. Запрос дополнительных диагностических данныгх:
нет/методы, доступные абоненту 3
методы, доступные абоненту с вложением значительных затрат (труд, финансы) 2
методы, не доступные абоненту 1
6. Консультантом предложено:
одна программа лечебно-диагностических действий 3
несколько программ лечебно-диагностических действий 2
изложены предпосылки к формированию программы 1
7. Проводился консилиум (несколько дистанционных консультантов):
да 3
нет 1
нен врачом-абонентом, представлявшим клинический случай для телеконсультирования.
С помощью субъективной и объективной оценки релевантности можно исследовать качество отдельной телемедицинской консультации или определить удельный вес высоко-, средне- и низкорелевантных телеконсультаций в некой совокупности (выборке). Также есть возможность определить критерий релевантности телемедицинской системы Relsys
ИТ и лечебно-диагностический процесс
Др
W-ЩШШ
kJH
I и информационные
технологии
(по принципу расчета коэффициента полезного действия) за произвольный период времени:
Rel
TKrel
TK
, где
TKrd - количество телеконсультаций заданной релевантности (высокой и/или средней);
TK - общее количество телеконсультаций.
Соответственно, чем ближе критерий Relsys к единице, тем более эффективна данная система телеконсультирования.
ЭКОНОМИЧЕСКАЯ
ЦЕЛЕСООБРАЗНОСТЬ
Наиболее часто определяют себестоимость (Stk) и рентабельность (Rtk) телеконсультации.
Определение стоимости телеконсультации можно проводить исходя, из принятых в данном государстве инструкций по расчету себестоимости медицинской услуги (на уровне министерства здравоохранения). При этом разные авторы определяют такие компоненты стоимости телемедицинской консультации:
1. В работе Леванова В.М., Сергеева Д.В. [7]:
♦ затраты районного медицинского учреждения по подготовке материалов для консультации;
♦ затраты областного медицинского учреждения по проведению консультации и подготовке заключения;
♦ стоимость услуг связи, оплачиваемая районным медицинским учреждением;
♦ стоимость услуг связи, оплачиваемая областным медицинским учреждением.
2. В работе Купцовой Л.А., Казённова В.Е. [6]:
♦ цена консультации местного врача;
♦ цена консультации консультирующего специалиста;
♦ цена услуги консультирующего медицинского пункта по организации консультации и предоставлению телекоммуникационных ресурсов для ее проведения;
♦ издержки местного телемедицинского пункта на проведение консультации;
♦ прибыль (убытки) местного телемедицинского центра.
В качестве примечания добавим, что расчет стоимости простой медицинской услуги (С) осуществляется по формуле: С=Сп+Ск=Зт+Нз+М+И+0+П, где Сп - прямые расходы;
Ск - косвенные расходы;
Зт - расходы на оплату труда;
Нз - начисления на оплату труда;
М- расходы на медикаменты, перевязочные средства и пр.; И - износ мягкого инвентаря;
О - износ оборудования;
П - прочие расходы.
Также можно воспользоваться уже разработанными методами. Например, себестоимость телемедицинской услуги по Камаеву И.А. и др. [5] может быть определена следующей формулой:
^(ЗЯ+ЗЯ+ЗПп)^(1+С0)+А0+ИИ+РМ+0УР+УС0+Пр, где ЗПмп - зарплата медицинского персонала;
ЗПип - зарплата инженерно-технического персонала; ЗПпп - зарплата прочего персонала (административного, вспомогательного);
С0 - отчисления в социальные фонды;
А0 - амортизация оборудования;
ИИ - износ инвентаря;
РМ - стоимость расходных материалов;
0УР - общеучрежденческие расходы;
УС0 - услуги сторонних организаций (провайдеров, консультативного центра);
Пр - прибыль.
Рентабельность представляет собой отношение прибыли к себестоимости. Рентабельность (Rtk) оказываемых учреждением здравоохранения услуг определяется по следующей формуле:
Ц - С Ц
где
Ц - цена оказываемых услуг;
С - себестоимость оказываемых услуг.
После расчета S и Rtk телемедицинской консультации (или их совокупности) проводят сравнение с себестоимостью и рентабельностью аналогичной стандартной медицинской услуги. Например, есть возможность экономически сравнить телемедицинскую консультацию с традиционной консультацией пациента в учреждении более высокого уровня.
ИТ и лечебно-диагностический процесс
www.idmz.ru
2007,
W-ЩШШ I Ы.МЯЯ
КАЧЕСТВЕННЫЕ ПОКАЗАТЕЛИ
Качественные показатели рассчитываются для некой совокупности (выборки) телемедицинских консультаций, например, проведенных в определенный период времени или с помощью данной технологии. К качественным показателям относятся [1, 3, 4]:
♦ показатель наличия/отсутствия ответа консультанта (А);
♦ показатель средней длительности (У);
♦ среднее количество ответов консультантов (Aq);
♦ своевременность телеконсультаций (Pt);
♦ качество телеконсультаций (Pq).
Первые три показателя наиболее простые.
Показатель наличия/отсутствия ответа консультанта может иметь два значения: 0 - отсутствие ответа, 1 - наличие ответа. Имея совокупность телеконсультаций с помощью А-показателя и знакового статистического критерия, можно определить удельный вес состоявшихся и несостоявшихся телеконсультаций.
У-показатель рассчитывается для совокупности телеконсультаций как среднее арифметическое:
n
_ It
T = — , где
n
в числителе - сумма длительностей всех телеконсультаций, в знаменателе - количество телеконсультаций.
Аналогично рассчитывается показатель среднего количества ответов - Aq:
нателе - общее количество телеконсультаций за тот же период времени.
Качество телеконсультаций Pq также рассчитывается на основе метода Герасимова Б.М. и др. [4]:
г. т
Pq = — , где n
m - количество телеконсультаций допустимого качества; n - общее количество телеконсультаций.
Под «качеством телеконсультации» можно понимать релевантность (удельный вес высоко-, средне-или низкорелевантных телеконсультаций) и/или некую произвольную оценку, например, количество телеконсультаций, при которых было получено более одного ответа.
Примечательно, что с помощью двух последних критериев по методу Герасимова Б.М. и др. [4] мы можем рассчитать вероятность эффективной телеконсультации (Ptk):
P* = Pt X Pq
Чем ближе P к единице, тем выше вероятность проведения эффективных телеконсультаций. То есть в таком случае мы можем оценить деятельность телемедицинской системы в целом и, более того, спрогнозировать эффективность проведения телеконсультирования, например при использовании того или иного инженерного, клинического, организационного, экономического решения.
_ IAqt
Aq = ---, где
n
в числителе - сумма количеств ответов, в знаменателе - количество телеконсультаций.
Своевременность телеконсультаций Pt рассчитывается на основе метода Герасимова Б.М. и др. [4]:
Pt = , где
в числителе - количество своевременных телеконсультаций за допустимое (определенное) время, в знаме-
ВЫВОДЫ
Нами предложено три группы показателей качества телемедицинской консультации:
♦ релевантность консультации и системы (Rel, Rel );
♦ экономическая целесообразность (сравнение себестоимости (Stk) и рентабельности (Rtk);
♦ качественные показатели (показатель ответа (A), показатель средней длительности (T), среднее количество ответов консультантов (Aq), своевременность телеконсультаций (Pt), качество телеконсультаций (Pq), вероятность эффективной телеконсультации (PJ.
n
37
ИТ и лечебно-диагностический процесс
Др
W-ЩШШ
kJH
I и информационные
технологии
На основе описанных критериев необходимо разработать алгоритм комплексной оценки эффективности телеконсультации.
Предложенная методика внедряется нами для изучения и контроля качества телемедицинского консультирования в повседневной клинической практике.
ЛИТЕРАТУРА
1. Владзимирський А.В. Лкування потерптих i3 множинними i сполучними ушкодженнями на догоспггальному i гос-пiтальному етапах з використанням телемедичних систем. - Автореф...канд.мед.н. - Вшниця, 2003. - 20 с.
2. Владзимирский А.В. Формирование доказательной базы в телемедицине//Научные работы форума с международным участием, посвященного 20-летию кафедры медицинской информатики КМАПО, «Информационные технологии в здравоохранении и практической медицине». - Киев, 2006. - С.29-30.
3. Владзимирский А.В., Челноков А.Н. Релевантность телемедицинской консультации//!! Междунар. школа-семинар «Телемедицина - опыт и перспективы». Донецк, 2006//Укр. ж-л. телемед. мед. телемат. - 2006. - Т.4. - №1. -С.99-100.
4. Герасимов Б.М., Оксиюк А.Г., Гулак Н.К. Оценка эффективности применения систем поддержки принятия реше-ний//Мат. наук.-практ. конф. «Системи пщтримки прийняття ршень. Теорiя та практика». - КиУв, 2006. - С.25-27.
5. Камаев И.А., Леванов В.М., Сергеев Д.В. Телемедицина: клинические, организационные, правовые, технологические, экономические аспекты. - Нижний Новгород: Изд-во НГМА, 2001. - 100 с.
6. Купцова Л.А., Казённов В.Е. Экономические вопросы медицинского консультирования через Интернет//Регио-нальная науч.-практ. конф. для специалистов в области информационных технологий. - Хабаровск, 2006. - http:// www.dvif.ru.
7. Леванов В.М., Сергеев Д.В. Экономические аспекты телемедицинских услуг//Медицинский обозреватель. - 2003. - № 4. - С.12-17.
8. Пивень Д.В. Клиническая и экономическая эффективность телемедицины во фтизиатрии//Аналитический вестник №24 (217). Профессия и здоровье (по итогам II Всероссийского конгресса «Профессия и здоровье»). - Москва, 2003. - С.67-69.
9. Aoki N., Dunn K., Johnson-Throop K.A., Turley J.P. Outcomes and methods in telemedicine evaluation//J. Telemed. E. Health. - 2003. - №9(4). - Р.393-401.
10. Bergmo T.S. An economic analysis of teleconsultation in otorhinolaryngology//J. Telemed. Telecare. - 1997. - №3. -Р.194-199.
11. Chan F.Y., Soong B., Lessing K. et al. Clinical value of real-time tertiary fetal ultrasound consultation by telemedicine: preliminary evaluation//). Telemed. - 2000. - №6. - Р.237-242.
12. Karlsson D., Ekdahl C., Wigertz O., Shahsavar N., Gill H., Forsum U. Extended telemedical consultation using Arden Syntax based decision support, hypertext and WWW technique//Methods Inf. Med. - 1997. - №36(2). - Р.108-114.
13. Lambrecht CJ. Telemedicine in trauma care: description of 100 trauma teleconsults//J. Telemed., 1997. -№3. -Р.265-268.
14. PalaninathaRaja M., Wadhwa S., Deshmukh S.G. Cost-benefit analysis on eHealthcare services//Ukr. z. telemed. med. telemat. - 2006. - Vol.4. - №1. - P.53-64.
15. Rollert M.K., Strauss R.A., Abubaker A.O., Hampton C. Telemedicine consultations in oral and maxillofacial surgery// J. Oral. Maxillofac Surg. - 1999. - №57. - Р.136-138.
16. Rosser J.C., Jr. Prosst R.L., Rodas E.B., Rosser L.E., Murayama M., Brem H. Evaluation of the effectiveness of portable low-bandwidth telemedical applications for postoperative followup: initial results//J. Am. Coll. Surg. - 2000. - №191. -Р.196-203.
17. Siden H.B. A qualitative approach to community and provider needs assessment in a telehealth project//J. Telemed. -1998. - №4. - Р.225-235.
18. Rendina M.C., Downs S.M., Carasco N., Loonsk J., Bose C.L. Effect of telemedicine on health outcomes in 87 infants requiring neonatal intensive care//J. Telemed. - 1998. - №4. - Р.345-351.
19. Vladzymyrskyy A. Classification for methods of telemedicine efficiency investigations//Med-e-Tel, 2006. - Luxembourg, 2006. - P.57-58.
20. Wiborg A., Widder B. Telemedicine in Stroke in Swabia Project/Teleneurology to improve stroke care in rural areas: The Telemedicine in Stroke in Swabia (TESS) Project. Stroke. - 2003. - №34(12) . - Р.2951-2956. - Epub., 2003. - Nov. 20.
