Оценка эффективности медицинской информационной системы с точки зрения пользователя

Баланцев Г.А.; Никишова Е.И.; Перхин Д.В.; Марьяндышев А.О.

W4MM

1 и информационные

технологии

Информатизация здравоохранения

Г.А. БАЛАНЦЕВ,

к.т.н., доцент, Северный (Арктический) федеральный университет, г. Архангельск, Россия,

limenda@mail.ru

Е.И. НИКИШОВА,

к.м.н., заведующая организационно-методическим кабинетом, ГБУЗ АО «Архангельский клинический противотуберкулезный диспансер», г. Архангельск, Россия Д.В. ПЕРХИН,

главный врач ГБУЗ АО «Архангельский клинический противотуберкулезный диспансер»,

г. Архангельск, Россия

А.О. МАРЬЯНДЫШЕВ,

д. м.н., профессор, заведующий кафедрой фтизиопульмонологии, Северный государственный медицинский университет, г. Архангельск, Россия

ОЦЕНКА ЭФФЕКТИВНОСТИ МЕДИЦИНСКОЙ ИНФОРМАЦИОННОЙ СИСТЕМЫ С ТОЧКИ ЗРЕНИЯ ПОЛЬЗОВАТЕЛЯ

УДК 61:658.011.56

Баланцев Г.А., Никишова Е.И., Перхин Д.В., Марьяндышев А.О. Оценка эффективности медицинской информационной системы с точки зрения пользователя (ГБУЗ Архангельской области «Архангельский клинический противотуберкулезный диспансер», г. Архангельск, Россия)

Аннотация. В современных условиях важно иметь возможность достоверно оценить эффект от внедрения медицинских информационных систем. Методы оценки должны давать возможность комплексно анализировать как технические, так и социальные аспекты использования медицинской информационной системы, выявлять проблемные области, недоработки и узкие места в целях дальнейшего совершенствования системы. В статье предложена методика оценки эффективности медицинской информационной системы, основанная на анкетировании пользователей. Рассмотрен пример ее применения к оценке эффективности автоматизированной системы мониторинга туберкулеза в Архангельском клиническом противотуберкулезном диспансере.

Ключевые слова: оценка, эффективность, медицинская информационная система, туберкулез, мониторинг, диспансер.

UDC 61:658.011.56

Balantsev G.A., Nikishova E.I., Perhin D.V, Maryandyshev A.O. Assessment of electronic medical record system efficiency from the user's point of view (Archangelsk Regional Antituberculosis Dispensary)

Abstract. Evaluation of the impact of electronic medical record system is an important task today. Assessment methods should provide an opportunity to consider both technical and social aspects of the use of information system, to discover problematic areas and possible system's bottlenecks for the purpose of further development. In this paper authors propose methodology for assessment of the impact of electronic medical record system from the user's point of view. An example of the method's implementation for evaluation of the automated system of tuberculosis monitoring in Archangelsk Regional Antituberculosis Dispensary is provided.

Keywords: assessment, efficiency, electronic medical record system, tuberculosis, monitoring, dispensary.

Введение

Выбор медицинской информационной системы для последующего внедрения в лечебном учреждении должен быть обоснованным. В настоящее время как специалисты ИТ-служб медицинских учреждений, так и разработчики медицинских информационных систем испытывают потребность в методах оценки эффективности различных систем и технических решений.

1 22 ■ ■ ■ ■ ■■ ■ ■ ■ ■■■ ■ ■ ■ ■■ ■ ■ ■■■ ■ ■ ■ ■ ■

Информатизация здравоохранения

www.idmz.ru

гол г, №4

■■■■

РЧН

Традиционно в медицинской науке целесообразность применения тех или иных методов подтверждается путем доказательства их клинической эффективности с использованием аппарата математической статистики. Представляется целесообразным разработать технологию оценки медицинских информационных систем, в основе которой лежат принципы, на протяжении десятилетий успешно используемые доказательной медициной. Тогда методика и критерии оценки медицинских информационных систем станут доступнее для восприятия специалистами практического здравоохранения, а результат оценки будет проверяем.

Очевидно, что влияние медицинской информационной системы на результаты лечения по сравнению с другими факторами является незначительным. Следовательно, эффект от внедрения следует искать в области сокращения трудозатрат персонала, повышения эффективности обмена информацией, упрощения поиска и процедур доступа к данным. В представленной Вашему вниманию работе предложена технология оценки медицинских информационных систем на примере оценки эффективности автоматизированной системы мониторинга туберкулеза inIT-TB, применяемой противотуберкулезной службой Архангельской области.

Цель исследования: оценка эффекта, связанного с внедрением автоматизированной системы мониторинга туберкулеза в Архангельской области.

Материалы и методы

Для того, чтобы оценить эффект от внедрения автоматизированной системы мониторинга туберкулеза, был проведен анализ изменения бизнес-процессов противотуберкулезной службы. Изменение трудозатрат пользователей оценивалось путем анкетирования, анкета представлена на рисунке 1.

Анкета включала 16 вопросов, разделенных на 3 группы и позволяющих определить

точку зрения пользователя в отношении основных показателей, характеризующих эффект от внедрения и полезность медицинской информационной системы:

1. Сокращение трудозатрат в результате внедрения — разделы 1, 2, 3, 5;

2. Повышение качества обрабатываемой информации — раздел 4;

3. Надежность и бесперебойность работы системы, эффективность технической поддержки — раздел 6;

Были опрошены специалисты следующих групп:

1. Медицинские регистраторы (2 человека);

2. Персонал организационно-методического кабинета (3 человека);

3. Врачи бактериологической лаборатории (3 человека);

4. Лаборанты бактериологической лаборатории (4 человека);

5. Врачи-фтизиатры стационарных отделений (5 человек);

6. Врачи-фтизиатры диспансерных отделений (8 человек);

7. Средний медицинский персонал диспансерных отделений (7 человек).

Анкета была предварительно проверена в тестовом режиме несколькими специалистами и признана пригодной к использованию. Всего анкетировано 89% пользователей системы, являющихся работниками диспансера.

Результаты

Анализ анкет позволил установить влияние внедрения системы мониторинга на работу различных групп пользователей. Распределение ответов всех респондентов на вопросы разделов 1 и 2 представлено в таблице 1.

Ответы на вопросы среди различных групп специалистов существенно различаются. К примеру, работники, отвечающие преимущественно за анализ данных и подготовку статистической отчетности (статистики и заведующие отделениями, всего 7 человек), в целом отмечают существенное сокращение трудо-

■ ■ ■ ■ ■ ■■ ■ ■ ■ ■■■ ■ ■ ■ ■■ ■ ■ ■■■ ■ ■ ■ ■ 23 ■

РЧН

Информатизация здравоохранения

1 и информационные

технологии

Л1IKETA \t

Jl«a laihinixiiBi

ф]Ю.

d" Llv i i r-.Tt i n.

Itamunw _|^1^ккжют1(эгжп p^rLwwnrrrjp ■■■■■■ym-™-™ лижчн.Л1амижн^мг11.'>

Agn~4]4n'.PHff. It' Г>Г1 T^TH Г ApirtfWJP#'4'WrJ_____________________________________

L. CotlfMtOFBttE пйы.'чи [ipThiT c (h члчничр .milV^fh г дм ir

I I. IfclllkCbKWHIIPCbllL'lC'MM LlHqillH.LO PHhlll'IiiTimP JUtyilLinrill. UlH'Lllll'JULJV Мрт,-,МГ1>1.

П Да: Q ] ki, j k.ui'fii.ki, l~1 11c шиит]

1 2. Снчпсилг*1:р^чн.чпьинктил*л1И]| Е..и.чп>ч¥1мач1 из LyuajKiKni рмчлтслс

О D ] Г'-|,К.П'ПШ. Q llciUBM],

I. CiKhinuiifiiHL' BipiT r[M"ic«in iph ihChmi |||рфн1|1Ч1РшгР ( .jn linin'л i|ii iihimhiii iliii

QlfPVUItyiUI

a J. С’лгРВ'Цк.’йфниЕ.и rpnjhhMhh.'iLP ib.,pni№jKi}{ ihh iiiih^iBiy

0 p’Li О Jkr.yK.UPULU О ]lc H IHIK’I

3 3 kMKiiii |Eia [кцр^гчичрьр I|£4l,i™ u .iP4H«K щ,гГ[ичц

□ л* □ ] lifl, ;,-ре.ИПГ1|.И. Q I Ic IL IHDFI

2 t’n?ibuj imiFpji ни ii(L->ri«.^piiiHVTi. я ■кдо.уш'- Гфчажшм до кущ г нм

Q Ди Q ikr.yw-ni'Fiiu. □ ](.; |l-|hik4

1 -4. СИсрсЧл «ikpal 111a iKoftiibluotlli В IfcpttU.fri: illtf-TpUniUbl IIhimtuiI

П |'1д П ]tl. hK.PJl'clLli. П ]|Г В-1РЯГ].

J. yVliTpf IIPF фа{ШРр)«ШГР Ol'HtllPlCl P

■3 1. Yueuifc hi Адиля il ■iqiPih.iii'uliK'Fb'lii'f ыН[нтвЬшл* 1 * * * Vк-мч|.1 Hnl^pbic itla ivcl^iil

1 t'KMl№' Ч*;ЧД1И1Ч:Ч1М4Р ЧДОЯС1 Им H ц‘[Нп‘.В1(М фЯНГК |U№IWvlll|f И1П iKPhrTiHl?

L' [клп.1кнчс]РПЕпи citfmu' In: i numb.u'hiruiijiiciiciodij

4. l!tlBJlHI(I.PF[rPI IPP4PWB К.1Р1РШЧГГ1Л1Я зглфир'иирр P 4,UB.'|UIBBnPB t'klPlirCTi IUIIIfThiIi' n W.uillll IKIFilll lik.l'iMTJHHll

OVlD-PU^ LIU IlL-UnkJlIBIIMbnill'.1' □iW П fir.г

4 3. Hi'ilLt'Eb'kMaiaik; tiiL^mu ii<MiJi:|i.,)ih;|i4-[iwp|iPC]L4|i|^nj[iiu3|piLvi¥ii.,i?i^E]|i:|b;.i |HP|'WHi-\

Qd'lo □ iki.flilli iji-m. Q Ilf MHiKi

V fuCIKKlL* Hb[hMrii.nipilVlHTL H П:Ш lipplllLPlf к flu H-lJIUj-Ull IL DfB rtilTflB IklEII

■pniiiihu, Пвш nfiij-ч [mbvr:

Q (Ч'ЦкЛЛ.Ь:*-. Q ] bf |[TW|l|l.b,T Q 11 l1 i I LI IЧП IkJfVif Q f 11.14 El uipiv,

Q ]1urhlllli;iB|i; ri*Jn>TU П IWtpilSIUOiYlJVK Q l|( riJVKTlTLllk' ДОЧП [ufom ftCl

L-pO-TL-' |4J р|(ПЛ li|L'XIII JU

9ктк|ыл|Ш1шя ^H(|n|u

й. Нипжп ii iVcmpcfeiBKiv |W«i tu тнц'т^ин

ff 1. Km 4*tm ciw if^ia iirhnAiiufi iriu ik

P4jVwP (pi PMMDIII'.'

h 2. Ckillkpl .uwn Nil PU IpJ.l IKn' l^BIMlh SMrtl

нпн^ткаУ

ьЗ I lpi'-mj:i.Ni hi RPtKiiHt* |mh« jHiniucppft iMjr; сЛщ"

Ohm

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

J. L'kHb l№l ('kH-HW-l -UIIHHKT k№lil№P.KII№ vIK I ц'ЧЫ Il'it.lB rfkтГ"'

Рис. J. Анкета для оценки эффекта от внедрения автоматизированной системы мониторинга туберкулеза

24

Информатизация здравоохранения

www.idmz.ru

гол г, №4

■■■■

РЧВВ

Таблица 1

Распределение отчетов всех анкетированных лиц на вопросы разделов 1 и 2

Вопрос Сократилось, % Без изменений, % Увеличилось, %

1.1 Количество документов, заполняемых вручную 38 47 16

1.2 Потребность в обращении к документам на бумажном носителе 66 34 0

2.1 Потребность в переговорах по телефону 56 31 13

2.2 Потребность в поездках и личных встречах 34 66 0

2.3 Необходимость в передаче бумажных документов 31 69 0

2.4 Необходимость в пересылке информации по e-mail 31 69 0

затрат, связанное с внедрением системы. Все они утверждают, что использование системы снизило потребность в обращении к документам на бумажном носителе, переговорах по телефону, поездках и личных встречах, передаче бумажных документов.

В то же время специалисты, отвечающие преимущественно за ввод данных (25 человек), менее оптимистичны в своих оценках. В этой группе на вопрос «Использование системы сократило количество документов, заполняемых вручную?» 52% выбрали ответ «Не влияет», 28% — «Да», 20% — «Нет, увеличило». Для статистиков и заведующих отделениями ответы на этот вопрос распределены следующим образом: 29% — «Не влияет», 71% — «Да», 0% — «Нет, увеличило».

На вопрос «Система сократила потребность в обращении к документам на бумажном носителе?» 56% респондентов из числа работников, отвечающих преимущественно за ввод информации в базу данных, отвечают «Да», 44 — «Не влияет». На вопросы 2.1 —2.4 большинство специалистов этой группы (60-80% в зависимости от вопроса) дает нейтральный ответ «Не влияет», в то время, как среди заведующих отделениями и статистиков доля положительных ответов составила 86-100%.

Вопросы раздела 3 имели своей целью установить влияние автоматизированной системы мониторинга на процесс формирования статистических отчетов. Следует отметить, что формирование отчетов осуществляется только частью опрошенных пользователей (16 человек, 50%), из них автоматизированную систему мониторинга для формирования отчетов используют 9 человек (28%). Все они отмечают сокращение затрат времени на формирование статистической отчетности. Наиболее существенное сокращение трудозатрат наблюдается среди заведующих отделениями и составляет для заведующей организационно-методическим кабинетом — 17,5 часа в квартал (0,5 часа с использованием системы или 18 часов без использования), для заведующей бактериологической лабораторией — 23 часа в квартал (1 час с использованием системы или 24 часа без использования). Заведующие диспансерными и стационарными отделениями отмечают сокращение трудозатрат на формирование отчетности на 2 часа в месяц (0,25 часа с использованием системы или 2,25 часа без использования).

Ответы на вопросы раздела 4 показывают, что система положительно влияет на повышение качества статистической отчет-

■ ■ ■ ■ ■ ■■ ■ ■ ■ ■■■ ■ ■ ■ ■■ ■ ■ ■■■ ■ ■ ■ ■ 25 ■

РЧН

Информатизация здравоохранения

и информационные

технологии

9

>ности. 88% опрошенных утверждают, что система позволила им находить ошибки в клинических данных, которые ранее остались бы незамеченными, 63% считают, что внедрение системы позволило повысить достоверность информации, содержащейся в отчетах, а 37% — что система на достоверность информации не влияет.

Вопрос 5 позволяет оценить, насколько велико влияние автоматизированной системы мониторинга на работу конкретного пользователя. Среди всех пользователей 13% утверждают, что в случае выхода системы из строя их объем работ сократится, 25% — не изменится, 25% — незначительно увеличится, 13% — сильно увеличится, 3% — выполнение работы в полном объеме станет невозможным; 13% не представляют своей работы без использования системы. Ответы на этот вопрос сильно различаются в зависимости от должности респондента. Среди специалистов, отвечающих преимущественно за анализ данных и подготовку отчетов (7 человек), 43% отмечают невозможность выполнения своей работы без использования системы, 57% — сильное увеличение объема работ в случае отказа системы. Среди тех, кто отвечает преимущественно за ввод данных, 32% ответили, что объем их работ не претерпел бы изменений при отказе системы, 32% — что незначительно увеличился, 12% — существенно увеличился. Все лаборанты клинико-диагностической лаборатории, вовлеченные в процесс ведения базы данных (4 человека, 16% из числа группы) отмечают, что в случае отказа от использования системы их объем работ бы сократился.

Вопросы раздела 6 служат для того, чтобы оценить надежность работы системы и качество технической поддержки. На вопрос о среднем количестве отказов в месяц ответы респондентов распределились в диапазоне от 0 до 2,5, среднее время восстановления системы после сбоя респонденты оценили в диапазоне от 6 минут до 2,5 часа. 8 человек

(33% опрошенных) утверждают, что в результате сбоев пропадали введенные данные, 67% придерживаются противоположного мнения.

Обсуждение результатов

Внедрение информационной системы мониторинга туберкулеза представляет собой сложный процесс, исследование последствий которого невозможно осуществить при помощи какого-либо одного метода. Информационная система затрагивает различные стороны функционирования лечебного учреждения, поэтому в оценке ее эффективности важно учитывать не только технические, но и социальные аспекты.

Общий эффект снижения затрат времени достигается за счет перехода от ручной к автоматизированной обработке информации с интеграцией данных в единую базу данных, что делает сведения различных подразделений доступными для совместного рассмотрения. К примеру, существенным преимуществом стала возможность анализа результатов бактериологических исследований совместно с информацией о регистрации, терапии и результатах лечения заболевания туберкулезом, которая обеспечивается за счет вовлечения специалистов клинико-диагностической лаборатории в ведение базы данных.

Анкетирование как метод получения информации о предмете исследования имеет свои недостатки. Как отмечено в [1], для ответов на вопросы анкет характерна поверхностность, зачастую процент отказов отвечать на вопросы бывает высок.

В ходе проведенного анкетирования отказов отвечать на вопросы не было зарегистрировано. Для того, чтобы обеспечить достоверность данных, полученных в результате анкетирования, вопросы и варианты ответов были сформулированы простым и понятным образом, позволяющим выбрать правильный ответ даже при беглом прочтении. Например, на вопрос «Использование системы сократи-

■ ■ ■ ■ ■■ ■ ■ ■ ■■■ ■ ■ ■ ■■ ■ ■ ■■■ ■ ■ ■ ■ ■

Информатизация здравоохранения

www.idmz.ru

гол г, №4

■■■■

РЧН

ло количество документов, заполняемых вручную?» предусмотрено три варианта ответа: «Да», «Нет, увеличило», «Не влияет». Затраты времени на выполнение операций до и после внедрения системы в некоторых случаях пришлось уточнять путем личного контакта с опрашиваемым специалистом.

Однако, анализ результатов показал, что в ряде случаев ответы респондентов не в полной мере соответствовали действительности. Например, технический анализ протоколов работы системы не выявил случаев потери введенных данных в результате сбоев, хотя случаи потери данных отмечали 33% респондентов. Вероятно, респонденты могли ошибочно принять случаи внесений искажений в данные другими пользователями, действительно периодически имеющие место в ходе эксплуатации, за потери информации в результате технических сбоев.

В результате анализа установлено, что основной причиной отказов, отмеченных респондентами, являются случаи перебоев электроснабжения различных элементов системы. Несмотря на то, что серверы системы защищены источниками бесперебойного питания, коммутационная аппаратура отдельных сегментов локальной вычислительной сети и компьютеры пользователей не имеют источников резервного электропитания и поэтому подвержены влиянию перерывов в электроснабжении.

Наибольший эффект от внедрения системы наблюдается в деятельности руководителей подразделений медицинской организации, а также специалистов, отвечающих за анализ информации и подготовку статистической отчетности. Среди этих групп 100% опрошен-

ных отмечают значительное сокращение трудозатрат в результате внедрения автоматизированной системы мониторинга.

Большинство опрошенных из числа вра-чей-фтизиатров и среднего медицинского персонала считают, что внедрение системы не оказывает существенного влияния на объем их работ, но, в то же время увеличивает достоверность статистической информации и качество подготовки отчетности.

В целом в результате внедрения системы удалось достичь сокращения трудозатрат специалистов, отвечающих за анализ данных и подготовку отчетности, повышения качества отчетов и оперативности предоставления данных, не создавая дополнительной нагрузки на врачей-фтизиатров и средний медицинский персонал противотуберкулезного диспансера.

Выводы

1. Автоматизированная система мониторинга туберкулеза повысила качество обмена информацией и ускорила процесс обработки статистической отчетности в Архангельском клиническом противотуберкулезном диспансере.

2. Положительный эффект от внедрения автоматизированной системы отмечают 100% руководителей подразделений диспансера.

3. Врачи-фтизиатры и средний медицинский персонал не отмечают уменьшения объема работы с внедрением автоматизированной системы мониторинга, что требует дальнейшего уменьшения дублирования информации на бумажных носителях.

ЛИТЕРАТУРА

1. ГидденсЭ. Социология/Пер. с англ.; науч. ред. В. А. Ядов; общ.ред. Л.С. Гурьевой, Л.Н. Посилевича. — М.: Эдиториал УРСС, 1999. — 703 с. ISBN 5-354-01093-4.

■ ■ ■ ■ ■ ■■ ■ ■ ■ ■■■ ■ ■ ■ ■■ ■ ■ ■■■ ■ ■ ■ ■ 27 ■

Оценка эффективности медицинской информационной системы с точки зрения пользователя Текст научной статьи по специальности «Науки о здоровье»

Аннотация научной статьи по наукам о здоровье, автор научной работы — Баланцев Г. А., Никишова Е. И., Перхин Д. В., Марьяндышев А. О.

Похожие темы научных работ по наукам о здоровье , автор научной работы — Баланцев Г. А., Никишова Е. И., Перхин Д. В., Марьяндышев А. О.

Assessment of electronic medical record system efficiency from the user's point of view

Текст научной работы на тему «Оценка эффективности медицинской информационной системы с точки зрения пользователя»