CC BY
50
УДК 615.12
https://doi.org/10.30895/1991-2919-2019-9-3-191-196
(CC) ]
Оценка эффективности внедрения информационных систем для экспертизы лекарственных средств
К. А. Кошечкин, Ю. В. Олефир
Федеральное государственное бюджетное учреждение «Научный центр экспертизы средств медицинского применения» Министерства здравоохранения Российской Федерации, Петровский б-р, д. 8, стр. 2, Москва, 127051, Российская Федерация
Резюме. Совершенствование лекарственного обеспечения является одним из ключевых факторов повышения качества оказания медицинских услуг, но без внедрения цифровых технологий в этот процесс практически не обойтись. Внедрение цифровых технологий в сфере обращения лекарственных средств является комплексной задачей, требующей системного подхода, куда входит планирование, проектирование, разработка, внедрение и эксплуатация информационных систем. Цель работы: разработка и апробация методики оценки эффективности информационных систем, применяемых для экспертизы лекарственных средств. Материалы и методы: анализ научных публикаций отечественной и зарубежной специальной литературы по проблеме оценки эффективности внедрения информационных систем. Также был проведен системный анализ с использованием процедуры построения модели системы обработки данных. Результаты: на основе данных литературы определены методики, которые могут быть применены для оценки эффективности внедрения информационных систем. На примере системы «Документооборот — Экспертиза лекарственных средств» построена модель и проведена оценка эффективности этой системы. По результатам оценки предложены пути повышения эффективности модельной системы. Выводы: на основании анализа источников литературы показано, что применение методов цифрового моделирования позволяет анализировать эффективность информационных систем в сфере экспертизы лекарственных средств. В работе проанализирована система записи для приема образцов лекарственных средств «Документооборот — Экспертиза лекарственных средств», позволяющая распланировать очередность поступления заявок и исключить параллельное поступление нескольких обращений. По результатам анализа предложено повысить эффективность системы путем открытия дополнительного окна для приема заявителей. Ключевые слова: информационные системы; бизнес-процесс; эффективность; цифровые технологии; экспертиза лекарственных средств
Для цитирования: Кошечкин КА, Олефир ЮВ. Методы оценки эффективности внедрения информационных систем для экспертизы лекарственных средств. Ведомости Научного центра экспертизы средств медицинского применения. 2019;9(3):191—196. https://doi.org/10.30895/1991-2919-2019-9-3-191-196 "Контактное лицо: Кошечкин Константин Александрович; koshechkin@expmed.ru
Assessment of the Effectiveness of Implementation of Information Systems
for Medicines Evaluation
K. A. Koshechkin, Yu. V. Olefir
Scientific Centre for Expert Evaluation of Medicinal Products, 8/2 Petrovsky Blvd, Moscow 127051, Russian Federation
Abstract. Improvement of drug supply is one of the key factors contributing to the quality of medical services, but it cannot be achieved without introduction of digital technologies. This is a complex task that requires a systematic approach which includes planning, design, development, implementation and operation of information systems. The purpose of this study was to develop and test a procedure for assessing the effectiveness of information systems supporting medicines evaluation. Materials and methods: the paper analyses Russian and foreign scientific publications devoted to the assessment of effectiveness of information systems implementation. The author conducted a system analysis using the procedure for constructing a model of a data processing system. Results: the analysis of literature sources helped to determine methods that could be used to assess the effectiveness of information systems implementation. The «Document management — Medicines evaluation» system was used to construct a model system, and the analysis of the system's effectiveness made it possible to propose ways for further improvement. Conclusion: the analysis of the literature sources demonstrated that the use of digital modelling methods helps to assess the effectiveness of information systems supporting medicines evaluation. The paper analysed the «Document management — Medicines evaluation» system used for receipt and registration of medicine samples. This system makes it possible to preplan the order in which applications will be received and rule out the possibility of simultaneous receipt of several applications. Based on the results of the analysis it is suggested that an additional receiving point should be set up in order to improve the throughput of the system. Key words: information systems; business process; effectiveness; digital technology; medicines evaluation
For citation: Koshechkin KA, Olefir YuV. Assessment of the effectiveness of implementation of information systems for medicines evaluation. Vedomosti Nauchnogo tsentra ekspertizy sredstv meditsinskogo primeneniya = Тhе Bulletin of the Scientific Centre for Expert Evaluation of Medicinal Products. 2019;9(3):191-196. https://doi.org/10.30895/1991-2919-2019-9-3-191-196 Corresponding author: Konstantin A. Koshechkin; koshechkin@expmed.ru
BY 4.0
Вопросы повышения эффективности системы здравоохранения остро стоят на повестке дня. По итогам заседания президиума Совета при Президенте России по стратегическому развитию и приоритетным проектам 25 октября 2016 г. утвержден паспорт приоритетного проекта «Электронное здравоохранение». Инициативы в сфере здравоохранения соотносятся с общим направлением развития страны в сторону цифровой экономики. Президент Российской Федерации указом от 9 мая 2017 г. № 203 утвердил «Стратегию развития информационного общества в Российской Федерации на 2017—2030 годы». Программа устанавливает на период до 2025 г. восемь направлений работы, реализация которых ориентирована на достижение развития цифровой экономики России, в том числе цифрового здравоохранения.
Совершенствование лекарственного обеспечения — один из ключевых факторов повышения качества оказания медицинских услуг. Внедрение цифровых технологий в сфере обращения лекарственных средств является сложной, комплексной работой, требующей системного подхода, куда входят планирование, проектирование, разработка, внедрение и эксплуатация информационных систем. На всех этапах работы требуется анализ эффективности планируемых или эксплуатируемых систем для принятия решений о целесообразности их развития, модернизации и дальнейшего внедрения.
Цель работы — разработка и апробация методики оценки эффективности информационных систем, применяемых для экспертизы лекарственных средств.
Для выполнения поставленной цели были сформулированы следующие задачи:
- изучить методики, которые могут быть применены для оценки эффективности внедрения информационных систем, использующихся в сфере экспертизы лекарственных средств;
- на примере одной из информационных систем построить математическую модель и провести оценку эффективности системы;
- по результатам оценки предложить пути повышения эффективности модельной системы, для которой выполнялась оценка эффективности.
МАТЕРИАЛЫ И МЕТОДЫ
Нами был проведен анализ научных публикаций отечественной и зарубежной специальной литературы по проблеме оценки эффективности внедрения информационных систем. Также был проведен системный анализ с использованием процедуры построения модели системы обработки данных.
РЕЗУЛЬТАТЫ И ОБСУЖДЕНИЕ
В международной практике принято использовать так называемые ключевые показатели эффективности (англ. Key Performance Indicators, KPI) —
показатели работы, которые могут быть применены к информационной системе [1]. Данные показатели обычно выражаются в цифровых значениях и связаны с достижением стратегических и операционных целей организации, которая применяет то или иное цифровое решение. Использование ключевых показателей эффективности дает возможность оценить состояние объекта автоматизации и помочь в оценке реализации стратегии за счет внедрения информационных систем.
Оценка эффективности является методом формализованного измерения набора показателей, характеризующих состояние некоторой системы. Анализируемые параметры должны быть заранее определены субъектом, проводящим анализ. Например, в отношении информационных систем в сфере обращения лекарственных средств могут оцениваться надежность, обеспечение исполнения требований, срок эксплуатации, простота применения, стоимость, соответствие стандартам. Оценка может проводиться для сравнения разных информационных систем, одной и той же информационной системы на стадиях внедрения и эксплуатации или состояния объекта автоматизации до внедрения системы и после внедрения.
Оценку можно проводить относительно отдельных компонент или системы в целом. По продолжительности различают краткосрочный, среднесрочный и долгосрочный анализы. Информационные системы могут быть проанализированы в зависимости от эксплуатационной нагрузки, например при минимальной, максимальной и средней нагрузке в схожие периоды анализа.
Оценку необходимо проводить с учетом целей реализации информационных систем, их условно можно разделить на три категории. К первой относятся информационные системы, внедрение которых повышает эффективность ранее реализованных бизнес-процессов. Их целесообразно оценивать до и после внедрения информационной системы. Для каждого процесса индикаторы должны быть разработаны индивидуально. Критически важным является выбор индикаторов, связанных именно с автоматизируемым процессом, а не с самой информационной системой. Например, в системе электронного формирования договоров необходимо оценивать количество сформированных договоров за определенное время до внедрения системы и после с поправкой на входящее количество заявок на оформление. Менее информативно оценивать такую систему, например, по скорости выполнения отдельных операций в системе.
Другой категорией информационных систем являются решения, повышающие контроль над бизнес-процессом. Данная категория подразумевает наличие данного бизнес-процесса в организации до его автоматизации. Для них целесообразно использовать
метрики, которые были сформулированы руководством организации до внедрения информационной системы, а также показатели, оценивающие доступность данных метрик для руководства без участия посредников. Как пример для этой категории можно привести «Лабораторные информационные системы», которые автоматизируют процессы, проходящие в лаборатории. Примеры метрик оценки степени контроля: скорость, качество, отказы, хозяйственно-экономические критерии.
Третьей разновидностью информационных систем с точки зрения оценки эффективности являются системы, создающие новый, ранее не существовавший бизнес-процесс. Примером такой системы может быть Федеральная государственная информационная система мониторинга движения лекарственных препаратов от производителя до конечного потребителя с использованием маркировки, которая внедряет ранее не существовавший процесс прослеживания лекарственных препаратов, одной из целей которого является создание возможности борьбы с контрафактной продукцией. В этом случае метрики могут быть основаны на исходных факторах, которые учитывались при создании системы. Относительно приведенного примера такой метрикой может стать количество контрафактной продукции, изымаемой из оборота, или иные критерии, напрямую связанные с целями реализации нового процесса.
Оценка эффективности внедрения информационных систем в сфере обращения лекарственных средств подчас является нетривиальной задачей в связи со сложностью выявления объективных критериев, которые могут быть количественно оценены. В связи с этим возможно проведение анализа на основании субъективных факторов восприятия системы пользователями или экспертами.
Другим способом оценки является математическое моделирование, представляющее собой процесс построения и изучения математических
моделей. Все естественные и общественные науки, использующие математический аппарат, по сути, занимаются математическим моделированием: заменяют реальный объект математической моделью и затем изучают последнюю.
Применительно к области оценки эффективности информационных систем актуально аналитическое моделирование. Это методика, использующая математические модели (например, моделирование времени отклика) для прогнозирования поведения информационной системы.
Аналитическая модель — это модель какого-либо процесса, с помощью которой при изменении переменных можно прослеживать зависимость результата процесса от их значения. Такая модель позволяет быстро и точно охарактеризовать поведение системы [2]. Наиболее наглядны и эффективны аналитические модели при описании функционирования систем, в которые в случайные моменты времени поступают обращения [3, 4].
При имитационном моделировании реализующий модель алгоритм воспроизводит процесс функционирования системы во времени. Имитируются элементарные явления, составляющие процесс, с сохранением их логической структуры и последовательности протекания во времени [5]. Этот метод широко применяется на этапе проектирования сложных систем. Основным средством реализации имитационного моделирования служит цифровое моделирование. Это способ исследования реальных явлений, процессов, устройств, систем и др., основанный на изучении их математических моделей с помощью вычислительной техники. При этом программа является своеобразной моделью исследуемого объекта. Сравнение методов моделирования представлено в таблице 1.
В качестве примера нами был рассмотрен процесс приема образцов лекарственных средств. В качестве используемого метода было выбрано
Таблица 1. Характеристика методов моделирования Table 1. Characteristics of modeling methods
Наименование Name Характеристика Characteristic
Математическое моделирование Math modelling Замена реального объекта его математической моделью Replacing a real object with its mathematical model
Аналитическое моделирование Analytical modelling Построение алгоритма функционирования исследуемого объекта и сравнение его состояний в разных условиях Construction of the studied object's operation algorithm and comparison of its states in different conditions
Имитационное моделирование Simulation Создание модели явлений, составляющих процесс, с сохранением их логической структуры и последовательности протекания во времени Creating a model of the phenomena that make up the process, while maintaining their logical structure and the temporal sequence of events
Цифровое моделирование Digital simulation Построение цифровой модели явления на основе алгоритма функционирования изучаемого явления с применением математической модели Building a digital model of a phenomenon based on the studied phenomenon's operation algorithm and using a mathematical model
цифровое моделирование как наиболее полно позволяющее выполнить поставленную цель.
Для описания исследования необходимо определить структуру системы и показатели качества и эффективности. Для автоматизации процедуры приема образцов лекарственных средств применяется информационная система «Документооборот — Экспертиза лекарственных средств» (свидетельство об официальной регистрации программ для ЭВМ № 2006611854 от 31.05.2006).
Рассмотрим одноканальную систему с отказами, которая представляет собой окно приема образцов, в которое, согласно требованиям Федерального закона Российской Федерации от 12 апреля 2010 г. № 61-ФЗ «Об обращении лекарственных средств», заявители предоставляют в уполномоченное экспертное учреждение образцы лекарственных средств для проведения экспертизы их качества. Заявитель, обратившийся для сдачи образцов в тот момент, когда окно занято, получает отказ в оказании услуги. Интенсивность потока заявителей X = 1 (одно обращение в 40 мин). Средняя продолжительность оказания услуги приема образцов — 60 мин. Поток обслуживания и поток заявок приема образцов являются условно простейшими.
Для оценки эффективности функционирования данной системы требуется определить в установившемся режиме предельные значения следующих параметров:
- вероятности отказа получения услуги, Potk;
- относительной пропускной способности, q;
- абсолютной пропускной способности, А.
Далее необходимо сравнить фактическую пропускную способность системы с номинальной, когда интенсивность потока заявок совпадает со скоростью фактического оказания услуги, т.е. заявители идут один за другим без ожидания в очереди, и найти статистические оценки характеристик системы при продолжительности работы 480 мин.
Время обслуживания определяется как случайная величина, распределенная по закону Пуассона. Вероятностное распределение дискретного типа моделирует случайную величину, представляющую собой число событий, произошедших за фиксированное время, при условии, что данные события происходят с некоторой фиксированной средней интенсивностью и независимо друг от друга. Были введены в качестве обозначений параметров системы следующие переменные: интенсивность обращения заявителей для сдачи образцов, ТИнт = 40; интенсивность обращения заявителей для сдачи образцов, Тусл = 60; среднее время оказания услуги — приема образцов лекарственных средств (мин), ТДень = 480; продолжительность работы системы (мин).
Опишем переменные, которые необходимы для решения поставленной задачи:
Syst = [0 0 0] — обращения в системе (всего обратившихся для сдачи образцов за время работы; заявители, сдавшие образцы; отказ в оказании услуги);
rsvq = 0 — относительная пропускная способность системы;
rsva = 0 — абсолютная пропускная способность системы;
rsvn = 0 — номинальная пропускная способность системы;
pno = 0 — вероятность получения отказа в оказании услуги;
Intens = УТусл — интенсивность потока обслуживания заявителей.
После объявления переменных запишем формулы для расчета:
rsvq = Intens/(THm+Intens); rsva = Intens* ^^(Intens+T rsv_n = Intens; pno = 1 — rsvq.
Для выполнения статистического моделирования необходимо составить процедуру. Переменной Syst(1) присвоим значение поступивших заявок на сдачу образцов лекарственных средств, переменной Syst(2) — числа обслуженных обращений и переменной Syst(3) — числа отказов в оказании услуги. Функция n необходима для моделирования процесса поступления обращений и инициализируется как случайная величина, распределенная по закону Пуассона с математическим ожиданием 40 (мин). Отсчет времени ведется в минутах как цикл с параметром t. Так как в среднем поступает одно обращение на сдачу образцов в 40 мин, то событие n = 0 означает, что обращение поступило в систему. Время обслуживания определяется переменной t, которая инициализируется как случайная величина, распределенная по закону Пуассона с математическим ожиданием 60 (мин). Данные о времени окончания обслуживания обращения хранятся в переменной t end. Если t = 0, то окно обслуживания свободно, и обращение, поступившее в систему, будет обслужено. Если t > 0, то поступившее обращение получает отказ в оказании услуги, что фиксируется как Syst(3) = Syst(3) + 1, а величина t убывает с каждым циклом на одну минуту (t = t — 1). for (y =1:2) Syst = [0 0 0]; t = 0; n = 0;
fOr (* = ^День)
if (n = 0) // поступление обращения о приеме образцов
Syst(1) = Syst(1) + 1; n = poissrnd(1/ТИнт); if (t = 0) // обращение поступает в обработку
Syst(2) = Syst(2) + 1; t = poissrnd(TyJ; else // система занята, обращение отклоняется
Syst(3) = Syst(3) + 1; end
end // обслуживание обращения if (t > 0) t = t - 1; end
if (n > 0) n = n - 1; end end.
В результате проведенного цифрового моделирования процесса сдачи образцов вычислены относительная и абсолютная пропускные способности системы, которые равны 0,35045 и 0,035045 соответственно. Также определена номинальная пропускная способность системы, которая равна 0,056784 и которая могла бы существовать, если бы процесс предоставления услуги каждому обратившемуся в экспертное учреждение требовал точно 40 мин, а заявители обращались за услугой один за другим без перерыва.
Также при помощи цифрового моделирования работы системы при продолжительности рабочего дня 480 мин определены статистические характеристики, которые показали, что общее количество обратившихся за время моделирования составляет 12 заявителей. Из 12 заявителей четырем сразу была оказана услуга по приему образцов.
Таким образом, методом цифрового моделирования процесса оказания услуги приема образцов лекарственных средств были определены основные показатели эффективности процесса. Если сравнить фактическую и номинальную пропускные способности системы, то оказывается, что номинальная в 1,5 раза больше фактической пропускной способности, вычисленной с учетом случайного характера потока заявок и времени обслуживания. Это указало на то, что система функционирует недостаточно эффективно. Для повышения эффективности работы приема образцов были установлены более оптимальные параметры системы (оптимизирован порядок поступления заявок и добавлен еще один канал обслуживания, т.е. дополнительное окно).
ЗАКЛЮЧЕНИЕ
Таким образом, на основе данных литературы были определены методики, которые могут быть применены для оценки эффективности внедрения информационных систем. На примере системы «Документооборот — Экспертиза лекарственных средств» (свидетельство об официальной регистрации программ для ЭВМ № 2006611854 от 31.05.2006) построена модель и проведена оценка эффективности.
По результатам оценки предложены пути повышения эффективности модельной системы. Данные нововведения являются частью концепции внедрения CALS/PLM технологий [6], которые находят свое применение в рамках управления деятельностью учреждения.
С помощью предложенной модели была оценена система записи для приема образцов, созданная в ФГБУ «НЦЭСМП» Минздрава России [7]. На основании полученных в работе результатов для оптимизации интенсивности работы и пропускной способности системы было открыто дополнительное окно для приема заявителей.
Таким образом, показано, что применение методов цифрового моделирования позволяет обоснованно совершенствовать бизнес-процессы в сфере экспертизы лекарственных средств, в том числе за счет внедрения систем автоматизации.
Благодарности. Работа выполнена в рамках государственного задания ФГБУ «НЦЭСМП» Минздрава России № 056-00154-19-00 на проведение прикладных научных исследований (номер государственного учета НИР AAAA-A18-118021590049-0).
Acknowledgements. The study reported in this publication was carried out as part of a publicly funded research project No. 056-00154-19-00 and was supported by the Scientific Centre for Expert Evaluation of Medicinal Products (R&D public accounting No. AAAA-A18-118021590049-0).
Конфликт интересов. Авторы заявляют об отсутствии конфликта интересов, требующего раскрытия в данной статье. Conflict of interest. Authors declare no conflict of interest requiring disclosure in this article.
ЛИТЕРАТУРА / REFERENCES
1. Eccles RG. The performance measurement manifesto. Harvard Business Review. 1991;69(1):131-7. PMID: 10109469
2. Caliri GV. Introduction to Analytical Modeling. In; 26th International Computer Measurement Group Conference, Proceedings, December 10-15, 2000, Orlando, FL, USA. P. 31-6.
3. Галиуллина АФ. Аналитическое моделирование деловых процессов как систем массового обслуживания для оценки их показателей эффективности. В кн.: Наука вчера, сегодня, завтра; сборник статей по материалам XX международной научно-практической конференции. Новосибирск: СибАК; 2015. С. 11-5. [Galiullina AF. Analytical modeling of business processes as queuing systems to assess their performance. In: Science yesterday, today, tomorrow; Collection of articles on materials of the XXInternational scientific-practical conference. Novosibirsk: SibAK; 2015. P. 11-5 (In Russ.)]
4. Bhatti SK, Singh RP, Singh I. Analytical model for performance measurement in healthcare sector of Punjab. Journal of Modeling in Management. 2015;10(2):226-37. https://doi.org/10.1108/JM2-12-2013-0065
5. Шеннон Р. Имитационное моделирование систем — искусство и наука. М.: Мир; 1978. [Shennon R. Simulation modeling of systems — art and science. Moscow: Mir; 1978 (In Russ.)]
6. Кошечкин КА, Олефир ЮВ, Меркулов ВА. Управление информационным сопровождением жизненного цикла лекарственных средств. Концепции применения элементов CALS/PLM-технологий для информационной поддержки жизненного цикла лекарственных средств. М.: Полиграф-Плюс; 2015. [Koshechkin KA, Olefir YuV, Merkulov VA. Management of information support of the life cycle of medicines. Concepts of using elements of CALS/PLM-technologies for information support of the life cycle of medicines. Moscow: Poligraf-Plus; 2015 (In Russ.)]
7. Сбоев ГА, Рычихина ЕМ, Дигтярь АВ, Кошечкин КА. О разработке комплексной экспертной информационной системы испытательных центров. Ведомости Научного центра экспертизы средств медицинского применения. 2012;(3):35-9. [Sboev GA, Rychikhina ЕМ,
Digtyar' AV, Koshechkin KA. Establishing a comprehensive expert information system of testing centres. Vedomosti Nauchnogo tsentra eksper-tizy sredstv meditsinskogo primeneniya = Тhе Bulletin of the Scientific Centre for Expert Evaluation of Medicinal Products. 2012;(3):35-9 (In Russ.)]
ОБ АВТОРАХ / AUTHORS
Кошечкин Константин Александрович, канд. биол. наук. Konstantin A. Koshechkin, Cand. Sci. (Biol.). ORCID: http://orcid.org/0000-0001-7309-2215 Олефир Юрий Витальевич, д-р мед. наук, старший научный сотрудник. Yuri V. Olefir, Dr. Sci. (Med.), Senior Research Associate. ORCID: http://orcid.org/0000-0001-7652-4642
Статья поступила 31.10.2018 После доработки 01.02.2019 Принята к печати 16.08.2019
Article was received 31 October 2018
Revised 1 February 2019
Accepted for publication 16 August 2019
