CC BY
20
ЭКОНОМИКА СОЦИАЛЬНОЙ СФЕРЫ. СОЦИАЛЬНЫЕ ПРОЦЕССЫ
УДК: 339.138 DOI: 10.24412/2071-6435-2022-5-83-97
ОБ ОТДЕЛЬНЫХ ВОПРОСАХ ПРАКТИЧЕСКОГО ПРИМЕНЕНИЯ РЕЙТИНГОВАНИЯ МЕДИЦИНСКИХ ОРГАНИЗАЦИЙ
В статье представлен опыт разработки методики рейтин-гования медицинских организаций и результаты ее апробации на примере амбулаторно-поликлинических учреждений, оказывающих взрослому населению первичную медико-санитарную помощь. Результаты апробации показывают, что в российском здравоохранении существуют проблемы со сбором и обработкой некоторых категорий данных, характеризующих использование ресурсов медицинских организаций и процессы организации медицинской помощи, что затрудняет формирование оценочных показателей эффективности деятельности медицинских организаций. Установлена целесообразность кластеризации медицинских организаций, включаемых в рейтинг, с учетом численности и половозрастных групп прикрепленного населения, а также наличия основных средств (количество зданий и их площадь), что повышает объективность полученного результата и оценку эффективности использования ресурсов. Позиция медицинской организации в рейтинге и анализ причин отклонения балльных оценок от оптимально-максимального уровня позволяет обращать внимание на потенциальные недостатки в организации финансово-хозяйственной деятельности или медицинской помощи и принимать соответствующие управленческие решения.
Ключевые слова: рейтинг, оценочные показатели, индикаторы качества, медицинская организация, первичная медико-санитарная помощь, ресурсы, кластеризация.
С.С.Бударин
Д. О.Ватолин
Введение
Развитие системы здравоохранения предполагает совершенствование различных направлений деятельности медицинских организаций для достижения целей по увеличению численности населения, продолжительности жизни, снижению уровня смертности. В Указе Президента Российской Федерации от 6 июня 2019 года № 254 «О Стратегии
развития здравоохранения в Российской Федерации на период до 2025 года» обозначены основные направления развития здравоохранения. Их можно разделить на медицинские и немедицинские. В частности, в разделе «Цели, основные задачи и приоритетные направления развития здравоохранения в Российской Федерации» (пункт 27) предусматриваются следующие приоритеты: развитие системы управления качеством медицинской помощи (подпункт 24) и совершенствование организации управления обязательным медицинским страхованием, обеспечение финансовой устойчивости системы обязательного медицинского страхования на основе единых принципов и нормативов (подпункт 31), которые акцентируют внимание на управлении системой здравоохранения и ее элементов. Эти пункты формализуют потребность в совершенствовании инструментов оценки эффективности деятельности медицинских организаций для практического применения.
В настоящее время оценка эффективности медицинских организаций имеет высокую актуальность. Это отражается в документах Федерального фонда обязательного медицинского страхования. Например, в методических рекомендациях по оплате медпомощи за счет средств ОМС предусмотрено дополнительное увеличение финансового обеспечения медицинской организации, если она работает эффективно [8].
Экспертами ЦНИИОИЗ Минздрава России предлагается новая методика оценки финансово-экономического состояния медицинских организаций [14], что еще раз подтверждает высокую заинтересованность профессионального и научного сообщества в поиске инструментов для оценки деятельности медучреждений. Вместе с тем методика оценки эффективности деятельности медицинских учреждений может служить базой для использования другого инструмента — рейтингования. Рейтинг — управленческий и информационный инструмент для руководства органов управления здравоохранением субъектов Российской Федерации, медицинских организаций, который отражает в сжатом виде состояние организаций [9-11].
Несмотря на прикладной характер и наглядность рейтингов, которые используются в зарубежных странах, в российской системе здравоохранения отсутствует практика широкого применения методов рейтингования [3; 12; 15].
Целью данной статьи является представление отдельных элементов методического обеспечения формирования рейтингов, способствующих
распространению практики рейтингования медицинских организаций с учетом опыта авторов по созданию и апробации методики рейтинга медицинских организаций, оказывающих взрослому населению первичную медико-санитарную помощь.
Дизайн и практическая польза рейтингов
Исходя из того, что рейтинг — это ранжированный список медицинских учреждений по заданным критериям, его практическая польза состоит в определении позиции конкретной медицинской организации в общей выборке [1; 2]. Позиция в рейтинге кратко отражает состояние медицинской организации по одному или нескольким направлениям деятельности. Дизайн рейтинга, включающий цели, задачи, принципы, методику построения рейтинга, во многом определяет степень его практической пользы. Отсутствие понимания, как интерпретировать позицию конкретной медицинской организации в общем списке, является серьезным препятствием для расширения практики применения рейтингования [4-6; 13]. Одним из путей устранения подобных препятствий может быть уточнение принципов построения рейтинга. На взгляд авторов, минимальный перечень принципов для формирования рейтинга медицинских организаций включает следущие пункты.
Соответствие показателей целям рейтинга. Недостаточное или избыточное количество оценочных показателей (критериев) рейтинга не позволяет составить объективную оценку деятельности медицинской организации.
Взаимосвязь показателей. Каждый показатель отражает направление деятельности медицинской организации или является вспомогательным показателем, который уточняет направление оценки.
Простота сбора данных. Набор показателей выбирается таким образом, чтобы были доступны источники данных для их расчета.
Эти принципы позволяют облегчить интерпретацию позиций медицинских организаций в рейтинге и повышают возможность использования рейтинга как инструмента поддержки принятия управленческих решений.
Основные положения методики рейтинга медицинских организаций
В рамках выполнения НИР «Эффективное управление ресурсами столичного здравоохранения. Научно-методическая и прогнозная оцен-
ка ресурсов в системе здравоохранения и влияние их достаточности на эффективность деятельности медицинских организаций» в ГБУ «НИИОЗММ ДЗМ» разрабатывается методика рейтинга эффективности медицинских организаций, оказывающих взрослому населению первичную медико-санитарную помощь (ПМСП) (далее — Методика), и проводится ее пилотная апробация.
В основу Методики положен принцип полезности результатов рейтинга для принятия управленческих решений на уровне медицинских организаций и органов исполнительной власти в сфере здравоохранения.
Рейтинг формируется на основе результатов комплексной оценки эффективности деятельности медицинских организаций (далее — МО) с помощью оценочных показателей, значения которых представлены в виде балльных оценок.
Применение Методики обеспечивает:
— представление результатов деятельности МО на основе выбранных оценочных показателей и достижения определенных критериев их оценки;
— определение реперных точек, свидетельствующих о необходимости анализа определенных направлений деятельности для принятия управленческих решений;
— проведение сравнительного анализа показателей деятельности МО для нужд управления системой здравоохранения;
— определение наиболее перспективных направлений повышения эффективности деятельности МО, включая совершенствование организационных и управленческих мероприятий, осуществляемых при оказании гражданам ПМСП.
Отбор оценочных показателей проводился с использованием основных положений триады Донабедиана, что позволяет оценить эффективность организации медицинской помощи с помощью показателей, характеризующих качество управления структурой, процессами и результатом. Выбранные показатели объединены в три группы.
1. Индикаторы качества управления ресурсами. Характеризуют эффективность использования финансовых, кадровых и материально-технических ресурсов.
2. Индикаторы качества управления процессами. Характеризуют уровень доступности медицинской помощи для населения, включая эффективность использования коечного фонда в дневном стационаре и интенсивность использования медицинского оборудования.
3. Индикаторы качества управления результатом. Характеризуют уровень организации первичной и вторичной профилактики для прикрепленного к МО населения и ее результаты.
В качестве источников данных для расчета значений оценочных показателей использованы формы бухгалтерской и статистической отчетности МО, данные Росстата, ЕМИАС (Единая медицинская информационно-аналитическая система Москвы) и мониторингов Департамента здравоохранения Москвы.
Для расчета показателей, характеризующих качество организации медицинской помощи с позиции получателя медицинских услуг, применяются результаты анкетирования и/или социологических опросов граждан.
При разработке Методики использованы результаты анализа отчетных данных о деятельности МО за период 2016-2021 годов, что позволило определить нормативные критерии оценки показателей и разделить их на 4 уровня сложности. Каждому показателю присвоен вес в пределах от 0 до 1, который определен экспертным путем и зависит от степени влияния показателя на качество управления ресурсами, процессами или результатом.
Балльные оценки, основа ранжирования МО, рассчитываются по каждому показателю с учетом значения, достигнутого уровня сложности согласно шкале установленных критериев оценки и веса показателя.
Результаты апробации Методики
Применение Методики построения рейтинга показало возможность использования 20 оценочных показателей из 36 предложенных, значения которых могут быть рассчитаны на основе данных, содержащихся в доступных и достоверных источниках информации (утвержденная отчетность МО, ЕМИАС и другие). В связи с ограничениями по сбору данных для расчета значений оценочных показателей из групп Индикаторы качества управления процессами и Индикаторы качества управления результатом были объединены в одну и таким образом сформировано две группы оценочных показателей: индикаторы качества управления ресурсами (ИКУР); индикаторы качества управления процессами и результатом (ИКУПрР).
Для оценки степени достижения МО наилучших результатов рассчитаны оптимально-максимальные балльные оценки, величина которых
соответствует четвертому уровню сложности нормативного критерия оценки показателя:
— общая балльная оценка (ОБО) — 9, 2 балла;
— общая балльная оценка по группе ИКУР (ОБО ИКУР) — 4, 9 балла;
— общая балльная оценка по группе ИКУПрР (ОБО ИКУПрР) — 4, 3 балла.
Расчет значений показателей и балльных оценок позволил построить рейтинги МО по итогам 2019 и 2021 годов. В таблице 1 представлены данные о максимальных и минимальных балльных оценках, набранных МО по итогам 2019 и 2021 годов, и их отклонения от оптимально-максимальных балльных оценок.
Таблица 1
Общие балльные оценки и балльные оценки по группам, полученные МО за 2019 и 2021 годы (максимальные и минимальные), баллы
Наименование балльной оценки ОБО — 2019 г. Отклонение от макс.— 2019 г. ОБО — 2021 г. Отклонение от макс.— 2021 г. Опт.-макс. ОБО
ОБО, макс. 8,13 13,2% 7,40 24,3% 9,20
ОБО ИКУР, макс. 3,86 26,9% 4,15 18,1% 4,90
ОБО ИКУПрР, макс. 4,27 0,7% 3,38 27,2% 4,30
ОБО, мин. 2,75 234,5% 2,52 265,1% 9,20
ОБО ИКУР, мин. 1,49 228,9% 1,75 180,0% 4,90
ОБО ИКУПрР, мин. 0,89 383,1% 0,49 777,6% 4,30
Анализ данных, представленных в таблице 1, показывает, что отдельные МО в 2019 году были близки к максимально возможному результату, особенно по показателям, характеризующим группу управления процессами и результатом (отклонение — 0,7%). В 2021 году значения показателей в группе индикаторов качества управления процессами и результатом ухудшились за счет введения ограничений [7] для МО при выполнении отдельных профилактических мероприятий и вынужденной концентрации усилий на борьбе с распространением коронавирусной инфекции СОУГО-19.
В то же время, за счет дополнительного финансирования МО в целях реализации мероприятий по предотвращению СОУГО-19 улучшились значения показателей и, соответственно, повысились балльные оценки в группе индикаторов качества управления ресурсами.
Результаты рейтинга показали также, что отдельные МО имеют балльные оценки, которые значительно ниже оптимально-максимальных, что требует от МО глубокого анализа причин сложившейся ситуации и принятия необходимых для исправления положения управленческих решений.
Анализ данных отчетности МО за период 2016-2021 годов показал, что медицинские организации, подлежащие ранжированию в целях построения рейтинга, изначально имеют различные мощностные характеристики (структура и число подразделений, плановое число посещений в смену и другие), которые определяются с учетом численности прикрепленного населения и его половозрастной структуры, то есть потенциальной потребности граждан в медицинской помощи. Численность прикрепленного населения и его половозрастная структура оказывают влияние на уровень дохода, получаемый МО за счет средств обязательного медицинского страхования (подушевой норматив), который направляется на обеспечение МО кадровыми и материально-техническими ресурсами.
Различия по численности прикрепленного к МО населения составляют от 90 до 300 тысяч человек, по доле граждан старше трудоспособного возраста — от 25% до 45%, по занимаемой площади — от 12 до 70 тысяч кв. м и по количеству зданий — от 3 до 9.
Учитывая дифференциацию МО по вышеназванным параметрам, для получения объективного результата при оценке эффективности деятельности МО и формирования рейтинга построены типологические группы МО с использованием процедур кластерного анализа.
В результате сформировано 4 кластера (от А до Б), что обеспечило возможность дополнительной оценки положения МО в рейтинге в зависимости от индивидуальных характеристик МО. При этом в кластер А входят МО, имеющие минимальные значения по параметрам отбора (численность населения, площадь), а в кластер Б — имеющие максимальные значения.
С учетом деления медицинских организаций на кластеры распределение средних балльных оценок представлено в таблице 2.
Таблица 2
Балльные оценки медицинских организаций по результатам расчета по итогам 2019 и 2021 годов в зависимости от кластера, баллы
Год 2019 2021
Кластер А B C D А B C D
ОБО, средняя 5,08 4,74 4,66 4,98 4,22 3,83 3,88 3,57
ОБО ИКУР, средняя 2,15 2,15 2,14 2,64 2,47 2,34 2,33 2,45
ОБО ИКУПрР, средняя 2,94 2,59 2,52 2,34 1,75 1,49 1,55 1,12
Данные, представленные в таблице 2, свидетельствуют о том, что в 2019 году наиболее высокие балльные оценки получили МО, входящие в кластеры А и Б. При этом в кластере А высокая ОБО достигнута благодаря показателям, характеризующим группу индикаторов качества управления процессами и результатом, а в кластере Б — благодаря показателям, характеризующим группу индикаторов качества управления ресурсами.
В 2021 году средние ОБО уменьшились во всех кластерах — от 16,7% в кластере С и до 28,3% в кластере Б. Это произошло за счет снижения балльных оценок по группе показателей качества управления процессами и результатом, где снижение составило 38,5% в кластере С и 52,1% в кластере Б.
При этом в группе показателей качества управления ресурсами результат имеет разнонаправленное движение — от увеличения средней балльной оценки на 14,9% в кластере А до снижения на 7,2% в кластере Б.
Результат свидетельствует о том, что значительное количество МО из кластера А должно находиться в верхней части общего рейтинга МО.
Анализ рейтинга МО с учетом их принадлежности к кластеру показывает, что первые 25 мест рейтинга в основном занимают МО из кластеров С и А. Но если рассматривать только группу показателей, характеризующих качество управления ресурсами, то в число лидеров по этой группе показателей входят МО в основном из кластера Б, что представлено в таблице 3.
Сопоставление результатов рейтингов — общего и по группам индикаторов: качество управления ресурсами и управления процессами и результатом показывает, что более высокие места в общем рейтинге занимают МО из кластера А. Причиной являются высокие балльные оценки показателей из группы индикаторов качества управления процессами
и результатом, при этом МО из кластера Б отличаются достижениями в группе показателей, характеризующих качество управления ресурсами.
Таблица 3
Доля медицинских организаций, занявших первые 25 мест в рейтингах 2019 и 2021 годов в разрезе кластеров,%
Группа ОБО ОБО ОБО ОБО ИКУР ОБО ИКУР ОБО ИКУПрР ОБО ИКУПрР
Кластер 2019 2021 2019 2021 2019 2021
А 64,3 64,3 35,7 64,3 78,6 71,4
B 53,8 53,8 53,8 46,2 38,5 38,5
C 55,6 66,7 55,6 44,4 55,6 77,8
D 44,4 33,3 88,9 66,7 44,4 33,3
С целью оценить влияние качества управления ресурсами на качество управления процессами и результатом в ходе исследования предложен коэффициент Котн, который рассчитывается как отношение балльной оценки индикаторов качества управления процессами и результатом к балльной оценке индикаторов качества управления ресурсами, и чем его значение выше, тем эффективнее используются ресурсы.
Расчет коэффициента Котн показывает, что его значение в зависимости от МО в 2019 году составило от 0,42 до 1,78, а в 2021 году от 0,19 до 1,18.
При этом среднее значение коэффициента Котн в группе МО, набравших свыше 6 баллов (ОБО), составляет 1,14 (10 МО), в группе МО, набравших от 5 до 6 баллов, — 1,10 (17 МО), а в группе МО, набравших менее 5 баллов, — 1,00 (18 МО).
Анализ значения коэффициента Котн в разрезе кластеров показал, что МО из кластера А имеют лучшие значения несмотря на то, что уровень расходов в МО из кластера А в расчете на одного прикрепленного гражданина ниже, чем в МО из кластера Б. Это может означать, что качество управления процессами и результатом в МО из кластера А выше, чем в МО из других кластеров, хотя у них имеются ограничения в объеме используемых ресурсов. Результат расчета представлен в таблице 4.
Об отдельных вопросах практического применениярейтингования... I
Таблица 4
Среднее значение коэффициента Котн в МО из разных кластеров за 2019 и 2021 годы
Коэффициент Котн А B C D
Среднее значение за 2019 г. 1,21 1,08 1.03 0.83
Среднее значение за 2021 г. 0,63 0,57 0,61 0,43
Заключение
В статье приведены результаты рейтингования медицинских учреждений с использованием методики, разработанной коллективом ГБУ «НИИОЗММ». Использование технологии рейтингования в условиях высокой неопределенности и изменчивости внешней среды потенциально позволит определять нормативные значения параметров деятельности медицинских организаций в отличие от других методик оценки эффективности деятельности организаций, где эти значения задаются в рамках самой методики.
Применение рейтинга как управленческого инструмента позволяет определять потенциальные точки оптимизации деятельности отдельной медицинской организации. Позиция МО в рейтинге способствует формированию целей и задач аналитических исследований для изучения деятельности МО и подготовки управленческих решений по совершенствованию организации финансово-хозяйственной и медицинской деятельности.
Соотнесение результатов рейтинга и базовых параметров медицинских организаций (численность прикрепленного населения, мощность медицинской организации, площадь и количество филиалов медицинской организации) показало необходимость в разделении МО на кластеры. Высокий уровень дифференциации МО по базовым параметрам отражается в кластерах — разница кластера с максимальной средней балльной оценкой и кластера с минимальной средней балльной оценкой составляет порядка 9. Это свидетельствует о том, что медицинские организации следует анализировать с учетом их особенностей, а не как стандартизированные бизнес-единицы (англ. unit-economy analysis), отличающиеся только масштабами деятельности.
Апробация методики построения рейтинга показала ряд содержательных аспектов, требующих рассмотрения и анализа для повышения качества рейтингов.
Основным элементом методики рейтингования медицинских организаций является выбор оценочных показателей, расчет которых должен обеспечиваться набором достоверных и доступных данных.
Невозможность использовать полный набор оценочных показателей, предложенных в Методике, обусловлена тем, что существующие формы статистической отчетности в недостаточной степени соответствуют современным потребностям формирования показателей деятельности МО, что не позволяет более объективно оценивать качество управления процессами и результатом в медицинских организациях, а также внедрять принципы ценностно-ориентированного здравоохранения.
Качество управления ресурсами и их достаточность в значительной степени влияют на результаты медицинской деятельности МО и отражаются на позиции МО в рейтинге.
Литература
1. Барскова Г. Н. Российская практика рейтингования медицинских организаций / Г. Н. Барскова, Р. И. Девишев, Л. К. Лохтина // Социальные аспекты здоровья населения. 2014. № 5(39). С.1-17.
2. Бударин С. С. Перспективы использования результатов рейтинга в деятельности контрольно-надзорных органов / С. С. Бударин, И. Э. Юрченко // Вестник Росздравнадзора. 2022. № 4. С. 38-47.
3. Григорьева Н. С. Оценка качества медицинских услуг и построение рейтингов медицинских организаций: опыт программы Medicare в США // Бюллетень Восточно-Сибирского научного центра Сибирского отделения Российской академии медицинских наук. 2016. Т. 1. № 5(111). С. 71-76.
4. Зуенкова Ю. А. Актуальные вопросы доказательного управления государственного и муниципального здравоохранения / Ю. А. Зуенкова, Д. И. Кича // Менеджер здравоохранения. 2021. № 9. С. 11-20.
5. Методические подходы к формированию рейтинговой оценки деятельности медицинских организаций и систем здравоохранения в России и за рубежом / С. С. Бударин, Д. В. Мелик-Гусейнов, Ю. Я. Бойченко, Е. Л. Никонов // Проблемы социальной гигиены, здравоохранения и истории медицины. 2019.
Т. 27. № 4. С. 459-463.
6. Новый подход к оценке качества медицинских услуг: проблема вовлеченности потребителей в процесс оценки / Т. Г. Бутова, Е. П. Данилина, А. А. Белобородов и др. // Вестник Алтайской академии экономики и права. 2019. № 9-1. С. 5-12.
7. Приказ Минздрава от 19 марта 2020 года № 198н «О временном порядке организации работы медицинских организаций в целях реализации мер по профилактике и снижению рисков распространения новой коронавирусной инфекции Covid-19». URL: http://www.consultant.ru/document/cons_doc_ LAW_354162/a9b10ded2968f896269c14d0f1c2b0895e9f5285/ (дата обращения: 10 сентября 2022 года).
8. Приказ Минздрава России от 14 января 2022 года № 11н «О внесении изменений в Требования к структуре и содержанию тарифного соглашения, утвержденные приказом Министерства здравоохранения Российской Федерации от 29 декабря 2020 г. № 1397н». URL: http://publication.pravo.gov. ru/Document/View/0001202201190023 (дата обращения: 10 сентября 2022 года).
9. Рейтинг медицинских организаций. Новая методика оценки деятельности медицинских организаций // Менеджер здравоохранения. 2012. № 5. С. 67-69.
10. Рейтингование медицинских организаций как способ повышения эффективности здравоохранения: история вопроса и перспективы использования / М. В. Авдеева, В. В. Ващенков, В. С. Лучкевич, В. А. Баркаева // Социальные аспекты здоровья населения. 2015. № 4(44). С. 1-13.
11. Русских Т. Н. Формирование рейтинговых оценок эффективности деятельности региональных систем здравоохранения и обязательного медицинского страхования / Т. Н. Русских, Н. В. Сироткина, В. И. Тинякова // Экономика региона. 2015. № 4(44). С. 197-213.
12. Тарасенко Е. А. Зарубежный опыт выбора показателей качества медицинской помощи для построения рейтингов медицинских организаций: уроки для России // Социальные аспекты здоровья населения. 2013. № 6(34). С. 1-19.
13. Улумбекова Г. Э. Показатели для оценки деятельности медицин-
ских организаций: международный опыт / Г. Э. Улумбекова, А. В. Мокляченко // ОРГЗДРАВ: новости мнения, обучение. Вестник ВШОУЗ. 2017. № 3. С. 23-34.
14. Эксперты ЦНИИОИЗ разработали методику оценки финансово-экономического состояния медицинских организаций. URL: https://mednet.ru/novosti/ekspertyi-czniioiz-razrabotali-metodiku-oczenki-finansovo-ekonomicheskogo-sostoyaniya-mediczinskix-organizaczij (дата обращения: 10 сентября 2022 года).
15. Эльбек Ю. В. Международный опыт и Российская практика рейтингования медицинских организаций // ЭТАП: экономическая теория, анализ, практика. 2022. № 3. С. 141-160.
References
1. Barskova G. N. Russian practice of rating medical organizations / G. N. Barskova, R. I. Devishev, L. K. Lohtina. Socialnye aspekty zdorovya naseleniya [Social aspects of public health], 2014, no. 5(39), pp. 1-17 (in Russian).
2. Budarin S. S. Perspektivy ispol'zovaniya rezul'tatov reytinga v deyatel'nosti kontrol'no-nadzornyh organov Prospects for the use of rating results in the activities of control and supervisory authorities / S. S. Budarin, I. E. Yurchenko. Vestnik Roszdravnadzora [Bulletin of Roszdravnadzor], 2022, no. 4, pp. 38-47 (in Russian).
3. Grigor'eva N. S. Assessment of the quality of medical services and building ratings of medical organizations: the experience of the Medicare program in the USA. Byulleten Vostochno-Sibirskogo nauchnogo centra Sibirskogo otdeleniya Rossiyskoy akademii medi-cinskih nauk [Bulletin of the East Siberian Scientific Center of the Siberian Branch of the Russian Academy of Medical Sciences], 2016, vol. 1, no. 5(111), pp. 71-76 (in Russian).
4. Zuenkova Yu. A. Actual issues of evidence management of state and municipal healthcare / Yu. A. Zuenkova, D. I. Kicha. Menedzher zdravoohraneniya [Health care manager], 2021, no. 9, pp. 11-20 (in Russian).
5. Methodological approaches to the formation of a rating assessment of the activities of medical organizations and healthcare sys-
tems in Russia and abroad/ S. S. Budarin, D. V. Melik-Guseynov, Yu. Ya. Boychenko, E. L. Nikonov. Problemy social'noy gigieny, zdravoohraneniya i istorii mediciny [Problems of social hygiene, healthcare and the history of medicine], 2019, vol. 27, no. 4, pp. 459-463 (in Russian).
6. A new approach to assessing the quality of medical services: the problem of consumer involvement in the evaluation process / T. G. Butova, E. P. Danilina, A. A. Beloborodov et al. Vestnik Altayskoy akademii ekonomiki iprava [Bulletin of the Altai Academy of Economics and Law], 2019, no. 9-1, pp. 5-12 (in Russian).
7. Order of the Ministry of Health dated March 19, 2020 No. 198n "On the temporary procedure for organizing the work of medical organizations in order to implement measures to prevent and reduce the risks of the spread of a new coronavirus infection Covid-19". Available at: http://www.consultant.ru/document/cons_doc_ LAW_354162/a9b10ded2968f896269c14d0f1c2b0895e9f5285 / (accessed: 10 September, 2022) (in Russian).
8. Order No. 11n of the Ministry of Health of the Russian Federation dated January 14, 2022 "On Amendments to the Requirements for the Structure and Content of the Tariff Agreement Approved by Order No. 1397n of the Ministry of Health of the Russian Federation dated December 29, 2020". Available at: http://publica-tion.pravo.gov.ru/Document/View/0001202201190023 (accessed: 10 September, 2022) (in Russian).
9. Rating of medical organizations. A new methodology for evaluating the activities of medical organizations. Menedzher zdravoohraneni-ya [Health care manager], 2012, no. 5, pp. 67-69 (in Russian).
10. Rating of medical organizations as a way to improve the efficiency of healthcare: the background and prospects of use / M. V. Avdeeva, V. V. Vashchenkov, V. S. Luchkevich, V. A. Barkaeva. Socialnye aspe-kty zdorovya naseleniya [Social aspects of public health], 2015, no. 4(44), pp. 1-13 (in Russian).
11. Russkih T. N. Formation of rating assessments of the effectiveness of regional health care systems and compulsory medical insurance / T. N. Russkikh, N. V. Sirotkina, V. I. Tinyakova. Ekonomika re-giona [The economy of the region], 2015, no. 4(44), pp. 197-213 (in Russian).
12. Tarasenko E. A. Foreign experience in choosing indicators of the quality of medical care for building ratings of medical organizations: lessons for Russia. Social'nye aspekty zdorovya naseleniya [Social aspects of public health], 2013, no. 6(34), pp. 1-19 (in Russian).
13. Ulumbekova G. E. Indicators for evaluating the activities of medical organizations: international experience / G. E. Ulumbekova, A. V. Moklyachenko. ORGZDRAV: novosti mneniya, obuchenie. Vestnik VSHOUZ [ORGZDRAV: news opinions, training. Bulletin of the VSHOUZ], 2017, no. 3, pp. 23-34 (in Russian).
14. Experts of TSNIIOIZ have developed a methodology for assessing the financial and economic condition of medical organizations. URL: https://mednet.ru/novosti/ekspertyi-czniioiz-razrabotali-metodiku-oczenki-finansovo-ekonomicheskogo-sostoyaniya-med-iczinskix-organizaczij (accessed: 10 September, 2022) (in Russian).
15. El'bek Yu. V. International experience and Russian practice of rating medical organizations. ETAP: Ekonomicheskaya Teoriya, Analiz, Praktika [ETAP: Economic Theory, Analysis, Practice], 2022, no. 3, pp. 141-160 (in Russian).
