CC BY
350
Григорьева Н.С.
Мониторинг качества работы медицинских организаций: методологический комментарий
Григорьева Наталия Сергеевна — доктор политических наук, профессор, факультет государственного управления, МГУ имени М.В. Ломоносова, Москва, РФ. E-mail: grigorieva@,spa. msu. ru SPIN-код: 9017-7352
Аннотация
Одна из актуальных проблем сферы управления здравоохранением — создание методик управления качеством медицинской помощи на различных уровнях для оценки и сравнения деятельности медицинских организаций. Потребность в данной информации испытывают не только органы законодательной и исполнительной власти в сфере здравоохранения и иные учредители медицинских организаций, но и потребители услуг, а также организаторы и участники закупок. Данная задача становится еще более актуальной в связи с практическими шагами, которые предпринимаются в России по реформе (модернизации, оптимизации) системы здравоохранения. Мониторинг и оценка качества предоставляет возможность, прежде всего политикам, обеспечить улучшение работы и проконтролировать отчетность медицинских организаций. В статье рассматриваются основные понятия, модели оценки качества, принципы и методологические подходы к формированию рейтингов медицинских организаций и ведения мониторинга их деятельности.
Ключевые слова
Здравоохранение, медицинские организации, отчетность, качество медицинской помощи, доступ, мониторинг, оценка, модели оценки качества, рейтинг.
Современное здравоохранение нуждается в качественном управлении. Чтобы этого добиться, правительство, граждане, пациенты, клиницисты, закупщики и поставщики услуг нуждаются в различной информации о результатах деятельности медицинских организаций. При этом возрастает значение аналитической работы, независимой экспертизы, сравнительного анализа1 мониторинга и оценки. Количественная оценка управления через рейтинг сама по себе не может быть продуктивной. Она обязательно должна сочетаться с качественными показателями. Оценка результатов деятельности — это общественное благо, которое требует определенных действий правительства и наличия аналитического потенциала как внутри системы здравоохранения, так и вне ее.
Основные понятия
Оценка — это систематический сбор информации для установленных пользователей, с заранее определенными целями и по широкому кругу вопросов2. Но
1 Методология сравнительного анализа был использована в монографии: Садовничий В.А., Григорьева Н.С., Чубарова Т.В. От традиций к инновациям — реформы здравоохранения в современном мире. М.: Экономика, 2012.
2 PattonM.Q. Utilization-Focused Evaluation. Fourth Edition. Saint Paul, MN: SAGE Publication Inc., 2008; PattonM.Q. Evaluation, Knowledge Management, Best Practices, and High Quality Lessons Learned // American Journal of Evaluation. 2001. Vol. 22. No 3. P. 329-336.
Государственное управление. Электронный вестник
Выпуск № 51. Август 2015 г.
это и процесс, ориентированный на дальнейшее практическое использование результатов. Существует достаточно обширная литература по мониторингу и оценке, где приводится описание методов, техники анализа и обобщения результатов. Но в любом случае оценка качества невозможна без надлежащего мониторинга качества работы медицинских организаций.
Качество — важная категория для здравоохранения, особенно когда речь идет о результате, достигнутом при произведенных затратах. Поэтому в понимании и определении качества возможны различные подходы. Качество можно понимать как:
• поддающиеся измерению характеристики реально использованных ресурсов;
• характеристику процесса выполнения медицинской услуги, а именно сущность вмешательства, степень соответствия профессиональным нормам;
• результат работы, как профессиональную оценку, или ценность, которую пациент придает улучшению качества своей жизни в результате вмешательства.
Качество необходимо рассматривать с точки зрения системы здравоохранения в целом и в таком контексте оно имеет, по крайней мере, три измерения.
Первое — непосредственно медицинский аспект (клинический результат). Второе — качество обслуживания (условия пребывания в учреждениях здравоохранения, оперативность доступа, поведение медицинского персонала). Третье — социальное измерение, которое отражает степень, в которой система соответствует одобряемой обществом социальной этике здравоохранения. Социальное качество данной сферы может быть определено как обеспечение каждому гражданину доступа к здравоохранению и защиты от финансовых проблем при наступлении болезни.
Проблема ограниченности ресурсов в здравоохранении, побуждает к поиску баланса между этими тремя измерениями. То есть на основе только этих измерений можно построить достаточно много матриц с целью достижения необходимого компромисса.
Для здравоохранения существует значимая проблема связи затрат и качества медицинского обслуживания. Важно понять, насколько дополнительные вложения обеспечивают повышение качества оказываемой помощи. Традиционно подразумевалось наличие линейной связи, то есть увеличение расходов ведет к улучшению качества оказываемых услуг и соответственно меньший объем ресурсов ведет к ухудшению результата. Однако связь между расходами и качеством иного рода, и не всегда дополнительные вложения автоматически обеспечивают рост результата.
Государственное управление. Электронный вестник
Выпуск № 51. Август 2015 г.
Поэтому перераспределение ресурсов остается важной проблемой для здравоохранительной политики.
Не существует единого определения качества медицинских услуг. Исследовательской группой Всемирной организации здравоохранения (ВОЗ) предложен системный подход к оценке качества, при котором качество медицинской услуги оценивается с точки зрения:
• адекватности, которая характеризуется соответствием применяемых медицинских технологий потребностям и ожиданиям населения;
• экономической эффективности;
• научно-технического уровня, свидетельствующего о современности применяемых методов профилактики, диагностики и лечения.
В настоящее время в большинстве исследований рассматриваются три аспекта качества медицинской услуги:
- качество структуры (организация работы персонала, квалификация медицинских работников, материально-техническое и лекарственное обеспечение медицинского процесса);
- качество процесса (соблюдение стандартов медицинской помощи и правильности выбора медицинской технологии);
- качество конечного результата (экономическая и социальная эффективность, медико-демографические показатели, удовлетворенность пациентов полученными услугами, качество жизни).
Для оценки качества необходима информация, свидетельствующая об адекватности медицинской помощи с точки зрения соответствия применяемых технологий диагностики и лечения потребностям и ожиданиям населения. Анализ структурных показателей качества медицинских услуг должен проводиться на основании обследований поставщиков медицинских услуг: как исследования ресурсов медицинских учреждений, так и опросов медицинского персонала. Информация о качестве процесса может быть собрана тремя основными способами: наблюдением за приемом врача, на основе анализа отчетной информации медицинских учреждений и из медицинских карт. Качество результата в здравоохранении может быть оценено на основании индексов результативности. Необходимые для этого медицинские и экономические индикаторы результативности могут быть получены из отчетной информации учреждений здравоохранения и из данных обследований амбулаторно-поликлинических и стационарных учреждений. Одним из критериев социальной
Государственное управление. Электронный вестник
Выпуск № 51. Август 2015 г.
эффективности услуг здравоохранения является удовлетворенность пациентов, которая оценивается путем обследований населения.
Обеспечение качества это не обещания и не гарантия безошибочности здравоохранения. Конечная цель — это создание доверия и веры в качество медицинской помощи. Пациент должен доверять врачу и организации, в которую он обратился и быть уверенным в том, что будет сделано все возможное для решения его проблемы. Таким образом, происходит визуализация оценки качества. Достижение абсолютной безошибочности здравоохранения во все времена было невозможно. Но всегда присутствует стремление к идеалу, что в итоге, как это ни парадоксально, может препятствовать усилиям по обеспечению качества.
Одним из показателей качества может быть доступ населения к медицинским услугам. Доступ имеет различные аспекты, среди которых обычно выделяют территориальный, финансовый и культурный. При этом даже если в стране поставлена политическая задача обеспечения всеобщего доступа населения к услугам системы здравоохранения, ее практическое воплощение может столкнуться с серьезными трудностями. Как отмечают, например, Е. Доктур и Г. Оксли, доступ подразумевает отсутствие финансовых ограничений в получении медицинской помощи, наличие адекватного предложения медицинских услуг, отсутствие дискриминации по социальным характеристикам3. В качестве одного из основных показателей доступа специалисты выделяют долю населения, охваченную системой здравоохранения, содержание набора предоставляемых услуг, наличие так называемого разделения расходов, географические, организационные барьеры и уровень использования доступн ых услуг4.
Р. Брэдли отмечал, что идея доступа не имеет корней в экономической теории и является для нее внешней5. Так как доступ имеет значение по отношению к чему-либо, а люди различаются по тому, что они считают доступным, — она становится нормативной концепцией.
Рассмотрение проблемы доступа населения к медицинской помощи имеет ряд методологических трудностей.
3 Docteur E., Oxley H. Health Care Systems: Lessons from the Reform Experience / OECD Health Working Papers. No 9. 2003. URL: http://www.oecd.org/els/health-systems/22364122.pdf (13.07.2015).
4 WörzM., Foubister T., Busse R. Access to Health Care in the EU Member States // Euro Observer. 2006. Vol. 8. No 2. P. 1-4. URL: http://www.euro.who.int/ data/assets/pdf file/0007/80377/Euro0bserver8 2.pdf (13.07.2015).
5 Bradley R. Comment — Defining Health Insurance Affordability: Unobserved Heterogeneity Matters // Journal of Health Economics. 2008. No 27. P. 1129-1140.
Государственное управление. Электронный вестник
Выпуск № 51. Август 2015 г.
Применительно к системе здравоохранения часто говорят о всеобщем доступе населения к медицинским услугам. Однако критерий всеобщности, то есть реального обеспечения всеобщего доступа, оказалось сложно определить. Здесь необходимо ориентироваться на такие категории, как потребность и спрос.
Потребность подразумевает, что человеку реально необходима помощь по медицинским показаниям. Она может существовать у человека, но не быть выявленной и осознанной. При этом потребности динамичны и изменчивы, и на базе удовлетворенных возникают новые.
При анализе систем здравоохранения понятие «спрос» используется скорее как осознанная человеком потребность (не всегда необходимая) в получении медицинской услуги, которую он пытается реализовать практически. Повышение уровня жизни населения, прогресс в медицинских технологиях, старение населения и его растущие ожидания приводят к росту спроса на медицинскую помощь. Предложение в здравоохранении — в отличие от ряда других отраслей — достаточно негибкое и ограниченное, оно не может автоматически следовать за спросом ни физически, ни финансово (имея в виду высокую долю общественного финансирования здравоохранения). Поэтому задачу политики в области здравоохранения можно поставить как необходимость улучшения соотношения между спросом и предложением, чтобы если и не расширить доступ, то, во всяком случае, его рационализировать6.
На этом фоне возникает тема справедливости в здравоохранении. При этом можно выделить два подхода к справедливости: справедливость иметь доступ и использовать ресурсы здравоохранения и финансовая справедливость, оцениваемая как бремя финансовых взносов различных социально-экономических групп населения в систему здравоохранения.
Доступ традиционно связывается с такими параметрами, как своевременность и качество. Система здравоохранения обеспечивает доступ, если медицинская помощь надлежащего качества может быть получена гражданином вовремя. Поэтому существующая система медицинских учреждений, их территориальное распределение и организация работы должны быть оценены с этой точки зрения. Очевидно, что для оценки доступа относительные показатели развития здравоохранения более полезны,
6 Hartmann L., Ulmann P., Rochaix L. Access to Regular Health Care in Europe // Revue Française des Affaires Sociales. English edition: Reforms and Regulation of Health Care Systems in Europe. Nos 2-3, AprilSeptember. 2006.
Государственное управление. Электронный вестник
Выпуск № 51. Август 2015 г.
чем абсолютные. Например, важно не просто общее число врачей той или иной специальности, а, например, число врачей на 1 тыс. человек.
В свою очередь, для понимания относительных показателей необходимо определиться с ориентирами. Сколько должно быть врачей или коек на 1 тыс. человек, чтобы обеспечить доступ? Если число врачей или количество коек снизится, например на 100, это хорошо или плохо? Ограничивает ли это доступ и увеличивает ли нагрузку на врачей, снижая качество их работы или нет?
Обеспечение доступа часто связывают с возможностью выбора врача или медицинского учреждения. При этом принимается, что, если у пациента есть такой выбор, это расширяет доступ. Однако представляется, что данный вопрос не может решаться однозначно. Очевидно, что хорошего врача или больницу будут выбирать многие, а их возможности по оказанию медицинской помощи не безграничны. Соответственно, положительное влияние выбора на доступность медицинских услуг для большинства населения проявляется только при высоком общем уровне работы врачей и медицинских учреждений и их адекватном территориальном распределении.
Таким образом, оценить доступность достаточно сложно ввиду расплывчатости самой концепции. Это вызывает практические трудности при применении на практике и требует серьезной методологической работы.
Достижение качества работы медицинских организаций предполагает постоянный мониторинг и оценку принимаемых мер для трансляции полученной информации лицам, принимающим решения. Назначение мониторинга — регулярный сбор данных (контроль индикаторов) и последовательное отслеживание ситуации в сравнении текущего момента с заявленными задачами. Оценка предполагает систематический сбор информации с заранее определенными целями и по широкому кругу вопросов. Она может быть формирующей, то есть позволять по ее результатам повлиять на ход исполнения, и итоговой, фиксирующей конечный результат, когда можно извлечь уроки на будущее, но изменить настоящее уже нельзя.
Концептуальные модели оценки качества
Разработка стратегии для обеспечения качества медицинской услуги требует четкой концептуальной основы и ясного набора программных целей для того, чтобы эта стратегия была успешно реализована. Наиболее признана модель: структура —
Государственное управление. Электронный вестник
Выпуск № 51. Август 2015 г.
процесс — результат, которая известна как триада Донабедиана7. Эта модель уже на протяжении долгого периода позволяет проводить сопоставимые исследования и оценивать результаты, поэтому ее, как правило, называют традиционной. Она хорошо описана и в отечественной литературе8. В традиционной модели, больше усилий направлено на оценку качества, чем гарантии качества.
Для различных вариантов, которые возникли в конце 1980-х — начале 1990-х годов в измерениях качества, был применен другой общепризнанный термин — «непрерывное улучшение качества»9. Философская и техническая база для этой модели заимствованы из набора управленческого и статистического методов управления, разработанных американскими статистиками для работы в промышленности. Но термин «постоянное совершенствование» был рассмотрен в качестве «идеала в сфере здравоохранения»10. Чтобы применить эту модель в сфере здравоохранения, были сделаны четыре основных допущения:
1. Люди, участвующие в предоставлении медицинских услуг, работают в основном в организациях и для улучшения качества используют все возможности и ресурсы организации.
2. Все работающие в здравоохранении — от администраторов до вспомогательного персонала — должны выполнять работы в соответствии со своими возможностями.
3. Если работники не могут достичь лучших результатов, это означает, что сложившиеся системы расточительны, не надежны или плохо организованы.
4. Взаимодействие индивидов и организаций и систем, в которых они практикуют, всегда можно улучшить.
7 Donabedian A. Evaluating the Quality of Medical Care // Milbank Memorial Fund Quarterly. 1966. No 44 (3). P. 166-206; Donabedian А. Explorations in Quality Assessment and Monitoring. Ann Arbor: Health Administration Press, 1982. Vol. II. The Criteria and Standards of Quality; Donabedian A. Quality Assessment and Assurance: Unity of Purpose, Diversity of Means // Inquiry. 1988. No 25. P. 173-192; Donabedian A. The Quality of Care. How Can It be Assessed? // Journal of the American Medical Association. 1988. No 260. P. 1743-1748.
8 Тарасенко Е.А. Зарубежный опыт выбора показателей качества медицинской помощи для построения рейтингов медицинских организаций: уроки для России // Социальные аспекты здоровья. 2013. № 6 (34). URL: http://vestnik.mednet.ru/content/view/520/30/lang,ru/ (13.07.2015).
9 Batalden P.B., Buchanan E.D. Industrial Models of Quality Improvement // Providing Quality Care: The Challenge to Clinicians / eds.: N. Goldfield, D.B. Nash. Philadelphia, Pa: American College of Physicians, 1989. P. 133-159; Bergner M. Measurement of Health Status // Medical Care. 1985. No 23. P. 696-704; Berwick D.M. Sounding Board. Continuous Improvement as an Ideal in Health Care // New England Journal of Medicine. 1989. No 320. P. 53-56; Bergner M., Rothman M.L. Health Status Measures: An Overview and Guide for Selection // Annual Review of Public Health. 1987. No 8. P. 191-210.
10 Berwick D.M. Op. cit.
Государственное управление. Электронный вестник
Выпуск № 51. Август 2015 г.
Вариант использования этой модели может быть рассмотрен на примере американской программы Medicareп, в рамках которой такой мониторинг ведется уже много лет12.
Проанализировав усилия разных стран по ведению национального мониторинга качества работы медицинских организаций, можно заметить, что многие страны делают это, но есть и те, кто к формированию рейтингов относятся с недоверием. В одних странах программы обсечения качества строятся на традиционной модели: структура — процесс — результат. В других — показатели эффективности и финансовый (бухгалтерский) учет являются доминирующими элементами программ обеспечения качества.
Программа может иметь несколько целей, каждая из которых может быть выражена в разной степени. Стремясь к достижению этих целей, программа обеспечения качества может стараться предотвратить возникновение проблем, обнаружить и исправить те недостатки, которые уже имеют место, и поощрять более высокие стандарты обслуживания. Она может исключить неудачные практики, поддерживать передовой опыт или использовать различные комбинации для достижения целей. То есть возможности для разнообразной деятельности есть.
Методологические проблемы построения рейтингов: международная практика
Мониторинг и оценка качества деятельности медицинских организаций предоставляет возможность, прежде всего политикам, обеспечить улучшение работы и проконтролировать отчетность. Это своеобразный показатель, который позволяет сделать вывод о правильности избранного курса или, наоборот, о необходимости его смены. В конечном итоге мониторинг и оценка нужны для того, чтобы повысить качество решений, принимаемых разными акторами в системе здравоохранения.
11 Medicare — национальная программа социального страхования, которая предоставляет страховку гражданам США старше 65 лет, которые работали и вносили соответствующие взносы. Она также обеспечивает медицинское страхование молодым людям, с определенными заболеваниями. Программа существует с 1966 года и покрывается расходами федерального правительства США. В 2011 году почти половина расходов на стационарное лечение больных (47,2%) были покрыты из программы Medicare (Torio C.M., Andrews R.M. National Inpatient Hospital Costs: The Most Expensive Conditions by Payer, 2011 / HCUP Statistical Brief No 160. Agency for Healthcare Research and Quality, Rockville, MD. August 2013). Однако это не означает, что все расходы пациента покрываются из средств программы. Они оплачивают часть услуг, и величина их участия в платежах зависит от объема этих услуг. В 2014 году 15,6% американцев были покрыты Medicare. Ожидается, что к 2050 году их число увеличится до 95,8 млн. человек. См.: Statistics and Facts about Medicare // Statista — The Statistics Portal [Site]. URL: http://www.statista.com/topics/1167/medicare (13.07.2015).
12 Методика определения оценки качества медицинских организаций и основные принципы ведения рейтинга будут рассмотрены подробнее в следующей статье.
Государственное управление. Электронный вестник
Выпуск № 51. Август 2015 г.
Прогресс информационных технологий и рост требований к подотчетности систем здравоохранения и обеспечению выбора пациентов привели к быстрому прогрессу в системах измерения работы, но остается ряд вопросов, которые требуют внимания и решения.
Различные способы использования показателей оценки работы позволяют привлечь широкий спектр методов измерения, аналитических технологий и подходов к представлению результатов, включая общенациональные обследования, опросы пациентов, базы данных самих учреждений и клиническую информацию.
Основное требование в любой системе измерений — это наличие ясной концептуальной основы для разработки показателей оценки, что должно обеспечить охват измерения всех основных областей систем здравоохранения и определить приоритеты развития. В этом случае усилия по сбору и анализу информации согласованы и не дублируются. Иначе говоря, требование состоит в разработке оптимального портфеля инструментов измерения. Примером может стать проект ОЭСР, которая намерена сформировать набор индикаторов, обычно широко использующихся в национальных системах здравоохранения13.
Проблемы методологии особенно остро возникают, когда стоит вопрос о выборе отдельных индикаторов и определении уровня, на котором предоставляются данные. Это может быть макроуровень (продолжительность жизни населения страны), мезоуровень (уровень смертности после операций в больнице) и микроуровень (результаты здоровья пациентов, достигнутые отдельными врачами). Задача состоит в разработке показателей оценки работы, которые демонстрируют следующие признаки: приемлемость, выполнимость, надежность, чувствительность к изменениям, достоверность.
Кроме того, необходимо учитывать политический и организационный контекст, в рамках которого данные собираются, анализируются и распространяются. Есть определенные проблемы, связанные с интерпретацией измерителей результата среди представителей заинтересованных сторон. Поэтому больше внимания необходимо уделять тому, как показатели интерпретируются получателями, какое влияние на них оказывают. Один из наиболее спорных вопрос — это использование композитных индикаторов, когда в один измеритель объединяют несколько показателей оценки работы организации или системы. С одной стороны, такие индикаторы очень привлекательны, так как помогают суммировать уровни достижения
13 GDP on Health and Life Expectancy, 2005-06. OECD, 2008.
© Факультет государственного управления МГУ имени М.В.Ломоносова, 2015 42
Государственное управление. Электронный вестник
Выпуск № 51. Август 2015 г.
результата в доступной форме. Но с другой стороны, композитные индикаторы следует использовать с большой осторожностью, иначе можно прийти к искаженным выводам.
На политическом уровне показатели работы могут быть использованы для решения многих задач по улучшению работы. Они могут быть применены для публичного представления информации по оценке работы в форме организационных отчетов. Это очень важно, поскольку демонстрирует наглядный результат. Однако в этом есть и определенный ограниченный эффект для пациентов, поскольку в организационных отчетах высок уровень обобщения и существует возможность обойти вниманием частные, но важные проблемы. Необходим механизм, который бы противодействовал таким тенденциям.
Проводятся эксперименты по исследованию того, как измерение работы может быть использовано для создания системы прямых финансовых стимулов для вознаграждения по результатам работы организаций. Это очень важная область применения индикаторов работы. Однако такие схемы поднимают ряд вопросов по поводу дизайна, например: какие аспекты работы учитывать, как измерять достижения, как определять цели, устанавливать ли стимулы на индивидуальном или групповом уровне, насколько сильной должна быть связь между достижением и результатом и какой денежный вес придать такому стимулу. Пока мало убедительных доказательств эффективности финансовых стимулов, и это очевидный приоритет в перспективных исследованиях.
Обязанности государства, которые появляются при решении задач мониторинга и оценки, можно обобщить следующим образом:
1) разработка ясной концепции и ясного видения цели всей системы оценки работы:
• согласование с отношениями отчетности;
• согласование с другими механизмами системы здравоохранения;
2) дизайн механизмов сбора данных:
• детальная спецификация отдельных индикаторов;
• согласование с лучшей мировой практикой;
3) руководство информацией:
• аудит и контроль качества данных;
• обеспечение доверия общественности к информации;
• обеспечение хорошо информированных общественных дебатов;
Государственное управление. Электронный вестник
Выпуск № 51. Август 2015 г.
4) разработка аналитических способов и возможностей помощи в понимании
данных:
• анализ должен проводиться эффективно и результативно;
• принимающие решение на местах должны понимать анализ;
• заказ исследований по необходимым вопросам, в том числе механизмам обратной связи и учета рисков;
5) развитие соответствующих методов агрегирования данных и их презентации:
• информация должна иметь правильное влияние на все заинтересованные
стороны;
• подготовка публичных отчетов;
• обеспечение сравнимости и преемственности информации;
6) разработка стимулирующих мер на основе показателей работы учреждения:
• мониторинг влияния информации о работе учреждения на поведение;
• усиление положительных результатов работы и снижение отрицательных
эффектов;
7) правильная оценка инструментов оценки работы:
• обеспечение эффективности расходования средств на информационные
ресурсы;
8) управление политическим процессом:
• разработка и мониторинг вариантов политики;
• поощрение здоровых политических дебатов;
• специфические (отдельные) группы интересов не должны получать монопольного контроля над информацией.
Особо следует подчеркнуть, что эти функции не обязательно должны выполняться государством, но государство обязано обеспечить, чтобы все они действовали и приносили результат. В Таблице 1 сформулированы основные требования, которые должны быть отражены в информации о работе медицинских организаций с учетом интересов сторон, для которых тот или иной рейтинг составляется в зависимости от запроса.
Таблица 1. Требования, предъявляемые к информации о работе медучреждений на различных уровнях системы здравоохранения14
Заинтересованные стороны (ст ейкхолдеры), имеющие влияние Примеры запроса Требования к информации
Правительство - Мониторинг здоровья нации - Разработка политики здравоохранения - Обеспечение правильности работы мер регулирования - Обеспечение расходования государственных средств по назначению - Обеспечение осуществления соответствующих функций информации и исследования - Мониторинг эффективности и результативности мер регулирования - Информация по исполнению на национальном и международном уровнях - Информация по доступу и справедливости обслуживания, по использованию услуг и листам ожидания - Данные по здоровью населения
Министерство здравоохранения как основной регулятор - Защита и обеспечение безопасности и благосостояния пациентов - Обеспечение более широкой защиты потребителей - Обеспечение эффективного функционирования рынка - Своевременная, надежная и постоянная информация по вопросам безопасности пациентов и их благосостояния - Информация о честности и эффективности финансовых потоков
Плательщики (налогоплательщики и члены страховых фондов) - Обеспечение расходования средств эффективно, результативно и в соответствии с ожиданиями - Агрегированные сравнительные данные по результатам работы учреждений - Информация по производительности и эффективности по затратам - Информация по доступу и справедливости
Организации, покупатели медицинских услуг - Обеспечение соответствия контрактов, предлагаемых пациентам, тем задачам, которые ожидает пациент - Информация по обслуживанию пациентов и их удовлетворенности - Информация о работе провайдеров - Информация по эффективности затрат на лечение
Организации, предоставляющие медицинские услуги - Мониторинг и улучшение предоставляемых услуг - Оценка местных потребностей - Агрегированные клинические данные - Информация об обслуживании пациентов и их удовлетворенности - Информация по доступу и справедливости, использованию услуг и листам ожидания
Врачи - Способность соответствовать существующей практике - Способность улучшать работу - Информация по существующей практике и передовому опыту - Информация по лучшим достигнутым показателям
Пациенты - Способность сделать выбор медицинской организации или врача, когда возникает потребность - Информация по альтернативным возможностям лечения, расположению и качеству услуг близлежащих медучреждений, включая неотложную помощь
14 Адаптировано из: Smith P.C., Mossialos E., PapanicolasI. Performance Measurement for Health System Improvement: Experiences, Challenges and Prospects / World Health Organization 2008 and World Health Organization, on behalf of the European Observatory on Health Systems and Policies, 2008. P. 3. URL: http://www.who.int/management/district/performance/PerformanceMeasurementHealthSystemImproveme nt2.pdf (13.07.2015).
- Информацию по качеству и вариантам лечения по выбору
Общественность - Уверенность в том, что необходимые услуги будут доступны в случае необходимости в будущем - Контроль над действиями правительства и других государственных органов - Общие тенденции в развитии здравоохранения в стране, сравнение с работой других систем на национальном и местном уровнях - Информация по эффективности и безопасности
Как видно из приведенной таблицы, запрос у разных акторов отличается, а требования к запрашиваемой информации (комбинация требований) могут повторяться, что, с одной стороны, упрощает мониторинг и оценку, а с другой — требует высокой профессиональной работы и четко разработанных методик.
Во многих странах давно уже признаны выгоды от наличия базы для оценки работы системы здравоохранения. В научной литературе указывается, что установление определенных рамок не только важно для мониторинга и оценки, а соответствует более широким стратегическим целям и приоритетам системы здравоохранения. Базы структурированы в соответствии с различными областями в развитии страны, что является важным шагом в мониторинге и предоставлении отчетности о работе системы здравоохранения. Это также ключевой аспект реформ здравоохранения в долгосрочной перспективе.
Сильные стороны современного «Отчета о работе организаций здравоохранения» (далее — «Отчет») характеризуются следующим образом:
• охватывают различные области работы (результативность, эффективность, доступ и опыт пациентов), которые соответствуют международной практике, основаны на результатах международных исследований, что делает их сопоставимыми;
• включает критерии отбора показателей;
• содержит индикаторы, позволяющие проводить стратифицированный анализ работы системы здравоохранения по отношению к различным (уязвимым) группам.
Благодаря указанным сильным сторонам, можно уверенно использовать «Отчет» в будущем, поскольку это основа, к которой можно добавлять новые индикаторы, если будет необходимость, что позволит полнее представлять ее различные стороны и аспекты деятельности. Публикация ключевой информации по критериям, лежащим в основе того или иного индикатора и открытая направленность опубликованных индикаторов на определенные целевые аудитории и использование в процессе разработки индикаторов опыта других стран будут способствовать развитию сильных сторон «Отчета».
Государственное управление. Электронный вестник
Выпуск № 51. Август 2015 г.
В качестве примера работы по выработке национальных индикаторов (критериев) оценки работы организаций здравоохранения и системы в целом можно сослаться на опыт Австралии. Последовательное отслеживание всех шагов, предпринятых страной для выработки собственной системы, наглядно демонстрирует сложность и важность проделанной работы15. Особого внимания заслуживает ее методологическая часть.
Прежде всего, были изучены международные показатели. Для этого были рассмотрены показатели, используемые в таких странах, как Соединенное Королевство (Англия и Шотландия), Канада, США, Дания, Новая Зеландия и Нидерланды. Проведенное исследование выявило 388 индикаторов, которые соответствовали критериям национальной преемственности и релевантности местным условиям. Было установлено, что 45 из этих индикаторов используются более чем в одной стране; 140 из 388 международных индикаторов (36%) соответствуют индикаторам австралийского / национального РАF16. Однако ключевое отличие состояло в том, что международные индикаторы оказались более тесно связанными с клиническими условиями или группой заболеваний, чем индикаторы РАF. В результате набор клинических условий, отраженный в международных индикаторах оказался шире, чем национальный.
Таблица 2 показывает следствия проведенных исследований. Изучение международной практики выявило в результате: 210 индикаторов для уровня местных сообществ (муниципалитетов), 232 — для больниц и 37 — на уровне населения. Число существующих индикаторов национальной отчетности для сравнения указано в таблице в скобках. Показательно, что было обнаружено только семь индикаторов эффективности, тогда как большинство индикаторов «эффективность — безопасность и качество» — 145 для уровня местного сообщества и 145 для больниц.
РАF содержит 15 показателей «эффективность — доступ» на уровне местного сообщества и пять на уровне больниц. Хотя были найдено относительно большее число международных индикаторов (34 на местном уровне и 45 для больниц), в некоторых юрисдикциях есть тенденция уменьшать акцент на доступе (вместе с сокращением его относительной стратегической важности с течением времени) и увеличивать акцент на
15 Hibbert P., Hannaford N., Long J., Plumb J., Braithwaite J. Final Report: Performance Indicators Used Internationally to Report Publicly on Healthcare Organisations and Local Health Systems / AIHI — Australian Institute of Health Innovation. October 2013. URL: http://www.nhpa.gov.au/internet/nhpa/publishing.nsf/Conten t/A2BC636E366C7FAFCA257C7800189056/$File/Final%20Report%20NHPA%20International%20Performan ce%20Indicators%20AIHI.pdf (13.07.2015).
16 PAF — Performance and Accountability Framework (Australia).
Государственное управление. Электронный вестник
Выпуск № 51. Август 2015 г.
индикаторах безопасности и качества. Такие области, как преемственность, устойчивость и возможности, не представлены в индикаторах РАF.
Таблица 2. Число международных индикаторов в зависимости от области РАЕ и уровня (местное сообщество, больница, население) (в скобках — число индикаторов РАЕ / национальных)17
Область На уровне местного сообщества Больницы Население Всего
Результативность — доступ 34 (15) 45 (5) 0 79
Результативность — опыт пациентов 25 (1) 21 (1) 1 47
Результативность — безопасность и качество 145 (5) 145 (16) 2 298
эффективность 0 (1) 7 (4) 0 7
Уровень здоровья населения 5 9 34 (9) 48
Всего 210 (22) 232 (26) 37 (9) -
В том числе показатели:
Структуры 0 (1) 4 (1) 1 5
Процесса 126 (3) 144 (9) 1 271
Результата 84 (18) 84 (16) 35 (9) 203
Индикаторы, выявленные в ходе мировых сопоставлений, дают отличную возможность усилить представительность РАF. Была признана необходимость расширить применение, как в больницах, так и на местном уровне, индикаторов в областях «результативность — безопасность и качество» и «опыт пациентов». В плане интегрированного лечения на мировом уровне был признан показатель «госпитализация, которую потенциально можно избежать», а работа в этой области получила серьезную поддержку.
В итоговой части таблицы приведены базовые показатели, которые известны и в России.
Задача разработки любой методики сравнительной оценки учреждений первоначально сталкивается с необходимостью обеспечения сопоставимости показателей. Для России это принципиально новая работа, которая не терпит излишней поспешности. Классическая, «по Семашко», система здравоохранения, реализованная в СССР, включала оказание медицинской помощи в двух формах: стационарной и амбулаторной. Больницы обеспечивали лечение пациентов «на койках», поликлиники оказывали медицинскую помощь «на приемах» (соответственно, основными показателями мощности учреждений является количество коек и число приемов в смену). Движение к рыночной экономике и оптимизация работы медицинских организаций привели к объединению учреждений в комплексы, где часто присутствуют одновременно и стационар, и поликлиника, внедряются стационарозамещающие
17 Адаптировано из: Hibbert P., Hannaford N., Long J., Plumb J., Braithwaite J. Op. cit.
© Факультет государственного управления МГУ имени М.В.Ломоносова, 2015 48
Государственное управление. Электронный вестник
Выпуск № 51. Август 2015 г.
технологии (дневной стационар, стационар на дому и пр.). Однако профилизация учреждений затрудняет возможности сравнения (например, поликлиника первого уровня, в которой так же реализуется специализированная помощь по одному — двум направлениям) и создает предпосылки для «сокрытия» результатов.
Одним из решений может быть сравнение по лицензируемым видам деятельности (например, амбулаторная специализированная помощь по кардиологии), но из-за большого количества видов работ, такой оценке могут быть подвергнуты лишь некоторые из них. Данный подход может быть использован для оценки ключевых направлений (например, мероприятия в рамках приоритетного национального проекта «Здоровье» — сосудистые центры, травмацентры для помощи при дорожно-транспортных происшествиях и пр.). Тем не менее эта работа идет и есть первые результаты.
Так, например Комитет по здравоохранению г. Санкт-Петербурга совместно с территориальным фондом обязательного медицинского страхования (ОМС) составили рейтинг лучших клиник города. И по результатам работы медицинские учреждения получили стимулирующие выплаты в пяти номинациях: взрослая и детская больницы, взрослая и детская поликлиники, родильные дома. При этом было выбрано два направления поисков, по которым осуществлялось исследование:
1) методы оценки эффективности медицинского учреждения;
2) системы интегральных показателей медицинского учреждения.
В первом направлении были выбраны следующие аналоги:
1) система сбалансированных показателей (ССП);
2) Data Envelopment Analysis (DEA)18;
3) Stochastic Frontier Analysis (SFA)19;
4) метод оценки качества и эффективности медицинской помощи, основанный на сравнении фактически оказанной помощи с медико-экономическим стандартом (МЭС).
Во втором направлении были выбраны следующие аналоги:
18 Анализ охвата данных (DEA) непараметрический метод в исследовании производственных границ, исследования операций и измерения эффективности производства для принятия решений в экономике. И хотя DEA используется в основном в экономике, его применяют и для измерения производительности в управлении операциями, где комплекс мер выбран для сравнения производительности производства и услуг.
19 Стохастический анализ пограничных состояний (SFA) является методом экономического моделирования. Он используется для описания случайных компонентов, которые влияют на основной процесс, но не имеют к нему непосредственного отношения.
1) Перечень промежуточных показателей результативности (ППР) и временных целевых показателей (ВЦП) для оценки деятельности федеральных бюджетных учреждений, подведомственных Федеральному медико-биологическому агентству (ФМБА) России;
2) Целевые показатели деятельности специализированных учреждений здравоохранения, находящихся в ведении Министерства здравоохранения РФ, и критерии оценки эффективности работы их руководителей;
3) Показатели эффективности научно-практического центра (НИЦ) «Бонум»20.
Аналоги сравнивались с помощью метода анализа иерархий Т. Саати21. По
каждому направлению было выбрано по одному прототипу системы сбалансированных показателей и показатели эффективности НПЦ «Бонум». Чтобы улучшить прототип метода оценки эффективности, было проведено анкетирование руководителей.
Сходные программы существуют и в других регионах РФ.
* * * *
В ходе исследования зарубежных научных источников и информации, размещенной в открытых источниках в сфере управления здравоохранением, представилась возможность глубже познакомиться с методологией составления зарубежных рейтингов медицинских организаций. Как правило, рейтинги медицинских организаций, составляемые с участием государственных органов (либо использующие статистические данные, собранные государственными органами), подробно детализированы, насчитывают большое число показателей (с подробно разработанными индикаторами по каждому из них). Предметом рейтингования являются как клинические, так и неклинические показатели деятельности учреждений
20 Гайниярова М.М., Никифоров Д.А. Подход к оценке эффективности деятельности многопрофильного детского медицинского учреждения (на примере НПЦ «Бонум») // IX Студенческая международная заочная научно-практическая конференция «Научное сообщество студентов XXI столетия». Технические науки. Россия, г. Новосибирск, 7 марта 2013 г. Новосибирск: СибАК, 2013. URL: http://sibac.info/index.ph p/2009-07-01-10-21-16/6784-------------lr (13.07.2015).
21 Метод анализа иерархий (МАИ) — математический инструмент системного подхода к сложным проблемам принятия решений, который не предписывает лицу, принимающему решение какого-либо «правильного» варианта, а дает возможность найти такой вариант (альтернативу) в интерактивном режиме, который бы наилучшим образом согласовался с его пониманием сути проблемы и требованиями к ее решению. Этот метод разработан американским математиком Томасом Саати, который разработал программные продукты и в течение многих лет проводил симпозиумы ISAHP (International Symposium on Analytic Hierarchy Process). Метод анализа иерархий используется для принятия решений в разнообразных ситуациях: от управления на межгосударственном уровне до решения отраслевых и частных проблем не только в бизнесе, промышленности, но и в социальных секторах: здравоохранении, образовании. Книга Саати «Принятие решений: методы анализа иерархий» была переведена на русский язык в 1993 году. Метод активно разрабатывался в Петербурге; см., в частности: Ногин В.Д. Упрощенный вариант метода анализа иерархий на основе нелинейной свертки критериев // Журнал вычислительной математики и математической физики. 2004. Т. 44. № 7. С. 1259-1268.
Государственное управление. Электронный вестник
Выпуск № 51. Август 2015 г.
здравоохранения и плюс учитывается общественное мнение относительно репутации того или иного учреждения.
В любом случае есть необходимость, прежде всего, создания концепции данной системы, определение ее методологии, а затем разработки непосредственно системы детализированных статистических клинических / неклинических показателей деятельности медицинских организаций.
Опыт других стран22 может быть полезен для формирования собственных подходов и выработки своей системы показателей.
Основная проблема заключается в том, что в Российской Федерации нет институализированной службы, которая бы занималась оценкой качества работы медицинских организаций. В структуре Министерства здравоохранения есть департамент мониторинга, анализа и стратегического развития здравоохранения и, соответственно, отделы по стратегическому развитию и эффективности деятельности системы здравоохранения и отдел мониторинга реализации государственных программ. В приказе Министра здравоохранения «Об организации работы по формированию независимой оценки качества работы государственных (муниципальных) учреждений, оказывающих услуги в сфере здравоохранения» оценкой предписано было заниматься семи департаментам. Зарубежный опыт демонстрирует наличие специализированных служб, как государственных, так и ведомственных и общественных, равно как и возможность просмотра результатов мониторинга любых медицинских организаций на протяжении длительного периода времени.
Список литературы:
1. ГайнияроваМ.М., НикифоровД.А. Подход к оценке эффективности деятельности многопрофильного детского медицинского учреждения (на примере НПЦ «Бонум») // IX Студенческая международная заочная научно-практическая конференция «Научное сообщество студентов XXI столетия». Технические науки. Россия, г. Новосибирск, 7 марта 2013 г. Новосибирск: СибАК, 2013. URL: http://sibac.info/index.php/2009-07-01-10-21-16/6784-------------lr (13.07.2015).
2. Ногин В.Д. Упрощенный вариант метода анализа иерархий на основе нелинейной свертки критериев // Журнал вычислительной математики и математической физики. 2004. Т. 44. № 7. С. 1259-1268.
22 Smith P.C., Mossialos E., Papanicolas I. Op. cit.; WörzM., Foubister T., Busse R. Op. cit.
Государственное управление. Электронный вестник
Выпуск № 51. Август 2015 г.
3. Садовничий В.А., Григорьева Н.С., Чубарова Т.В. От традиций к инновациям — реформы здравоохранения в современном мире. М.: Экономика, 2012.
4. Тарасенко Е.А. Зарубежный опыт выбора показателей качества медицинской помощи для построения рейтингов медицинских организаций: уроки для России // Социальные аспекты здоровья. 2013. № 6 (34). URL: http://vestnik.mednet.ru/content/view /520/30/lang,ru/ (13.07.2015).
5. Batalden P.B., Buchanan E.D. Industrial Models of Quality Improvement // Providing Quality Care: The Challenge to Clinicians / eds.: N. Goldfield, D.B. Nash. Philadelphia, Pa: American College of Physicians, 1989. P. 133-159.
6. Bergner M. Measurement of Health Status // Medical Care. 1985. No 23. P. 696-704.
7. BergnerM., RothmanM.L. Health Status Measures: An Overview and Guide for Selection // Annual Review of Public Health. 1987. No 8. P. 191-210.
8. BerwickD.M. Sounding Board. Continuous Improvement as an Ideal in Health Care // New England Journal of Medicine. 1989. No 320. P. 53-56.
9. Bradley R. Comment — Defining Health Insurance Affordability: Unobserved Heterogeneity Matters // Journal of Health Economics. 2008. No 27. P. 1129-1140.
10. Docteur E., Oxley H. Health Care Systems: Lessons from the Reform Experience / OECD Health Working Papers. No 9. 2003. URL: http://www.oecd.org/els/health-systemsZ22364122.pdf (13.07.2015).
11. Donabedian A. Evaluating the Quality of Medical Care // Milbank Memorial Fund Quarterly. 1966. No 44 (3). P. 166-206.
12. Donabedian А. Explorations in Quality Assessment and Monitoring. Ann Arbor: Health Administration Press, 1982. Vol. II. The Criteria and Standards of Quality.
13. Donabedian A. Quality Assessment and Assurance: Unity of Purpose, Diversity of Means // Inquiry. 1988. No 25. P. 173-192.
14. Donabedian A. The Quality of Care. How Can It be Assessed? // Journal of the American Medical Association. 1988. No 260. P. 1743-1748.
15. GDP on Health and Life Expectancy, 2005-06. OECD, 2008.
16. Hartmann L., Ulmann P., Rochaix L. Access to Regular Health Care in Europe // Revue Francaise des Affaires Sociales. English edition: Reforms and Regulation of Health Care Systems in Europe. Nos 2-3, April-September. 2006.
17. Hibbert P., HannafordN., Long J., Plumb J., Braithwaite J. Final Report: Performance Indicators Used Internationally to Report Publicly on Healthcare Organisations and Local Health Systems / AIHI — Australian Institute of Health Innovation. October 2013.
Государственное управление. Электронный вестник
Выпуск № 51. Август 2015 г.
URL: http://www.nhpa.gov.au/internet/nhpa/publishing.nsf/Content/A2BC636E366C7FAFC A257C7800189056/$File/Final%20Report%20NHPA%20International%20Performance%20I ndicators%20AIHI.pdf (13.07.2015).
18. PattonM.Q. Evaluation, Knowledge Management, Best Practices, and High Quality Lessons Learned // American Journal of Evaluation. 2001. Vol. 22. No 3. P. 329-336.
19. Patton M.Q. Utilization-Focused Evaluation. Fourth Edition. Saint Paul, MN: SAGE Publication Inc., 2008.
20. Smith P.C., Mossialos E., Papanicolas I. Performance Measurement for Health System Improvement: Experiences, Challenges and Prospects / World Health Organization 2008 and World Health Organization, on behalf of the European Observatory on Health Systems and Policies, 2008. URL: http://www.who.int/management/district/performance/PerformanceMea surementHealthSystemImprovement2.pdf (13.07.2015).
21. Statistics and Facts about Medicare // Statista — The Statistics Portal [Site]. URL: http://www.statista.com/topics/1167/medicare (13.07.2015).
22. Torio C.M., Andrews R.M. National Inpatient Hospital Costs: The Most Expensive Conditions by Payer, 2011 / HCUP Statistical Brief No 160. Agency for Healthcare Research and Quality, Rockville, MD. August 2013.
23. Wörz M., Foubister T., Busse R Access to Health Care in the EU Member States // Euro Observer. 2006. Vol. 8. No 2. P. 1-4.
URL: http://www.euro.who.int/ data/assets/pdf file/0007/80377/EuroQbserver8 2.pdf (13.07.2015).
Grigorieva N.S.
Monitoring the Quality of Health Care Organizations: A Methodological Comment
Natalia S. Grigorieva — Ph.D., professor, School of Public Administration, Lomonosov Moscow State University, Moscow, Russian Federation. E-mail: grigorieva@spa. msu. rul
Annotation
One of the most important current problems in health management is the development of methods for medical care quality control. Both the health care authorities, the general public and organizers and participants of the procurements need to assess the quality of health care services. This problem is even more acute in connection with the practical steps that have been taken in Russia to reform the health care system. Monitoring and evaluation of the quality allows to improve accountability and control of medical organizations. This article discusses the basic concepts and models of quality assessment, principles and methodological approaches to the formation of medical organizations ratings and of monitoring their activities.
Keywords
Quality of health care, access, monitoring, evaluation, evaluation model of quality of health care, compiling ratings of medical organizations, ranking of healthcare organizations, quality of medical care, clinical and nonclinical quality indicators, medical care, health care.
References:
1. Gainiiarova M.M., Nikiforov D.A. Podkhod k otsenke effektivnosti deiatel'nosti mnogoprofil'nogo detskogo meditsinskogo uchrezhdeniia (na primere NPTs "Bonum"). IX Studencheskaia mezhdunarodnaia zaochnaia nauchno-prakticheskaia konferentsiia "Nauchnoe soobshchestvo studentov XXI stoletiia". Tekhnicheskie nauki. Rossiia, g. Novosibirsk, 7marta 2013 g. Novosibirsk: SibAK, 2013. URL: http://sibac.info/ index.php/2009-07-01-10-21-16/6784-------------lr (13.07.2015).
2. Nogin V.D. Uproshchennyi variant metoda analiza ierarkhii na osnove nelineinoi svertki kriteriev. Zhurnal vychislitel'noi matematiki i matematicheskoi fiziki, 2004, vol. 44, no 7, pp. 1259-1268.
3. Sadovnichii V.A., Grigor'eva N.S., Chubarova T.V. Ot traditsii k innovatsiiam — reformy zdravookhraneniia v sovremennom mire. Moscow: Ekonomika, 2012.
4. Tarasenko E.A. Zarubezhnyi opyt vybora pokazatelei kachestva meditsinskoi pomoshchi dlia postroeniia reitingov meditsinskikh organizatsii: uroki dlia Rossii. Sotsial'nye aspekty zdorov'ia, 2013, 6 (34). URL: http://vestnik.mednet.ru/content/view/520/30/lang,ru/ (13.07.2015).
5. Batalden P.B., Buchanan E.D. Industrial Models of Quality Improvement. Providing Quality Care: The Challenge to Clinicians / eds.: N. Goldfield, D.B. Nash. Philadelphia, Pa: American College of Physicians, 1989. Pp. 133-159.
6. Bergner M. Measurement of Health Status. Medical Care, 1985, 23, pp. 696-704.
7. Bergner M., Rothman M.L. Health Status Measures: An Overview and Guide for Selection. Annual Review of Public Health, 1987, 8, pp. 191-210.
8. Berwick D.M. Sounding Board. Continuous Improvement as an Ideal in Health Care. New England Journal of Medicine, 1989, 320, pp. 53-56.
9. Bradley R. Comment — Defining Health Insurance Affordability: Unobserved Heterogeneity Matters.
Journal of Health Economics, 2008, 27, pp. 1129-1140.
10. Docteur E., Oxley H. Health Care Systems: Lessons from the Reform Experience / OECD Health Working Papers. No 9. 2003. URL: http://www.oecd.org/els/health-systems/22364122.pdf (13.07.2015).
11. Donabedian A. Evaluating the Quality of Medical Care. Milbank Memorial Fund Quarterly, 1966, 44 (3), pp. 166-206.
12. Donabedian A. Explorations in Quality Assessment and Monitoring. Ann Arbor: Health Administration Press, 1982. Vol. II. The Criteria and Standards of Quality.
13. Donabedian A. Quality Assessment and Assurance: Unity of Purpose, Diversity of Means. Inquiry, 1988, 25, pp. 173-192.
14. Donabedian A. The Quality of Care. How Can It be Assessed? Journal of the American Medical Association, 1988, 260, pp. 1743-1748.
15. GDP on Health and Life Expectancy, 2005-06. OECD, 2008.
16. Hartmann L., Ulmann P., Rochaix L. Access to Regular Health Care in Europe. Revue Francaise des Affaires Sociales. English edition: Reforms and Regulation of Health Care Systems in Europe, 2-3, AprilSeptember. 2006.
17. Hibbert P., Hannaford N., Long J., Plumb J., Braithwaite J. Final Report: Performance Indicators Used Internationally to Report Publicly on Healthcare Organisations and Local Health Systems / AIHI — Australian Institute of Health Innovation. October 2013. URL: http://www.nhpa.gov.au/internet/nhpa/publishing.nsf/Conten t/A2BC636E366C7FAFCA257C7800189056/$File/Final%20Report%20NHPA%20International%20Performan ce%20Indicators%20AIHI.pdf (13.07.2015).
18. Patton M.Q. Evaluation, Knowledge Management, Best Practices, and High Quality Lessons Learned.
American Journal of Evaluation, 2001, vol. 22, no 3, pp. 329-336.
19. Patton M.Q. Utilization-Focused Evaluation. Fourth Edition. Saint Paul, MN: SAGE Publication Inc., 2008.
20. Smith P.C., Mossialos E., Papanicolas I. Performance Measurement for Health System Improvement: Experiences, Challenges and Prospects / World Health Organization 2008 and World Health Organization, on behalf of the European Observatory on Health Systems and Policies, 2008. URL: http://www.who.int/manageme nt/district/performance/PerformanceMeasurementHealthSystemImprovement2.pdf (13.07.2015).
21. Statistics and Facts about Medicare. Statista — The Statistics Portal [Site]. URL: http://www.statista.com/topics/1167/medicare (13.07.2015).
22. Torio C.M., Andrews R.M. National Inpatient Hospital Costs: The Most Expensive Conditions by Payer, 2011 / HCUP Statistical Brief No 160. Agency for Healthcare Research and Quality, Rockville, MD. August 2013.
23. Worz M., Foubister T., Busse R. Access to Health Care in the EU Member States. Euro Observer, 2006, vol. 8, no 2, pp. 1-4. URL: http://www.euro.who.int/ data/assets/pdf file/0007/80377/EuroQbserver8 2.pdf (13.07.2015).
