CC BY
43
КЛЮЧЕВЫЕ ПОКАЗАТЕЛИ РЕЗУЛЬТАТИВНОСТИ ДЕЯТЕЛЬНОСТИ НАУЧНЫХ ОРГАНИЗАЦИЙ В СФЕРЕ ЗДРАВООХРАНЕНИЯ ЗА 2011-2015 ГГ.
А. С. Анискевич1 Р. А. Хальфин2
1 Министерство здравоохранения Российской Федерации, Москва
2 Высшая школа управления здравоохранением,
Первый Московский государственный медицинский университет имени И. М. Сеченова, Москва
Определены 16 ключевых критериев результативности деятельности научных организаций в сфере здравоохранения, характеризующих результативность и востребованность научных исследований, развитие кадрового потенциала, интеграцию в мировое научное пространство, распространение научных знаний и повышение престижа науки, ресурсное обеспечение деятельности организаций. В рамках классификационного подхода рассмотрены медицинские научные учреждения, показаны их особенности. Представлена системная оценка результативности деятельности научных организаций в сфере здравоохранения. Продемонстрирована высокая значимость показателей, отражающих результативность и востребованность научных исследований. Отмечены недостаточность применяемых параметров и отсутствие системного подхода к анализу кадрового потенциала. Доказана важная роль дополнительных критериев оценки, составивших 37,5 % общей доли ключевых показателей.
Ключевые слова: результативность деятельности научной организации, ключевые показатели результативности, научная организация в сфере здравоохранения, государственная научная организация
[><1 Для корреспонденции: Анискевич Анна Сергеевна
Рахмановский пер., д. 3, г Москва, 127994; [email protected]
Статья получена: 10.02.2017 Статья принята в печать: 17.02.2017
KEY PERFORMANCE INDICATORS FOR HEALTHCARE RESEARCH ORGANIZATIONS BETWEEN 2011 AND 2015
Aniskevich AS1 Halfin RA2
1 Ministry of Healthcare of the Russian Federation, Moscow, Russia
2 Higher School of Healthcare Administration,
I. M. Sechenov First Moscow State Medical University, Moscow, Russia
In this work we identify 16 key indicators to evaluate the performance of healthcare research organizations. These indicators comprehensively characterize such aspects of performance as research output and relevance, human resource development, integration into the international scientific community, distribution of scientific knowledge, promotion of the prestige of science, and resource provision. Below, we review the existing classification of medical research institutions and their key features. We present the results of the comprehensive performance evaluation of healthcare research organizations. We demonstrate the significance of the proposed indicators that accurately reflect the output and relevance of scientific research and stress that indicators currently used for performance evaluation are insufficient. We also emphasize the need for a systemic approach to personnel capacity assessment and confirm the importance of additional evaluation criteria that amount to 37.5 % of all key indicators.
Keywords: research organization performance, key performance indicators, healthcare research organization, state-funded research organization
gg Correspondence should be addressed: Anna Aniskevich
Rakhmanovsky per., d. 3, Moscow, Russia, 127994; [email protected]
Recieved: 10.02.2017 Accepted: 17.02.2017
Оценка результативности деятельности научных организаций в сфере здравоохранения крайне значима и актуальна для дальнейшего развития научно-исследовательского потенциала России. Важность проведения данного анализа продиктована задачами повышения эффективности на фоне модернизации государственного сектора науки [1, 2]. С другой стороны, современные теоретические и практические разработки и инструменты оценки, применяемые к медицинским научным учреждениям, зачастую не позволяют провести комплексный мониторинг их деятельности.
Особенностью российского методологического подхода к анализу результативности деятельности научных организаций в сфере здравоохранения, в отличие от ряда
западных стран, является использование большого числа критериев [3, 4]. Типовая методика оценки, применяемая в России [2], основана преимущественно на количественных, а не на качественных показателях. Для системного мониторинга используют дополнительные критерии, в том числе для учреждений, имеющих коечный фонд. Поскольку результат проведенного анализа непосредственно влияет на принятие решения о финансировании, выявление ключевых критериев представляется особенно актуальным.
Медицинские научные организации имеют характерную специфику деятельности и обладают важными отличиями от остальных учреждений науки [5, 6].
Утвержденные показатели оценки результативности деятельности научных организаций в сфере здравоохранения включают мониторинг следующих направлений:
• результативность и востребованность научных исследований;
• развитие кадрового потенциала;
• интеграция в мировое научное пространство, распространение научных знаний и повышение престижа науки;
• ресурсное обеспечение деятельности научной организации.
МАТЕРИАЛЫ И МЕТОДЫ
Исследованы показатели результативности 55 научных организаций, подведомственных Минздраву России, за период 2011-2015 гг.
В соответствии с принятой классификацией, научные организации, подведомственные Минздраву России (п = 55), были разделены на имеющие (п = 41) и не имеющие коечный фонд (п = 4), экспертные и социально значимые учреждения (п = 10).
Статистическая обработка выполнена с использованием пакета программ 81айэ1юа 10.0. Для проверки статистических гипотез о виде распределения применяли критерий Колмогорова-Смирнова с поправкой Лиллиефорса. Установлено, что во всех случаях данные не подчиняются нормальному закону распределения, поэтому для статистического анализа использованы непараметрические критерии.
Для определения ключевых показателей результативности деятельности научных организаций в сфере здравоохранения были применены критерий Краскела-Уоллиса и медианный тест. Дополнительно проведено сравнение 2011 и 2015 г. по критерию Манна-Уитни и обнаружено, что именно эти показатели достаточно изменяются.
Корреляционный анализ осуществлен с использованием рангового коэффициента корреляции Спирмена. Показатели, меняющиеся в динамике, были включены в корреляционный анализ с фоновыми показателями за 2011 г., поскольку он является начальной точкой отсчета. За уровень статистической значимости был взят р < 0,05.
РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ
Большинство научных учреждений, подведомственных Минздраву России, имеют коечный фонд (74,5%), однако это не упрощает процедуру оценки, поскольку невозможно применить показатели, характеризующие оказание медицинской помощи, к остальным научным организациям. В связи с этим для анализа результативности деятельности учреждений науки, имеющих коечный фонд, применяют дополнительные критерии.
Статистический анализ 5-летней динамики (20112015 гг.) критериев результативности позволил выявить 16 ключевых показателей (р < 0,05). Структура выделенных критериев и их доля в общем числе параметров представлены на рис. 1 и 2.
За анализируемый период 2011-2015 гг. выявлены следующие ключевые показатели.
Ключевые показатели результативности и востребованности научных исследований:
1. Совокупный импакт-фактор журналов, в которых опубликованы статьи организации. Следует отметить, что для показателя отмечена умеренная корреляционная связь с численностью докторов наук (гз = 0,455, р < 0,01), внутренними (гз = 0,449, р < 0,01) и внешними (гз = 0,411, р < 0,01) текущими затратами на научные исследования и разработки, числом публикаций организации в журналах,
7 -
6 -
Направления оценки:
Ц результативность и востребованность научных исследований;
^ интеграция в мировое научное пространство, распространение научных знаний и повышение престижа науки;
^ ресурсное обеспечение деятельности научной организации;
[УЗ] дополнительные показатели, в том числе для оценки результативности деятельности научных организаций, имеющих коечный фонд
Рис. 1. Структура ключевых показателей оценки результативности деятельности научных организаций в сфере здравоохранения
100
©
©
®
50
Показатели:
ключевые
прочие
(1 Результативность и востребованность научных исследований @ Развитие кадрового потенциала
(3 Интеграция в мировое научное пространство, распространение научных знаний и повышение престижа науки
@ Ресурсное обеспечение деятельности научной организации
(5 Дополнительные показатели, в том числе для оценки результативности деятельности научных организаций, имеющих коечный фонд
Рис. 2. Доля ключевых показателей оценки результативности деятельности научных организаций в сфере здравоохранения в общем числе показателей по каждому направлению
8
5
4
3
2
0
0
индексируемых международной базой Web of Science (rs = 0,406, p < 0,01).
2. Количество использованных результатов интеллектуальной деятельности, переданных по лицензионному договору (соглашению). Выявлена умеренная корреляция показателя с внутренними текущими затратами на научные исследования и разработки, в том числе на поисковые исследования (rs = 0,475, p < 0,01).
3. Количество использованных результатов интеллектуальной деятельности, внесенных в качестве вклада в уставной капитал.
4. Число малых инновационных предприятий, созданных с участием организации.
5. Совокупная среднесписочная численность работников малых инновационных предприятий.
6. Совокупный доход малых инновационных предприятий.
7. Финансовая результативность научной организации по источникам дохода. Прослеживается слабая связь с внутренними текущими затратами на научные исследования и разработки (rs = 0,302, p < 0,05), в том числе положительная корреляция с фундаментальными (rs = 0,351, p < 0,01) и отрицательная — с поисковыми (rs = -0,324, p < 0,05) исследованиями.
Ключевой показатель интеграции в мировое научное пространство, распространения научных знаний и повышения престижа науки
Единственным ключевым показателем определено количество обращений (посещаемость) официальных сайтов и (или) страниц организации, размещенных в сети Интернет. Выявлена умеренная корреляция критерия с количеством положительных и нейтральных упоминаний организации в средствах массовой информации федерального уровня (rs = 0,357, p < 0,01), в том числе в интернет-изданиях (rs = 0,325, p < 0,05), и числом публикаций организации в изданиях, индексируемых РИНЦ (rs = 0,339, p < 0,05).
Ключевые показатели ресурсного обеспечения деятельности научной организации:
1. Стоимость основных средств и нематериальных активов, в том числе зданий и сооружений, машин и оборудования, нематериальных активов. Для показателя выявлена умеренная корреляционная связь с финансовой результативностью научной организации по видам выполненных работ и оказанных услуг, в том числе по товарам, работам и услугам производственного характера (rs = 0,491, p < 0,01).
2. Внутренние текущие затраты на фундаментальные научные исследования. Отмечена корреляция с финансовой результативностью научной организации по видам выполненных работ и оказанных услуг: по числу исследований и разработок (rs = 0,548, p < 0,01); с численностью работников, выполнявших исследования и разработки (rs = 0,516, p < 0,01), в том числе исследователей (rs = 0,418, p < 0,01), из них кандидатов наук (rs = 0,405, p < 0,01), докторов наук (rs = 0,368, p < 0,01), в возрасте до 39 лет (rs = 0,505, p < 0,01).
Все ключевые показатели ресурсного обеспечения деятельности научной организации взаимосвязаны с финансовой результативностью научной организации по видам выполненных работ, оказанных услуг и по источникам дохода.
Ключевые дополнительные показатели результативности деятельности научной организации:
1. Число применяемых научных критических технологий из перечня, одобренного Научным советом Минздрава России. Отмечена корреляция показателя с числом публикаций организации в изданиях, индексируемых международной информационно-аналитической системой Scopus (rs = 0,367, p < 0,01), и числом инновационных медицинских технологий, одобренных Научным советом Минздрава России, используемых в учреждении (rs = 0,356, p < 0,01). Прослеживается слабая корреляционная связь с количеством положительных и нейтральных упоминаний организации в средствах массовой информации федерального уровня (rs = 0,295, p < 0,05), в том числе в федеральных печатных изданиях, теле- и радиоСМИ (rs = 0,291, p < 0,05), и численностью исследователей, направленных на работу в ведущие российские и международные научные и научно-образовательные организации (rs = 0,268, p < 0,05).
2. Доля высококвалифицированных врачей от общего числа врачей. Интересна отрицательная корреляционная взаимосвязь показателя с общим количеством научных, конструкторских и технологических произведений (rs = -0,273, p < 0,05), количеством положительных и нейтральных упоминаний организации в СМИ (rs = -0,311, p < 0,05), финансовой результативностью научной организации по видам выполненных работ и оказанных услуг — по исследованиям и разработкам (rs = -0,308, p < 0,05), и числом подготовленных проектов стандартов, порядков оказания медицинской помощи, клинических рекомендаций и других нормативных актов (rs = -0,276, p < 0,05).
3. Число инновационных медицинских технологий, одобренных Научным советом Минздрава России, используемых в учреждении. Выявлена корреляция показателя с числом публикаций организации в изданиях, индексируемых Scopus (rs = 0,367, p < 0,01), с количеством созданных результатов интеллектуальной деятельности (rs = 0,406, p < 0,01), в том числе имеющих государственную регистрацию и (или) правовую охрану в Российской Федерации (rs = 0,392, p < 0,01), процентом жителей других регионов, которым была оказана высокотехнологичная медицинская помощь (ВМП) в данном учреждении (rs = 0,360, p < 0,01).
4. «Федеральность» учреждения: процент жителей других регионов, которым была оказана специализированная медицинская помощь в данном учреждении. Установлена умеренная корреляция показателя с числом жителей других регионов, которым была оказана ВМП (rs = 0,474, p < 0,01), и количеством субъектов Российской Федерации, жители которых пролечены в отчетном году (rs = 0,437, p < 0,01).
5. Процент расходов на оказание медицинской помощи по ОМС от общих расходов. Показатель коррелирует с количеством созданных результатов интеллектуальной деятельности (rs = 0,350, p < 0,01), в том числе имеющих государственную регистрацию и (или) правовую охрану в Российской Федерации (rs = 0,459, p < 0,01), с финансовой результативностью научной организации по источникам дохода (rs = 0,369, p < 0,01), с внутренними текущими затратами на фундаментальные научные исследования (rs = 0,417, p < 0,01).
6. Число подготовленных проектов стандартов оказания медицинской помощи, проектов порядков оказания медицинской помощи, клинических рекомендаций
(протоколов лечения), других нормативных актов. Выявлена корреляционная связь показателя с числом публикаций организации в изданиях, индексируемых Scopus (rs = 0,384, p < 0,01), с финансовой результативностью научной организации по видам выполненных работ и оказанных услуг, в том числе образовательных услуг (rs = 0,394, p < 0,01), подготовкой специалистов по программам дополнительного профессионального образования по уникальным технологиям по профилю научной организации (rs = 0,449, p < 0,01), процентом жителей других регионов, которым была оказана ВМП (r = 0,358, p < 0,01).
ОБСУЖДЕНИЕ РЕЗУЛЬТАТОВ
Анализ показателей результативности научных организаций, подведомственных Минздраву России, позволил установить 16 ключевых критериев, большинство (43,75 %) из которых характеризуют результативность и востребованность научных исследований.
Наукометрический анализ, представляющий особую важность для системной оценки [7-9], выявил, что среди анализируемых критериев (число публикаций организации в изданиях, индексируемых РИНЦ, Web of Science, Scopus; совокупная цитируемость публикаций организации и др.) именно совокупный импакт-фактор журналов, в которых опубликованы статьи организации, является ключевым показателем. Вероятно, это связано с более осознанным выбором изданий, поскольку публикации в высокорейтинговых журналах, в том числе иностранных, повышают не только цитируемость авторов, но и заинтересованность зарубежных коллег российскими исследованиями и дальнейшим сотрудничеством.
Инновационная модель развития российской науки подразумевает ее более тесную взаимосвязь с экономическим сектором [10]. На этом фоне особая роль принадлежит малым инновационным предприятиям и ключевым показателям, отражающим их деятельность. Однако за изученный период 2011-2015 гг. медицинские учреждения науки практически не проявляли интереса к коммерциализации интеллектуальной продукции. Установлено, что только 14,5 % организаций, имеющих коечный фонд, создали малые инновационные предприятия.
Стандартная оценка кадрового потенциала научных организаций в сфере здравоохранения включает четыре количественных показателя, ни один из которых не является ключевым. Отсутствие качественных факторов и разная значимость исследуемых параметров создают препятствия полноценному анализу. Для эффективной оценки кадрового потенциала, согласно ряду исследователей [5, 11], необходим системный подход, включающий мониторинг профессиональной компетентности, обучае-
мости, условий и размера оплаты труда и многих других показателей.
Поскольку результативность учреждений напрямую зависит от выполняемых исследований и других работ, связанных с основной деятельностью организации, а также от соответствия состояния отечественной науки современному мировому уровню [12-15], необходима разработка качественных критериев для данного направления.
За рассматриваемый период 2011-2015 гг., несмотря на уменьшение упоминаний научных организаций в средствах массовой информации, установлено резкое повышение посещаемости официальных сайтов медицинских научных учреждений. Предположительно, это связано с возросшей интернет-активностью заинтересованных лиц.
Использование дополнительных критериев оценки результативности деятельности научных организаций в сфере здравоохранения доказало свою целесообразность — они составили 37,5 % общей доли ключевых показателей. Интересно отметить связь критерия, отражающего число применяемых научных критических технологий из перечня, одобренного Научным советом Минздрава России, с числом публикаций организации в изданиях, индексируемых международной информационно-аналитической системой Scopus, и с численностью исследователей, направленных на работу в ведущие российские и международные научные и научно-образовательные организации.
ВЫВОДЫ
При оценке результативности деятельности учреждений науки в сфере здравоохранения за 2011-2015 гг. были установлены 16 ключевых показателей, среди которых особенно значимы критерии, отражающие результативность и востребованность научных исследований.
В ходе оценки подтверждена актуальность дополнительных критериев. Полученные данные наглядно демонстрируют, что для дальнейшего развития научного потенциала организаций крайне важны применяемые научные критические и инновационные медицинские технологии из перечня, одобренного Научным советом Минздрава России, подготовленные проекты стандартов оказания медицинской помощи, проекты порядков оказания медицинской помощи и клинических рекомендаций.
Для учреждений, имеющих коечный фонд, ключевыми дополнительными показателями выступили доля высококвалифицированных врачей, процент жителей других регионов, которым была оказана специализированная медицинская помощь, и процент расходов на оказание медицинской помощи по ОМС.
Показана недостаточность стандартных показателей анализа кадрового потенциала и необходимость в создании не только количественных, но и качественных критериев.
Литература
1. Постановление Правительства РФ от 08.04.2009 № 312 (ред. от 29.12.2016) «Об оценке и о мониторинге результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения».
2. Приказ Минобрнауки России от 05.03.2014 № 161 (ред. от 17.07.2015) «Об утверждении типового положения о комиссии по оценке результативности деятельности научных ор-
ганизаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, и типовой методики оценки результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения».
3. Проничкин С. В., Тихонов И. П. Разработка системы критериев и методических подходов к экспертной оценке эффек-
тивности деятельности научных организаций. Нац. интересы: 10. приоритеты и безопасность. 2013; (37): 13-8.
4. Филонюк В. А., Сачек М. М., Малахова И. В., Дудина Т. В., Ёлкина А. И. Комплексная оценка результативности медицинской науки и определение рейтинга научных организаций 11. за рубежом и в Беларуси. Вопр. орг. и информ. здравоохр. 2013; (2): 20-30.
5. Вялков А. И., Глухова Е. А., Мартынчик С. А. Модель мониторинга формирования инновационных компетенций кадрового состава научной медицинской организации, ориентиро- 12. ванного на создание критически важных технологий. Соц. аспекты здоровья насел. 2015; 42 (2): 17.
6. Мартынчик С. А., Глухова Е. А., Галустова Л. Р. Требования к построению системы для оценки результативности и потенциала научной деятельности на уровне организации. Соц. 13. аспекты здоровья насел. 2013; 32 (4): 10.
7. Оганов Р. Г., Трущелев С. А. Наукометрические подходы к анализу результатов научно-исследовательской деятельно- 14. сти. Кардиоваскул. тер. и профил. 2012; 11 (2): 90-5.
8. Стародубов В. И., Кузнецов С. Л., Куракова Н. Г., Цветкова Л. А., Арефьев П. Г., Иванов А. В. и др. Публикационная активность российской медицинской науки в фокусе 15. актуальной научной политики: оценка достижимости целевых показателей. Вестн. РАМН. 2013; (3): 8-14.
9. Шарабчиев Ю. Т. Продуктивность ученых: инструменты оценки. Наука и инновации. 2013; 119 (1): 4-8.
Зубова Л. Г., Андреева О. Н., Антропова О. А. К вопросу о результативности деятельности государственных научных организаций (по оценкам социологического мониторинга 2005-2011 гг.). Инновации. 2012; 170 (12): 51-60. Кучеренко В. З., Мартынчик С. А., Глухова Е. А. Экспертное оценивание и индикаторы качества деятельности специалистов научной (медицинской) организации по профилю общественное здоровье и управление здравоохранением. Пробл. управ. здравоохр. 2010; (5): 24-9.
Кузнецова Т. Е. Правовой фактор научно-технического развития России: область неопределенности. В кн.: Алахвердян А. Г., Семенова Н. Н., Юревич А. В., редакторы. Науковедение и новые тенденции в развитии российской науки. М.: Логос; 2005. с. 122-38.
Розин В. М. Наука: происхождение, развитие, типология, новая концептуализация. М.: МПСИ, Воронеж: МОДЭК; 2008. 600 с.
Куракова Н. Г., Колин С. К., Оливер Е. А. Вневедомственная система оценки научных медицинских организаций в парадигме двадцатилетней давности. Менеджер здравоохр. 2014; (8): 29-36.
Ларин С. Н., Лазарева Л. Ю., Островский С. М. Формализованная модель и методика многокритериальной оценки эффективности инновационной деятельности научных организаций. Инновации в науке. 2013; (18-1): 6-19.
References
1. Resolution of the Russian Government No. 312 of April 8, 2009 (revised 2016 December 29) "Ob otsenke i o monitoringe rezul'tativnosti deyatel'nosti nauchnykh organizatsii, vypolnya-yushchikh nauchno-issledovatel'skie, opytno-konstruktorskie i tekhnologicheskie raboty grazhdanskogo naznacheniya". Russian.
2. Order of the Russian Ministry of Education and Science No. 161 of March 5, 2014 (revised 2015 July 17) "Ob utverzhdenii tipovogo polozheniya o komissii po otsenke rezul'tativnosti deyatel'nosti nauchnykh organizatsii, vypolnyayushchikh nauchno-issledova-tel'skie, opytno-konstruktorskie i tekhnologicheskie raboty grazhdanskogo naznacheniya, i tipovoi metodiki otsenki rezul'-tativnosti deyatel'nosti nauchnykh organizatsii, vypolnyayushchikh nauchno-issledovatel'skie, opytno-konstruktorskie i tekhno-logicheskie raboty grazhdanskogo naznacheniya". Russian.
3. Pronichkin SV, Tikhonov IP. Razrabotka sistemy kriteriev i metodicheskikh podkhodov k ekspertnoy otsenke effektivnosti deyatel'nosti nauchnykh organizatsii. Natsional'nye interesy: prioritety i bezopasnost'. 2013; (37): 13-8. Russian.
4. Filonyuk VA, Sachek MM, Malakhova IV, Dudina TV, Elkina AI. Kompleksnaya otsenka rezul'tativnosti meditsinskoi nauki i opredelenie reitinga nauchnykh organizatsii za rubezhom i v Belarusi. Voprosy organizatsii i informatizatsii zdravookhraneniya. 2013; (2): 20-30. Russian.
5. Vyalkov AI, Glukhova EA, Martynchik SA. [Monitoring model for developing personnel innovative competences of the scientific medical organization, focused on producing critically important technologies]. Sotsial'nye aspekty zdorov'ya naseleniya. 2015; 42 (2): 17. Russian.
6. Martynchik SA, Glukhova EA, Galustova LR. [Requirements for developing a system to assess performance and potential of scientific activities at the organizational level]. Sotsial'nye aspekty zdorov'ya naseleniya. 2013; 32 (4): 10. Russian.
7. Oganov RG, Trushchelev SA. [Scientometric approaches to
the analysis of research results]. Kardlovaskulyarnaya teraplya i profilaktika. 2012; 11 (2): 90-5. Russian.
8. Starodubov VI, Kuznetsov SL, Kurakova NG, Tsvetkova LA, Aref'ev P.G., Ivanov A.V., et al. [Publication activity of the Russian medicine in focus of national science policy: estimating the feasibility of policy targets]. Vestn Ross Akad Med Nauk. 2013; (3): 8-14. Russian.
9. Sharabchiev YuT. Produktivnost' uchenykh: instrumenty otsenki. Nauka i innovatsii. 2013; 119 (1): 4-8. Russian.
10. Zubova LG, Andreeva ON, Antropova OA. [To the question of the efficient activities of the public R&D institutions (basing on sociological monitoring of 2005-2011 years)]. Innovatsii. 2012; 170 (12): 51-60. Russian.
11. Kucherenko VZ, Martynchik SA, Glukhova EA. Ekspertnoe otsenivanie i indikatory kachestva deyatel'nosti spetsialistov nauchnoi (meditsinskoi) organizatsii po profilyu obshchestvennoe zdorov'e i upravlenie zdravookhraneniem. Problemy upravleniya zdravookhraneniem. 2010; (5): 24-9. Russian.
12. Kuznetsova TE. Pravovoi faktor nauchno-tekhnicheskogo razvitiya Rossii: oblast' neopredelennosti. In: Alakhverdyan AG, Semenova NN, Yurevich AV, editors. Naukovedenie i novye tendentsii v razvitii rossiiskoi nauki. Moscow: Logos; 2005. p. 122-38. Russian.
13. Rozin VM. Nauka: proiskhozhdenie, razvitie, tipologiya, novaya kontseptualizatsiya. Moscow: Moscow psychologic-social institute, Voronezh: MODEK; 2008. 600 p. Russian.
14. Kurakova NG, Kolin SK, Oliver EA. [Independent validation system of scientific medical organizations in the paradigm of twenty years remoteness]. Menedzher zdravookhraneniya. 2014; (8): 29-36. Russian.
15. Larin SN, Lazareva LYu, Ostrovsky SM. [Formalized model and procedure of multicriterion evaluation of efficiency of scientific organizations' innovation activity]. Innovatsii v nauke. 2013; (181): 6-19. Russian.
