CC BY
107
сравнительный анализ современного российского и зарубежного подходов к оценке деятельности научных организаций в сфере здравоохранения
А. С. Анискевич1 ^ Р. А. Хальфин2, Л. В. Татаринова3
1 Министерство здравоохранения Российской Федерации, Москва
2 Высшая школа управления здравоохранением,
Первый Московский государственный медицинский университет имени И. М. Сеченова, Москва
3 Российское общество врачей восстановительной медицины, медицинской реабилитации, курортологов и физиотерапевтов, Москва
В статье приведены основные методы оценки деятельности российских медицинских научных организаций. Описаны количественные и качественные показатели эффективности. Представлен мировой опыт, проведен сравнительный анализ методов оценки, используемых в России и за рубежом. Рассмотрены мировые тенденции развития подходов к изучению эффективности научных учреждений. На основании проведенного анализа продемонстрированы убедительные данные о необходимости разработки более совершенных критериев оценки деятельности научных медицинских организаций.
Ключевые слова: оценка деятельности медицинских научных организаций, результативность и востребованность научных исследований, кадровый потенциал, интеграция в мировое научное пространство, распространение научных знаний, повышение престижа науки, ресурсное обеспечение деятельности научной организации
[>3 Для корреспонденции: Анна Сергеевна Анискевич
127994 ГСП-4, г Москва, Рахмановский пер., д. 3; anna.aniskevich@yandex.ru
Статья поступила: 20.02.2016 Принята к печати: 24.02.2016
comparative analysis of modern approaches to the performance assessment of scientific medical organizations in russia and abroad
Aniskevich AS1H, Halfin RA2, Tatarinova LV3
1 Ministry of Healthcare of the Russian Federation, Moscow, Russia
2 Higher School of Healthcare Management,
The First Sechenov Moscow State Medical University, Moscow, Russia
3 Russian Society of Regenerative Medicine, Medical Rehabilitation, Physiotherapists and Balneologists, Moscow, Russia
The article reviews basic methods of performance assessment of scientific medical organizations in Russia. Qualitative and quantitative effectiveness criteria are provided. International practices are described; a comparative analysis of assessment methods used in Russia and abroad is carried out. Global trends in the development of approaches to analyzing the effectiveness of scientific organizations are reviewed. Based on our analysis, a compelling rationale for developing more up-to-date criteria for evaluating the performance of scientific medical organizations is given.
Keywords: performance assessment of scientific medical organizations, effectiveness and relevance of scientific research, human resources, integration into world science, dissemination of scientific knowledge, enhancing the prestige of science, resource maintenance of the scientific organization
gg Correspondence should be addressed: Anna Aniskevich
Rakhmanovskii per., d. 3, Moscow, Russia, 127994, GSP-4; anna.aniskevich@yandex.ru
Received: 20.02.2016 Accepted: 24.02.2016
Современный подход к оценке медицинских научных учреждений в сфере здравоохранения в России является преимущественно количественным и включает большое число показателей. С одной стороны, такой комплексный анализ позволяет собирать разносторонние сведения об организациях и отдельных направлениях их деятельности, с другой — усложняет регулярный мониторинг и получение объективного результата. Использование числовых шкал предполагает расчет итогового усредненного по-
казателя, на основании которого проводят дальнейший сравнительный анализ. Объединение разнородных факторов, невозможность определения наиболее важных из них, сложность четкой интерпретации полученных значений повышают вероятность ошибок в оценке научных учреждений при применении количественного подхода. Результаты оценки могут оказаться неполными или недостаточно достоверными для решения вопроса о дальнейшей перспективе научной организации [1].
Согласно составу сведений о результатах деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, представляемых в целях мониторинга и оценки, утвержденному приказом Минобр-науки России от 05.03.2014 № 162, основными показателями эффективности являются:
- результативность и востребованность научных исследований;
- развитие кадрового потенциала;
- интеграция в мировое научное пространство, распространение научных знаний и повышение престижа науки;
- ресурсное обеспечение деятельности научной организации.
Результативность и востребованность деятельности научных организаций
В достаточной мере результативность и востребованность деятельности учреждений науки в сфере здравоохранения позволяют оценить количественные и качественные характеристики их научной активности. Для комплексной оценки данного направления также учитываются ресурсные показатели — финансирование, кадры и материально-техническое обеспечение.
Применение для анализа деятельности научных организаций преимущественно количественных методов привело к активному развитию наукометрических систем [2-4]. На сегодняшний день по числу научных публикаций Россия занимает 15-18-е место в мире. Однако по уровню цитирования опубликованных трудов она не входит в список 20 стран-лидеров [5].
Наукометрию, как достоверный инструмент оценки научных организаций и сообществ, активно используют в России и за рубежом. С 2005 г. в отечественной наукометрии применяют Российский индекс научного цитирования [2, 6]. В число основных показателей оценки результативности научных исследований входит публикационная активность ученых в российских и зарубежных научных изданиях [6-8]. Анализируется преимущественно количество публикаций, а также число цитирований работ, включенных в мировые базы данных Web of Science и Scopus и национальную информационно-аналитическую систему Российский индекс научного цитирования [9]. Количественный анализ публикационной активности — простой, но достоверный и наглядный метод определения результативности научной организации. Качественные методы оценки характеризуют достоверность, актуальность, репрезентативность и доступность [3, 4].
В большинстве экономически развитых стран, так же как и в России, используют количественные показатели оценки [10]. Например, в Великобритании для анализа применяют три основных критерия. Первый из них включает изучение новизны, значимости и степени проработки научных тематик, второй исследует масштабность результатов проведенных исследований [11], третий — конкурентоспособность научной организации [12]. В процедуре проведения экспертизы используют двойной слепой метод [13]. Результативность деятельности национальных университетов Великобритании оценивают с помощью программы Research Assessment Exercise раз в 4 года. Итоговые рейтинговые данные служат основанием для дальнейшего финансирования. Сходный анализ при подготовке экономических решений применяют и в США [14, 15].
В США основным методом оценки эффективности и безопасности созданных технологий являются систематические литературные обзоры, анализ которых проводят специально созданные для этих целей организации. Второй оценочный метод — это анализ «затраты-эффектив-ность», в котором рассчитывают расходы на достижение дополнительного года жизни человека с поправкой на качество. На основании полученных значений принимают решение о дальнейшем финансировании. Менее широко используют метод клинико-экономического анализа [16].
В мировом научном сообществе медицинская наука является самой цитируемой. Наиболее известные наукометрические базы — Web of Science и Scopus, высоковос-требованный библиотечный фонд — американская национальная медицинская библиотека The U.S. National Library of Medicine [16, 17].
В неанглоязычных научных сообществах широко применяют национальные базы данных. Например, китайская система Chinese Social Sciences Citation Index охватывает большинство изданий страны. Одновременно стараются увеличивать долю публикаций в европейских и американских изданиях. Похожие проекты реализованы на Тайване (Taiwan Humanities Citation Index) и в Японии (Citation Database for Japanese Papers) [18].
Среди наукометрических показателей в зарубежных странах применяют импакт-фактор изданий, который ежегодно высчитывают в Институте научной информации (Institute for Scientific Information, I SI) и публикуют в Journal Citation Reports. Поскольку данный критерий используют на Западе с 70-х гг. XX в., у многих европейских и американских журналов, в отличие от российских, он довольно высокий [19]. Например, импакт-фактор одного из самых престижных медицинских периодических изданий The New England Journal of Medicine на 2015 г. составляет 55,87 [20]. Европейские и американские ученые стараются публиковаться в журналах с очень высокими импакт-факторами, поскольку такая практика повышает престиж и способствует карьерному росту [16].
Ресурсная оценка результативности и востребованности научных исследований является важной, но на сегодняшний день уязвимой сферой для многих российских медицинских научных учреждений. Зачастую в научных организациях недостаточно работает система оценки перспективности патентов и управления правами на результаты интеллектуального труда [21, 22]. Только в последние годы были предприняты эффективные меры по созданию малых инновационных предприятий, способных продуктивно использовать запатентованные инновационные продукты и услуги. Для модернизации данного направления создан механизм государственных гарантий закупок инновационных продуктов и формирования центров трансфера технологий [5].
В большинстве экономически развитых стран мира коммерциализируют интеллектуальную собственность [23]. Для США характерна передача прав собственности на интеллектуальные продукты или услуги, созданные за счет государственной поддержки, частному сектору в связи с тем, что государство по закону не может быть их правообладателем. В Евросоюзе, Великобритании и Японии государство обладает некоторыми правами на результаты интеллектуальной деятельности и принимает активное участие в коммерциализации научной продукции [24].
Оценку финансовой результативности научных исследований в России проводят по двум показателям: источникам дохода организации и видам выполняемых работ.
Со стороны государства финансовое обеспечение предусмотрено за счет средств федерального бюджета в рамках государственных программ Российской Федерации «Развитие здравоохранения» на 2013-2020 гг. и «Развитие науки и технологий» на 2013-2020 гг., а также в соответствии с государственными заданиями и грантовой поддержкой [16]. При этом по мере продвижения к конечному результату происходит уменьшение государственной материальной поддержки учреждений науки и увеличение доли частного капитала. По уровню финансирования научных исследований в мировом рейтинге Россия занимает 9-е место [5, 25]. Совершенствование механизмов государственного финансирования с повышением расходов на медицинскую науку необходимо, но его недостаточно для модернизации данного направления.
Большинство зарубежных стран осуществляет активный поиск наиболее эффективных механизмов финансирования медицинских научных учреждений. К самым распространенным относятся грантовая и государственная поддержки, а также спонсирование от научных фондов, советов и бизнес-структур [26]. Возрастает значимость инноваций для государственного сектора экономики. Для США характерно финансирование как фундаментальных, так и прикладных исследований. В большинстве стран Евросоюза эффективную ресурсную поддержку оказывает государство, помощь частного сектора слабая и нерегулярная [27]. При этом проводят совместную оценку эффективности деятельности как научных организаций, так и ведомств, ответственных за развитие и финансирование научных исследований [28]. Количественные методы анализа обязательно дополняют качественными, особенно критериями эффективности и безопасности инновационных медицинских технологий [16].
Развитие кадрового потенциала
Из всех критериев результативности учреждений оценке развития кадрового потенциала в российских медицинских научных организациях уделено наименьшее число показателей (всего четыре). Полученных в итоге данных недостаточно для системного анализа. Однако именно от кадрового потенциала организации зависит большинство показателей результативности любого научного учреждения и его конкурентоспособность.
По количеству ученых Россия занимает 4-е место, уступая Китаю, США и Японии [5]. В последние годы на смену подходу, относящему сотрудников к издержкам, приходит новая теория, рассматривающая персонал как важнейший ресурс эффективности деятельности организации.
Качественные и количественные показатели оценки кадрового потенциала отражают степень реализации научных программ, эффективность работы структуры учреждения и использования человеческих ресурсов, рост производительности и качества научной продукции. Использование для анализа не связанных между собой критериев при их разной значимости затрудняет объективную конечную оценку деятельности всей организации [29]. Отсутствие строго формализованных оценок кадрового потенциала организаций научно-медицинской сферы и баз данных, а также влияющие на результат деятельности качественные факторы создают проблемы для объективной оценки направления [30]. Оценка кадрового потенциала в зарубежных странах зависит преимущественно от статуса и качества научно-исследовательской деятельности ученого и научного учреждения в мировом сообществе [31].
Для модернизации кадрового сектора Национальный научный фонд США (The National Science Foundation) применяет научное управление (scientific management). Используют систему постоянного обучения, мотивации повышения квалификации, проявления лидерских качеств и творческого потенциала у сотрудников [5, 32].
Повышение престижа российской науки
Оценка показателей интеграции в мировое научное пространство, распространения научных знаний и повышения престижа науки для России чрезвычайно актуальна в связи с явной необходимостью модернизации данной сферы. В последнее время в сознании россиян сформировалось представление о непрестижности научной работы и статуса ученого [33]. Нестабильность социально-экономического развития привела к резкому снижению реноме представителей науки. Вследствие низкой заработной платы только около 9 % россиян назвали престижной профессию ученого [5]. Происходящая в силу экономических причин потеря кадрового состава многих научных организаций снижает эффективность научных исследований и общий уровень учреждений, что, безусловно, отражается в оценке данного направления. Трансляционные барьеры [34], непривлекательность инвестирования в медицинскую науку, неконкурентоспособность интеллектуальной продукции по сравнению с экономически развитыми странами — только небольшой список проблем, требующих решения.
В большинстве экономически развитых стран мира социологические опросы убедительно демонстрирует противоположные результаты. По статистике, около 51 % опрошенных в США считают карьеру ученого в высшей степени престижной, 25 % признали ее весьма престижной и 20 % — престижной [5]. Опыт зарубежных стран показывает, что высокий социальный статус научной элиты отражает социально-экономический уровень страны и проводимую информационную политику [33].
В странах Евросоюза для медицинской научной общественности традиционно важны вопросы защиты прав не только лиц, задействованных в клинических исследованиях, но и животных, принимавших участие в экспериментах, а также проблемы изменения законодательства. Часть европейского и американского научных сообществ выступает за открытый доступ к полной информации о больных, участвовавших в клинических исследованиях, с целью дальнейшего анализа и получения достоверных дополнительных данных для диагностики и лечения широкого спектра заболеваний, в первую очередь онкологических. Европейская научная элита при поддержке одной из крупнейших организаций Германии — Общества научных исследований имени Макса Планка — выступает за открытый доступ к научным публикациям для любого человека в соответствии с Берлинской декларацией и парадигмой Open Access. Для привлечения внимания к данным проблемам создаются научные общества и организации, широко представленные в Интернете и получающие достаточный отклик со стороны небезразличного населения [35-37].
Ресурсное обеспечение деятельности научной организации
Для проведения эффективного мониторинга российских научных медицинских учреждений одними из самых
важных становятся показатели, отвечающие за ресурсное обеспечение деятельности научной организации [33]. За последние годы в России предпринят ряд мер по модернизации научных учреждений, что привело, в отличие от западных стран, к сокращению числа занятых в научном секторе [38].
Для анализа направления применяют преимущественно количественные показатели, которые, по-видимому, носят формальный характер. Одним из стабильно низких во многих научных организациях показателей является число молодых ученых в возрасте до 39 лет. Результаты социологических исследований демонстрируют слабую заинтересованность молодых людей в научной карьере из-за низких оплаты труда и престижа деятельности, недостаточного финансирования перспективных исследований, плохих социальных условий и возрастающей бюрократизацией [39]. Среднее количество молодых ученых не превышает 25 % всех научных сотрудников [5].
Нематериальные активы в современном российском научном учреждении становятся важным критерием результативности деятельности организации. Они учитываются на балансе в составе внеоборотных активов. Исключительные права на результаты интеллектуальной деятельности способствуют монополизированию организацией права на их использование, в том числе на получение доходов от передачи в промышленный сектор. Наличие инновационных нематериальных активов позволяет выплачивать авторское вознаграждение, включая затраты в себестоимость [40]. Однако на практике использование данных активов мало по сравнению с другими секторами российской науки. Запатентованные технологии зачастую не находят применения в производстве.
Оплата труда научных кадров также является важным фактором, влияющим на результативность деятельности научной организации и ее итоговую оценку [41]. В большинстве экономически развитых стран мира отмечено по-
Литература
1. Проничкин С. В., Тихонов И. П. Разработка системы критериев и методических подходов к экспертной оценке эффективности деятельности научных организаций. Нац. интересы: приоритеты и безопасность. 2013; 37: 13-8.
2. Бобков А. В., Каталажнова И. Н., Павлов И. В. Мониторинг научной деятельности научно-образовательной системы. Совр. пробл. науки и обр. 2009; 6 (1): 49-50.
3. Вялков А. И., Глухова Е. А., Мартынчик С. А. Модель мониторинга формирования инновационных компетенций кадрового состава научной медицинской организации, ориентированного на создание критически важных технологий. Соц. аспекты здоровья насел. 2015; 42 (2): 17.
4. Вялков А. И., Мартынчик С. А., Полесский В. А. Методологические основы стандартизации оценочной деятельности медицинской научной организации. Здравоохр. РФ. 2010; 6: 3-7.
5. Распоряжение Правительства РФ от 28.12.2012 № 2580-р «Об утверждении Стратегии развития медицинской науки в Российской Федерации на период до 2025 года» [Интернет]. [Дата обращения 14.01.2016]. Доступно по: http://www.consultant.ru/document/cons_doc_LAW_140249/.
6. Шарабчиев Ю. Т. Продуктивность ученых: инструменты оценки. Наука и инновации. 2013; 1 (119): 4-8.
7. Вялков А. И., Кучеренко В. З., Мартынчик С. А., Глухова Е. А. Методологические основы управления качеством деятельности медицинской научной организации в конкурентной среде. Пробл. упр. здравоохр. 2010; 4: 14-9.
8. Кучеренко В. З., Мартынчик С. А., Башкина Е. М. Цитирование в науке и роль электронных ресурсов и оценочных инструментов. Пробл. упр. здравоохр. 2009; 46 (3): 14-21.
вышение затрат на научные исследования, что приводит к увеличению числа привлекаемых научных сотрудников [33].
По данным Национального научного фонда США, 6065 % средств расходуется на оплату труда научных сотрудников, аспирантов, студентов, 12 % идет на закупку нового оборудования, 11 % составляют расходы на образование, около 6 % — на трансфер технологий и только 1-3 % — на административный аппарат [16, 42].
ВЫВОДЫ
В целях эффективной реализации Стратегии развития медицинской науки в Российской Федерации на период до 2025 г., утвержденной распоряжением Правительства РФ от 28.12.2012 № 2580-р [5], необходима разработка более совершенных критериев оценки деятельности научных медицинских учреждений.
По мнению ряда исследователей [43], для оценки результативности научной организации следует использовать преимущественно качественные показатели, полученные в результате экспертизы. Однако большинство специалистов рекомендует построение модели, учитывающей постоянный мониторинг, алгоритмы оценки, создание и поддержание персонифицированной базы данных регистра сотрудников [20]. Подобная аналитическая модель сформирует итоговую оценку научного учреждения и будет способствовать принятию решения о его перспективе, поэтому должна включать системный подход и обладать функциями накопления, обработки и хранения данных [44]. Исходя из вышеизложенного, на данном этапе развития методов оценки научных организаций задача разработки объективного подхода для получения итоговых показателей результативности для российских учреждений науки в сфере здравоохранения является чрезвычайно актуальной.
9. Быков В. Л. Библиометрия вчера, сегодня и завтра: количественные показатели и научная этика. Морфология. 2013; 144 (4): 7-13.
10. Mushlin AI, Ghomrawi HM. Comparative effectiveness research: a cornerstone of healthcare reform? Trans Am Clin Climatol Assoc. 2010; 121: 141-54; discussion 154-5.
11. VanLare JM, Conway PH, Sox HC. Five next steps for a new national program for comparative-effectiveness research. N Engl J Med. 2010 Mar 18; 362 (11): 970-3.
12. Platt R, Wilson M, Chan KA, Benner JS, Marchibroda J, McClellan M. The new Sentinel Network — improving the evidence of medical-product safety. N Engl J Med. 2009 Aug 13; 361 (7): 645-7.
13. Higher Education Funding Council for England [Internet]. 2014 Research Excellence Framework [updated 2014 Dec 18]. Assessment criteria and level definitions [updated 2014 Dec 12; cited 2016 Jan 15]. Available from: http://www.ref.ac.uk/panels/as sessmentcriteriaandleveldefinitins/.
14. Ларичев О. И. Вербальный анализ решений. Петровский А. Б., редактор. М.: Наука, 2006. Раздел 9.5.2 Организационные критерии.
15. Smyth RL. A risk adapted approach to the governance of clinical trials. BMJ. 2011 Oct 25; 343: d6756.
16. Перхов В. И., Стебунова Р. В., Янкевич Д. С., Юркин Ю. Ю. Анализ зарубежного опыта финансирования и организации научных исследований в области здравоохранения. Менеджер здравоохр. 2013; 7: 49-56.
17. Califf RM. The patient-centered outcomes research network: a national infrastructure for comparative effectiveness research. N
C Med J. 2014 May-Jun; 75 (3): 204-10.
18. Lee D, Kim S, Cha SH. Evaluating the effectiveness of research centers and institutes in universities: Disciplines and life cycle stages. KEDI J Educ Policy. 2014; 11 (1): 119.
19. Ranking of Research Institutions SIR World Report 2010 Health Sciences [Internet]. SCImago Journal & Country Rank. [cited 2016 Jan 15]. Available from: http:www.scimagojr.com.
20. Selby JV, Lipstein SH. PCORI at 3 years — progress, lessons, and plans. N Engl J Med. 2014 Feb 13; 370 (7): 592-5.
21. Кучеренко В. З., Мартынчик С. А., Осокина О. В. Информационные средства контроллинга производственно-хозяйственной деятельности медицинской организации. Методическое пособие. Екатеринбург: УГМА, 2008.
22. Мартынчик С. А., Осокин Р. С., Осокина О. В. Организационная основа мониторинга производственно-хозяйственной деятельности медицинской организации. В: Полесский В. А., редактор. Мониторирование состояния здоровья, качества и образа жизни населения России. Влияние поведенческих факторов риска на здоровье населения: Тезисы Всероссийской научно-практической конференции; 2011 июнь 06 — 2011 июль 06; Москва, Россия. М., 2011. с. 233-5.
23. Zerhouni EA, Alving B. Clinical and translational science awards: a framework for a national research agenda. Transl Res. 2006 Jul; 148 (1): 4-5.
24. Academy of Medical Sciences [Internet]. A new pathway for the regulation and governance of health research, 2011. [cited 2016 Jan 13]. Available from: http://www.acmedsci.ac.uk/policy/ policy-projects/.
25. Мартынчик С. А. Планирование государственного (муниципального задания) в здравоохранении. Здравоохранение. 2012; 4: 18-23.
26. Sully BG, Julious SA, Nicholl J. A reinvestigation of recruitment to randomised, controlled, multicenter trials: a review of trials funded by two UK funding agencies. Trials. 2013 Jun 9; 14: 166.
27. Arnold E, Brown N, Eriksson A, Jansson T, Muscio A, Nahlinder J, et al. The Role of Industrial Research Institutes in the National Innovation System. Stockholm: VINNOVA; 2007.
28. Warlow C. A new NHS research strategy. Lancet. 2006 Jan 7; 367 (9504): 12-3.
29. Чернова А. А., Куршакова Н. Б. Подходы к оценке результативности системы менеджмента качества в научно-исследовательских организациях. Инновац. эконом. и о-во. 2015; 3 (9): 90-5.
30. Мартынчик С. А., Глухова Е. А., Галустова Л. Р. Требования к построению системы для оценки результативности и потенциала научной деятельности на уровне организации. Соц. аспекты здоровья насел. 2013; 32 (4): 10.
31. Sveiby K-E. What is Knowledge Management? [Internet]. 1996 Mar [updated 2001 Apr; cited 2016 Jan 15]. Available from: http://
www.sveiby.com/articles/KnowledgeManagement.html.
32. Kahn C, McGourty S. Performance Management at R&D Organizations. Practices and Metrics from Case Examples. Bedford, MA: The MITRE Corporation; 2009.
33. Фадеева И. М., Осипова О. Ю., Фадеева Е. С. Компетенции молодых ученых для научно-исследовательской деятельности и академической карьеры. Интеграция обр. 2012; 1: 7-13.
34. Ипатова О. М., Медведева Н. В., Арчаков А. И., Григорьев А. И. Трансляционная медицина — путь от фундаментальной биомедицинской науки в здравоохранение. Вестн. РАМН. 2012; 6: 57-65.
35. Anderson ML, Califf RM, Sugarman J; participants in the NIH Health Care Systems Research Collaboratory Cluster Randomized Trial Workshop. Ethical and regulatory issues of pragmatic cluster randomized trials in contemporary health systems. Clin Trials. 2015 Jun; 12 (3): 276-86. doi: 10.1177/1740774515571140.
36. Frewer LJ, Coles D, van der Lans IA, Schroeder D, Champion K, Apperley JF. Impact of the European clinical trials directive on prospective academic clinical trials associated with BMT. Bone Marrow Transplant. 2011 Mar; 46 (3): 443-7.
37. Neaton JD, Babiker A, Bohnhorst M, Darbyshire J, Denning E, Frishman A, et al. Regulatory impediments jeopardizing the conduct of clinical trials in Europe funded by the National Institutes of Health. Clin Trials. 2010 Dec; 7 (6): 705-18.
38. Гохберг Л. М., Заиченко С. А., Китова Г. А., Кузнецова Т. Е. Научная политика: глобальный контекст и российская практика. М.: НИУ ВШЭ; 2011.
39. Фадеева И. М., Шаманаев П. А., Соколова М. Ю. Управление кадровым потенциалом исследовательского университета на основе информационных систем. Университетское управление: практика и анализ. 2011; 6: 23-31.
40. Зубова Л. Г., Андреева О. Н., Антропова О. А. К вопросу о результативности деятельности государственных научных организаций (по оценкам социологического мониторинга 20052011 гг.). Инновации. 2012; 12 (170): 51-60.
41. Стародубов В. И., Куракова Н. Г., Цветкова Л. А., Маркусо-ва В. А. О новых критериях оценки российской академической и вузовской медицинской науки. Мед. обр. и проф. развитие. 2011; 1: 16.
42. Altbach PG, Reisberg L, Yudkevich M, Androushchak G, Pacheco IF, editors. Paying the Professoriate: A Global Comparison of Compensation and Contracts. New York: Routledge, 2012.
43. Бондаренко Т. В. «Работа над ошибками», или как разработать эффективную систему KPI. Менеджмент сегодня. 2010; 4: 236-41.
44. Мартынчик С. А., Глухова Е. А., Галустова Л. Р. Требования к построению системы для оценки результативности и потенциала научной деятельности на уровне организации. Соц. аспекты здоровья насел. 2013; 32 (4): 10.
References
1. Pronichkin SV, Tikhonov IP. Razrabotka sistemy kriteriev i metodicheskikh podkhodov k ekspertnoy otsenke effektivnosti deyatel'nosti nauchnykh organizatsii. Natsional'nye interesy: prioritety i bezopasnost'. 2013; 37: 13-8. Russian.
2. Bobkov AV, Katalazhnova IN, Pavlov IV. Monitoring nauchnoi deyatel'nosti nauchno-obrazovatel'noi sistemy. Sovremennye problemy nauki i obrazovaniya. 2009; 6 (1): 49-50. Russian.
3. Vyalkov AI, Glukhova EA, Martynchik SA. Model' monitoring formirovaniya innovatsionnykh kompetentsii kadrovogo sostava nauchnoi meditsinskoi organizatsii, orientirovannogo na sozdanie kriticheski vazhnykh tekhnologii. Sotsial'nye aspekty zdorov'ya naseleniya. 2015; 42 (2): 17. Russian.
4. Vyalkov AI, Martynchik SA, Polesskii VA. Metodologicheskie osnovy standartizatsii otsenochnoi deyatel'nosti meditsinskoi nauchnoi organizatsii. Zdravookhranenie Rossiiskoi Federatsii. 2010; 6: 3-7. Russian.
5. Rasporyazhenie Pravitel'stva RF ot 28.12.2012 N 2580-r "Ob utverzhdenii Strategii razvitiya meditsinskoi nauki v Rossiyskoi Federatsii na period do 2025 goda" [Internet]. [cited 2016 Jan 14].
Available from: http:.www.consultant.ru/document/cons_doc_ LAW_140249/. Russian.
6. Sharabchiev YuT. Produktivnost' uchenykh: instrumenty otsenki. Nauka i innovatsii. 2013; 1 (119): 4-8. Russian.
7. Vyalkov AI, Kucherenko VZ, Martynchik SA, Glukhova EA. Metodologicheskie osnovy upravleniya kachestvom deyatel'nosti meditsinskoi nauchnoi organizatsii v konkurentnoi srede. Problemy upravleniya zdravookhraneniem. 2010; 4: 14-9. Russian.
8. Kucherenko VZ, Martynchik SA, Bashkina EM. Tsitirovanie v nauke i rol' elektronnykh resursov i otsenochnykh instrumentov. Problemy upravleniya zdravookhraneniem. 2009; 46 (3): 14-21. Russian.
9. Bykov VL. Bibliometriya vchera, segodnya i zavtra: kolichestvennye pokazateli i nauchnaya etika. Morfologiya. 2013; 144 (4): 7-13. Russian.
10. Mushlin AI, Ghomrawi HM. Comparative effectiveness research: a cornerstone of healthcare reform? Trans Am Clin Climatol Assoc. 2010; 121: 141-54; discussion 154-5.
11. VanLare JM, Conway PH, Sox HC. Five next steps for a new national program for comparative-effectiveness research. N Engl J
Med. 2010 Mar 18; 362 (11): 970-3.
12. Platt R, Wilson M, Chan KA, Benner JS, Marchibroda J, McClellan M. The new Sentinel Network — improving the evidence of medical-product safety. N Engl J Med. 2009 Aug 13; 361 (7): 645-7.
13. Higher Education Funding Council for England [Internet]. 2014 Research Excellence Framework [updated 2014 Dec 18]. Assessment criteria and level definitions [updated 2014 Dec 12; cited 2016 Jan 15]. Available from: http://www.ref.ac.uk/panels/as sessmentcriteriaandleveldefinitions/.
14. Larichev OI. Verbal'nyj analiz reshenii. Petrovskii AB, editor. Moscow: Nauka, 2006. Chapter 9.5.2. Organizacionnye kriterii. Russian.
15. Smyth RL. A risk adapted approach to the governance of clinical trials. BMJ. 2011 Oct 25; 343: d6756.
16. Perkhov VI, Stebunova RV, Yankevich DS, Yurkin YuYu. Analiz zarubezhnogo opyta finansirovaniya i organizatsii nauchnykh issledovanii v oblasti zdravookhraneniya. Menedzher zdravo-okhraneniya. 2013; 7: 49-56. Russian.
17. Califf RM. The patient-centered outcomes research network: a national infrastructure for comparative effectiveness research. N C Med J. 2014 May-Jun; 75 (3): 204-10.
18. Lee D, Kim S, Cha SH. Evaluating the effectiveness of research centers and institutes in universities: Disciplines and life cycle stages. KEDI J Educ Policy. 2014; 11 (1): 119.
19. Ranking of Research Institutions SIR World Report 2010 Health Sciences [Internet]. SCImago Journal & Country Rank. [cited 2016 Jan 15]. Available from: http:www.scimagojr.com.
20. Selby JV, Lipstein SH. PCORI at 3 years — progress, lessons, and plans. N Engl J Med. 2014 Feb 13; 370 (7): 592-5.
21. Kucherenko VZ, Martynchik SA, Osokina OV. Informatsion-nye sredstva kontrollinga proizvodstvenno-khozyaystvennoi deyatel'nosti meditsinskoi organizatsii. Metodicheskoe posobie. Ekaterinburg: UGMA, 2008. Russian.
22. Martynchik SA, Osokin RS, Osokina OV. Organizatsion-naya osnova monitoringa proizvodstvenno-khozyaystvennoi deyatel'nosti meditsinskoi organizatsii. In: Polesskii VA, editor. Monitorirovanie sostoyaniya zdorov'ya, kachestva i obraza zhizni naseleniya Rossii. Vliyanie povedencheskikh faktorov riska na zdorov'e naseleniya: Proceedings of the Vserossiyskaya nauchno-prakticheskaya konferentsiya; 2011 Jun 06 — 2011 Jul 06; Moscow, Russia. Moscow; 2011. p 233-5. Russian.
23. Zerhouni EA, Alving B. Clinical and translational science awards: a framework for a national research agenda. Transl Res. 2006 Jul; 148 (1): 4-5.
24. Academy of Medical Sciences [Internet]. A new pathway for the regulation and governance of health research, 2011. [cited 2016 Jan 13]. Available from: http://www.acmedsci.ac.uk/policy/ policy-projects/.
25. Martynchik SA. Planirovanie gosudarstvennogo (municipal'nogo zadaniya) v zdravookhranenii. Zdravookhranenie. 2012; 4: 18-23. Russian.
26. Sully BG, Julious SA, Nicholl J. A reinvestigation of recruitment to randomised, controlled, multicenter trials: a review of trials funded by two UK funding agencies. Trials. 2013 Jun 9; 14: 166.
27. Arnold E, Brown N, Eriksson A, Jansson T, Muscio A, Nahlinder J, et al. The Role of Industrial Research Institutes in the National Innovation System. Stockholm: VINNOVA; 2007.
28. Warlow C. A new NHS research strategy. Lancet. 2006 Jan 7; 367 (9504): 12-3.
29. Chernova AA, Kurshakova NB. Podkhody k otsenke rezul'tativnosti sistemy menedzhmenta kachestva v nauchno-issledovatel'skikh organizatsiyakh. Innovatsionnaya ekonomika i obshchestvo. 2015; 3 (9): 90-5. Russian.
30. Martynchik SA, Glukhova EA, Galustova LR. Trebovaniya k postroeniyu sistemy dlya otsenki rezul'tativnosti i potentsiala nauchnoi deyatel'nosti na urovne organizatsii. Sotsial'nye aspekty zdorov'ya naseleniya. 2013; 32 (4): 10. Russian.
31. Sveiby K-E. What is Knowledge Management? [Internet]. 1996 Mar [updated 2001 Apr; cited 2016 Jan 15]. Available from: http://www.sveiby.com/articles/KnowledgeManagement.html.
32. Kahn C, McGourty S. Performance Management at R&D Organizations. Practices and Metrics from Case Examples. Bedford, MA: The MITRE Corporation; 2009.
33. Fadeeva IM, Osipova OYu, Fadeeva ES. Kompetentsii molodykh uchenykh dlya nauchno-issledovatel'skoi deyatel'nosti i akademicheskoi kar'ery. Integratsiya obrazovaniya. 2012; 1: 7-13. Russian.
34. Ipatova OM, Medvedeva NV, Archakov AI, Grigor'ev AI. Translyatsionnaya meditsina — put' ot fundamental'noi biomeditsinskoi nauki v zdravookhranenie. Vestnik Rossiyskoi akademii meditsinskikh nauk. 2012; 6: 57-65. Russian.
35. Anderson ML, Califf RM, Sugarman J; participants in the NIH Health Care Systems Research Collaboratory Cluster Randomized Trial Workshop. Ethical and regulatory issues of pragmatic cluster randomized trials in contemporary health systems. Clin Trials. 2015 Jun; 12 (3): 276-86. doi: 10.1177/1740774515571140.
36. Frewer LJ, Coles D, van der Lans IA, Schroeder D, Champion K, Apperley JF. Impact of the European clinical trials directive on prospective academic clinical trials associated with BMT. Bone Marrow Transplant. 2011 Mar; 46 (3): 443-7.
37. Neaton JD, Babiker A, Bohnhorst M, Darbyshire J, Denning E, Frishman A, et al. Regulatory impediments jeopardizing the conduct of clinical trials in Europe funded by the National Institutes of Health. Clin Trials. 2010 Dec; 7 (6): 705-18.
38. Gokhberg LM, Zaichenko SA, Kitova GA, Kuznetsova TE. Nauchnaya politika: global'nyi kontekst i rossiyskaya praktika. M.: NIU VShE; 2011. Russian.
39. Fadeeva IM, Shamanaev PA, Sokolova MYu. Upravlenie kadrovym potentsialom issledovatel'skogo universiteta na osnove informatsionnykh sistem. Universitetskoe upravlenie: praktika i analiz. 2011; 6: 23-31. Russian.
40. Zubova LG, Andreeva ON, Antropova OA. K voprosu o rezul'tativnosti deyatel'nosti gosudarstvennykh nauchnykh organizatsii (po otsenkam sotsiologicheskogo monitoringa 20052011 gg.). Innovatsii. 2012; 12 (170): 51-60. Russian.
41. Starodubov VI, Kurakova NG, Tsvetkova LA, Markusova VA. O novykh kriteriyakh otsenki rossiiskoi akademicheskoi i vuzovskoi meditsinskoi nauki. Meditsinskoe obrazovanie i professional'noe razvitie. 2011; 1: 16. Russian.
42. Altbach PG, Reisberg L, Yudkevich M, Androushchak G, Pacheco IF, editors. Paying the Professoriate: A Global Comparison of Compensation and Contracts. New York: Routledge, 2012.
43. Bondarenko TV. «Rabota nad oshibkami», ili kak razrabotat' effektivnuyu sistemu KPI. Menedzhment segodnja. 2010; 4: 23641. Russian.
44. Martynchik SA, Glukhova EA, Galustova LR. Trebovaniya k postroeniyu sistemy dlya otsenki rezul'tativnosti i potentsiala nauchnoi deyatel'nosti na urovne organizatsii. Sotsial'nye aspekty zdorov'ya naseleniya. 2013; 32 (4): 10. Russian.
