CC BY
25
Н.Г. Куракова,
д.б.н., зав. отделением научно-технологического прогнозирования в области биомедицины С.К. Колин,
научный сотрудник отделения научно-технологического прогнозирования в области
биомедицины
Е.А. Оливер,
научный сотрудник отделения научно-технологического прогнозирования в области биомедицины
Федеральное государственное бюджетное учреждение «Центральный научно-исследовательский институт организации и информатизации здравоохранения» Министерства здравоохранения Российской Федерации, г. Москва, Россия
ВНЕВЕДОМСТВЕННАЯ СИСТЕМА ОЦЕНКИ НАУЧНЫХ МЕДИЦИНСКИХ ОРГАНИЗАЦИЙ В ПАРАДИГМЕ ДВАДЦАТИЛЕТНЕЙ ДАВНОСТИ
УДК 614.2
Куракова Н.Г, Колин С.К, Оливер Е.А. Вневедомственная система оценки научных медицинских организаций в парадигме двадцатилетней давности (ФГБУ «ЦНИИОИЗ» Минздрава России, г. Москва, Россия)
Аннотация. В России создается вневедомственная система оценки научных организаций и их подразделений. В качестве ключевых индикаторов результативности используются показатели публикационной и патентной активности организаций. Рассмотрены современные закономерности развития мировой научно-технологической сферы, ставящие под сомнение информативность таких показателей продуктивности ученых и институтов.
Ключевые слова: научные организации, оценка результативности, критерии, публикационная активность, патентная активность, клиническая медицина, глобальная научно-технологическая сфера.
К февралю 2015 г. в России должна быть создана вневедомственная система оценки научных организаций и их подразделений, предусматривающая учет показателей научно-публикационной активности. Для этого в течение 2014 г. планируется внести изменения в методику оценки деятельности научных организаций в части детализации функций всех участников процесса (Минобрнауки России, Рособр-надзора, ФАНО, РАН, научных организаций), а также уточнить информационные механизмы межведомственного взаимодействия [1,2].
Кроме того, планируется определить инструментарий для применения результатов оценки эффективности деятельности научных организаций при их финансировании, утверждении госзаданий и формировании научных планов. Наконец, в самом ближайшем будущем будет разработана типовая форма программ развития научных организаций.
В целях реализации Постановления Правительства РФ от 26 декабря 2013 г. №1282 [3] Департамент инновационного развития и научного проектирования Минздрава России в конце июня 2014 г. направил для заполнения и утверждения дополнительную форму плана мероприятий
Н.Г. Куракова, С.К. Колин, Е.А. Оливер, 2014 г.
№В Менеджер
3014 здравоохранения /
по повышению эффективности федеральных государственных учреждений науки, подведомственных Минздраву России («программы развития») в части развития научной деятельности учреждения. Форма 6 «Дополнительные параметры научной деятельности учреждения» предполагала в том числе расчет следующих показателей: «число публикаций организации, индексируемых в Web of Science и S^pus в расчете на 100 публикаций сотрудников организации в 2014, 2015, 2016,
2017 и 2018 годах» и «число цитат публикаций сотрудников организации, индексируемых в Web of Science и Srapus в расчете на 100 исследователей в 2014, 2015, 2016, 2017 и
2018 годах». Примечательно, что не было дано никаких разъяснений, за какой период рассчитывать количество цитат, полученных, например, по факту на 2013 год: если речь идет о цитатах, полученных на статьи, проиндексированные в том же 2013 году, то это неоправданно малый интервал времени для оценки этого наукометрического показателя. Если же имелся в виду интегральный результат по состоянию на 2013 год, то следовало бы указать временной интервал для его точного расчета, например, «количество полученных цитат на статьи организации, проиндексированные в международном индексе за 2008-2013 гг.». Поскольку алгоритм расчета показателя указан не был, каждая организация использовала, вероятнее всего, свой метод, поэтому переданные в министерство оценки будет сложно проверить и сопоставить.
В форме 6 содержался также показатель «количество созданных результатов интеллектуальной деятельности в расчете на 100 исследователей».
Целью настоящей статьи было оценить информативность таких показателей эффективности научной деятельности, как публикационная и патентная активность, с точки зрения современных тенденций развития мировой научно-технологической сферы.
В начале апреля 2014 г. специалисты компании «Thomson Reuters» рассчитали объем
публикационного потока, проиндексированного в аналитико-библиографической базе данных «Web of Science» в 2013 г. (табл. 1). Из данных таблицы 1 следует, что количество публикаций всего по одной предметной области — нейронауки и поведенческие науки — превысило 50 000 статей в год! Из этого следуют по меньшей мере три предположения.
1. Если ученый или эксперт по нейронау-кам одну из 52 недель в году отдыхает и одну неделю болеет, то в течение оставшихся 50 недель ему следует прочитать 50 000 публикаций, то есть по 1 тыс. в неделю или по 200 публикаций в день. Второй международный индекс — Scopus — гордится тем обстоятельством, что обрабатывает на 97% больше, чем Web of Science, журналов по наукам о жизни. Не следует также забывать об огромном количестве статей по нейро-наукам, размещенным в журналах открытого доступа. Наконец, массив патентных документов (патентов и заявок на патенты) по нейронаукам также исчисляется десятками тысяч единиц в год. Поэтому 200 публикаций в день, «просеянных» требовательной системой отбора журналов в «Web of Science», — это скорее минимум, с которым следует знакомиться специалисту по нейронаукам. Но именно представители этого профессионального сообщества, как ни какого другого, прекрасно понимают, что возможности мозга человека не позволяют обрабатывать такие объемы информации. А это означает, что, если даже статья ученого и проиндексирована в «Web of Science», она может остаться непрочитанной, а следовательно, и непроцитированной не потому, что ее содержание мало интересно, а потому, что профессиональное сообщество, на оценку которого она рассчитана, уже физиологически не может прочитать все, что создано за год глобальным сообществом специалистов.
То есть та точка сингулярности, под которой понимается гипотетический момент времени, когда технологическое развитие станет
Таблица 1
Количество статей по клинической медицине и отдельным направлениям, соответствующим научным платформам Минздрава России, проиндексированным в WoS за 2008-2012 гг. (Источник: /пОГеэ, данные на 19.04.2014)
Год Количество публикаций в WoS
Предметная область Дисциплина
Клиническая медицина Нейронауки и поведенческие науки Фармакология Онкология Иммунология Кар-диоло-гия Эндо-крино-логия Психиатрия Нейро-науки Клиническая неврология
2009 215061 42202 31709 28 533 21241 16714 15000 15327 33 567 23448
2010 224 643 43501 33445 30 246 21313 17870 15 983 15517 34 380 24 546
2011 234 578 45 490 33 192 31325 2208 18 086 16 746 16 510 36 373 25 230
2012 250 400 47419 36 876 35 681 22 985 19 080 17 404 16 964 38 078 25 378
2013 256 699 50 097 35 891 37 899 22 353 20 702 18 186 18 024 39 358 27 456
стремительным настолько, что его уже будет трудно осмыслить, в области нейронаук уже практически наступило.
2. Если эксперт не читает 200 публикаций в день и не читает 20 публикаций в день, а знакомится с 2 статьями по нейронаукам ежедневно в течение года (что само по себе является выдающимся и мало распространенным явлением в России), то это означает, что из года в год эксперт читает лишь 1% из написанных в мире статей по данному научному направлению. Но тогда есть все основания задаться вопросом, насколько можно доверяться технологическому видению такого эксперта? Тот факт, что направление «ней-ронаук» не нашло отражения в «Прогнозе научно-технологического развития РФ до 2030», утвержденного Правительством РФ 15 января 2014 г., является красноречивой иллюстрацией возможности серьезных просчетов при использовании только экспертных оценок на основе Форсайта.
На возражение, что эксперту-неврологу, например, не следует знакомиться со всем объемом публикаций по клинической неврологии (27 456 статей в WoS только за 2013 г.) и тем более со всеми публикациями по ней-ронаукам за тот же год (39 358 статей), если
он является узким специалистом по одному лишь направлению исследований в области неврологии, следует задаться закономерным вопросом о степени детализации специализаций «экспертного мнения» в России и в мире.
3. Если исследователь читает лишь 1% из написанного его коллегами в мире статей по предметной области, насколько обоснованными являются его утверждения об актуальности и новизне полученных результатов? Не будет ли более корректным предположение, что скорее всего эти исследования уже где-то и кем-то выполнялись и для решения поисковой задачи можно воспользоваться уже полученными на бюджеты других стран результатами, пусть даже промежуточными.
Как следует из таблицы 1, всего по клинической медицине только в WOS ежегодно индексируются более 200 тыс. статей, поэтому индикаторы Указа Президента — 2,44% от мирового публикационного потока для представителей российского корпуса специалистов в области клинической медицины заведомо недостижимы. Тем не менее, показатель «число публикаций организации, индексируемых в международных информационно-аналитических системах научного цитирования» остается ключевым при оценке
№8 Менеджер
3014 здравоохранения /
деятельности россииских медицинских научных организаций.
В отличие от России, страны развитой науки новый вызов глобальной технологической сферы уже осознали. Признание факта перепроизводства научных публикаций, невозможности использования созданного научного знания, лежащего «в отвалах» даже таких специальных систем его концентрации, какими являются международные индексы WoS и Scopus, обуславливает необходимость использования систем автоматизированного поиска нужной исследователю научно-технологической информации.
В 2012 г. Национальный научный фонд США (NSF) совместно с Национальными институтами здоровья (NIH) инициировали межведомственный проект Core Techniques and Technologies for Advancing Big Data Science and Engineering (BIGDATA), финансируемый в объеме $10 млн. и направленный, как обозначено в анонсе проекта, на «развитие ключевых научно-технологических подходов к управлению, анализу, визуализации и сбору информации из объемных, распределенных и гетерогенных источников. Ожидается, что это позволит ускорить процесс научных открытий и инноваций, привести к появлению новых областей исследований и решить задачи, с которыми ранее не удавалось справиться; разработать новые аналитических инструменты и алгоритмы; облегчить создание доступной и устойчивой инфраструктуры данных». Полученные в результате реализации проекта новые знания, методы, инструментарий и инфраструктура обеспечат, по мнению его инициаторов, «прорывные открытия и инновационное развитие науки, техники, медицины, образования и национальной безопасности и тем самым заложат фундамент для повышения конкурентоспособности США на многие десятилетия вперед» [4].
Очевидно, что главная цель проекта — использование научного знания независимо от формы его представления и размещения. На первый план выходит целеполагание и
декомпозиция главной технологической задачи проекта на серию частных задач, решения которых, вероятнее всего, уже созданы мировым сообществом. Для их обнаружения и будут использоваться инструменты BigData. Такая новая парадигма использования созданного научного знания делает существенно более значимым качество научного результата и его доступность, а не факт индексации в библиометрических БД.
Поэтому требования к числу публикаций замещаются оценкой ограниченного числа лучших из них. Так, согласно новой системе оценки научных коллективов в Великобритании — Research Excellence Framework [5] — предметом оценки научных групп служат их публикации за 5 лет, выбранные в ограниченном количестве (4 публикации, причем необязательно от всех сотрудников) из всех публикаций группы. Общее количество публикаций не играет никакой роли. Оценка производится по лучшим, а не по всем достижениям организации. Примечательно, что использование импакт-фактора журнала, в котором опубликована работа, не допускается ни для каких наук [6].
Еще более спорным, с точки зрения новых закономерностей развития глобальной научно-технологической сферы, является показатель «количество созданных результатов интеллектуальной деятельности в расчете на 100 исследователей».
Для доказательства данного тезиса проанализируем данные отчета Европейского патентного общества (EPO) о количестве поданных заявок на патенты в 2013 г. [7].
В отчете отмечено, что наибольшая доля заявок на патенты (65,5%) принадлежит крупным промышленным компаниям (large enterprises), в то время как на долю университетов приходится всего около 6% заявок (рис. 1). Обращает на себя внимание тот факт, что доля патентов крупных промышленных компаний из года в год возрастает, а доля университетов из года в год падает.
5,5%
29,0%
65,5%
2013 2012
• Large enterprises 65,5% 62,5%
• SMEs individual inventors 29,0% 30,9%
Universities, public research 5,5% 6,6%
Рис. 1. Распределение патентных документов Европейского патентного ведомства
по группам заявителей. Источник: EPO, данные на 14.03.2014
Примечание. Перевод терминов: Large enterprises — крупные предприятия;
SME's individual inventors — изобретатели, занятые в сегменте малых и средних предприятий; Universities, public research — университеты, государственные исследовательские организации.
От всех заявителей Российской Федерации в 2013 г. было подано всего 232 заявки по всем предметным областям EPO. В то же время одна лишь компания Samsung подала 2833 заявки на патенты, то есть в 10 раз больше, чем все заявители России В топ-25 организаций, подавших максимальное количество заявок на патенты, нет ни одного университета или исследовательской организации!
Анализ десяти технологических областей, по которым было подано наибольшее количество заявок, показал, что в пятерку лидирующих предметных областей в структуре патентных заявок вошли: «электрооборудование»; «цифровая связь»; «компьютерные технологии»; «измерительная аппаратура»; «медицина» (табл. 2). По всем указанным направлениям (за исключением направления «цифровая связь») наблюдался рост патентной активности.
Пока же ведомства, распределяющие бюджеты на исследования и разработки в РФ, оценивают результативность научной деятельности подведомственных им НИИ и вузов по публикационной и патентной активности, некоторые зарубежные компании дают высокую оценку самим результатам
российских ученых и, что более важно, эффективно их используют. В отсутствие спроса на прорывные результаты со стороны отечественных предприятий промышленного сектора, российские научные коллективы, получившие прорывные, конкурентоспособные результаты, передают их зарубежным компаниям. Показателен в этом смысле анализ фактов, изложенных в пресс-релизе компании «АстраЗенека Россия» от 9 февраля 2014 г. [8].
В частности, компания объявила, что заключила соглашение с Лабораторией алгоритмической биологии Санкт-Петербургского Академического университета РАН. «В рамках сотрудничества будут разрабатываться новые вычислительные и алгоритмические подходы к анализу данных, полученных при помощи методов нового поколения секвенирования (расшифровки) геномов», то есть по одному из приоритетных направлений, обозначенных в Прогнозе научно-технологического развития Российской Федерации на период до 2030, как направление научно-технологического развития РФ [9]!
Лаборатория алгоритмической биологии была создана в 2011 году на базе Санкт-Пе-
№8 Менеджер
201-4 г
здравоохранения
Таблица 2
Топ-5 технологических областей в структуре патентных заявок: распределение по странам
Предметная область Количество заявок |
Страны, входящие в ЕРО США Япония Китай Республика Корея
Электрооборудование 4876 1598 2570 241 683
Цифровая связь 3339 2006 1131 1342 702
Компьютерные технологии 2816 3099 1328 325 812
Измерительная аппаратура 3611 1506 1037 97 136
Медицина 4421 4144 1074 76 219
Источник: данные ЕРО
тербургского Академического университета РАН в рамках первой волны «мега грантов» от Министерства образования и науки РФ, то есть на бюджетные инвестиции, выделенные для создания конкурентоспособных научных заделов в РФ. И судя по тому, что «недавно проведенное Университетом Джона Хопкинса (Мериленд, США) сравнение ведущих геномных ассемблеров показало, что SPAdes1 демонстрирует один из лучших результатов среди конкурентов. SPAdes является первым российским брендом в биоинформатике» — лаборатории это удалось.
В пресс-релизе указано, что «ученые из Лаборатории алгоритмической биологии в тесном сотрудничестве с коллегами из глобальных научно-исследовательских подразделений компании «АстраЗенека» в США и в Великобритании будут работать на проектах, связанных с разработкой противоопухолевых и антиинфекционных лекарств. Работа российских ученых поможет не только создать новые аналитические методы, но и внедрить их в арсенал исследовательских инструментов, позволяющих обнаруживать и анализировать новые мишени для лекарственных препаратов, а также способствовать разработке персонализированных подходов к лечению пациентов, страдающих жизнеугрожающими заболеваниями».
Таким образом, с одной стороны, мы имеем Программы инновационного развития российских компаний, написанные «с учетом приоритетов государственной научно-технической и инновационной политики, и содержащие комплекс мероприятий, направленных на разработку и внедрение новых технологий, инновационных продуктов и услуг, соответствующих мировому уровню, а также на инновационное развитие ключевых отраслей промышленности Российской Федерации» [10]. С другой стороны, когда в РФ на средства государственного бюджета (но не самих компаний) такие прорывные результаты удается получить, то, как мы видим из этого примера, и они передаются конкурентам РФ за новые рыночные ниши.
Заключение
Первое издание Большой советской энциклопедии готовилось более 20 лет силами огромного коллектива авторов и экспертов. Википедия, созданная за последние 13 лет, содержит 30 миллионов статей на 276 мировых языках...
Началась эпоха новых форм информационного взаимодействия — сетевых, быстро распространяющих столь же быстро устаревающую информацию, в том числе и научно-технологическую. Одновременно экспоненциально растет объем публикаций, а в такой
Разработанный сотрудниками Лаборатории алгоритмической биологии геномный ассемблер.
предметной области, как клиническая медицина, рост носит лавинообразный характер. Только в WOS и только в 2013 г. проиндексировано 256 699 статей, в Scopus в два раза больше. Значительная часть из них, вероятнее всего, не будет прочитана, что связано с ограниченностью когнитивных способностей человека. Поэтому о результативности научного коллектива будет в первую очередь свидетельствовать востребованность полученных научных результатов, которая в свою очередь является производной от их качества и доступности для инструментов Б1дЭа1а.
В «Российской газете» [11] было опубликовано сообщение о том, что под руководством Нобелевского лауреата, американского профессора Сидни Олтмена в Новосибир-
ском институте химической биологии и фундаментальной медицины создана новая лаборатория для создания новых антибиотиков, к которым не может возникнуть резистентность бактерий..Заместитель директора института Дмитрий Пышный отметил, что «непривычным для российских коллег является сам процесс менеджмента этого проекта. Сидни Олтмен жестко настаивает на достижении конечного результата исследований, призывая не зацикливаться на деталях и потом уже разбираться в нюансах».
Целеполагание и достижение конкретного результата задают, с нашей точки зрения, систему координат, в которой следует оценивать результативность научной организации, коллектива и ученого.
Литература
1. Приказ Министерства образования и науки РФ от 5 марта 2014 г. №161 «Об утверждении Типового положения о комиссии по оценке результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, и типовой методики оценки результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения»
2. Приказ Министерства образования и науки РФ от 5 марта 2014 г. №162 «Об утверждении Порядка предоставления научными организациями, выполняющими научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, сведений о результатах их деятельности, и Порядка подтверждения указанных сведений федеральными органами исполнительной власти в целях мониторинга, порядка предоставления научными организациями, выполняющими научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, сведений о результатах их деятельности в целях оценки, а также состава сведений о результатах деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, предоставляемых в целях мониторинга и оценки»
3. Постановления Правительства РФ от 26 декабря 2013 г. № 1282 «Об утверждении Правил использования в 2014 году бюджетных ассигнований, предусмотренных Министерству здравоохранения Российской Федерации, Министерству труда и социальной защиты Российской Федерации, Министерству образования и науки Российской Федерации и Министерству культуры Российской Федерации в целях реализации указов Президента Российской Федерации от 7 мая 2012 г. № 597 «О мероприятиях по реализации государственной социальной политики», от 1 июня 2012 г. № 761 «О Национальной стратегии действий в интересах детей
№8 Менеджер
201-4 г
здравоохранения
на 2012-2017 годы» и от 28 декабря 2012 г. № 1688 «О некоторых мерах по реализации государственной политики в сфере защиты детей-сирот и детей, оставшихся без попечения родителей» в части повышения оплаты труда отдельных категорий работников».
4. http://www.nsf.gov/funding/pgiri_suiTiiTi.jsp2piiTisJcH504767.
5. Research Excellence Framework www.ref.ac.uk.
6. http://www.publications.parliament.uk/pa/cm200304/cmselect/cmsctech/ /399/39912.htm.
7. Интернет-сайт Европейского патентного офиса: http://www.epo.org/about-us/annual-re-ports-statistics/annual-report/2013/statistics-trends/applicants.html
8. Пресс-релиз «АстраЗенека Россия» объявила о новом партнерстве в области биоинформатики (08.02.2014) http://www.medlinks.ru/article.php?sid=57886
9. Прогноз научно-технологического развития Российской Федерации на период до 2030 года. — URL: http://government.ru/news/9800.
10. Портал «Инновации в России». Крупнейшие компании — общая информация. — URL: http://innovation.gov.ru/taxonomy/term/544
11. 90 миллионов против микроба//Российская газета. — 20/06/2014. — № 136 (6408). — С. 5. UDC 614.2
Kurakova N.G., Kolin S.K., Oliver E.A. Independent validation system of scientific medical organizations
in the paradigm of twenty years remoteness (Federal Research Institute for Health organization and Informatics of Ministry of Health of Russian Federation, Moscow, Russia)
Abstract. There has been created a new system for evaluating scientific organizations and their subdivisions. Readings of publication and patent activities of organizations were used as key efficiency indicators. There was a study conducted on modern patterns in development of a global scientific — technological field, which questioned the information capacity of these efficiency indicators on scientists and institutions. Keywords: scientific organizations, efficiency validation, criteria, publication activity, clinic medicine, global scientific-technological field.
Экономика науки
ВЛАДИМИР ШОРТОВ НАЗВАЛ ОСНОВНОЕ УСЛОВИЕ ДЛЯ ОЦЕНКИ ЭШШЕКТИВНОСТИ НАУЧНЫХ РАБОТ
□ сновным условием проведения анализа эффективности научных исследований является наличие у академического сообщества права решающего голоса, — заявил президент РАН Владимир Фортов на пресс-конференции 2 июля.
— При оценке эффективности научных исследований право на принятие окончательного решения должен иметь коллектив ученых. Для этого мы сейчас создали рабочую группу, в которую вошли и представители академии наук, и ФАНО. Также в нее войдут и независимые эксперты, — сообщил Владимир Фортов.
Впрочем еще одним важным условием результативности отечественных разработок названа финансовая составляющая. Чтобы российская наука смогла стать конкурентоспособной западной, как считают академики, государство должно тратить на нее гораздо больше.
— Все страны, в которых проживает так называемый «золотой миллиард», тратят на науку порядка 3% ВВП. В нашей стране этот показатель за последние 25-30 лет сократился во много раз и сейчас составляет меньше 1%. Это приводит к тому, что наши возможности, которые были накоплены ранее, истощаются. У нас все меньше и меньше технологий, которые мы можем предложить, — заявил Владимир Фортов.
Источник: Медвестник
