CC BY
66
Г.В. Артамонова,
д.м.н., проф., заместитель директора по научной работе, artamonova@cardio.kem.ru А.Р. Галеев,
к.б.н., инженер научно-методического отдела, galeev@cardio.kem.ru Т.С. Баженова,
научный сотрудник лаборатории моделирования управленческих технологий, bazhts@cardio.kem.ru
Научно-исследовательский институт комплексных проблем сердечно-сосудистых заболеваний СО РАМН, г. Кемерово, Россия
альтернативный метод оценки актуальности медико-
биологических научных исследований российских ниу
УДК 614.2:004.658 (470)
Артамонова Г.В., Галеев А.Р., Баженова Т.С. Альтернативный метод оценки актуальности медико-биологических научных исследований российских НИУ (Научно-исследовательский институт комплексных проблем сердечно-сосудистых заболеваний СО РАМН, г. Кемерово, Россия)
Аннотация. Эффективность управления научно-исследовательским учреждением оценивается по уровню значимости научной продукции в мировом научном сообществе. Выбор научного направления — достаточно сложный процесс, требующий оценки его новизны и актуальности. В качестве инструмента используется анализ цитирования научных публикаций на основе международных информационных ресурсов. Вместе с тем у данных сервисов есть ряд ограничений их применения в российских научно-исследовательских учреждениях (НИУ). Для решения этой задачи в НИИ комплексных проблем сердечно-сосудистых заболеваний СО РАМН разработан альтернативный метод наукометрической оценки новизны и актуальности исследований, учитывающий тренды в мировой науке за последние десять лет. Метод показал ряд преимуществ перед существующими подходами, может применяться для планирования и мониторинга результативности научной деятельности в НИУ.
Ключевые слова: наукометрия, биомедицинские исследования, управление результатами научных исследований, оценка новизны исследований, оценка актуальности исследований.
В связи с глобализацией мировой экономики и открытостью рынков современным медицинским научно-исследовательским учреждениям приходится соответствовать требованиям высоко-конкуретной среды. Выпуск на рынок какого-либо нового научного продукта (медицинской технологии, тест-систем, лекарственного препарата и т.д.) в любой стране мира может существенно повлиять на разработки аналогичных продуктов в российских НИУ. Теряется приоритет и новизна, что очень важно для получения грантов и еще важнее для поиска инвестиций в инновационные проекты. Срабатывает принцип «лидер получает все», даже малые преимущества при выполнении научных исследований при прочих равных условиях могут дать значительную награду на финише.
Учитывая, что стратегической задачей НИУ является повышение результативности научно-исследовательских направлений и проектов, то
Г.В. Артамонова, А.Р. Галеев, Т.С. Баженова, 2012 г.
N"13 Менеджер
2013 здравоохранения /
соответственно должен проводиться мониторинг их новизны и актуальности.
Оценка результативности деятельности российских НИУ основывается на критериях международного признания полученных научных результатов, публикационной активности сотрудников и цитируемости их работ. С учетом перечисленных критериев постепенно формируется новая модель финансирования научных исследований в России, при этом библиометрические показатели деятельности НИУ, ВУЗов и научных коллективов становятся факторами капитализации [1].
Признанным способом получения преимуществ в конкурентной среде является повышение эффективности деятельности организации путем внедрения в ней системы менеджмента качества, соответствующей стандартам ИСО серии 9000 [2, 3]. Для НИУ процессом жизненного цикла является научно-исследовательская деятельность.
Опыт НИИ комплексных проблем сердечно-сосудистых заболеваний СО РАМН (г. Кемерово) по развитию системы менеджмента качества свидетельствует о важности мониторинга уровня и значимости выполняемых научных разработок [4].
Для принятия решения о новизне и актуальности того или иного научного исследования целесообразно использовать информационные ресурсы. Однако в настоящее время информационных систем, подходящих для российского пользователя, не существует. Как правило, оценка обычно зависит от мнения нескольких человек, считающихся экспертами. Очевидно, что такой подход имеет слабые места, связанные с затруднительностью количественной оценки десятков научно-исследовательских работ (НИР), выполняемых в учреждениях, и их ранжирования по новизне. Впрочем подобная проблема существует и в зарубежных организациях [5].
Одним из первых в своем роде инструментов для оценки актуальности исследований является веб-сервис SciVal Spotlight, запущенный компанией Elsevier в 2011 году [6].
Этот сервис основан на использовании цитат-индексов. Вместе с тем если для расчета эффективности научной деятельности цитат-индекс — это хороший инструмент, то для оценки новизны и перспективности исследований его возможности ограничены [7, 8].
Другие коллективы также предпринимают попытки разработать автоматизированные системы для идентификации новых направлений научных исследований и инновационных разработок. Например, подобная система разрабатывается Kraker P. с коллегами [9] на основе отслеживания научных Интернет-публикаций в реальном времени в микро-блогах. Одним из наиболее крупных исследований в этой сфере является запущенный Европейским Союзом международный проект по созданию системы VISIONEER [10], использующей наукометрические и библио-метрические методы в духе современной информационной концепции Science 2.0 [11, 12]. Одной из целей VISIONEER является создание «ускорителя инноваций» [13].
Сервисы сразу начали активно использоваться научным сообществом. Они дают возможности для прозрачной оценки научной активности и успешности научного коллектива в сравнении с другими, а также помогают стратегически планировать научную деятельность. Вместе с тем у сервисов есть недостатки, ограничивающие применение их российскими НИУ. Данные сервисы анализируют в основном зарубежные публикации, издаваемые на английском языке. Доступ к сервисам коммерческий, что также существенно затрудняет их использование.
Таким образом, проблема оценки и планирования научной деятельности в отечественных НИУ весьма актуальна. Поэтому в НИИ комплексных проблем сердечно-сосудистых заболеваний СО РАМН (далее НИИ) была предпринята попытка создать альтернативную методику анализа НИР, подходящую для российских НИУ.
Для оценки НИР в учреждении создана автоматизированная программа «Учет науч-
ной деятельности» (Свидетельство о госрегистрации ЭВМ №2012618858), которая позволяет:
• регистрировать научную продукцию, планируемую и производимую каждым научным сотрудником в текущем режиме;
• легко отслеживать сроки и этапы выполнения работ;
• координировать и интегрировать планируемые проекты;
• проводить оценку персонифицированного вклада каждого сотрудника в научную деятельность всего учреждения на основании утвержденных критериев оценки по виду научного продукта;
• оперативно формировать отчеты;
• обеспечить прозрачность деятельности научных подразделений НИИ.
В анализе новизны и актуальности выполняемых НИР использованы следующие данные программы:
• название НИР и относящиеся к ней ключевые слова;
• участники НИР;
• количество публикаций, относящихся к
НИР.
Поскольку наиболее полной общедоступной базой данных о мировых биомедицинских публикациях в настоящее время является сервис PubMed.com, то выбраны методы анализа с применением данного информационного ресурса. Рассматривая конкретную тему НИР в НИИ с использованием программы ЭВМ и сервиса PubMed.com, определяли:
• количество накопленных мировых знаний по каждому ключевому слову и фразам;
• темп роста этих знаний;
• среднее значение объема знаний и их темпа роста;
• объем знаний НИИ по НИР, выраженный в количестве собственных публикаций.
Первый и второй показатели рассчитывались на основе запросов по ключевым словам НИР в PubMed.com за последние десять лет. Поскольку количество мировых публикаций по разным ключевым словам может отли-
чаться на несколько порядков, то это затрудняет графическое представление и сравнение данных. Поэтому для упрощения сравнения в качестве показателя объема мировых знаний был использован десятичный логарифм от числа мировых публикаций.
Чтобы уменьшить объем анализа и снизить влияние случайных колебаний числа публикаций, прирост публикаций в процентах считался с шагом в два года, начиная с 2002 года и заканчивая 2011. Полученные пять значений темпа роста публикаций усреднялись. В случае, если количество публикаций по каким-то словам за десять лет было менее 100, то такие слова исключались из анализа.
Далее рассчитывали среднее значение объема знаний и темпа их роста для всех слов и фраз в рамках одной НИР учреждения. На основе этих двух показателей определяли положение НИР на фоне современной науки в виде размещения в двухмерных координатах, где по оси X был отложен объем мировых знаний, а по оси У — темпы роста знаний (рис. 1).
При этом тема НИР изображалась в виде круга с диаметром, соответствующим количеству собственных публикаций. К размеру диаметра дополнительно прибавлялась единица, чтобы отображались НИР, по которым еще нет публикаций.
При таком представлении данных ось X характеризует новизну, то есть чем меньше мировых публикаций, тем больше новизны. Ось У символизирует актуальность, поскольку высокие темпы роста знаний в какой-либо области науки свидетельствуют о значительном внимании мирового научного сообщества к данной сфере.
Важным элементом при выполнении данного анализа является формализация подбора ключевых слов. Для решения этой задачи использовалась следующая схема выбора слов. Основное ключевое слово, характеризовавшее принадлежность НИР к области науки, оценивалось отдельно. Для описания
№13 Менеджер
2013 здравоохранения /
Э-
30
х х о
X
со
х л ш
о о.
25
20
15
о о.
С 2 ш н
Ф
X X С[
ш о.
и
10
0
Диаметр: количество собственных публикаций + 1
2 2,2 2,4 2,6 2,8 3 3,2 3,4
Объем мировых знаний (ЮЭЮ от числа публикаций за последние 10 лет)
Рис. 1. Пример расположения НИР на фоне мировых знаний. Средний объем мировых знаний: 500 публикаций за последние десять лет (1од10(500) = 2,7). Средние темпы роста: 15% каждые два года
специфики НИР ключевые слова составлялись во фразы, подчеркивающие основную тему НИР.
В качестве примера рассмотрим тему НИР «Инсулинорезистентность при остром коронарном синдроме: подходы к ранней диагностике». Основным ключевым словом является «острый коронарный синдром». Специфику НИР описывает фраза «острый коронарный синдром + инсулинорезистентность». Поскольку упомянутая диагностика в НИР была основана на липопротеинах, то соответствующая фраза для анализа была «острый коронарный синдром + липопротеины».
Если при анализе публикаций фраза упоминалась менее чем в 100 публикациях за последние десять лет, то есть была очень редкой, то ключевые слова анализировались отдельно. Необходимо отметить, что для анализа на PubMed.com использовался английский перевод ключевых слов.
Всего было проанализировано 50 НИР, выполняемых в НИИ, и 342 ключевых слова и их комбинаций. Для оценки тем НИР выделено пять уровней, имеющих качественное различие: высокая новизна и актуальность, высокая новизна, достаточные новизна и актуальность, угроза неактуальности и устаревающие темы (рис. 2).
Для идентификации границ высокой новизны и актуальности были использованы соответствующие оценки одной из НИР, важность которой подтверждена активным международным сотрудничеством и хорошими перспективами с коммерческой точки зрения. Количество мировых знаний по этой теме было в пределах 1000 публикаций за последние десять лет, а темпы их роста на уровне 40%. Область, соответствующая этим границам, на рис. 2 обозначена I. Темы НИР, находящиеся в этой области, можно рассматривать как имеющие высокую актуаль-
>х
X X
0
1
со
X л m О О. х
2
и О
о.
с
0 н
Ф X X
0 Q.
и
Высокие новизна и актуальность
Достаточные новизна и актуальность III
_ о
) Угроза неактуальности IV 4,0
V
Устаревающие темы
4,5
Объем мировых знаний
Рис. 2. Совокупность исследований в НИИ КПССЗ СО РАМН на фоне современной науки
ность и новизну, могут иметь значительные возможности для коммерциализации результатов и хорошие перспективы для международного сотрудничества. В НИИ в этой области оказалось 7 тем.
Ко второй группе исследований отнесены те НИР, для которых объем мировых знаний также невелик, но темпы роста знаний были менее 40%. По этим темам в мире накоплено мало знаний, поэтому в исследованиях присутствует высокая новизна. На рис. 2 данная область обозначена II, в нее попало 13 тем НИИ. Дополнительно можно предположить, что, работая в областях с малым объемом мировых знаний, легче получить цитирование собственных публикаций, поскольку другим исследователям будет проще обнаружить их в базе PubMed.com на фоне других статей.
В третьей области лежала большая группа НИР, на каждое ключевое слово которых было в среднем опубликовано более 1000 статей за последние десять лет. Это — область III на рис. 2. Исследования, относя-
щиеся к этой области, имели достаточный уровень новизны и актуальности и, как правило, характеризовали базовый опыт, накопленный в НИИ в практической сфере. Таких НИР в НИИ двадцать. Вместе с тем следует аккуратно планировать подобные НИР, рассматривая возможности для увеличения новизны и актуальности. Также для данных НИР следует внимательно выбирать темы публикаций, стараясь делать упор на наиболее актуальные и новые аспекты внутри тем. Это увеличит вероятность получения их цитирования.
Согласно базе PubMed.com, темпы роста мирового объема всех биомедицинских публикаций составляют около 10% каждые два года. Соответственно темы исследований, для которых в мире много публикаций и темпы их роста меньше 10%, можно считать проработанными и теряющими актуальность на фоне развития современной науки. На рис.2 это область IV. Среди тем НИИ восемь оказались в данной зоне. Следует
№12
2012
Менеджер
провести дополнительный анализ тем для выяснения причин и рассмотреть возможность по оптимизации исследований с целью увеличения актуальности.
Последняя рассматриваемая область (V) находится в отрицательной зоне, где темпы накопления знаний мировой наукой отрицательные. Соответственно можно предположить, что НИР в этой области быстро теряют актуальность с позиции современной науки. В НИИ было идентифицировано две подобные НИР.
В целом можно заключить, что подавляющее большинство НИР находилось в области положительного роста знаний в мировой науке, а значит, что они являются актуальными. Также в НИИ ведутся научные разработки, характеризующиеся малым объемом мировых знаний, что свидетельствует об их хорошей новизне.
Выявлено, что 40% от всех НИР в НИИ продемонстрировали высокую новизну и актуальность на фоне глобальной науки; для 40% НИР новизна и актуальность были достаточными; 20% проводимых исследований потребовали дополнительного внимания
в связи с риском снижения их актуальности.
Результаты наукометрического анализа внутренней структуры научных разработок НИИ доведены до руководителей и исполнителей с целью формирования стратегии и тактики повышения результативности НИР.
Заключение
Предложенный альтернативный метод оценки новизны и актуальности выполняемых исследований адекватен современным требованиям наукометрии. Метод соответствует положению о том, что статистический анализ и динамика распределения публикаций в базе данных позволяют выявить признаки, характеризующие состояние работ в определенной тематической области, новые направления и отдельные точки роста научных исследований [14]. Метод позволяет идентифицировать темы НИР по уровню актуальности и перспективности в плане возможности коммерциализации и международного сотрудничества. Результаты анализа являются основанием для планирования научной и публикационной деятельности с учетом современных научных трендов.
1. Стародубов В.И., Куракова Н.Г., Цветкова Л.А. Новые критерии результативности академической и вузовской медицинской науки в России//Социальные аспекты здоровья населения. — 2011. — Т. 18. — №2. — С. 1-12.
2. Международный стандарт ISO 9001:2008 «Системы менеджмента качества — Требования» (Четвертое издание 2008-11-15, перевод NQA-Russia). — 17 c.
3. Кицул И.С, КнязюкН.Ф. Возможности и ключевые факторы успеха применения стандартов серии ИСО 9000//Заместитель главного врача. — 2008. — №2(21). — С. 53-61.
4. Артамонова Г.В, Баженова Т.С, Карась Д.В., Барбараш Л.С. Современные принципы управления в научно-исследовательской медицинской организации// Менеджер здравоохранения. — 2012. — №7. — С. 41-47.
5. Heeseok Choi, Sung-Jin Jhun, Kiseok Choietai. A Design of R&D planning workbench based on research outcome analysis//Lecture Notes in Electrical Engineering. — 2012. — V. 179. — P. 45-51.
6. Vardell E., Feddern-Bekcan T, Moore M. SciVal Experts: a collaborative tool// Medical Reference Services Quarterly. — 2011. — V. 30, Issue 3. — P. 283-294.
7. Lortie C.J., Aarssen L.W, Budden A.E., Leimu R. Do citations and impact factors relate to the real numbers in publications? A case study of citation rates, impact, and effect sizes in ecology and evolutionary biology//Scientometrics, Online available since August, 2012. Режим доступа: http://www.springerlink.com/content/ 5375525681v282l2/fulltext.pdf
8. Nieminen P., Carpenter J., Rucker G, Schumacher M. The relationship between quality of research and citation frequency//BMC Medical Research Methodology. — 2006. — V. 6:42.
9. Kraker P., Wagner C, Jeanquartier F, Lindstaedt S. On the way to a science intelligence: visualizing TEL tweets for trend detection//Lecture Notes in Computer Science. — 2011. — V. 6964. — P. 220-232.
10. Helbing D., Balietti S., Bishop S., Lukowicz P. Understanding, creating, and managing complex techno-socio-economic systems: Challenges and perspectives//The European Physical Journal. — Special Topics. — 2011. — V. 195. — № 1. — P. 165-186.
11. Shneiderman B. Science 2.0//Science. — 2008. — V. 319. — P. 1349-1350.
12. Wild F. Science 2.0: The Open Orchestration of Knowledge Creation//Commu-nications in Computer and Information Science. — 2011. — V. 126. — P. 85-86.
13. Helbing D., Balietti S. How to create an innovation accelerator//The European Physical Journal. — Special Topics. — 2011. — V. 195. — № 1. — P. 101-136.
14. Ефременкова B.M. , Круковская H.B. Информационный мониторинг в области наукоемких технологий. Оптимизация поиска информации//Научно-технический сборник. Серия 1. Организация и методика информационной работы. — 2009. — № 1. — C. 23-34.
UDC 614.2:004.658 (470)
Artamonova G.V., Galeev A.R., Bazhenova T.S. Alternative relevance assessment approach to biomedical researches of Russian Research Institutions (Research institute for Complex issues of Cardiovascular Diseases, Siberian Branch of the Russian Academy of Medical Sciences, Kemerovo, Russia)
Annotation. Management effectiveness research institution is evaluated in terms of the significance of scientific production in the world scientific community. The complex process of selection to scientific trend is required by assessment of novelty and relevance. Citation analysis of scientific publications based on international information resources is used to solve this problem. However these services have some restrictions for their use in Russian research institutes. Research Institute for Complex Issues of Cardiovascular Diseases have developed the alternative relevance and novelty scientometric approach to researches which is considering trends over the last 10 years in the world of science. The approach has shown some advantages over existing methods, it can be used for planning and effectiveness monitoring of a research institute.
Keywords: scientometrics, biomedical research, research management, assessment of research novelty, assessment of research relevance.
№13 Менеджер
2OI2 здравоохранения /
