CC BY
62
УДК 613.62 :001.89
О ПОКАЗАТЕЛЯХ ПУБЛИКАЦИОННОЙ АКТИВНОСТИ
В МЕДИЦИНЕ ТРУДА
© 2014 В.Н. Лысухин
НИИ медицины труда РАМН, г. Москва
Поступила в редакцию 01.10.2014
В статье рассматривается проблема использования показателей публикационной активности для оценки эффективности научной деятельности организаций и ученых на примере медицины труда.
Ключевые слова: медицина труда, публикационная активность, цитируемость, импакт-фактор
В научной деятельности важную роль играет информационное обеспечение, т.к. актуальность и научная новизна работ определяются полнотой полученной предварительной информации о состоянии проблемы и наличии аналогичных работ в стране и за рубежом. Под эгидой упорядочения, ранжирования, а главное оценки эффективности научной деятельности за рубежом со 2-й половины XX века активно развиваются коммерческие системы рейтинга (Web of Science, Web of Knowledge, Scopus, PubMed, Journal Citation Reports, Springer и др.) на основе измерения производительности научной продукции (количество публикаций, импакт-фактор журнала, цитируемость работы или ученого и др.). К настоящему времени эти системы завоевали сильные позиции и в отечественной науке, так, в 2012 г. показатель количества публикаций приобрел статус государственного норматива по Указу Президента Российской Федерации от 07.05.2012 №599 «О мерах по реализации государственной политики в области науки и образования». В указе, в частности, говорится о необходимости «увеличения к 2015 году доли публикаций российских исследователей в общем количестве публикаций в мировых научных журналах, индексируемых в базе данных «Сеть науки» (Web of Science), до 2,44%». Однако в зарубежных системах цитирования российская научная периодика представлена недостаточно, что в первую очередь связано с языком публикации (требуется английский язык или западноевропейский), базы данных международного цитирования охватывают незначительное число неанглоязычных публикаций, поэтому анализ публикаций неанглоязычных авторов затрагивает в основном их англоязычные статьи, которые составляют небольшую долю от общего числа публикаций этих стран.
Лысухин Василий Николаевич, кандидат медицинских наук, старший научный сотрудник научно-организационного отдела. E-mail:
infomedtrud@yandex. ru
Таким образом, чтобы иметь аналог западной системы для количественной оценки научных результатов в России, в 2005 г. был создан Российский индекс научного цитирования (РИНЦ) - инструмент оценки результативности и эффективности деятельности научно-исследовательских организаций. РИНЦ сегодня содержит библиографическую базу данных почти по 3500 российским научным журналам (более 2,3 млн. статей за 2005-2012 гг.), более чем по 6000 российским организациям, в РИНЦ зарегистрированы свыше 600 тысяч ученых. Ежегодно в неё добавляется более 330 тысяч статей российских авторов; при этом в Web of Science и Scopus попадает лишь десятая часть публикаций российских ученых, а некоторые направления российской науки (в основном общественно-гуманитарные) там практически не представлены. Поскольку РИНЦ является системой автоматической обработки библиографической информации, она также не полностью охватывает отечественные источники. Решение этого вопроса было благополучно переложено на сами научные организации через подключение к «специально разработанному аналитическому инструментарию «Sciencelndex». Образовался замкнутый круг - научные учреждения должны отчитываться по данным РИНЦ, и они же должны вносить эти данные в РИНЦ. Как и предполагалось, после заключения договоров, оплаты подключения к «ScienceIndex», добавления пропущенных данных и внесения исправлений в имеющиеся, «показатели» научной результативности значительно возросли.
Например, анализ публикационной активности ФГБУ «НИИ медицины труда» РАМН в системе РИНЦ показал, что изначально большинство сотрудников Института не были представлены в РИНЦ в качестве авторов, и была учтена только часть их статей. Общие показатели ФГБУ «НИИ медицины труда» РАМН в РИНЦ составили: общее число публикаций
организации в РИНЦ 401 (2011 г.), 877 (2014 г.); суммарное число цитирований публикаций организации 167 (2011 г.), 1659 (2014 г.); число авторов 50 (2011 г.), 149 (2014 г.). При этом показатели за последние 5 лет (2005-2009 г.г. и 20082012 гг. соответственно) составили: общее число публикаций за пять лет - 196 / 348; число авторов - 33 / 100; индекс Хирша - 8 / 16.
Таким образом, после подключения к системе <^аепсе!Мех» в 2013 г. формально все показатели резко улучшились, хотя фактически не изменились - в РИНЦ о них не было известно. При этом если система учета периодических изданий относительно отработана, полной картины научной продуктивности увидеть не удастся,
пока не будет в полной мере решен вопрос учета других форм научной продукции (монографии, патенты, свидетельства и пр.). Недостаточность, неоднозначность и относительность «оценки результативности и эффективности научной деятельности» на основе такой количественной оценки, без учета особенностей каждой конкретной сферы, например, здравоохранения и ее разделов, например, медицины труда, искажает реальную картину и создает дополнительные трудности для научных сотрудников и специалистов. Табл. 1 и 2 на примере сравнения показателей организаций РАМН демонстрируют условность такого ранжирования.
Таблица 1. Сравнение организаций РАМН по числу публикаций в РИНЦ за 5 лет (2008-2012 гг.)
№ Организация Ранг Число публикаций Кол-во
РИНЦ 2008-2012 гг Всего авторов
1. Научный центр сердечно-сосудистой хирургии им. АН. Бакулева РАМН 1 3692 8301 673
2. Российский онкологический научный центр им. Н.Н. Блохина РАМН 2 3057 7228 1372
3. Научный центр здоровья детей РАМН 3 2371 4948 714
4. Научный центр психического здоровья РАМН 16 821 1887 365
5. ФГБУ «НИИ медицины труда» РАМН 42 348 877 149
6. Институт полиомиелита и вирусных энцефалитов им. МП. Чумакова РАМН 47 191 462 141
Таблица 2. Сравнение организаций РАМН по числу цитирований в РИНЦ за 5 лет (2008-2012 гг.)
№ Организация Ранг Число цитирований Индекс
РИНЦ 2008-2012 г.г. Всего Хирша
1. Российский онкологический научный центр им. Н.Н. Блохина РАМН 1 5878 32993 70
2. Научный центр здоровья детей РАМН 2 2351 14352 49
3. Научный центр психического здоровья РАМН 3 2088 9602 39
4. Научный центр сердечно-сосудистой хирургии им. А.Н. Бакулева РАМН 10 1177 9031 30
5. Институт полиомиелита и вирусных энцефалитов им. М.П. Чумакова РАМН 28 444 8982 51
6. ФГБУ «НИИ медицины труда» РАМН 44 244 1659 16
В настоящее время появляется все больше статей зарубежных ученых [3], отмечающих, что использование библиометрических методов (в первую очередь, показателей цитируемости) привело к появлению целого ряда проблем, т.к. использование показателей цитирования дает
неполную, а иногда и искаженную оценку уровня и результатов научного исследования, тем более что во многих странах экспертная оценка качества научных работ подменяется статистическим анализом данных цитирования [2]. Данные о цитировании могут быть некорректно
истолкованы как при определении рейтинга журналов, так и статей, издающихся в них, что в свою очередь ведет к ошибкам при использовании показателей цитирования и создает возможность влияния на данный показатель, так как авторы, редакторы и издатели найдут способы управлять этим показателем [1, 7, 10]. Утверждение Хирша, что можно использовать h-индекс для сравнения двух ученых, не в ладах со здравым смыслом [4]: «Я утверждаю, что два человека c одинаковой величиной h сопоставимы с точки зрения их научного вклада, даже если их общее число статей или их общее число цитирований очень разные» [6]. Иногда h-индекс или его варианты используются государственными органами, оценивающими исследования. Это не что иное, как использование данных не по назначению. К сожалению, слишком велик соблазн определить рейтинг ученого, оперируя всего одним числом [4]. Растущее использование h-индекса, который основан на числе цитирований и пытается дать количественное выражение сразу и производительности и влиятельности ученого, приведет к зависимости от цитирования и к одержимости им, «вылавливание цитирований» (citation-fishing) и «цитатный обмен» (citation-bartering) станут обычной практикой [8].
Импакт-фактор - способ измерения ценности журналов путем вычисления среднего числа цитирований на статью за определенный промежуток времени на основе данных Thomson
Для исследователей в науке всегда было крайне важным опубликовать свою работу в целях: 1) распространения новой информации; 2) возможности повторения исследования другими учеными или использования их как основы; 3) оправдание финансовой поддержки ученого в глазах заинтересованных сторон. Третья цель
Scientific (бывший Институт научной информации), который при этом предупреждает, что «Импакт-фактор не может быть использован без учета многочисленных показателей, влияющих на цитируемость и должен быть дополнен компетентной экспертной оценкой [12]». Однако этот совет слишком часто игнорируется. Наиболее существенная критика импакт-фактора в том, что при его использовании для сравнения журналов нет никакой априорной модели, определяющей, что означает, что какой-то журнал «лучше». Единственная модель исходит от самого импакт-фактора - журнал с большим импакт-фактором и считается лучше [4]. Сравнение основных журналов, публикующих статьи по медицине труда, показывает, что определяющим является не импакт-фактор, а тематическая направленность журнала (табл. 3).
Измерение научной производительности -дело трудное, а используемые показатели (им-пакт-фактор журнала, цитируемость работы) грубы, но сейчас они настолько повсеместно приняты, что определяют большинство значимых вещей [7]. Так как ученые теперь оцениваются не столько по их профессионализму или качеству работы, сколько по импакт-факторам журналов [11], многие тратят слишком много времени и усилий на стратегию опубликования. Как следствие, научная деятельность деформировалась, а полезность, качество и объективность статей ухудшились.
была вспомогательной, но более это не так; опубликование стало главной целью, потому что это - путь выживания ученого [9]. Эта кардинальная смена приоритетов нанесла вред научной практике, трансформировала мотивацию исследователей, изменила способ представления результатов и уменьшила точность и доступ-
Таблица 3. Распределение публикаций ФГБУ «НИИ МТ» РАМН по журналам
№ Название журнала Кол-во статей Импакт-фактор 2012 г.
1. Медицина труда и промышленная экология 382 0,523
2. Гигиена и санитария 17 0,603
3. Безопасность жизнедеятельности 11 0,138
4. Медицинская техника 10 0,379
5. Вестник РАМН 10 0,641
6. Пульмонология 8 0,738
7. Здравоохранение 8 0,448
8. Здоровье населения и среда обитания 7 0,094
ность научной литературы. Хотя библиометрия может быть использована как источник дополнительной информации для определения качества исследований в определенной области, основным способом для анализа качества научно-исследовательского проекта или отдельного ученого должна быть экспертная оценка, которая в первую очередь учитывает научное содержание работы» [5].
На третьей экспертной сессии «Оценка эффективности деятельности научных организаций и перспективы развития», проведенной ФАНО России совместно с РАН 16 сентября 2014 г. в Москве в вопросе формирования экспертного сообщества в интересах проведения оценки эффективности деятельности научных организаций среди наиболее популярных критериев отбора экспертов научными организациями 2 место занимает публикационная активность (количество и уровень публикаций) (1 место -наличие ученой степени доктора наук). Среди 25 показателей оценки эффективности деятельности научных организаций, предложенных Министерством образования и науки РФ, в большей степени (более 50% научных организаций) поддержано лишь 6 показателей, причем это: 1) число публикаций организации, индексируемых в российских и международных информационно-аналитических системах научного цитирования; 2) совокупная цитируемость публикаций организации, индексируемых в российских и международных информационно-аналитических системах научного цитирования.
Выводы: основа адекватной оценки эффективности и результативности деятельности научных организаций - это мнение экспертов о научных результатах, их новизне, актуальности, соответствии целям и задачам инновационного развития страны; библиометрические методы могут играть лишь вспомогательную роль при оценке результативности и эффективности науки, а предложения использовать библиометриче-ские показатели для управления наукой устарели,
т.к. не учитывают негативные оценки ведущих
зарубежных научных организаций и экспертов
[2].
СПИСОК ЛИТЕРАТУРЫ:
1. Варшавский, А.Е. Методологические проблемы международного сравнительного анализа результатов научной деятельности. Инновационная политика: Россия и Мир: 2002-2010 / под общ. ред. Н.И. Ивановой и В.В. Иванова, РАН / А.Е. Варшавский, В.А. Маркусова. - М.: Наука, 2011. С. 407-441.
2. Варшавский, А.Е. Основные проблемы оценки результативности и эффективности деятельности научных организаций (доклад) (http://www.cemi. rssi.ru/publication/e-publishing/ varshav/Варшавский %20А.Е.%20ФАН0%2016.09.2014%20 ред.ррО
3. Игра в цыфирь, или как теперь оценивают труд ученого (сборник статей о библиометрике). - М.: МЦНМО, 2011. 72 с.
4. Adler, R. The impact of impact factors // IMS Bulletin. 2007. 36. No. 5, 4.
5. Appropriate Use of Bibliometric Indicators for the Assessment of Journals, Research Proposals, and Individuals. (Adopted by the IEEE Board of Directors 9 September 20l3) (http://www.ieee.org/publications_ standstand-
ards/publications/rights/ieee_bibliometric_statement_se pt_2013.pdf)
6. Hirsch, J.E. An index to quantify an individual's scientific research output // Proc. Natl. Acad. Sci. USA.2006. 102. No. 46. P. 16569-16573.
7. Lawrence, P. Lost in publication: how measurement harms science // Ethics in Science and Environmental Politics. 2008. June. V.8. P. 9-11.
8. Lawrence, P.A. The mismeasurement of science // Curr. Biol. 2007. 17. R 583-R585.
9. Lawrence PA. The politics of publication // Nature. 2003. 422. P. 259-261.
10. Macdonald, S. Quality journals and gamesmanship in management studies // S. Macdonald, J. Kam, Aard-vark et al. // Journal of Information Science. 2007. 33. P. 702-717.
11. Steele, C. The publishing imperative: the pervasive influence of publication metrics / C. Steele, L. Butler, D. Kingsley // Learned Publishing. 2006. 19. P. 277290.
12. Thomson: impact factor (http://scientific.thomson.com/ free/essays/journalcitationreports/impactfactor/)
ABOUT THE INDICATORS OF PUBLISHING ACTIVITY IN OCCUPATIONAL MEDICINE
© 2014 V. N. Lysukhin Scientific Research Institute of Occupational Medicine RAMS, Moscow
In article the problem of using the indicators of publishing activity for the estimation of scientific activity efficiency of organizations and scientists on the example of occupational medicine is considered.
Key words: occupational medicine, publishing activity, citation, impact factor
Vasiliy Lysukhin, Candidate of Medicine, Senior Research Fellow at the Scientific-Organization Department. E-mail: infomedtrud@yandex.ru
