Оценка качества научно-исследовательской деятельности медицинской организации с помощью наукометрических показателей Текст научной статьи по специальности «Экономика и бизнес»

© А. И. ВЯЛКОВ, Е. А. ГЛУХОВА, 2013 УДК 614.2:0018

А. И. ВЯЛКОВ, Е. А. ГЛУХОВА

Оценка качества научно-исследовательской деятельности медицинской организации с помощью наукометрических показателей

Первый Московский государственный медицинский университет им. И. М. Сеченова Минздрава России, 119992, Москва

Изучены полезность и ограничения наукометрических методов для оценки качества научно-исследовательской деятельности сотрудника, научной группы и организации в целом. Определены группы библиометрического позиционирования в рамках научной медицинской организации по профилю "общественное здоровье и здравоохранение ".

Ключевые слова: наукометрические показатели; публикационная активность; научная медицинская организация

THE EVALUATION OF QUALITY OF RESEARCH ACTIVITIES OF MEDICAL ORGANIZATION

USING SCIENTOMETRIC INDICATORS

A.I. Vyalkov, E.A. Glukhova

I.M. Sechenov First Moscow State Medical University of Ministry of Health of the Russian Federation,

119992, Moscow Russia

The article discusses the usability and limitations of scientometric techniques in evaluation of quality of research activities of worker, research group and organization in general. The groups of bibliometric positioning are determined in the framework of research medical organization in profile of "public health and health care".

Key words: scientometric indicator; publishing activity; research medical organization

Наукометрические исследования приобретают особую актуальность на современном этапе модернизации государственного сектора науки, реформирования научных организаций [5].

В последние годы уделяется большое внимание методологическим проблемам выбора показателей для оценки качества научных публикаций, и, следовательно, оценки работы ученого, исследовательских групп и научно-исследовательских организаций [6].

Основная цель эффективной системы формальной оценки — формирование стимулов для производства, воспроизводства и тиражирования научных знаний, разработки стратегии и практики повышения производительности научно-исследовательской деятельности (НИД) в качественном и количественном выражении.

Структура наукометрических показателей

Существуют различные подходы к изучению и эмпирическим методам измерения НИД. Они включают изучение творческих личностей, продукты или результаты творческой деятельности, творческого процесса и творческой среды генерации знаний.

Экспертные оценки субъективны, требуют уного времени и затрат, используются для измерения уровня научной продуктивности. Наукометрические методы1 основаны на объективных количественных оценках, экономичны, просты в реализации.

Наукометрические методы охватывают метрики, включающие библиометрические исследования, цитат-

1Наукометрические методы — методы структурно-функционального анализа научной деятельности и мониторинга в системе создания и распространения знаний.

ный анализ, системы оценки результативности и потенциала научной деятельности, прогнозирования и инновационного развития организации.

В наукометрии цитатный анализ рассматривается как полезный инструмент для оценки научных исследований производительности отдельных ученых, групп и научных организаций. Считается, что цитатный анализ может дополнить тщательное рецензирование (но никогда не заменит его), являющееся основным инструментом экспертной оценки, для которой нет альтернативы.

Многими исследователями показано, что число ссылок на публикации ассоциируется с качеством и коррелирует с престижем ученого, репутацией авторов, рейтингом журнала [2].

В мировой литературе, посвященной науко- и биб-лиометрическим проблемам, широко обсуждаются вопросы, связанные с трудностями подсчета данных показателей и последующим их использованием в качестве индикаторов. При всей кажущейся простоте применения индексов цитируемости и импакт-факторов (ИФ) в качестве индикаторов существует большая опасность неверной интерпретации полученных данных [10].

В последние годы наукометрические методы оценки продуктивности получили большое внимание со стороны научного сообщества и в связи с некоторыми своими свойствами, такими как легкость вычислений, баланс между количеством публикаций и их воздействие.

Наукометрические методы определяются показателями, извлеченными из специализированных баз данных публикаций, касающихся количества результатов исследований, которые идентифицированы в виде научных статей, качества статей (в пересчете на количество

Контактная информация: Вялков Анатолий Иванович, д-р мед. наук, проф., акад. РАМН; e-mail: [email protected]

цитат) и/или качества журналов, в которых они опубликованы, их "импакт-фактор" (ИФ).

Таким образом, группы наукометрического позиционирования в рамках научного сообщества представлены показателями индекс цитируемости, ИФ, индекс Хирша (Н-индекс) [6].

Индекс цитируемости есть число ссылок на работы данного ученого в научной литературе по профильной деятельности, которое отражает востребованность его результатов за полный (5 лет) или неполный (1 год) период. Правомерность такого использования индекса не бесспорна и давно обсуждается. Существует много посторонних обстоятельств, влияющих на цитируемость научного работника. С другой стороны, это показатель, который безусловно коррелирует с уровнем и работоспособностью ученого, к тому же прозрачный и доступный. Главное в практике использования индекса — абсолютная прозрачность.

Получаемый с помощью базы данных Российского индекса научного цитирования (РИНЦ) индекс цитируе-мости ученого является неполным из-за ограниченности перечня и ретроспективы обрабатываемых журналов, диссертаций и авторефератов диссертаций. В качестве источников ссылок в незначительной степени отражаются монографии, патенты, статьи из сборников.

Н-индекс становится самой популярной метрикой для оценки продуктивности работы ученых на основе цитируемости их статей. Н-индекс — способ обобщения высокоцитируемых работ, который объясняет более чем в 4 раза изменения числа ссылок по сравнению с ИФ. Н-индекс коррелирует с абсолютным числом публикаций и цитированием. Он сочетает меру количества (публикации) и воздействия (цитаты) [7].

В качестве ограничений применения можно указать использование для сравнения НИД ученых в пределах одной специальности. Кроме того, Н-индекс зависит от продолжительности карьеры каждого ученого, потому что объем публикаций и ссылок увеличивается с течением времени. Возможно искусственное увеличение Н-индекса за счет числа самоцитирования, которое при расчете должно быть удалено. Поэтому исследование сложной многогранной деятельности ученого не может быть адекватно оценено с помощью одного показателя [8]. Использование Н-индекса в качестве единого показателя для оценки научного престижа исследователя не является адекватным.

В рамках совершенствования цитатного анализа анализируется стандартизованный композитный индикатор: общее число ссылок в цитате "окна", взвешенное на ИФ журнала, в котором статья была опубликована [9]. При этом для оценки качества предлагается использовать стандартный показатель цитирования статьи (количество цитат из статьи в цитате "окна" 0—1 год). Показано, что использование композитного показателя краткосрочной цитаты уменьшает ошибки смешения в случае использования долгосрочной цитаты.

Анализ публикационной активности организации с использованием наукометрических показателей

Анализ публикационной активности научной (медицинской) организации (далее организация) выполнен в соответствии с постановлением Президиума РАН № 201 от 12.10.2010, которое регламентирует использование следующих наукометрических показателей для оценки результативности научных организаций [3]: • Количество публикаций работников научной организации, отнесенное к численности исследователей, в том числе:

— в зарубежных научно-технических изданиях;

— в отечественных изданиях, включенных в перечень ВАК, Минобрнауки России.

• Количество публикаций работников научной организации в РИНЦ, отнесенное к численности исследователей.

• Цитируемость работников научной организации в РИНЦ, отнесенное к численности исследователей. Согласно приказу № 406 Минобрнауки РФ от

14.10.2009, при анализе публикационной активности цитируемость учитывается за 5 лет, предшествующих текущему году [4].

Анализ публикационной активности сотрудников и организации в целом проведен за предыдущие 5 лет, предшествующих текущему году.

Анализу предшествовала регистрация (перерегистрация) всех сотрудников организации в РИНЦ (май 2012), выполненная в рамках проектирования системы менеджмента качества, а также реструктуризация организации (2010), с увеличением численности сотру дни-ков примерно вдвое.

Исследовательская деятельность каждого научного сотрудника описывается с помощью наукометрических показателей, таких как [8]:

• Показатели продуктивности в зависимости от количества публикаций на каждого ученого.

• Наблюдаемые показатели воздействия, основанные на цитатном анализе публикаций в рамках определенного " окна" цитирования.

Они включают:

— количество цитат (среднее цитирование или индекс цитирования в год);

— среднее количество ссылок в "окне" цитирования, отнесенное к количеству публикаций в год (коэффициент диффузии);

— индекс Хирша (соединение количества цитат и публикаций);

— долю высокоцитируемых и нецитируемых публикаций.

• Ожидаемые показатели воздействия, основанные на ИФ журналов, в которых были опубликованы статьи. Общие показатели публикационной активности организации приведены в табл. 1.

Из табл. 1 следует, что число публикаций работников научной организации с учетом всех ссылок, отнесенное к численности исследователей, составляет на 26 мая 2012 г. 113, цитируемость, отнесенная к численности авторов, — 96, число авторов — 97, индекс Хирша — 5, позиция в рейтинге научно-исследовательских организаций — 1117.

Показатели публикационной активности организации за последние 5 лет (2007—2011) представлены в табл. 2.

Как следует из табл. 2, общее число публикаций в РИНЦ с учетом привязанных ссылок, отнесенное к численности авторов (93), составляет 107, при этом доля пу-

Таблица 1

Общие показатели публикационной активности организации

Показатель

Число

Общее число публикаций организации в РИНЦ 113

Суммарное число цитирований публикаций 96 в организации

Число авторов 97

Индекс Хирша 5

Позиция в рейтинге научно-исследовательских 1117 организаций

Таблица 2

Показатели публикационной активности организации за последние 5 лет (2007—2011)

Показатель

Число (%)

Число публикаций в РИНЦ за 5 лет 107

Число публикаций в зарубежных журналах 11 (2,3)

Число публикаций в российских журналах 203 (41,6) из перечня ВАКа

Число публикаций с ИФ больше 0 147 (32,1)

Число авторов 93

Число цитирований в РИНЦ 84

Средневзвешенный ИФ журналов, в которых 0,236

были опубликованы статьи

Среднее число публикаций в расчете на 1 автора 1,2

(продуктивность)

Среднее число цитирований в расчете 1,9

на 1 публикацию

бликаций в зарубежных журналах — 2,3%, в российских журналах из перечня ВАКа — 41,6%, доля публикаций с ИФ больше 0 — 32,1% соответственно.

Цитируемость работников научной организации в РИНЦ, отнесенная к численности исследователей, составила 84, средневзвешенный ИФ журналов — 0,236. Нормированные показатели продуктивности составили 1,2 публикации на автора, цитируемости — 1,9 цитирований на 1 публикацию.

Показатели публикационной активности организации по годам за период с 2007 по 2011 г. приведены в табл. 3.

В соответствии с табл. 3. доля публикаций в РИНЦ составляет примерно 40% от публикационного потока организации.

Показатели продуктивности НИД в зависимости от количества публикаций на каждого сотрудника увеличились в 1,5 раза. Доля публикаций в журналах из перечня ВАКа сохраняется на уровне около 40%.

Наблюдается тенденция к приросту публикаций в журналах с ненулевым ИФ с 28,8% (2007) до 35,8 % (2011) и зарубежных публикаций — с 0,96% (2007) до 5,2% (2011). Однако доля нецитируемых публикаций сохраняется на прежнем уровне и составляет примерно 1/3 публикаций организации.

Таблица 3

Динамика показателей публикационной активности организации за период с 2007 по 2011 г.

Показатель 2007 2008 2009 2010 2011

Число авторов 87 87 84 78 128

Число публикаций за год (по данным годового отчета) 104 91 97 90 153

Число публикаций в РИНЦ 47 35 45 42 59

Число цитирований в год 61 85 89 96 91

Среднее число публикаций в расчете на 1 автора 1,2 1,2 1,2 1,2 1,2

Среднее число цитирований в расчете на 1 публикацию 1,3 2,4 2,0 2,3 1,6

Доля высокоцитируемых публикаций 7,8 8,7 13,3 15,1 22,6

Доля нецитируемых публикаций 35,5 30,1 33,6 34,9 32,1

Доля публикаций с ИФ более 0 28,8 18,7 34,0 34,4 35,8

Средневзвешенный ИФ журнала 0,013 0,223 0,233 0,255 0,256

Доля публикаций в журналах ВАКа 40,4 36,3 43,3 45,6 42,5

Зарубежные публикации 0,96 1,1 1,0 1,1 5,2

Обнаружена тенденция к некоторому повышению показателей цитируемости публикаций: доля высокоци-тируемых публикаций (с числом цитирований более 7 на 1 публикацию) увеличилась с 7,8% (2007) до 22,6% (2011) соответственно.

Отмечена тенденция к увеличению показателя ИФ журналов, в которых были опубликованы статьи. Считается, что статьи, опубликованные в журналах с высоким ИФ, достигают более высоких результатов цитирования по сравнению со статьями, опубликованными в журналах с низким ИФ.

В целом динамика показателей публикационной активности организации свидетельствует о повышении качества НИД в организации. Однако в организации имеются резервы для повышения качества НИД, в частности в направлении снижения доли нецитируемых публикаций сотрудников.

Влияние лидерства на стимулирование публикационной активности в научной среде

Наукометрические исследования способствовали выявлению референтных групп наиболее цитируемых и активных ученых.

Изучение лидерства основано в первую очередь на методах библиометрического анализа [1]. Данный метод базируется на предположении, что чем чаще авторы цитируются, тем в большей степени они влияют на развитие организации, процесс обеспечения обмена информацией и результатами, способствуют стимулированию творческой деятельности последователей.

Отбор лидеров организации по уровню публикационной активности выполнен на основе использования формальных показателей. Именно публикационная активность является инструментом идентификации групп лидеров организации.

Показатели публикационной активности группы лидеров организации представлены в табл. 4.

Как видно в табл. 4, наблюдаемые показатели публикационной активности референтной группы были проанализированы в рамках определенного "окна" цитирования. В 2010 г. в период реструктуризации организации наблюдалось частичное замещение лидеров организации (8 сотрудников) по причине ротации кадрового состава.

Изменение кадрового состава не сказалось на показателях публикационной активности в группе лидеров организации. Наоборот, эквивалентный приток новых, признанных в научном сообществе лидеров, представителей определенных научных школ способствовал повышению публикационной активности организации.

Так, показатели продуктивности организации по числу публикаций выросли за счет увеличения числа публикаций в зарубежных журналах (с 5 до 13 публикаций), а наблюдаемые показатели цитируемости — за счет увеличения среднего количества цитат (с 3,9 до 4,5 цитирования на 1 публикацию), повышения коэффициента диффузии ссылок (с 4,7 до 6,6 ссылки на 1 публикацию) и ИФ журналов, в которых были опубликованы статьи (с 0,033 до 0,231).

Таким образом, признаки лидерства включают наличие высокого индекса цитирования, подразумевают высокую скорость цитирования, предназначены для оценки результативности и потенциала развития организации.

Таблица 4

Показатели публикационной активности лидеров организации

Общие показатели

200б—2010

2007—2011

Общее число публикаций организации в РИНЦ 29 40

Число публикаций в зарубежных журналах S 13

Число публикаций в российских журналах из перечня ВАКа 24 27

Суммарное число цитирований публикаций в организации 114 1S0

Число авторов 20 2S

Индекс Хирша 4 S

Средневзвешенный ИФ журналов, в которых были опубликованы статьи 0,033 0,231

Среднее число публикаций в расчете на 1 автора 1,4 1,4

Среднее число цитирований в расчете на 1 публикацию 3,9 4,S

Коэффициент диффузии (число ссылок, отнесенное к числу публикаций в "окне" цитирования) 4,7 б,б

Заключение

Разработан порядок и алгоритм анализа публикационной активности научных сотрудников, проводимого при избрании по конкурсу на замещение вакантных должностей или продлении срока трудового договора.

Сведения о публикационной активности каждого научного сотрудника организации введены в форму годового отчета (таблица — паспорт) о НИД.

Определена структура статистических отчетов организации по разделу "Анализ публикационной активности": общие показатели, показатели за 5-летнее "окно" цитирования, показатели по годам.

Определена также структура индикаторов качества: популярности (количество цитат), индекса Хирша (соединение количества цитат и публикаций), ИФ публикаций журнала и других наукометрических показателей, коэффициента диффузии (среднее число ссылок, отнесенное к публикациям в определенном "окне" цитирования), доли высокоцитируемых и нецитируемых публикаций за отчетный период.

Показано, что оценка наукометрических профилей продуктивности сотрудников в системе менеджмента

качества организации объективно отражает возможность достижения целевых результатов НИД по референтным группам сотрудников и организации в целом.

ЛИТЕРАТУРА

1. Бобков АВ, Каталажнова ИН, Павлов ИВ. Мониторинг научной деятельности научно-образовательной системы. Современные проблемы науки и образования. 2009; 6: 49—50.

2. Маркусова ВА. Библиометрия как методологическая и инструментальная основа мониторинга развития и информационной поддержки российской науки: Автореф. дис. ... д-ра пед. наук. М.; 2005.

3. Постановление Президиума РАН № 201 от 12 октября 2010 г. Приложение 2. Методика оценки результативности научных организаций Российской академии наук. Показатели оценки результативности научных организаций Российской академии наук. URL: http://www.ocean.ru/content/view/1133/ — URL: (Дата обращения 20 мая 2012 г.)

4. Приказ Минобрнауки РФ от 14.10.2009 № 406 "Об утверждении типового положения о комиссии по оценке результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, и типовой методики оценки результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения". — URL: http://zaki.ru/pagesnew. php?id=60676 (Дата обращения 14 мая 2012 г.)

5. Проект. Инновационная Россия — 2020. (Стратегия инновационного развития Российской Федерации на период до 2020 года). Минэкономразвития России, Москва, 2010. — 105. — URL: http://www.economy.gov.ru/minec/activity/sections/inno-vations/doc20101231_ (Дата обращения 22 мая 2012 г.)

6. Яхнина ВС, Цыганков ДБ. Формирование системы оценивания и мониторинга эффективности научно-исследовательской деятельности как условие повышения инновационного потенциала российской науки. В кн.: Пивоваров Ю. С., ред. Россия: Тенденции и перспективы развития. Ежегодник. вып. 2. М.: ИНИОН РАН; 2007: 622—5.

7. Costas R, Bordons M. The h-index: Advantages, limitations and its relation with other bibliometric indicators at the micro level. J. Inform. 2007; 1 (3): 193—203.

8. Franceschini F, Maisano D. Structured evaluation ofthe scientific output of academic research groups by recent h-based indicators. 2011; 5 (1): 64—74.

9. Levitta J, Thelwallb М. A combined bibliometric indicator to predict article impact. Inform. Proces. Manag. 2011; 47 (2): 300—8.

10. Retzera V, Jurasinskib G. Towards objectivity in research evaluation using bibliometric indicators — A protocol for incorporating complexity. Basic Appl. Ecol. 2009; 10(5): 393—400.

Поступила 05.07.12

© КОЛЛЕКТИВ АВТОРОВ, 2013 УДК 614.2:616.127-005.4-084]:312.2

И. А. ГУНДАРОВ', В. А. ПОЛЕССКИЙ', В. Г. ЗАПОРОЖЧЕНКО2

Смертность в программах многофакторной профилактики ишемической болезни сердца

'Первый Московский государственный медицинский университет им. И. М. Сеченова Минздрава России, 119992, Москва, 2Центральный научно-исследовательский институт организации и информатизации здравоохранения Минздрава России, 127254, Москва

На основе мета-анализа восемнадцати многофакторных программ профилактики ишемической болезни сердца проведена оценка влияния профилактического вмешательства на динамику сердечно-сосудистой и общей смертности. Учитывали интенсивность воздействия: на все население, на лиц с факторами риска, на лиц с высоким суммарным риском. Объектами служили выборки из неорганизованного населения, выборки на промышленных предприятиях, население больших регионов

Контактная информация: Полесский Владимир Александрович, e-mail: [email protected]