CC BY
133
18
Высшее образование в России • № 10, 2014
management, effectiveness and great demand for scientific research, publication activity, course work and diploma design
References
1. Seryakova S.B., Krasinskaya L.F. (2013) [Reorganization of higher education through the eyes of
lecturers: study results]. Vysshee obrazovanie v Rossii [Higher education in Russia]. No. 11, pp. 2230. (in Russ., abstract in Eng.)
2. Provision on the formation of the state task for educational institutions of higher education within
jurisdiction of the Ministry of Education and Science of the Russian Federation in the field of scientific activity. Available at: http://dusp.ru/dFiles/p-25-12-2013.pdf. (in Russ.)
3. Terent’eva T.V., Shavlyugin A.I. (2012) [Development of research activity in a regional university:
results and prospects (by the example of VSUES)]. Universitetskoe upravlenie: praktika i analiz [University management: practice and analysis]. No. 4, pp. 87-92. (in Russ., abstract in Eng.)
4. Lazarev G.I. (2013) [Entrepreneurial University: Innovative Educational Management]. Pedagogika
[Pedagogics] No. 8, pp. 82-89. (in Russ., abstract in Eng.)
Authors:
LAZAREV Gennadiy I. - Dr. Sci. (Economics), Prof., Rector, Vladivostok University of Economics and Service, Vladivostok, Russia, [email protected]
TERENT’EVA Tat’yana V. - Dr. Sci. (Economics), Assoc. Prof., Vice-rector, Vladivostok University of Economics and Service, Vladivostok, Russia, [email protected]
В.Н. НИКОЛЕНКО, проректор, профессор
А.И. ВяЛкОВ, академик РАН, профессор
СА. МАРТЫНЧИК, д-р медицинских наук
ЕА. ГЛУХОВА, канд. медицинских наук Первый Московский государственный медицинский университет им. И.М. Сеченова
В статье рассматривается актуальная проблема, связанная с методологией оценки публикационной активности, и способы стимулирования публикационной активности в крупном медицинском вузе. Исследовано развитие нормативной базы в связи со структурной модернизацией госсектора науки. Рассматривается комплексный подход к оценке эффективности, основанный на экспертной оценке значимости научных исследований и библиометрическом анализе. Представлена структура и функциональное назначение показателей публикационной активности. Приводится перечень критериев результативности деятельности медицинского вуза в рамках «дорожной карты ». Определены методические подходы к повышению публикационной активности и ее стимулированию на уровне автора и организации. Выявлены ключевые факторы успеха в проведении организационно-административных мероприятий по повышению публикационной активности и рейтинга вуза, намечены перспективы использования новых информационно-коммуникационных технологий и аналитических инструментов для компьютерной поддержки научных исследований и научных коммуникаций.
Подходы к оценке эффективности и способы стимулирования публикационной активности в крупном медицинском вузе
Практика модернизации образования
19
Ключевые слова: индексы цитирования, целевые показатели результативности научных исследований и разработок, публикационная активность, организационноадминистративные меры, стимулирование публикационной активности
Структурная модернизация госсектора науки предъявляет новые требования к управлению научными исследованиями и разработками в научно-образовательных организациях на основе оценки количества и качества научных исследований и инноваций, анализа потенциала развития, определения ключевых «точек роста», направлений стратегического прогнозирования и планирования [1; 2]. Согласно стратегии Минэкономразвития «Инновационная Россия - 2020» «становится нормой использование механизмов оценки преподавателей и ученых с привлечением международного научного сообщества и с ориентацией на показатели международной публикационной активности, а также механизмов прекращения контракта с преподавателями и учеными, не ведущими исследовательскую деятельность на глобально конкурентоспособном уровне».
Основными тенденциями развития российского сектора исследований и разработок в рамках проекта «Российская карта науки» являются следующие тактические инициативы:
• ориентация на численные показатели результативности исследовательской деятельности;
• интеграция с международным сектором исследований и разработок;
• адресность финансирования исследовательской деятельности на уровне исследовательских групп [3; 4].
Принятые государственные программы повышения роли российской науки в международном сообществе предполагают разработку стратегических инициатив по использованию глобальных и национального индексов цитирования, подготовке научной периодики к требованиям международных стандартов,обучению заинтересованных специалистов в области информационно-
коммуникационныхтехнологий [5]. В частности, для российских авторов необходимо разработать методические рекомендации по подготовке и публикации результатов научной деятельности в высокорейтинговых международных научных журналах, входящих в информационно-аналитические системы Web of Science и Scopus, а также методические рекомендации для российских научных изданий по корректировке формата в соответствии с формальными критериями для включения журналов в систему Web of Science и Scopus. Новые требования сопряжены с разработкой информационной среды организации, технологий использования электронных информационных ресурсов в научно-образовательной среде, методики оценки результативности научной деятельности и мер ее стимулирования, с развитием компетенций специалистов в надпредметных и межпредметных областях знаний [6].
При разработке федеральной «дорожной карты» крупного медицинского вуза необходимо: обосновать приоритеты научного развития, учесть потребности на уровне государства, региона и отрасли, оценить потенциал и результаты научной и инновационной деятельности, их продвижение на рынке научных услуг, разработать механизмы воспроизводства научных кадров и рационального использования материально-технических ресурсов, наметить перспективы международного сотрудничества. Перечень критериев результативности деятельности медицинского вуза в рамках «дорожной карты» приведен ниже. При этом учету подлежат показатели результативности каждого работника, каждого структурного подразделения, института, вуза в целом.
Перечень критериев результативности деятельности медицинского вуза:
20
Высшее образование в России • № 10, 2014
■ Отношение средней заработной платы научных сотрудников к средней заработной плате в соответствующем регионе.
■ Удельный вес средств, полученных научной организацией из внебюджетных источников.
■ Число публикаций и цитирований организации, индексируемых в международных информационно-аналитических системах научного цитирования WOS и Scopus, в расчете на 100 исследователей.
■ Количество созданных результатов интеллектуальной деятельности в расчете на 100 исследователей, том числе:
- учтенных в государственных информационных системах, имеющих государственную регистрацию и (или) правовую охрану в РФ;
- имеющих правовую охрану за пределами РФ.
Публикационная активность является одним из индикаторов «дорожной карты» вхождения вузов в мировые рейтинги. Решение задачи повышения публикационной активности предусматривает комплекс мероприятий, направленных на разностороннюю поддержку научно-образовательной организации и ученых, а именно:
♦ обеспечение вуза лицензионной подпиской на полнотекстовые международные базы данных и системы Web of Science и Scopus;
♦ создание коллективного центра по обучению исследователей работе с международными и национальными индексами цитирования и по ознакомлению авторов с требованиями международных журналов;
♦ создание системы финансовой поддержки российских авторов научных статей, публикуемых в журналах, которые индексируются системами Web of Science и Scopus, при условии размещения статьи в открытом доступе;
♦ расширение сотрудничества научнопедагогических работников с зарубежны-
ми коллегами и повышение академической мобильности;
♦ привлечение ведущих зарубежных специалистов к руководству диссертациями и рецензированию публикаций,подготовленных кизданию в иностранных научных журналах.
Таким образом, предпосылками эффективного управления медицинским вузом становятся: повышение публикационной активности и цитируемости как главных критериев результативности научной деятельности; вхождение в международные рейтинги; внедрение системы компетенций и квалификаций уже сегодня и пакета профессиональных стандартов - завтра; интеграция онлай-новыхэлектронныхресурсов, используемых в образовательном и научном процессе; международная сертификация научной и образовательной деятельности.
В этой связи рассматривается следующая система административных мер [7]. Критерий «публикационная активность» внесен в перечни требований, предъявляемых к квалификации и аттестации научных и научно-педагогических кадров, а также к составу лиц, входящих в диссертационные советы. Кроме того, публикационная активность учитывается при лицензировании, аккредитации и оценке деятельности научных и образовательных учреждений. Показатели публикационной активности введены в качестве требования к лицам, привлекаемым к экспертизе при разработке и реализации государственных программ, федеральных целевых и ведомственных программ, при осуществлении иных форм государственной финансовой поддержки научно-образовательной деятельности. Данные показатели также введены в число критериев оценки квалификации коллективов, научно-педагогических работников, претендующих на государственную поддержку научно-образовательной деятельности и программ развития.
Для анализа публикационной активности и цитируемости авторов на уровне орга-
Практика модернизации образования
21
низации используются информационноаналитические системы библиометрической информации и знания экспертов.
Известно, что важной особенностью науки является постоянная оценка научных знаний с позиций их качества, важности, оригинальности, глубины, востребованности. Наука в вузе всегда была самодостаточной и пользовалась экспертной оценкой. При этом совокупность экспертных оценок является частью системы контроля репутации. С появлением библиометрических индикаторов экспертиза теряет свою доминирующую роль. Библиометрический подход к оценке результатов научного труда предполагает измерение с помощью ссылок и цитат. При этом ссылка какпризнательность по отношению к другому автору означает “взгляд назад”. Цитирование же как признательность авторов, получаемая от других авторов, означает “взгляд вперед”.
На качество экспертной оценки публикации влияет много факторов. К ним можно отнести следующие: процедура отбора экспертов; широта научного кругозора эксперта (способность к оценке публикаций в пределах тематической группы); процедура оценивания (как составлен опросный лист, сколько уровней оценки, как они описаны и т.д.); процедура статистической обработки результатов опроса; процедура интерпретации полученных результатов.
Основой библиометрического подхода является тезис, что обмен научной информацией путем публикации результатов исследований является движущей силой развития науки, при этом ссылки в публикациях можно рассматривать как средство научной коммуникации [8]. Принцип цитирования отражает связи между публикациями и цитированиями, а сам феномен цитирования является принципиально важной этической нормой в науке, общенаучным регулятором. Библиометрический подход по сути своей является экспертной оценкой работы, ведь количество опубликованных работ в рецензируемых журна-
лах - это экспертиза на уровне принятия статьи к публикации (от одного до трех экспертов), а количество полученных цитирований - это экспертиза коллег ученого, «голосующих» за данную работу путем ее цитирования в своих публикациях.
К факторам, влияющим на цитирование публикаций, следует отнести: тематическое направление исследований; самоцитирование и цитирование соавторами; число соавторов; разные типы публикаций; авторитетность ссылок и др. [9] Цитирование демонстрирует отклик на публикацию, воздействие результата исследования на научное сообщество, его полезность для других ученых. Сами по себе эти данные не измеряют качества публикации, поэтому их следует рассматривать как индикаторы, показывающие, что данная работа с той или иной степенью вероятности может оказаться весьма значимой. Ссылки показывают, что работа данного исследователя оказала влияние (impact) на других учёных, но неизвестно, положительно ли оно или отрицательно. Иногда высокая частота цитирования какой-то научной публикации может оказаться маркером инновации (новой идеи, метода, открытия).
На основе количества публикаций, ссылок и цитирований строятся индикаторы
[10] . В основе индикаторов лежит сочетание ссылок и цитирования, способ комбинирования которых определяет важные результирующие характеристики (импакт-фактор, индекс Хирша и др.), расширяющие возможности библиометрических оценок. Всесторонняя оценка эффективности деятельности ученого, научной группы, вузовского академического сообщества осуществляется на основе метрик индекса цитирования и позиционирования (табл. 1). Они сгруппированы на показатели продуктивности, наблюдаемые показатели воздействия и ожидаемые показатели воздействия
[11] . При этом продуктивность ученого определяется по ранжированию количества публикаций, авторитетность учено-
22
Высшее образование в России • № 10, 2014
Таблица 1
Показатели Значение
Показатели продуктивности в зависимости от числа публикаций в расчете на автора Производительность ученого
Наблюдаемые показатели воздействия: Авторитетность ученого
Количество цитат (суммарное, среднее цитирование, цитирование в год)
Среднее количество ссылок в 5-летнем окне цитирования, отнесенное на количество публикаций
Индекс Хирша - соединение цитат и публикаций
Доля высокоцитируемых и нецитируемых публикаций
Ожидаемые показатели воздействия, основанные на импакт-факторе журналов, в которых были опубликованы статьи Результативность ученого
го - по ранжированию числа суммарного цитирования, среднего цитирования на публикацию или цитирования в год, скорости цитирования, результативность ученого - по импакт-факторам журнала, в которых были опубликованы статьи.
Импакт-фактор (ИФ) был задуман как индикатор, обеспечивающий сравнение журналов по частоте их цитирования за все время и по периодам, суммарно и по областям знаний. Это объективный количественный показатель, оценивающий научный уровень журнала на основе цитирования опубликованных в нем статей. Классический двухлетний ИФ показывает, сколько в среднем за два последних года было сделано ссылок на одну статью, опубликованную конкретным журналом. С 2011 г. в РИНЦ рассчитывается пятилетний ИФ без самоцитирования.
Система метрик, основанных на подсчете числа публикаций, ссылок и цитат, продолжает развиваться. Цитирование журнала имеет вес в зависимости от престижа научного источника [9]. SJR (SCImago Journal Rank) - метрика престижа (Prestige metrics), используемая в базе данных Scopus. Эта метрика, помимо количественных взвешенных показателей цитирований по годам, учитывает и качественные показатели, такие как авторитетность ссылок. SNIP - нормализованный контекстуальный импакт цитирования (Contextual citation impact) - выравнивает различия в вероятности цитирования в предметных областях.
Учет уровня цитирований в каждой предметной области используется для сравнения публикаций в разных научных направлениях.
Индекс Хирша является нежурнальной метрикой. Это библиометрический композитный показатель, основанный на распределении цитирований работ. Он используется в качестве сравнительной количественной оценки научной продуктивности ученого, группы ученых, организации. При расчете индекса Хирша учитывается как количество, так и востребованность публикаций. Считается, что этот показатель дает аппроксимацию индивидуального профиля ученого и применяется для подтверждения статуса и рейтинга ученого. Недостатком h-индекса является зависимость от продолжительности научной карьеры ученого и области исследований, имеющей свои традиции цитирования.
Основу построения методики оценки публикационной активности сотрудников медицинского вуза за пятилетний период составляют следующие показатели.
Критерии публикационной активности медицинского вуза:
v Доля публикаций в журналах, с им-пакт-фактором РИНЦ не ниже 0,300. v Доля публикаций в топ-20 изданиях. v Количество цитирований на одного научно-педагогического работника.
v Взвешенное количество публикаций на одного научно-педагогического работника. v Индекс Хирша организации.
Практика модернизации образования
23
v Доля книг (монографий, учебников и др.).
v Количество докладов на одного научно-педагогического работника.
v Количество патентов на одного научно-педагогического работника.
v Количество грантов (государственных, негосударственных, международных) на одного научно-педагогического работника.
v Объем НИОКР на одного научнопедагогического работника.
Для повышения количества и качества публикаций используется комплекс административно-организационных мер (аффи-лиация сотрудников организации, планирование целевых показателей эффективности, аттестация сотрудников) и мер по стимулированию публикационной активности (доплаты, разовые премии, компенсации за публикации статей в зарубежных изданиях, индексируемых в Web of Science и Scopus). Подходы к стимулированию публикационной активности многообразны и зависят от специфики деятельности вуза. При этом комплексная оценка публикационной активности ученого осуществляется с учетом требований аттестационной комиссии к количеству и качеству публикаций в зависимости от статуса занимаемой должности ученого, аффилиации к организации. Это различные виды поощрений: за академическую работу по числу публикаций в российских высокорейтинговых журналах, за академические успехи и вклад в репутационную деятельность организации, за публикацию в зарубежных рецензируемых изданиях на иностранном языке. К другим видам академических надбавок относятся достижимые критерии по числу взвешенного количества публикаций на ИФ журналов (с учетом или без учета области знания), входящих в верхний квартиль «топовых» журналов. Некоторые системы академических надбавок предусматривают включение в перечень критериев не только количества публикаций в отечественных и
зарубежных изданиях, но и статей в сборниках трудов конференций, а также монографий, учебников, патентов и др. видов нежурнальной научной продукции, учитываемых аккредитационными требованиями. Размер надбавок зависит от размера научного фонда, формируемого из внебюджетных источников финансирования. При этом рекомендуется сочетать организационноадминистративные меры (техническая поддержка) и меры по стимулированию публикационной активности (хорошие статьи и хорошие журналы), что предполагает интеграционный эффект увеличения публикационной активности.
В заключение отметим, что ключевыми факторами успеха проведения организационно-административных мероприятий по повышению публикационной активности и рейтинга медицинского вуза являются компьютерная поддержка научных исследований и разработок, научных коммуникаций и получение сотрудниками новых надпро-фессиональных и межпрофессиональных компетенций. На уровне организации предполагается введение в действие эффективных аналитических онлайновых ресурсов РИНЦ и Science Index, Web of Science и Scopus, разработка аналитической системы оценки результативности и потенциала, проведение регулярного мониторинга научной активности и тенденций, проведение информационных и методических семинаров по обучению сотрудников работе с онлайновыми ресурсами. На уровне автора рекомендуется придерживаться следующей стратегии: отбор тематических журналов для публикаций по ИФ (персональная подборка журналов, ранжирование ИФ); использование стандартных процедур оформления пристатейной библиографии для конкретных изданий журналов; идентификация автора в наукометрической БД (персональная карточка исследователя, регистрационные коды, персональная пополняемая подборка публикаций и цитирований, отчет по цитированию).
24
Высшее образование в России • № 10, 2014
Литература
1. Ищук Т.Л. Дорожные карты российских
вузов как инструмент повышения их конкурентоспособности // Проблемы учета и финансов. 2013. № 3 (11). С. 53-55.
2. Кара-Мурза С.Г. Состояние и перспекти-
вы реформирования российской науки // Научный эксперт. 2013. № 5. С. 5-46.
3. Обзор ИС «Карта российской науки»: от
концепции до реализации. URL: http:// www.pvsm.ru/ razrabotka/ 50470
4. Поляков А.М. Карта российской науки.
Первые результаты // Первая Международная конференция НЭИКОН о российских и иностранных электронных ресурсах, публикациях и журналах. URL: http:// www.myshared.ru/ slide/469681/
5. Кириллова О.В. Редакционная подготовка
научных журналов по международным стандартам. Рекомендации эксперта БД Scopus. М., 2013. Ч. 1. 90 с.
6. Иванченко Д.А. Оптимизация построения
информационной системы управления
вузом: концептуальные подходы // Университетское управление: практика и анализ. 2011. № 2. С. 40-48.
7. Горохов В.Г. Проблема измерения продук-
тивности отдельных ученых и целых институтов // Управление большими системами. 2013. № 44. С. 190-209.
8. Писляков В.В. Методы оценки научного
знания по показателям цитирования // Социологический журнал. 2007. № 1. С. 128-140.
9. Москалева О.В. Использование наукомет-
рических показателей для оценки научной деятельности // Науковедческие исследования. 2009. № 3. С. 89-93.
10. Бедный Б.И., Сорокин Ю.М. О показателях научного цитирования и их применении // Высшее образование в России. 2012. № 3. С. 17-28.
11. Штовба С.Д., Штовба Е.В. Обзор наукометрических показателей для оценки публикационной деятельности ученого // Управление большими системами. 2013. № 44. С. 262-278.
Авторы:
НИКОЛЕНКО Владимир Николаевич - д-р мед. наук, профессор, проректор по научной и инновационной деятельности, Первый Московский государственный медицинский университет им. И. М. Сеченова, [email protected]
ВЯЛКОВ Анатолий Иванович - профессор, академик РАН, директор Института, НИИ общественного здоровья и управления здравоохранения, Первый Московский государственный медицинский университет им. И.М. Сеченова, [email protected]
МАРТЫНЧИК Светлана Александровна - д-р мед. наук, заместитель директора института, НИИ общественного здоровья и управления здравоохранения, Первый Московский государственный медицинский университет им. И.М. Сеченова, [email protected] ГЛУХОВА Екатерина Анатольевна - канд. мед. наук, старший преподаватель кафедры, Первый Московский государственный медицинский университет им. И.М. Сеченова, [email protected]
NIKOLENKO V.N., VYALKOV A.I, MARTYNCHIK S.A., GLUKHOVA E.A. APPROACHES TO ASSESSING THE EFFECTIVENESS AND WAYS TO ENCOURAGE THE PUBLICATION ACTIVITY IN THE LARGE MEDICAL SCHOOL
Abstract. The article deals with the topical problem associated with the evaluation methodology of publication activity and ways to stimulate the publication activity in a large medical school. There is investigated the development of the regulatory framework in relation to the structural modernization of the public sector science. We apply an integrated approach to performance evaluation based on expert evaluation of the importance of research and bibliometric analysis in the citation index. The article presents the structure and functionality of the publication activity indicators. A list of criteria for effectiveness of the medical school as a part of the «road map » is given. Methods of improving the publication activity and ways for its promotion at author’ and organization level are presented. The key factors for
Практика модернизации образования
25
successfulness of organizational and administrative measures to improve the publication activity and university rankings are computer support of R&D and scientific communication, acquisition of new above-professional and inter-professional skills and competences by researchers, implementation of effective analytical online resources, monitoring of research activities, special seminars for training researchers to operate online resources.
Keywords: citation indexes, performance targets for research and development, publication activity, bibliometric analysis, university “road map”, organizational and administrative measures
References
1. Ishchuk T.L. (2013) [Roadmaps of Russian schools as a tool to improve their competitiveness].
Problemy ucheta i finansov [Problems of accounting and finance]. No. 3 (11), pp. 53-55. (in Russ.)
2. Kara-Murza S.G. (2013) [Status and prospects of reforming of Russian science], Nauchnyy ekspert
[Scientific expert]. No. 5, pp. 5-46. (In Russ.)
3. Obzor IS «Karta rossiyskoy nauki»: ot kontseptsii do realizatsii [Overview IS «Map of Russian
science»: from conception to implementation]. Available at: http://www.pvsm.ru/razrabotka/ 50470 (in Russ.)
4. Polyakov A.M, Karta rossiyskoy nauki, Pervye rezul’taty [Map of Russian science. First results].
Pervaya Mezhdunarodnaya konferentsiya NEIKON o rossiyskikh i inostrannykh elektronnykh resursakh, publikatsiyakh i zhurnalakh [First International Conference on NEICON Russian and foreign electronic resources, publications and journals]. Available at: http://www.myshared.ru/ slide/469681/ (in Russ.)
5. Kirillova O.V. (2013) Redaktsionnaya podgotovka nauchnykh zhurnalov po mezhdunarodnym
standartam [Editorial preparation of scientific journals according to international standards. Recommendations of the database Scopus expert]. Vol. 1. Moscow: 90 p.
6. Ivanchenko D.A. (2011) [Optimization of construction of information system for higher school
management: conceptual approaches]. Universitetskoe upravlenie: praktika i analiz [University Management: Practice and Analysis]. No. 2, pp. 40-48. (in Russ.)
7. Gorokhov V.G. (2013) [Problem of measuring the productivity of individual scientists and whole
institutions]. Upravlenie bol’shimi sistemami [Managing large systems]. No. 44, pp. 190-209. (in Russ.)
8. Pislyakov V.V. (2007) [Methods of assessment of scientific knowledge in terms of citation].
Sotsiologicheskiy zhurnal [Journal of Sociology], No. 1, pp. 128-140. (in Russ.)
9. Moskaleva O.V. (2009) [Using scientometric indicators for evaluating scientific activity],
Naukovedcheskie issledovaniya [Science study], No. 3, pp. 89-93. (in Russ.)
10. Bednyy B.I., Sorokin Yu.M. (2012) [About Science Citation indicators and their application]. Vysshee obrazovanie v Rossii [Higher Education in Russia]. No. 3, pp. 17-28. (in Russ.)
11. Shtovba S.D., Shtovba E.V. (2013) [Overview ofscientometric indicators for evaluating the publication activities of a scientist]. Upravlenie bol’shimi sistemami [Managing large systems], No. 44, pp. 262278. (in Russ.)
Authors:
NIKOLENKO Vladimir N. - Dr. Sci. (Medicine), Prof., Vice Rector for Research and Innovation at the University, IM Sechenov Medical University First Moscow State Medical University, Moscow, Russia, [email protected]
VYALKOV Anatoliy I. - Prof., Academician, Director of the Institute, Institute of Public Health and Health Administration, IM Sechenov Medical University First Moscow State Medical University., Moscow, Russia, [email protected]
MARTYNCHIK Svetlana A. - Dr. Sci. (Medicine), deputy director of the Institute, Institute of Public Health and Health Administration, IM Sechenov Medical University First Moscow State Medical University, Moscow, Russia, [email protected]
GLUKHOVA Ekaterina A. - Cand. Sci. (Medicine), senior lecturer, IM Sechenov Medical University First Moscow State Medical University, Moscow, Russia, [email protected]
