CC BY
44
74
ВЛАСТЬ
2016'09
calculated based on the RSCI core and RSCI. Then the authors analyze the reasons of the fact that the h-index of many authors decreased. Among them, there are the following ones: changes in the base of publications, accepted for the calculation; changes in citation databases, which excludes the non-fiction as well as other non-scientific publications, abstracts of publications. In addition, the authors explain the differences in five h-indexes published in the RISC. They pay attention to new figures published on the article pages. It is information on quoting in various citation indexes and altmetrics. Keywords: Russian Science Citation Index, Web of Science, Web of Science RSCI, h-index, altmetrics
ПЕТРОВ Андрей Николаевич — кандидат химических наук, генеральный директор Дирекции научно-технических программ (123557, Россия, г. Москва, ул. Пресненский Вал, 19, стр. 1; petrov@fcntp.ru) РУТКОВСКАЯ Ирина Болеславовна — кандидат технических наук, начальник информационно-аналитического отдела Фонда информационного обеспечения науки (ФИОН) (123557, Россия, г. Москва, ул. Пресненский Вал, 19, стр. 1; rutkovskaya@fcntp.ru)
МУСАТОВ Александр Александрович — аналитик Фонда информационного обеспечения науки (ФИОН) (123557, Россия, г. Москва, ул. Пресненский Вал, 19, стр. 1; musatovalexander@yandex.ru)
ОЦЕНКА ЗНАЧИМОСТИ КВАЛИФИКАЦИОННЫХ ХАРАКТЕРИСТИК ЭКСПЕРТОВ ИСПОЛНИТЕЛЯМИ НАУЧНО-ТЕХНИЧЕСКИХ ПРОЕКТОВ
Аннотация. В статье представлены результаты опроса представителей научно-технологической сферы, которым было предложено оценить значимость характеристик квалификации экспертов для проведения экспертизы проектов, финансируемых в рамках федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 20142020 годы». Перечень оцениваемых характеристик был сформирован, исходя из существующих подходов к подбору экспертов для проведения экспертизы научно-технических проектов. Полученные результаты позволяют ранжировать квалификационные характеристики экспертов по уровню их значимости и могут быть использованы при подборе экспертов, привлекаемых к проведению независимой экспертизы проектов в рамках Программы.
Ключевые слова: проведение опроса, исполнители проектов, эксперты, квалификационные характеристики, значимость
Неотъемлемой составляющей механизма реализации федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 годы»1 (далее - Программа) является проведение независимой экспертизы, позволяющей осуществлять отбор наиболее перспективных проектов для финансирования и эффективную проверку качества результатов этих проектов. Ключевыми субъектами независимой экспертизы являются квалифицированные эксперты, привлекаемые для проведения оценки конкурсных заявок и качества результатов проектов на всех этапах их реализации. Для оценки уровня профессиональной квалификации эксперта чаще всего используют документарный метод, основанный на формализованных сведениях о специалистах, таких как наличие высшего образования, ученой степени и ученого звания, число публикаций, индекс цитирования, членство в профессиональных объединениях, должностное положение, перечень областей практической деятельности и стаж работы в каждой из них,
1 Федеральная целевая программа «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014—2020 годы». Официальный сайт. Доступ: http://fcpir. ги (проверено 01.07.2016).
область научных знаний и т.п. Уровень значимости и степень влияния каждой из этих характеристик на качество проводимых экспертиз можно определить двумя способами:
- посредством статистического анализа результатов экспертиз, проведенных экспертами с тем или иным набором характеристик;
- путем проведения опроса представителей экспертного сообщества для выявления их мнений относительно значимости каждой характеристики для обеспечения надлежащего качества экспертизы.
Поскольку практическая реализация первого из указанных способов требует, с одной стороны, наличия у эксперта значительного опыта проведения экспертиз и соответствующей информации о результатах их проведения, а с другой - связана с необходимостью проведения оценки качества этих экспертиз, установления влияния на него той или иной квалификационной характеристики эксперта и статистической обработки этой информации, что само по себе является весьма непростой задачей, чаще всего принято использовать второй способ, основанный на проведении опроса представителей экспертного сообщества с целью определения наиболее значимых характеристик квалификации экспертов, привлекаемых для проведения экспертизы.
С этой целью был проведен опрос представителей научно-технологической сферы в лице руководителей и ответственных исполнителей проектов, выполняемых в рамках Программы. Выбор респондентов был обусловлен следующими соображениями:
- при подготовке конкурсной заявки и отчетов по проектам, финансируемым в рамках Программы, исполнители неизбежно учитывают то обстоятельство, что подготовленные ими материалы будут оценивать независимые эксперты, и наделяют экспертов квалификационными характеристиками, которые, по их мнению, необходимы для проведения экспертизы;
- исполнители проекта сами являются экспертами в той области, которой этот проект соответствует, и имеют собственный взгляд на значимость тех или иных характеристик квалификации эксперта, оценивающего их проект;
- исполнители проектов зачастую обладают собственным опытом проведения научно-технической экспертизы, что позволяет считать их квалифицированными экспертами в этой области;
- как активные участники Программы, исполнители проектов хорошо знакомы с требованиями к этим проектам, что позволяет им адекватно оценить значимость характеристик квалификации экспертов, привлекаемых к проведению экспертизы.
Для проведения опроса была разработана анкета, в которой респондентам предлагалось оценить значимость характеристик квалификации экспертов, привлекаемых для проведения экспертизы. Перечень характеристик был сформирован, исходя из существующих подходов к подбору экспертов для проведения экспертизы научно-технических проектов1 [Дивуева 2014: 186; Плетнев, Лазаренко 2003: 88-107].
Опрос проводился в форме интернет-анкетирования с использованием специализированного веб-сайта opros.fcntp.ru. Всего в опросе приняли участие 530 респондентов, являющихся представителями научных организаций, учреждений высшего образования и производственных организаций, осуществляющих внедрение инновационных разработок.
В рамках опроса респондентам было предложено оценить по 10-балльной
1 Положение о порядке формирования Федерального реестра экспертов научно-технической сферы и организации работы экспертного сообщества. - Федеральный реестр экспертов научно-технической сферы. Официальный сайт. 01.11.2015. Доступ: https://reestr.extech.ru (проверено 01.07.2016).
76
ВлАсть
2016'09
шкале значимость перечисленных в анкете характеристик квалификации экспертов для проведения экспертизы двух видов проектов, выполняемых в рамках Программы:
1) проекты, предусматривающие выполнение прикладных научных исследований и экспериментальных разработок (далее - ПНИЭР);
2) проекты, предусматривающие выполнение работ, связанных с обеспечением функционирования сектора исследований и разработок (далее - ФСИР), включая развитие материально-технической и информационной инфраструктуры, системы демонстрации и популяризации достижений науки, системы коммуникаций научной общественности и т.п.
Исходя из специфики проектов, предусматривающих выполнение ПНИЭР, значимость некоторых характеристик квалификации экспертов было предложено оценить только применительно к проектам этого вида. К таким характеристикам были отнесены наличие у эксперта высокого индекса научного цитирования (индекс Хирша), опыта работы в организациях, осуществляющих внедрение результатов ПНИЭР, и опыта внедрения собственных результатов ПНИЭР. Значимость других характеристик квалификации экспертов респонденты оценивали применительно к проектам как первого, так и второго вида.
Предлагая респондентам оценить значимость характеристик квалификации экспертов отдельно для каждого вида проектов, авторы исходили из предположения, что для проведения экспертизы проектов первого вида (выполнение ПНИЭР) квалификационные характеристики, отражающие опыт работы эксперта в области научных исследований, могут оказаться более значимыми, чем для проведения экспертизы проектов второго вида (обеспечение ФСИР). В частности, предполагалось, что такие характеристики, как наличие у эксперта ученой степени, ученого звания, публикаций в предметной области объекта экспертизы и зарегистрированных прав на результаты интеллектуальной деятельности могут оказаться более значимыми для проведения экспертизы проектов, предусматривающих выполнение ПНИЭР, чем проектов, предусматривающих выполнение работ по обеспечению ФСИР. Однако результаты опроса, представленные в табл. 1, показывают, что респонденты в своих оценках практически не делали разницы между этими видами проектов? и лишь в некоторых случаях их оценки несколько различались.
Представленные в табл. 1 результаты показывают, что опыт работы в научно-технической сфере и наличие ученой степени, по мнению респондентов, являются относительно более значимыми для проведения экспертизы проектов первого вида (выполнение ПНИЭР) по сравнению с проектами второго вида (обеспечение ФСИР), тогда как оценки значимости других характеристик квалификации экспертов от вида проектов практически не зависят. Примечательно также, что около 80% респондентов считают наличие ученого звания и наличие премий и наград за выполнение работ в предметной области объекта экспертизы наименее значимыми для проведения экспертизы проектов как первого, так и второго вида. Это говорит о том, что большинство респондентов напрямую не связывает эти характеристики с опытом работы эксперта в научно-технической сфере, наличием публикаций, наличием опыта выполнения проектов и опыта руководства проектами, значимость которых была оценена более высоко.
Что касается характеристик, которые респондентам было предложено оценить только применительно к проектам первого вида (выполнение ПНИЭР), то результаты опроса показывают, что, по мнению большинства респондентов, значимость этих характеристик относительно невелика.
Таким образом, результаты проведенного опроса позволяют ранжировать характеристики квалификации экспертов по уровню их значимости и могут быть
Таблица 1
Распределение характеристик квалификации экспертов в порядке убывания их значимости, основанное на результатах опроса, %
Характеристики квалификации экспертов Доля респондентов, давших максимальные оценки значимости (от 7 до 10 баллов)
проекты 1-го вида проекты 2-го вида
Опыт работы в научно-технической сфере не менее 5 лет 91 82
Умение работать с современными источниками информации (поисковые системы, библиографические и патентные базы данных и т.п.) 87 88
Хороший уровень владения персональным компьютером и современными средствами коммуникации 84 88
Наличие опыта выполнения проектов в предметной области объекта экспертизы 77 74
Уровень владения английским языком, достаточный для работы с зарубежными источниками информации 72 75
Наличие публикаций в предметной области объекта экспертизы 70 69
Наличие ученой степени 71 57
Наличие опыта руководства проектами в предметной области объекта экспертизы 61 56
Наличие опыта внедрения собственных результатов ПНИЭР 49 -
Наличие предыдущего опыта проведения экспертизы аналогичных проектов 48 51
Наличие зарегистрированных прав на результаты интеллектуальной деятельности 42 40
Высокий индекс научного цитирования (индекс Хирша) 39 -
Наличие опыта работы в организациях, осуществляющих внедрение результатов ПНИЭР 36 -
Наличие ученого звания 24 21
Наличие премий и наград за выполнение работ в предметной области объекта экспертизы 21 16
использованы при подборе экспертов, привлекаемых к проведению независимой экспертизы проектов в рамках Программы.
Список литературы
Дивуева H.A. 2014. Особенности отбора экспертов в научно-технической сфере в процессе организации инновационной деятельности. - Наука и современность. № 31. С. 182-187.
Плетнев К.И., Лазаренко Н.Е. 2003. Экспертиза в научно-технической сфере: методология и организация. М.: Изд-во РАГС. 156 с.
78
ВЛАСТЬ
2 016'09
PETROV Andrei Nikolaevich, Cand.Sci.(Chem.), General Director of Directorate of State Scientific and Technical Programs (SSTP Directorate) (19, bld. 1 Presnensky Val St, Moscow, Russia, 123557;petrov@fcntp.ru)
RUTKOVSKAYA Irina Boleslavovna, Cand.Sci.(Tech.Sci.), Head of Information and Analytical Department, Foundation for Information Support of Science (FISS) (19, bld. 1 Presnensky Val St, Moscow, Russia, 123557; rutkovskaya@fcntp.ru) MUSATOV Aleksandr Aleksandrovich, Analyst, Foundation for Information Support of Science (FISS) (19, bld. 1 Presnensky Val St, Moscow, Russia, 123557; musatovalexander@yandex.ru)
ESTIMATION OF THE SIGNIFICANCE OF EXPERTS' QUALIFICATION CHARACTERISTICS BY THE EXECUTORS OF THE SCIENTIFIC AND TECHNICAL PROJECTS
Abstract. The article presents the results of the survey of scientific and technological sphere representatives, who were to to rate the significance of experts' qualification characteristics for the expertise of projects funded through the Federal target program «Researches and Developments in Priority Directions of Scientific and Technological Complex of Russia for 20142020». The list of evaluated characteristics was based on the existing approaches to the selection of experts for the expertise of scientific and technical projects. The obtained results allow ranking the qualification characteristics of experts by their significance and can be used in the selection of experts involved in independent expertise of projects within this program. Keywords: survey, projects executors, experts, qualification characteristics, significance
