ОЦЕНКА ПОТЕНЦИАЛА НАУЧНОЙ ДЕЯТЕЛЬНОСТИ НА ОСНОВЕ НАУКОМЕТРИЧЕСКИХ ПОКАЗАТЕЛЕЙ Текст научной статьи по специальности «СМИ (медиа) и массовые коммуникации»

Компьютерные инструменты в образовании, 2020 № 3: 70-85 УДК: 004.822 http://cte.eltech.ru

doi:10.32603/2071-2340-2020-3-70-85

ОЦЕНКА ПОТЕНЦИАЛА НАУЧНОЙ ДЕЯТЕЛЬНОСТИ НА ОСНОВЕ НАУКОМЕТРИЧЕСКИХ ПОКАЗАТЕЛЕЙ

Маркина Г. Л.1, начальник отдела, markina@itmo.ru Шлей М. Д.1, кандидат технических наук, mikhail.shlei@itmo.ru Кузнецова О. В.1, кандидат технических наук, ovkuznetcova@itmo.ru Стафеев С. К.1, доктор технических наук, stafeev@itmo.ru Маркина Т. А.1, кандидат технических наук, доцент, markina_t@itmo.ru

1 Санкт-Петербургский национальный исследовательский университет ИТМО, Кронверкский пр., 49, лит. А,

197101, Санкт-Петербург, Россия

Аннотация

Настоящая статья посвящена вопросам оценки научной деятельности коллективов исполнителей при подаче заявок в научные фонды. Цель исследования заключается в разработке новых подходов в применении наукометрических показателей для получения оценки научного потенциала коллективов университета при подаче заявок на конкурсы в научные фонды. Методологические основы исследования: системный подход (рассматривает науку как социальный институт в неразрывной связи с обществом в целом), метасистемный подход (рассматривает результаты научной деятельности как метасистему, то есть систему с относительно независимыми компонентами), вероятностно-статистический подход (рассматривает исследовательскую деятельность как вероятностный процесс), квалиметрический подход (рассматривает продуктивность научной деятельности как латентную переменную, отражаемую множеством критериев). Как результат авторами предложены: информационная модель взаимосвязи требований, предъявляемых к научному проекту со стороны заказчика, и уровня соответствия научного потенциала коллектива исполнителей и методика оценки научного потенциала коллектива исполнителей при подаче заявки на конкурс. Информационная модель лежит в основе разработанной информационной системы поддержки проектной деятельности Университета ИТМО, служащей для улучшения процесса и повышения эффективности подготовки проектов заявок, подаваемых от университета. Предложенная методика реализована с применением наукометрических показателей, посредством программных алгоритмов для автоматизированной оценки научного потенциала. В ходе экспериментального исследования авторами было показано, что предложенные подходы коррелируют с результативностью участия в конкурсах. Предложенные решения успешно интегрированы в систему управления Университета ИТМО.

Ключевые слова: научная деятельность, наукометрические показатели, научный потенциал, информационная модель, методика.

Цитирование: Маркина Г. Л., Шлей М. Д., Кузнецова О. В., Стафеев С. К., Маркина Т. А. Оценка потенциала научной деятельности на основе наукометрических показателей // Компьютерные инструменты в образовании. 2020. № 3. С. 70-85. doi:10.32603/2071-2340-2020-3-70-85

информационные

СИСТЕМЫ

1. ВВЕДЕНИЕ

Вопросам повышения эффективности научной деятельности сегодня уделяется большое внимание, используются различные способы оценки этой деятельности, которые должны ранжировать работу отдельных научных организаций, вузов, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы. Одним из таких способов является наукометрическая оценка основных результатов научной деятельности. Такая оценка проводится на основе анализа и сопоставления определенных наукометрических показателей (далее НМП), а также материалов, представленных экспертами. Министерством науки и высшего образования Российской Федерации соответствующими нормативными документами утвержден состав сведений о результатах деятельности научных организаций и университетов [1]. В него входят такие НМП, как: число публикаций организации, индексируемых в базе «Российского индекса научного цитирования» (РИНЦ) и международных информационно-аналитических системах научного цитирования «Сеть науки» (Web of Science), «Скопус» (Scopus), количество созданных и оформленных результатов интеллектуальной деятельности (РИД), число статей, подготовленных совместно с зарубежными организациями, число научных конференций с международным участием и т. д. Также НМП используются при экспертной оценке для различных конкурсных процедур с целью выявления кадрового и ресурсного потенциала организации или необходимого набора компетенций научного коллектива.

Для проведения экспертной оценки проекта, как правило, применяется классификация проектов по областям знаний. Например, в работе [2] авторы использовали корреляционный анализ для исследования девяти НМП, которые были рассчитаны для соискателей PhD позиций в международном фонде Boehringer Ingelheim Founds (www.biofonds.de), проводящем фундаментальные исследования в биомедицине. Оценивались, в том числе, показатели цитируемости статей, и по результатам этого исследования показатели были разбиты на две группы: оценивающие количество активно цитируемых статей и влияние активно цитируемых статей [2]. Полученные результаты указывают на то, что НМП могут быть использованы как для ранжирования заявок, так и для установления пороговых уровней для отсечения слабых заявок. Данное утверждение справедливо только для проведения конкретного конкурса, в котором участвуют молодые ученые с примерно одинаковым научным стажем. При проведении конкурсов с более сложным распределением участников по стажу научной работы такие оценки могут быть некорректными [3].

Аналогичные исследования с наукометрическими показателями для различных конкурсов были проведены в астрономии, химии и математике [4-6]. Их результаты указывают на то, что использование совокупности показателей позволяет получить адекватную картину при условии использования представленных выборок, где рассчитывается «средний» результат по каждому показателю. Другой показатель основан на использовании индивидуальных параметров, таких как ^-индекс ученого. Вопрос состоит в том, что можно ли сравнивать индивидуальные рейтинги ученых различных научных областей между собой? Вариант ответа на этот вопрос можно найти в работе [7], где на примере анализа, относящегося к Бразилиии, было предложено поделить h-индекс на общее число авторов в рассматриваемых работах. Данные для сравнения брались из базы данных журнала Science Thomson ISI Web, причем рассматривались только научные исследования в физике, химии, биологии и математике. В этом случае работы исследователя, написанные совместно с соавтором, получат меньший удельный индекс цитирования, чем те, когда исследователь работал один. Сильные различия в функциональной форме между учеными физиками и математиками сглаживаются соответствующим масштабированием. Такой универсальный режим позволил проводить сопоставления между различными областями.

Также НМП были использованы авторами статьи [8] при разработке специализированных инструментов для оценки команды исполнителей научно-технологического проекта на основе сведений, содержащихся в документации проекта. Предложенные инструменты разработаны в рамках методологии оценки готовности инновационного научно-технологического проекта и позволяют оценить риски недостижения результатов проекта, связанные с различными характеристиками команды проекта, а также сформулировать рекомендации по развитию проектной команды, направленные на их снижение. Инструменты были апробированы для проектов федеральной целевой программы «Исследования и разработки по приоритетным направлениям научно-технологического комплекса России на 2014-2020 годы». Полученные результаты показали возможность применения НМП для оценки команды исполнителей.

В работе [9] НМП были применены авторами для исследования публикационной активности профессорско-преподавательского состава вуза. Представленные результаты сравнительного анализа двух основных наукометрических показателей — индекса Хирша в системе РИНЦ и числа публикаций, индексируемых в Scopus и Web of Science, позволили выявить группы преподавателей, оказывающих максимальное влияние на значения этих показателей, к чему должны стремиться и другие сотрудники. С практической точки зрения, представленные результаты могут быть полезны администрации вуза для оценки текущего состояния научной деятельности как по конкретному преподавателю, так и по организации в целом. Они позволяют принять научно-обоснованные управленческие решения по индивидуальным траекториям развития сотрудников, инструментам мотивирования сотрудников, построению системы финансового стимулирования ППС, а также по кадровым вопросам текущего состава и приему новых сотрудников.

В статье [10] авторами рассмотрены следующие методы наукометрического анализа: распределение публикаций по времени, анализ по типу документа, анализ страны или региона публикации, анализ языка, анализ ключевых слов, анализ вклада автора, анализ цитируемости статей, авторов и журналов. Исследование показало, что оценка исследовательской области по указанным показателям позволяет выявить основные тенденции развития этой области.

В работе [11] авторами показано, что в Институте катализа им. Г. К. Борескова наиболее важными показателями для оценки уровня сотрудников считают следующие НМП: количество публикаций, индекс цитируемости, уровень аффилированных авторов и организаций, количество патентов.

В статье [12] авторами были рассмотрены наукометрические законы Лотки, Бреджъ-форда и Ципфа для обоснования предоставления финансовой поддержки исследований и разработок. Исследования показали, что количество и качество публикаций напрямую связаны с их финансированием.

В статье [13] авторы описывают историю наукометрии и становление наукоемких показателей в нашей стране. Результаты исследования показали, что общее количество публикаций, как один из важных НМП, всегда считалось основным показателем успеха проекта.

Целью настоящей работы является разработка новых подходов в применении НМП для получения оценки научного потенциала коллективов университета при подаче заявок на конкурсы в различные научные фонды. Авторами предложены: информационная модель взаимосвязи требований, предъявляемых к научному проекту со стороны заказчика, и уровня соответствия научного потенциала коллектива исполнителей и методика оценки научного потенциала коллектива исполнителей при подаче заявки на конкурс. Информационная модель лежит в основе разработанной информационной системы поддержки проектной деятельности (СППД) Университета ИТМО [14], служащей для улуч-

шения процесса и повышения эффективности подготовки проектов заявок, подаваемых от университета. Предложенная методика реализована с применением НМП, посредством программных алгоритмов для автоматизированной оценки научного потенциала в информационной СППД Университета ИТМО.

2. ИНФОРМАЦИОННАЯ МОДЕЛЬ ОЦЕНКИ НАУЧНОГО ПОТЕНЦИАЛА

Любой научный проект (НП) — это набор вероятностных процессов, основанных на теоретических и практических исследованиях и направленных на получение нового научного результата, нового продукта. Главная особенность НП состоит в его уникальности: не должно существовать двух одинаковых научных проектов. Даже если выполняются какие-то типовые расчеты, все равно будет различие по стоимости, временным затратам, заказчикам, по количественным и качественным характеристикам, техническому заданию и т. д.

В целях повышения качества подаваемых на различные конкурсы заявок от Университета ИТМО было сформировано подразделение — отдел информационного сопровождения открытых конкурсов для государственных и муниципальных нужд (отдел ИСОК), которое отвечает за процесс мониторинга заявок по формальным признакам и повышение качества подаваемых от вуза заявок [15]. Одним из важных этапов взаимодействия заказчика и исполнителя является подготовка научного проекта для участия в конкурсе. От того, как подготовлена заявка на участие в конкурсе, перейдет ли эта заявка в проект или нет, зависит получение финансирования для этого проекта.

Поэтому для улучшения процесса и повышения эффективности подготовки проектов возникла необходимость в создании информационной СППД Университета ИТМО. Требования к исполнителю у заказчиков разные, но можно выделить общие, такие как квалификация, опыт проведенных работ в данной области, репутация организации и ее отдельных коллективов. На рис. 1 представлена информационная модель оценки научного потенциала коллектива исполнителей, лежащая в основе информационной СППД Университета ИТМО. Центральным элементом модели является СППД, состоящая из двух основных компонентов: онтологии, описывающей отношения в рамках проектной деятельности, и математических методов расчета параметров, описанных в предложенной методике.

Заказчику необходимо выяснить, какими ресурсами обладает организация, способна ли она успешно выполнить НП: каков кадровый потенциал организации, материально-техническая база с акцентом на специальное оборудование, имеются ли особые условия проведения экспериментов, в том числе нетиповое оборудование и методы исследования. Поэтому заказчику при принятии решения особенно важно понимать, может ли организация выполнить необходимые научно-исследовательские работы по проекту с имеющимся у него ресурсным обеспечением или нет. Для этого исполнитель должен предоставить проект, который максимально раскрывает потенциал организации — исполнителя. Поэтому уже на этапе подготовки НП коллектив исполнителей должен обладать необходимым набором компетенций, который будет удовлетворять требованиям заказчика. Чем большими необходимыми компетенциями обладает коллектив исполнителей, тем выше балл, который поставит комиссия при оценке проекта и тем больше шансов получить финансирование по проекту.

Информационная СППД Университета ИТМО позволяет автоматизировать процесс анализа данных заявки, предлагая пользователю рекомендации по улучшению проекта,

то есть формируя необходимые предложения. Для наполнения информационной СППД используются знания экспертов [16]. Фактически она исполняет роль интерфейса между показателями компетенций конкретного коллектива исполнителей и спецификой выставленных заказчиком требований через конкурсную документацию.

• Без опасн ость н противодеёстене терроризму

• Индустрия наноснстем

• Информадноино-телекоммуникац. системы

• Науки о жнзнн

• Перспективные виды вооружения, военной и специальной техники

• Рациональное прнродопольз ов айне

• Транспортные н космические системы

• Энергоэффектнвность, энергосбережение, ядерная энергетика

Приоритетные направления

■ Актуальность проекта

■ Обоснованность достижения результатов проекта

■ Целостность совместного проекта Е разках международного сотрудннчеств а

■ Научно-технических задел коллектива исполнителей проекта

■ Перспективы коммерциализации результатов проекта

Качество научного проекта

коллектива

исполнителей

проекта

■ Научные достижения участников коллектива исполнителен проекта

■ Опыт работы коллектива исполнителен проекта

Квалификации, опыт работы и научные достижения коллектива исполнителей

• Снижение

запрашиваемо го размера субсидии

• Соответствие запрашиваемо го размера субсидии планируемым работам

• Софии аи сиров ание проекта

Финансовое обеспечение проекта

Внешние требования к

научному проекту

' | ' —

СППД

• Со стороны органОЕ

государ сте енной власти

• Со стороны профильной государ ств енной корпорации

• Со стороны техн ологическнх платформ

Поддержка проекта

Показатели коллектива исполнит ел ем

Квалификация

коллектива

• Ученые степени н звания

• Почетные звания, награды, медали н премии

• Участие в работе редакцн онных коллегий и научно-

консультатнвных советов

рецензируемых научных изданий

Научные достижения

| Количество научных публикаций ' Цнтнруемость научных публикаций ' Соответствие научных результатов мировому уровню | Уровень научных публикаций и изданий | Количество н уровень РИД

т

Опыт раБогы

I Руководство и или участие членов коллектива в реализации научно-техннческнх проектов [НИР, ОКР, OTP) | Наличие у руководителя опыта по созданию научного коллектива мирового уровня ■ Наличие подготовленных руководителем проекта доктороЕ и кандидатов наук

Ресурсы

• Уникальное

■ Оборудование ЦКП, НОЦ

Соисполнители Кадровый состав

• Российские организации

• Иностранные организации

■ Доля молодых ученых до 39 лег

1 Ведущ. ученый с индексом Хнрша

| Доля членов научного коллектива в возрасте до 39 лет

■ Доля научных сотрудников

Рис. 1. Информационная модель оценки научного потенциала

3. МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ ПОТЕНЦИАЛА НАУЧНОЙ ДЕЯТЕЛЬНОСТИ

В процессе подачи заявки на конкурс важно правильно описать содержательную часть проекта и соблюсти соответствие необходимым формальным признакам. На рис. 2 представлены группы показателей, определяющих формальную составляющую проекта. В верхней части рисунка представлены требования к коллективу исполнителей со

стороны заказчика, а в нижней части приведены параметры для сбора данных, по которым можно дать оценку степени соответствия исполнителя требованиям со стороны заказчика. Наиболее важные требования предъявляются заказчиком к квалификации и научным достижениям коллектива исполнителей [17]. Данные требования отражаются заказчиком в конкурсной документации. Для оценки квалификации коллектива исполнителей предложена методика оценки квалификации состава исполнителей на основе наукометрических показателей.

Рис. 2. Группы показателей, определяющих формальную составляющую проекта

Оценка квалификации коллектива исполнителей Р) определяется следующим обра-

зом :

Р = ¥ (Р) + ¥ (Я) + ¥ (К),

где ¥ (Р) — оценка публикационной активности коллектива, ¥ (Я) — оценка РИД коллектива, ¥ (К) — оценка состава коллектива.

1. Оценка публикационной активности коллектива исполнителей

Пусть коллектив состоит из N участников, тогда количество публикаций г -го участника коллектива равно:

N N

p = uPi, \p\ = l\pi\-i= 1 i= 1

где P — множество публикаций участников коллектива, Pi — множество публикаций i -го участника коллектива.

Pi = {Psct , Pwst , Pvk¡ 1» Pi = Psct U Pwsi U Pvki -

где PsCt, Pwst, Pvkt — это элементы множества Pi, множество публикаций i-го участника, индексируемые в базах данных Scopus, Web of Science, журналах из перечня ВАК соответственно.

Так как одна публикация i-го участника коллектива может быть опубликована в журнале, который включен как в перечень ВАК, так и в базу данных Web of Science или Scopus и т. д., то

\Pi^iPsct \ + \PwSl \ + \Pvkt i,

где \PsCt \, \Pws¡ i, \Pvk¡ i — количество публикации i-го участника индексируемые в базах данных Scopus, Web of Science и журналах из перечня ВАК соответственно.

Если два или более участников коллектива являются соавторами в одной публикации, то такая публикация должна учитываться один раз. Тогда множество публикаций участников коллектива не должно включать в себя множество повторяющихся публикаций участников коллектива. В данном случае будем использовать оператор объединения множеств:

NN

P = u Pi = U P SCt U r ws¡ U Pvkt -i=1 i=1

При подсчете мощности множества P с учетом пересечений используется формула включения-исключения:

N N N

\P l = ElPi i- Е \Pi nPj\+ E \Pi nPj nPk\-... + (-1)N\Pl nP2 П... П pn -1 nPN i, (1) i=1 i, j=1,i < j i, j ,k=1,i < j <k

где j — номер участника коллектива, у которого есть публикация в соавторстве, k — количество участников коллектива которые являются соавторами.

P = {psct Pwst Pvk} -

Также в ходе анализа документаций различных конкурсов и указанных требований к исполнителям, в частности требований к публикационной активности коллектива исполнителей, были предложены положительные весовые коэффициенты (критерии значимости) оценки публикаций.

lsc = 0,1, lws = 0,2, lvk = 0,01,

где lsc — весовой коэффициент оценки публикаций в базе данных Scopus, lws — весовой коэффициент оценки публикаций в базе данных Web of Science, lvk — весовой коэффициент оценки публикаций в журналах из перечня ВАК.

В настоящее время наибольшую значимость приобретают индикаторы проекта, в которых требуется указывать число публикаций по результатам исследований и разработок в научных журналах, индексируемых в базах данных Scopus или Web of Science. Данные публикации в научных журналах, индексируемых в базах данных Scopus или Web of

Science, ценятся намного больше, чем публикации в журналах из перечня ВАК, поэтому и весовые коэффициенты публикаций, входящих в базу данных Scopus или Web of Science, намного выше, чем публикаций в журналах из перечня ВАК. Большое значение имеет и научный уровень журнала (квартиль журнала), в котором опубликована конкретная статья. Квартиль — это категория научных журналов, определяемая библиометриче-скими показателями, отражающими уровень цитируемости, то есть востребованности журнала научным сообществом. В результате ранжирования каждый журнал попадает в один из четырёх квартилей: от Q1 (самого высокого) до Q4 (самого низкого). Наиболее авторитетные журналы принадлежат, как правило, к первым двум квартилям — Q1 и Q2.

Для определения квартиля журнала используются следующие показатели: импакт-фактор Journal Citation Reports (JCR) — для базы данных Web of Science, индексирующей около 12500 журналов, и SCIMago Journal Rank (SJR) — для базы данных Scopus, индексирующей около 21000 журналов, в том числе подавляющее большинство журналов, индексируемых Web of Science. Все журналы в Web of Science и Scopus приписаны к тематическим категориям (научным областям). В Web of Science их около 250, в Scopus — около 350, при этом классификаторы баз по некоторым позициям не совпадают. Журналы в пределах одной тематической категории ранжируются по величине импакт-фактора или SJR, в результате чего попадают в тот или иной квартиль. И в той и в другой базе один журнал может быть приписан одновременно к нескольким тематическим категориям. В обеих базах возможна ситуация, когда журнал с несовпадающими значениями импакт-фактора JCR или SJR в разных тематических категориях попадает в разные квартили по разным категориям. Следует заменить, что значения импакт-фактора JCR и SJR для журналов, индексируемых в базах данных Web of Science и Scopus, меняются ежегодно. Таким образом, система квартилей позволяет наиболее объективно оценить качество -уровень журнала вне зависимости от предметной области.

Например, российский научный фонд (РНФ) в случае представления коллективом исполнителей публикации в изданиях, индексируемых в базе данных Web of Science или Scopus, входящих в первый квартиль (Q1) по импакт-фактору JCR или SJR учитывает такую статью как две публикации [18].

Поэтому, для того чтобы учитывать квартиль журнала в базах данных Web of Science и Scopus, авторами работы предложено ввести поправочные весовые коэффициенты, равные значению импакт-фактора JCR и SJR соответственно:

где к — номер года.

Также предлагается ввести поправочные коэффициенты, учитывающие к какому квартилю относится журнал, в котором опубликована конкретная статья.

где ql — весовой коэффициент для журналов первого квартиля, д2 — весовой коэффициент для журналов второго квартиля, q3 — весовой коэффициент для журналов третьего квартиля, — весовой коэффициент для журналов четвертого квартиля.

Таким образом, оценка публикационной активности всего коллектива равна:

QjCRk = JCRk, QsjRk = SJRk,

q1 = 3, q2 = 1, q3 = 0,5, qA = 0,1,

\Psc \

\Pws \

f(p) = n ■ [lscx L QjcRki x qni + lws x Ё QjcRkjx qn¡ + hkx

где — весовой коэффициент для журналов определенного квартиля, а п — номер квартиля, п = 1.. .4.

Данная оценка характеризует публикационную активность коллектива в целом и зависит от того, сколько у каждого участника публикаций, индексируемых в различных базах данных, также учитывается и наличие повторяющихся публикаций у участников коллектива.

2. Оценка результатов интеллектуальной деятельности (РИД) коллектива исполнителей

Пусть коллектив состоит из N участников, тогда общее количество РИД участников коллектива равно:

N N

я = и Ъ, Я | = еЯ1,

г=1 г=1

где Я — множество РИД у участников коллектива, Яi — множество РИД у г -го участника коллектива, г = 1...М

К результатам интеллектуальной деятельности, согласно ГОСТ Р 58386-2012, относятся программы для ЭВМ и базы данных, изобретения, полезные модели, промышленные образцы, секреты производства (ноу-хау), топологии интегральных микросхем, товарные знаки, научные открытия.

Наиболее распространенными РИД на базе Университета ИТМО являются:

— изобретения — множество Яи;

— полезная модель — множество Япм;

— промышленный образец — множество Япо;

— программа для ЭВМ, базы данных — Яэвм.

Таким образом, множество РИД г-го участника коллектива (Я;) будет определяться следующим образом:

Яг = {Яиг, Япмг, Япог, Яэвмг}, N

|Яг | = Е(|Яш | + |Япмг 1 + |Я пог| + |Яэвмг 0, г=1

где г — индекс участника коллектива (г = 1...А0.

Поскольку два или более участников коллектива могут быть соавторами РИД, то данный РИД должен учитываться один раз. В данном случае будем использовать оператор объединения множеств:

N N

Я = и Я{ = и Яи; и Япмг и Япог и Яэвмг • г=1 г=1

Для определения мощности множества используется формула включения и исключения, аналогичная (1):

NN N

Я| = Е|Я;|- Е |Я;пЯу|+ Е |Я;пЯупЯк|-••• + (-1)NЯпЯ2n•••nЯN-lnЯN|, (2) ;=1 ;, у=1,г < у ;, ] ,к=1,; < ] <к

где ] — номер участника коллектива, у которого есть РИД в соавторстве, к — количество участников коллектива, которые являются соавторами.

Я = {Яю Япм, Япо, Яэвм},

где Я — множество РИД участников коллектива, Яи — множество изобретений участников коллектива, Япм — множество полезных моделей участников коллектива, Япо — множество промышленных образцов участников коллектива, Яэвм — множество программа для ЭВМ и баз данных участников коллектива.

Также для оценки значимости РИД были предложены следующие весовые коэффициенты (критерии значимости):

1и = 2, 1пм = 1, 1по = 2, 1эвм = 1,

где 1и — весовой коэффициент оценки изобретений, 1пм — весовой коэффициент оценки полезных моделей, 1по — весовой коэффициент оценки промышленных образцов, 1эвм — весовой коэффициент оценки программ для ЭВМ и баз данных.

Выбор значений весовых коэффициентов обоснован затрачиваемой трудоемкостью оформления необходимых материалов для получения свидетельства о государственной регистрации РИД, а также сроков действия исключительных прав, требованиями к объекту патентного права. Например, изобретению предоставляется правовая охрана, если оно является новым, имеет изобретательский уровень и промышленно применимо. Полезной модели предоставляется правовая охрана, если она является новой и промышленно применимой. Промышленному образцу предоставляется правовая охрана, если по своим существенным признакам он является новым и оригинальным. Кроме того, при получении патента проводится экспертиза заявки. К экспертизам заявок на изобретение, полезной модели, промышленному образцу, в соответствии с законодательством РФ, предъявляются различные требования [19]. Кроме патентов, к РИД относятся также государственные регистрационные свидетельства на программы и базы данных, а также ноу-хау (этот РИД регистрируется самой организацией). Но статус этих видов РИД сейчас сильно девальвирован в связи с массовой регистрацией интеллектуальной продукции. Эти типы РИД котируются существенно ниже патентов, так как при государственной регистрации программы для ЭВМ или базы данных получить регистрационные свидетельства можно быстрее и при их получении не проводится экспертиза заявок.

Таким образом, оценка РИД рассматриваемого коллектива рассчитывается следующим образом:

Я = {Яю Япм, Япо, Яэвм}, р(Я) = N ' (1 и ■ |Яи| + 1пм ■ |Япм| + 1по ■ |Япо| + 1эвм ■ |Яэвм|).

Предложенная оценка характеризует деятельность коллектива в получении РИД, имеющих правовую охрану, что влияет на оценку квалификации коллектива в целом и зависит от того, насколько у каждого участника коллектива исполнителей много РИД. При оценке также были и учтены повторяющиеся РИД.

3. Оценка состава коллектива исполнителей

Пусть коллектив состоит из N участников, тогда общее количество участников коллектива исполнителей равно:

N

К| = Е (|*дн; | + |Ккнг | + Китрг |), г=1

где К — множество участников коллектива, ; — индекс участника коллектива (г = 1„.М), Кдн; — множество докторов наук в составе коллектива исполнителей, Ккн; — множество

кандидатов наук в составе коллектива исполнителей, Китрг- — множество инженерно-технических работников в составе коллектива исполнителей.

Для оценки значимости членов научного коллектива исполнителей были предложены следующие весовые коэффициенты (критерии значимости):

1дн + 1кн + 1итр = 1» 1дн = 2, 1кн = 1» 1итр = 0» 75,

где 1дн — весовой коэффициент оценки количества докторов наук, 1кн — весовой коэффициент оценки количества кандидатов наук, 1итр — весовой коэффициент оценки количества инженерно-технического персонала.

При выборе значений весовых коэффициентов учитывались требования к получению ученых степеней. Согласно утвержденному положению Правительства РФ о присуждении ученых степеней, введены две ученые степени: кандидат наук и доктор наук [20]. Требования, предъявляемые к диссертации доктора наук выше, чем к диссертации кандидата наук. Диссертация на соискание ученой степени доктора наук — это научно-квалификационная работа, в которой на основании выполненных автором исследований разработаны теоретические положения, совокупность которых можно квалифицировать как научное достижение, либо решена научная проблема, имеющая важное политическое, социально-экономическое, культурное или хозяйственное значение, либо изложены новые научно обоснованные технические, технологические или иные решения, внедрение которых вносит значительный вклад в развитие страны. Диссертация на соискание ученой степени кандидата — это научно-квалификационная работа, в которой содержится решение научной задачи, имеющей значение для развития соответствующей отрасли знаний, либо изложены новые научно обоснованные технические, технологические или иные решения и разработки, имеющие существенное значение для развития страны. Поэтому степень доктора наук ценится выше, чем степень кандидата наук.

Таким образом, определим оценку состава коллектива исполнителей следующим образом:

1 N

Р(К) = N 'X (1дн ' |Кднг1 + 1кн ■ |Ккнг1 + 1итр ' |Китрг 0 • ^ г=1

Данная оценка характеризует состав коллектива исполнителей в целом и зависит от количества в коллективе докторов и кандидатов наук, а также инженерно-технических работников.

4. АПРОБАЦИЯ РЕЗУЛЬТАТОВ

Для проверки предложенного метода оценки квалификации коллектива был проведен эксперимент на примере порядка 900 заявок, по которым известны результаты конкурсов. В рамках эксперимента для каждой заявки была определена оценка квалификации коллектива ((.

Для определения взаимосвязи между оценкой коллектива и полученным результатом был рассчитан коэффициент корреляции Пирсона по данным характеристикам. Был проведен отдельный расчет оценки по всем заявкам и отдельно для заявок в рамках конкурсов мероприятий Федеральной целевой программы исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 годы (ФЦП), РНФ и Минобрнауки РФ. Полученные результаты приведены в следующей таблице 1. Также были определены средние значения оценок для поддержанных и неподдержанных заявок.

Таблица 1. Данные по взаимосвязи между оценкой научного потенциала коллектива исполнителей и результатом поддержки проекта

Коэффициент корреляции между оценкой квалификации коллектива исполнителей (О) и результатом заявки Среднее значение оценки состава исполнителей Б (К) Среднее значение оценки состава исполнителей Б (К) поддержанных заявок Среднее значение оценки состава исполнителей Б (К) не поддержанных заявок

Все заявки 0,195369 15,13419 19,78459 13,58177

Минобрнауки РФ 0,243632 10,73903 18,14894 9,719321

РНФ 0,184052 15,36734 20,32661 14,12477

ФЦП 0,104274 16,91279 19,07838 15,90061

Наиболее высокую связь предложенная оценка квалификации коллектива с результатами заявки можно наблюдать на примере конкурсов Министерства науки и высшего образования РФ. Также видно, что среднее значение оценки у поддержанных заявок выше, чем не у поддержанных. На рис. 3 представлена нормированная диаграмма распределения оценок по поддержанным и неподдержанным заявкам. Данная диаграмма показывает, что в среднем у поддержанных заявок оценка квалификации исполнителей выше, чем у неподдержанных.

Результат заявки Нормированная диаграмма распределения оценок

90% Я0% 70% 60% £0% 40% 30% 20% 10% 0%

■ Не поддержанные заявки ■ Поддержанные ааявни

<3

0 5 15 25 35 45 55 Б5 75 Я5 9 5 105

Рис. 3. Нормированная диаграмма распределения оценок по поддержанным и неподдержанным заявкам

5. ЗАКЛЮЧЕНИЕ

Применение НМП для оценки потенциала научной деятельности коллективов при подаче заявок на конкурсы, в различные научные фонды является рациональным способом оценки и может использоваться как для ранжирования заявок, так и для установления пороговых уровней для отсечения слабых заявок, подаваемых от вуза. Результаты оценки потенциала научной деятельности коллективов, полученные посредством предложенной методики оценки квалификации состава исполнителей, позволяют делать прогноз относительно рейтинга коллектива исполнителей на этапе подготовки научных проектов. Важно подчеркнуть, что предложенная методика обладает существенной универсальностью, как с точки зрения масштабирования заявок, так и в плане анализа предложений

в самые различные по тематике конкурсы. В расчет берутся не просто абсолютные показатели цитируемости, квалификации, журнального рейтинга или публикационной активности, а взвешенные индикаторы, учитывающие реально сложившиеся объективные характеристики той или иной тематической области. При этом речь идет не об абстрактной широкой научной сфере (информационные технологии, медицина, социальные науки или, например, физика), а о детальной привязке заявки к одной из 200-300 фокус-групп. В случае, когда анализируемый материал обладает очевидной междисци-плинарностью, в расчет берутся индикаторы всех пересекающихся областей знаний.

Разработанная методика реализована в информационной ШЭД Университета ИТМО, предназначенной для автоматизации процесса подачи заявок в различные фонды. ШПД состоит из двух основных компонентов: онтологии, описывающей отношения в рамках проектной деятельности, и математических методов расчета параметров, описанных в предложенной методике. Представленная в работе информационная модель оценки научного потенциала позволяет создать модульную структуру для оценки научного потенциала при формировании коллектива исполнителей, научного задела и других факторов, определяющих качество подаваемой конкурсной заявки.

При использовании предложенной методики можно оценивать публикационную активность коллективов исполнителей всех поданных и поддержанных проектов за определенный период, причем полученный результат может быть интересен как для руководителей проектов, так и для топ-менеджеров. Это является одним из важных факторов, влияющих на принятие решения при поддержке проектов со стороны вуза, так как во многих конкурсах есть условие, при котором необходимо заявить внебюджетное финансирование и представить для участия в конкурсе один проект от вуза.

Разработанный подход используются для оценки научного потенциала коллективов Университета ИТМО и оценки, подаваемых ими заявок на конкурсы: по мероприятиям ФЦП, грантов РНФ и в рамках Государственного задания. Дальнейшая работа по данной тематике будет направлена на разработку рекомендаций по улучшению подаваемых от вуза проектов, подбору исполнителей, имеющих схожие научные интересы и высокую публикационную активность, применение для оценки научного потенциала опыта руководителя проекта и количества выполненных ранее проектов, а также подходов, направленных на автоматизацию как процесса подачи, так и процесса оценки заявок.

Список литературы

1. Приказ Министерства образования и науки РФ от 5 марта 2014 г. № 162 «Об утверждении порядка предоставления научными организациями, выполняющими научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, сведений о результатах их деятельности и порядка ...» URL: https://base.garant.ru/70649666/ (дата обращения: 20.10.2020).

2. Bornmann L., Mutz R, Daniel H. D. Are there better indices for evaluation purposes than the h index? A comparison of nine different variants of the h index using data from biomedicine // Journal of the American Society for Information Science and Technology. 2008. Vol. 59, № 2. P. 830-837. doi: 10.1002/asi.20806

3. Цыганов А. В. Краткое описание наукометрических показателей, основанных на цитируемости // Управление большими системами. Cпециальный выпуск 44: «Наукометрия и экспертиза в управлении наукой». 2013. C. 248-261.

4. Burrel Q. L. Hirsch's h-index: a stochastic model // Journal of Informetrics. 2007. Vol. 1, № 1. P. 16-25. doi: 10.1016/j.joi.2006.07.001

5. Iglesias J. E., Pecharroman C. Scaling the h-index for different scientific ISI fields // Scientometrics. 2007. Vol. 73, № 3. P. 303-320. doi: 10.1007/s11192-007-1805-x

6. Hirch J. E. An index to quantify an individual's scientific research output that takes into account the effect of multiple coauthorship // Scientometrics. 2010. Vol. 85. P. 741-754. doi: 10.1007/s11192-010-0193-9

7. Batista P. D., Campiteli M. G., Kinouchi O., Martinez A. S. Is it possible to compare researchers with different scientific interests? // Scientometrics. 2006. Vol. 6. P. 179-189. doi: 10.1007/s11192-006-0090-4

8. Комаров А. В., Слепцова М. А., Чечёткин Е. В., Комаров К. А. Специализированные инструменты для оценки потенциала команды научно-технологического проекта // Экономика науки. 2020. Т. 6. № 1-2. С. 75-87. doi: 10.22394/2410-132X-2020-6-1-2-75-87

9. Зятева О. А., Питухин Е. А. Управление научными показателями вуза: анализ публикационной активности // Перспективы науки и образования. 2019. № 40 (4). С. 509-517. doi: 10.32744/pse.2019.4.39

10. Sheikhnejad Y., Yigitcanlar T.. Scientific landscape of sustainable urban and rural areas research: A systematic scientometric analysis // Sustainability. 2020. Vol. 12, № 4. P. 1-28. doi: 10.3390/su12030779

11. Zibareva I. V., IlinaL. Y., Alperin B. L., Vedyagin A. A. The Scientometric Profile of Boreskov Institute of Catalysis // Herald of the Russian Academy of Sciences. 2019. Vol. 89, № 3. P. 259-270. doi: 10.1134/S1019331619030109

12. Shelton R. D. Scientometric laws connecting publication counts to national research funding // Scientometrics. 2020. Vol. 123, № 1. p. 181-206. doi: 10.1007/s11192-020-03392-x

13. Grinev A. V. The Use of Scientometric Indicators to Evaluate Publishing Activity in Modern Russia // Herald of the Russian Academy of Sciences. 2019. Vol. 89, № 5. P. 451-459. doi: 10.1134/S1019331619050046

14. Шлей М. Д., Маркина Г. Л., Кузнецова О. В. Система поддержки предпроектной деятельности университета // Научно-образовательная информационная среда XXI века: Материалы X Всероссийской научно-практической конференции (Петрозаводск, 20-23 сентября 2016 г.) 2016. С. 171-174.

15. Шлей М. Д., Маркина Г. Л. Информационная система подготовки заявок в научные фонды // Фундаментальные исследования. 2016. № 5-2. С. 289-293.

16. Маркина Г. Л., Шлей М. Д. Организация принятия решений в научно-образовательной сфере на примере системы управления проектами //Компьютерные инструменты в образовании. 2016. № 4. С. 19-31.

17. Markina G. L., Schlei M. D., Kuznetsova O. V., Markina T. A. Analysis of the dependence of the effectiveness of requests submitted to scientific competitions from the criteria for their evaluation // 19th International Multidisciplinary Scientific GeoConference, SGEM 2019, 2019. Vol. 19, № 2.1. P. 83-90. doi: 10.5593/sgem2019/2.1/S07.011

18. Российский научный фонд: [https://rscf.ru/]. URL: https://rscf.ru/contests/ (дата обращения: 20.10.2020).

19. Федеральный закон «О внесении изменений в части первую, вторую и четвертую Гражданского кодекса Российской Федерации, и отдельные законодательные акты Российской Федерации» от 12.03.2014 № 35-ФЗ.

20. Постановление Правительства РФ от 21.04.2016 № 335 «О внесении изменений в Положение о присуждении ученых степеней».

Поступила в редакцию 27.08.2020, окончательный вариант — 20.10.2020.

Маркина Галина Леонидовна, начальник отдела информационного сопровождения открытых конкурсов для государственных и муниципальных нужд Университета ИТМО, markina@itmo.ru

Шлей Михаил Дмитриевич, кандидат технических наук, заместитель начальника управления корпоративных систем Университета ИТМО, mikhail.shlei@itmo.ru

Кузнецова Ольга Валерьевна, кандидат технических наук, заместитель начальника отдела информационного сопровождения открытых конкурсов для государственных и муниципальных нужд Университета ИТМО, ovkuznetcova@itmo.ru

Стафеев Сергей Константинович, доктор технических наук, профессор физико-технического факультета, ведущий эксперт детского технопарка на Биржевой, начальник отдела психолого-педагогического сопровождения Университета ИТМО, stafeev@itmo.ru

Маркина Татьяна Анатольевна, кандидат технических наук, доцент факультета программной инженерии и компьютерной техники Университета ИТМО, markina_t@itmo.ru

Computer tools in education, 2020

№ 3: 70-85

http://cte.eltech.ru

doi:10.32603/2071-2340-2020-3-70-85

Assessment of the Potential of Scientific Activity Based on Scientometric Indicators

Markina G. L.1, Head of the Office, markina@itmo.ru Shley M. D.1, PhD, mikhail.shlei@itmo.ru Kuznetcova O. B.1, PhD, ovkuznetcova@itmo.ru StafeevS. K.1, Doctor of Technical Sciences, Professor, stafeev@itmo.ru Markina T. A.1, PhD, Associate Professor, markina_t@itmo.ru

11TMO University, 49 Kronverksky, bldg. A, 197101, Russia Saint Petersburg, Russia

Abstract

This article deals with issues of assessing the scientific activity of teams of performers when submitting applications to scientific funds. The purpose of the study is to develop new approaches to the use of scientometric indicators to assess the scientific potential of university teams when submitting applications to scientific foundations. Methodological foundations of the research: a systematic approach (considers science as a social institution in an indissoluble connection with society as a whole), a metasystem approach (considers the results of scientific activity as a metasystem, that is, a system with relatively independent components), a probabilistic-statistical approach (considers research activity as a probabilistic process), qualimetric approach (considers the productivity of scientific activity as a latent variable, reflected by a set of criteria). As a result, the authors proposed: an information model of the relationship between the requirements for a scientific project by the customer, and the level of compliance of the scientific potential of the team of performers and a methodology for assessing the scientific potential of the team of performers when applying for the competition. The information model forms the basis of the developed information system for supporting the project activities of ITMO University, which serves to improve the process and increase the efficiency of preparation of draft applications submitted by the university. The proposed methodology is implemented using scientometric indicators, through software algorithms for automated assessment of scientific potential. In the course of an experimental study, the authors have shown that the proposed approaches correlate with the effectiveness of participation in competitions. The proposed solutions have been successfully integrated into the ITMO University, management system.

Keywords: scientific activity, scientometric indicators, scientific potential, information model, methodology.

Citation: G. L. Markina, M. D. Shley, O. B. Kuznetcova, S. K. Stafeev, and T. A. Markina, "Assessment of the Potential of Scientific Activity Based on Scientometric Indicators," Computer tools in education, no. 3, pp. 70-85, 2020 (in Russian);doi: 10.32603/2071-23402020-3-70-85

References

1. Ministry of Education and Science of Russia, Order of March 5 2014 № 162, (in Russian). [Online]. Available: https://base.garant.ru/70649666/

2. L. Bornmann, R. Mutz, and H. D. Daniel, "Are there better indices for evaluation purposes than the h-index? A comparison of nine different variants of the h index using data from biomedicine," Journal of the American Society for Information Science and Technology, vol. 59, no. 2, pp. 830-837, 2008; doi: 10.1002/asi.20806

3. A. B. Tsiganov, "Brief rewiev of main scientometric indices based on citations," Large-Scale Systems Control, pp. 248-261, 2013 (in Russian).

4. Q. L. Burrel, "Hirsch's h-index: a stochastic model," Journal ofInformetrics, vol. 1, no. 1, pp. 16-25, 2007

5. J. E. Iglesias and C. Pecharroman, "Scaling the h-index for different scientific ISI fields," Scientometrics, vol. 73, no. 3, pp. 303-320, 2007; doi: 10.1007/s11192-007-1805-x

6. J. E. Hirch, "An index to quantify an individual's scientific research output that takes into account the effect of multiple coauthorship," Scientometrics, vol. 85, pp. 741-754, 2010; doi: 10.1007/s11192-010-0193-9

7. P. D. Batista, M. G. Campiteli, O. Kinouchi, and A. S. Martinez, "Is it possible to compare researchers with different scientific interests?" Scientometrics, vol. 6, pp. 179-189, 2006; doi: 10.1007/s11192-006-0090-4

8. A. V. Komarov, M. A. Sleptsova, E. V. Chechetkin, and K. A. Komarov, "Specialized tools to evaluate the potential of a R&D project team," The Economics of Science, vol. 6, no. 1-2, pp. 75-87, 2020 (in Russian); doi: 10.22394/2410-132X-2020-6-1-2-75-87

9. O. A. Zyateva and E. A. Pitukhin, "Managing university science indicators: an analysis of publishing activity," Perspektivy nauki i obrazovania — Perspectives of Science and Education, vol. 40, no. 4, pp. 509-517, 2019 (in Russian); doi: 10.32744/pse.2019.4.39

10. Y. Sheikhnejad and T. Yigitcanlar, "Scientific landscape of sustainable urban and rural areas research: A systematic scientometric analysis," Sustainability, vol. 12, no. 4, pp. 1-28, 2020; doi: 10.3390/su12030779

11. I. V. Zibareva, L. Y. Ilina, B. L. Alperin, and A. A. Vedyagin, "The Scientometric Profile of Boreskov Institute of Catalysis," Herald of the Russian Academy of Sciences, vol. 89, no. 3, pp. 259-270, 2019 (in Russian); doi: 10.1134/S1019331619030109

12. R. D. Shelton, "Scientometric laws connecting publication counts to national research funding," Scientometrics, vol. 123, no. 1, pp. 181-206, 2020; doi: 10.1007/s11192-020-03392-x

13. A. V. Grinev, "The Use of Scientometric Indicators to Evaluate Publishing Activity in Modern Russia," Herald of the Russian Academy of Sciences, vol. 89, no. 5, pp. 451-459; doi: 10.1134/S1019331619050046

14. M. Shley, G. Markina, and O. Kuznetsova, "Support system for project application preparation activities in a university," in Proc. Scientific and educational information environment of the XXI century: Materials of the X All-Russian scientific and practical conference (Petrozavodsk, Sept. 20-23,2016), 2016; pp. 171-174.

15. M. D. Shley and G. L. Markina, "Applications preparation information system for research funds," Fundamental research, no. 5-2, pp. 289-293, 2016 (in Russian).

16. G. L. Markina and M. D. Shley, "Decision support organization in science and education on the example of project management system," Computer Tools in Education, no. 4, pp. 19-31, 2016.

17. G. L. Markina, M. D. Schlei, O. V. Kuznetsova, and T. A. Markina, "Analysis of the dependence of the effectiveness of requests submitted to scientific competitions from the criteria for their evaluation," in Proc. 19th International Multidisciplinary Scientific GeoConference, SGEM 2019, vol. 19, no. 2.1, 2019, pp. 83-90; doi: 10.5593/sgem2019/2.1/S07.011

18. Russian Science Foundation, [WEB site], Available: https://rscf.ru/contests/

19. "On Amendments to Parts One, Two and Four of the Civil Code of the Russian Federation, and Certain Legislative Acts of the Russian Federation," Federal Law, 12.03.2014, N. 35-FZ.

20. "On Amendments to the Regulation on the Award of Academic Degrees," Resolution of the Government of the Russian Federation, 21.04.2016, № 335.

Received22.05.2020, the final version — 29.06.2020.

Galina Markina, Head of the Office of Information Support of Open Tenders for State and Municipal Needs, markina@itmo.ru

Mikhail Shley, PhD, Deputy Head of Department for Information Systems of Research and Academic Activity, mikhail.shlei@itmo.ru

Olga Kuznetcova, PhD, Deputy Head of the Office of Information Support of Open Tenders for State and Municipal Needs ITMO University, ovkuznetcova@itmo.ru

Sergey Stafeev, Doctor of Technical Sciences, Professor of the faculty of physics and technology, leading expert of the children's Technopark on Birzhevaya, head of the Department of psychological and pedagogical support at ITMO University, stafeev@itmo.ru

Tatiana Markina, PhD, Associate Professor (Qualification "Full Associate Professor") of Faculty of Software Engineering and Computer Systems, markina_t@itmo.ru