Автоматизация расчёта рейтинга научной активности Текст научной статьи по специальности «Компьютерные и информационные науки»

2. Kasuba T. Simplified fuzzy ARTMAP / T. Kasuba // AI Expert.-Nov. 1993. p. 18-25.

3. Mohammad-Taghi Vakil-Baghmisheh, Nikola Pavesic. A Fast Simplified Fuzzy ARTMAP Network /Mohammad-Taghi Vakil-Baghmisheh, Nikola Pavesic // Klawer Academic Publishers. Neural Processing Letters. 2003. №17. p. 273-316.

4. Rajasekaran S., Vijayalakshmi Pai, G. A. Simplified Fuzzy ARTMAP as Pattern Recognizer / S. Rajasekaran, G. A. Vijayalakshmi Pai // Journal of computing in civil engineering. April 2000. p. 92-99.

5. Krizhevsky A., Sutskever I., Hinton G. E. Imagenet classification with deep convolutional neural networks / A. Krizhevsky, I. Sutskever, G. E.

Hinton //Advances in neural information processing systems. 2012. p. 1097-1105.

Михеев Александр Вячеславович, аспирант кафедры ИВК ФИСТ УлГТУ.

Киселев Сергей Константинович, доктор технических наук, заведующий кафедрой «Измерительно-вычислительные комплексы» ФИСТ УлГТУ.

Поступила 08.02.2017 г.

УДК 004:378

В. Г. ТРОНИН, С. В. СКВОРЦОВ

АВТОМАТИЗАЦИЯ РАСЧЁТА РЕЙТИНГА НАУЧНОЙ АКТИВНОСТИ

Рассмотрена методика расчёта рейтинга научной активности преподавателей вуза. Выявлены возможные источники данных и трудности при автоматизации. Сделан вывод о потребности автоматизации цепочки процессов с применением данных не только для расчёта рейтинга, но и для различных отчётов, создания базы по учёным университета с автоматизацией сбора информации для подготовки заявок на конкурсы. Рассмотрены особенности автоматизации учёта потока публикаций университета.

Ключевые слова: рейтинг, наукометрия, РИНЦ, 1С, автоматизация процессов университета.

Введение

Ежегодно в университете проводится расчёт рейтинга научной активности сотрудников (преподавателей и научных работников), кафедр, факультетов. По итогам года определяются учёные, внесшие наибольший вклад в достижения вуза, организуется их поощрение. При расчёте рейтинга анализируется разнородная информация, значительная часть которой собирается вручную. Часть информации соответствует показателям вуза, по которым выполняет оценку Минобрнауки РФ, часть нужна для организации научного процесса. Сама информация в процессе подсчёта пополняется (выходят в свет журналы, проводятся конференции в последние месяцы года, выявляются неточности при подготовке отчётных данных), что вызывает вопросы при окончательной оценке сотрудника.

© Тронин В. Г., Скворцов С. В., 2017

Что учитывается в рейтинге?

Рейтинг рассчитывается для каждого сотрудника по 97-ми позициям анкеты (в 2016 г., изначально было 20 позиций), каждая из которых оценивается в баллах. При этом количество позиций оценки ежегодно изменяется в соответствии с необходимостью акцентировать работу на соответствующем направлении как сотрудника, так и всего университета. Баллы за виды активности установлены в предположении, что высшим достижением является защита докторской диссертации, остальные виды научной деятельности в шкале баллов сопоставлены с данным достижением. Каждый участник рейтинга заполняет в Excel таблицу по шаблону и в Word пишет расшифровку по заполненным позициям. Рейтинг учитывает именно те показатели, которые важны для выполнения аккредитационных и мониторинговых показателей, устанавливаемых

Минобрнауки РФ, а также для инженерного вуза регистрацию объектов интеллектуальной собственности (ОИС), деятельность малых инновационных предприятий [6].

Пункты, связанные с защитой диссертаций (в анкете с 1 по 22 позиции), включают в себя:

- баллы за защиту докторской, кандидатской, научное руководство, дополнительные баллы за защиту в срок;

- баллы научному руководителю докторантов, аспирантов, соискателей, магистрантов;

- баллы за получение звания «доцент», «профессор»;

- баллы за выполнение обязанностей председателя, заместителя председателя, учёного секретаря, члена диссертационного совета;

- баллы за официальное оппонирование докторской, кандидатской диссертации;

- баллы за написание отзыва на автореферат докторской, кандидатской диссертации, написание отзыва ведущей организации.

Пункты 23-26 предусматривают баллы за подготовку и размещение технологических профилей и рецензирование. Данные баллы предоставляются централизованно Центром трансфера технологий.

Пункты 27-29 связаны с подготовкой заявок на гранты, учитывается сумма, указанная в заявке на первый год реализации проекта, баллы делятся на весь коллектив авторов. Заявки должны быть зарегистрированы в научно-исследовательском отделе управления научных исследований.

Пункты 30-46 включают баллы за исполнение обязанностей председателя, учёного секретаря, члена НТС факультета, председателя, секретаря и члена оргкомитета НТК, руководителя и учёного секретаря постоянно функционирующего научного семинара, председателя, секретаря, члена оргкомитета международной или всероссийской научной (научно-технической) конференции.

Баллы за научно-исследовательскую работу со студентами рассмотрены в пунктах 47-53:

- научным руководителям, занявшим первые 50 мест по итогам смотра-конкурса НИРС (баллы зависят от занятого места);

- научным руководителям студентов, НИР которых награждена медалью, знаком лауреата или дипломом всероссийского конкурса.

За научное руководство НИР через университет (пункты 54-60), пропорционально сумме

баллы начисляются научному руководителю и ответственному исполнителю, исполнителю.

За участие в выставках научно-технической продукции (пункты 61-73) (зарубежных и российских, региональных) баллы предусмотрены научному руководителю и участникам творческого коллектива, а также за получение приза или награды.

Личный результат по итогам смотра-конкурса по изобретательской работе в баллах (пункт 74), продажа лицензии на ОИС (пункт 75).

Баллы за публикационную активность (пункты 76-97):

- за публикацию в журналах, индексируемых в базе Scopus, Web of Science. Дополнительные баллы за публикацию в журнале с импакт-фактором (JCR) выше 1;

- за публикацию в журнале индексируемом в международных реферативных базах данных и систем цитирования Astrophysics Data System, PubMed, MathSciNet, zbMATH, Chemical Abstracts, Springer, Agris или GeoRef (считаются входящими в Перечень ВАК по отраслям науки, соответствующим их профилю);

- за публикацию на конференции, индексируемую в Scopus, Web of Science;

- за публикацию в РИНЦ в журнале с высоким импакт-фактором (в первой сотне);

- за публикацию в журнале из перечня ВАК;

- за публикацию в периодическом издании, индексируемом в РИНЦ;

- за публикацию с включением в РИНЦ;

- за цитируемость публикаций в РИНЦ;

- за цитируемость в базе Scopus;

- за цитируемость в базе Web of Science;

- за издание сборника научных трудов - научному редактору, секретарю и члену редколлегии;

- за издание монографии, справочника, энциклопедии, словаря на английском или русском языке за рубежом, учебного пособия (учебника) с грифом УМО в издательстве университета;

- за издание тезисов доклада на конференции (международной, российской, региональной, университетской);

- за выступление с докладом без опубликования.

Какие недостатки при существующей системе?

Подготовка к выявлению показателей по позициям анкеты рейтинга занимает значительное время, если эта работа не ведётся сотрудником систематически в течение года:

- каждый учёный формирует по себе данные;

- ответственный по НИР факультета передаёт в УНИ;

- несколько подразделений УНИ готовят данные по закреплённым показателям;

- затем в УНИ несколько подразделений выполняют проверку;

- данные корректируются, учёные дополняют подтверждающие документы;

- подводится общий рейтинг.

Положительные стороны расчёта рейтинга:

- поощрение наиболее активных учёных университета;

- поощрение преимущественно тех видов деятельности, которые являются для вуза контрольными, связаны с аккредитационными показателями вуза;

- анализ учёными результатов своей деятельности за год, выявление тенденций;

- учёные узнают о возможных видах активности и требованиях для их выполнения.

Недостатки:

- высокая трудоёмкость подготовки и обработки данных как для самих учёных, так и для тех, кто проверяет;

- разное понимание пунктов теми, кто заполняет (несмотря на наличие инструкции);

- невозможность автоматически использовать данные, собираемые при расчёте рейтинга, для других целей;

- невозможность проиграть разные сценарии весов коэффициентов;

- разовый анализ в течение года.

Платформа для разработки

УлГТУ приобретена система «1С Университет Проф», которая к настоящему времени содержит данные о каждом сотруднике университета, аспирантах и студентах. В системе имеется модуль «Рейтинги», но он содержит лишь справочники и возможность создавать документы. Модули «Диссертационные советы», «Аспирантура», «НИОКР» реализованы таким образом, что в готовом виде не могут быть использованы. Тем не менее платформа, которая содержит данные о сотрудниках, интегрирована с Web-порталом (virtual.ultu.ru) и будет лучшим решением для реализации поставленной задачи.

Возможности систематизации и автоматизации групп показателей

Для автоматизации процесса сбора и подготовки данных по различным показателям необходимо определить группы показателей, кото-

рые могут быть собраны (внесены в отчётные документы) только самим сотрудником или другими подразделениями. Тогда возможно максимально быстро подготавливать данные как для этого рейтинга, так и для других отчётных документов без привлечения самих сотрудников.

Отдел аспирантуры и докторантуры может централизованно собирать и заполнять данные по пунктам, связанным с защитой диссертаций (1-9):

- баллы за защиту докторской диссертации -соискателю и научному консультанту;

- баллы за защиту кандидатской диссертации - соискателю и научному руководителю;

- дополнительные баллы за защиту в срок;

- баллы научному руководителю докторантов, аспирантов, соискателей - возможно установить градацию в зависимости от достижений и выполнения требований, предъявляемых к соискателям.

Данные по научному руководству (10-11) магистрантами могло бы заносить учебное управление по приказам о закреплении тем.

Отдел кадров на основании приказов ВАК обрабатывает в карточках учёта присвоение учёного звания «доцент», «профессор» (12-13).

Рассмотрим пункты (14-22), связанные с:

- выполнением обязанностей председателя, заместителя председателя, учёного секретаря, члена диссертационного совета;

- официальным оппонированием докторской, кандидатской диссертации;

- написанием отзыва на автореферат докторской, кандидатской диссертации, написанием отзыва ведущей организации.

Данную информацию о себе знают только сами учёные, поскольку они могут числиться в трёх диссоветах, оформлять отзывы по персональному обращению. Оптимальным вариантом собрать весь массив за год является внесение в базу данной информации лично учёными с автоматическим её извлечением при подсчёте баллов. Вопрос останется только об ответственности за внесение информации о прекращении участия учёного в работе внешнего совета.

Для учёта заявок на гранты (пункты 27-29 рейтинга) в настоящее время руководитель проекта по каждой заявке делает скан титульного листа (название проекта, фонда, вид конкурса, сумма) и страничку с распределением долей участия в подготовке заявки между руководителем, ответственным исполнителем, исполнителями и

передаёт их в УНИ. По поддержанным заявкам часть информации (тему, номер, руководителя) можно увидеть в информационной системе РФФИ, РГНФ через профиль координатора организации.

Требуется выполнить разработку, в которой будет реализовано внесение данных через «1С Университет» авторами заявок сразу после подготовки и регистрации в информационной системе фонда. При необходимости НИО УНИ корректирует и дополняет данные.

Такой подход позволяет реализовать следующие возможности:

- использование данных о заявках для других отчётов, рейтингов;

- просмотр руководителем проекта своих предыдущих заявок в разные фонды;

- хранение ссылок для доступа к профилям в разных фондах, документов на сайтах фондов по заявкам;

- отслеживание прохождения заявок, формирование договоров и отчётов;

- планирование заявок и аналитика по поддержанным заявкам;

- автоматизация оформления внутривузов-ских документов по поддержанным грантам (выплаты участникам коллектива, закупки, оформление командировок, прикрепление отчётных документов);

- создание рейтинга онлайн, уточнение весов каждого из показателей активности.

Пункты 30-32 за исполнение обязанностей председателя, учёного секретаря, члена НТС факультета с учётом числа рассмотренных диссертационных работ. Здесь возможно внесение данных в карточку участников, а возможно создание объекта НТС факультетов, хранение протоколов и ведение полной информации в системе.

Как можно автоматизировать учёт баллов по конференциям (33-46 пункты рейтинга)? Сам оргкомитет мог бы заносить данные о конференции, в таком случае будут исходные данные для расчёта баллов председателю, секретарю, членам оргкомитета, также можно автоматически генерировать приглашения на конференцию, хранить ссылки и размещать на странице университета о конференциях актуальную и полную информацию [2].

Баллы в зависимости от занятого места начисляются научным руководителям, занявшим первые 50 мест по итогам смотра-конкурса научно-исследовательской работы со студентами

(пункты 47-51 рейтинга). Научный руководитель может являться соавтором в публикации, может быть указан в аннотации публикации, данные о научном руководителе в публикации могут отсутствовать. Таким образом, чтобы собрать полную информацию о публикациях под руководством преподавателей определённой кафедры, необходимо просмотреть все сборники конференций по университету, а также внешние публикации студентов.

Пункты 52-53 научным руководителям студентов, НИР которых награждена медалью, знаком лауреата или дипломом всероссийского конкурса - также трудоёмкий сбор данных по всем возможным конкурсам. Данные о награждениях могут вноситься в свою карточку студентами уже сейчас в своём профиле на web-портале университета.

Пункты 47-53 имеет смысл автоматизировать после упорядочения проведения информации о конференциях, публикациях сотрудников университета.

Автоматизация расчёта баллов за научное руководство НИР через университет (54-60) может быть реализована как продолжение автоматизации заявок на НИР с обработкой данных по договорам в единой системе.

Информация об участии в выставках научно-технической продукции (61-73) зарубежных и российских, региональных, получение призов или наград должна вноситься централизованно.

Расчёт баллов по изобретательской работе (74-75) может быть автоматизирован благодаря наличию и сопровождению базы данных по ОИС в университете, где содержится вся необходимая исходная информация [4]. По данным пунктам рейтинг может быть реализован онлайн.

Самым трудоёмким является ручной расчёт информации по публикационной активности (пункты 76-97). Число публикаций в РИНЦ, журналах из перечня ВАК, международных базах и количество цитирований являются показателями, по которым оценивает вуз Минобрнауки РФ.

При некоторой доработке можно на портале университета учитывать идентификаторы учёных от различных систем: AutorID и SPIN-code от РИНЦ, ORCID, AuthorID и ResearcherID, применяемые Scopus и Web of Science, идентификатор в Google Shcolar. По данным идентификаторам можно извлекать автоматически информацию из РИНЦ по публикациям. Преимущество РИНЦ в том, что в базе аккумулируются

публикации не только издательства университета, но и внешние. Также можно автоматически импортировать количество цитирований или индекс Хирша по конкретным авторам.

Вопросы, возникающие при автоматизации учёта журнальных публикаций из РИНЦ:

- при расчёте баллов по публикациям баллы делятся на участников коллектива. Следует избегать дублирования публикаций у соавторов. Вклад авторов в публикацию совершенно необязательно будет в равных долях;

- значительный объём информации в РИНЦ появляется значительно позже, чем проводится расчёт рейтинга;

- в публикациях может быть указана аффи-лиация с другим университетом (публикацию автор писал от другой организации и её нельзя учитывать) либо не указана (не внесена редакцией журнала);

- может быть введена некорректная информация о включении журнала в перечень ВАК, международные базы цитирования.

Учитывая важность применения информации о публикациях по вузу должна быть создана собственная база по публикациям.

Особенности:

- полный учёт публикаций, индексируемых в Scopus, Web of Science;

- учёт журнальных публикаций ВАК на основе данных РИНЦ;

- учёт информации о конференциях на основе данных, внесённых оргкомитетами конференций в базе «1С Университет» (планируется к разработке) и из РИНЦ (постатейная обработка);

- учёт публикаций из РИНЦ: журнальных, конференций, монографий, учебных пособий, справочников;

- ручное внесение публикаций из специализированных баз: Astrophysics Data System, Pub-Med, MathSciNet, zbMATH, Chemical Abstracts, Springer, Agris или GeoRef (считаются входящими в Перечень ВАК по отраслям науки, соответствующим их профилю);

- учёт публикаций, которые ещё не проиндексированы в системах, - ручной ввод данных автором с прикреплением подтверждения;

- наличие в базе ссылок по всем публикациям;

- учёт при расчёте баллов доли соавторства;

- автоматизированная проверка импакт-фактора журналов в РИНЦ с проставлением дополнительных баллов;

- к информации о монографиях, учебных пособиях можно подгружать и хранить протокол проверки на наличие плагиата [1].

Имеется противоречие по многим пунктам о том, кто должен вносить данные. Например, какой вариант лучше: каждый написавший отзыв на диссертацию с прикреплением отзыва и ссылки или же кто-то централизованно по всему вузу собирает информацию на бумаге и заносит её?

Баланс показателей

Важной задачей рейтинга является сбалансированность для мотивации учёных и привязки к выполнению аккредитационных показателей вуза. По статистике прошлых лет наибольшую долю в рейтинге занимали публикации, затем выполнение НИР, аспирантура. Минимальная доля по выставкам и ОИС. С этой точки зрения наиболее приоритетной задачей является упорядочение обработки публикаций вуза (порядка полутора тысяч единиц в год по данным РИНЦ). Хорошим дополнением будет создание неофициального онлайн рейтинга кафедр, сотрудников в различных разрезах данных [5].

Выводы

Автоматизация рейтинга научной активности самого по себе, отдельно от других процессов, может привести к некоторому снижению трудозатрат при обработке данных. Более корректно автоматизировать учёт информации по процессам университета, связанным с научной деятельностью, а также обеспечить хранение и повторное применение данных в единой системе, доступ к которой имеют все сотрудники университета и студенты. Такая задача может быть реализована пошагово, начиная с групп показателей, имеющих наибольший вес в рейтинге (учёт публикационной активности), и тех, в которых наилучшая готовность к автоматизации (рейтинг по ОИС, учёт заявок на конкурсы).

СПИСОК ЛИТЕРАТУРЫ

1. Тронин В. Г. Особенности проверки на наличие плагиата различных типов публикаций в вузе // Вестник Ульяновского государственного технического университета. - 2016. - №4(76). -С. 9-12.

2. Тронин В. Г. Современные возможности представления научных мероприятий в электронных ресурсах // Электронное обучение в непрерывном образовании. - 2016. - №1(3). -С.400-407.

3. Тронин В. Г. Электронная научная библиотека в оценке эффективности научных исследований // Вестник Ульяновского государственного технического университета. - 2013. -№2(62). - С. 6-8.

4. Тронин В. Г., Костина С. Н., Дёмкина Н. А. Патентование и инновационная деятельность в УлГТУ, место России в мировом рейтинге патентования // Вестник Ульяновского государственного технического университета. -2014. - №1(65). - С. 12-19.

5. Тронин В. Г., Костяева Т. С. Неофициальные Интернет-рейтинги университетов // Вестник Ульяновского государственного технического университета. - 2014. - №1(65). - С. 7-11.

6. Ярушкина Н. Г., Тронин В. Г. Рейтинги оценки деятельности инженерного вуза // Высшее образование в России. - 2014. - №5. -С. 72-79.

Тронин Вадим Георгиевич, кандидат технических наук, начальник научно-исследовательского отдела управления научных исследований (НИО УНИ), доцент кафедры «Информационные системы» УлГТУ. Сфера научных интересов - наукометрия, моделирование вычислительных сетей на прикладном уровне, управление проектами. Скворцов Сергей Вячеславович, кандидат технических наук, начальник управления научных исследований, доцент кафедры «Информационные системы» УлГТУ.

Поступила 03.03.2017 г.