CC BY
7
Сорочан В.В.
Кандидат физико-математических наук. Доцент кафедры информатики и информационных технологий Инженерно-технологического института Калужского государственного университета имени К.Э. Циолковского.
Гаврилюк Н.П.
Кандидат исторических наук. Доцент кафедры истории Института истории и права Калужского государственного университета имени К.Э. Циолковского.
Инструментарий оценки результатов научно-исследовательской работы в условиях цифровизации науки и образования
Важность развития науки, поддержка деятельности профильных министерств, государственных и частных институтов в области научных исследований и разработок, учебных заведений, способствование формированию платформ для взаимодействия и общения ученых, исследователей, преподавателей и студентов вузов, экспертов, подтверждается вовлеченностью и активной позицией российского государства, в лице Президента Российской Федерации. За первые годы третьего десятилетия XXI века было разработано и принято несколько десятков законодательных и нормативно-правовых актов, поддерживающих сферу образования и науки, регламентирующих деятельность и финансовую поддержку профильных организаций в области научных исследований и практик, внедрению результатов научных исследований. Среди наиболее значимых можно отметить: Государственную программу Российской Федерации «Научно-технологическое развитие Российской Федерации», Программу фундаментальных научных исследований в Российской Федерации на долгосрочный период (2021 - 2030 годы), Программу «Приоритет - 2030», Национальный проект «Наука и университеты».
Несомненно, что практика взаимодействия и общения органов государственной власти и субъектов сферы науки и образования всегда считались неотъемлемой частью исследовательского процесса и гарантией научной достоверности полученных результатов. Верно также и то, что в настоящее время на научную коммуникацию все большее влияние оказывает развитие информационных технологий,
/?7у
_Л/ёк,
а новые формы измерения и содержание научной коммуникации требуют определенной интерпретации и понимания. Следует подчеркнуть, что, в связи с этим коммуникация важна не только для непосредственного получения результатов в области науки, но и для понимания ее социального и экономического воздействия.
Начиная со второй половины XX века глобальный рост числа научных публикаций привел к формированию целого комплекса проблем, в том числе в регламентировании практики подготовки и публикации результатов научно-исследовательской работы, в распространении и доступе к научной информации. Участники коммуникативного процесса: авторы, издатели, библиотеки и пользователи практически «заблудились» в многообразии работ, особенно в части извлечения и архивирования интересующей научной информации по отдельным профилям деятельности и научным интересам. Этот рост обусловил противоречивую эволюцию: увеличение числа научных публикаций, приводящее к информационному взрыву, и, в то же время, невозможность, неумение ученых находить научную информацию в огромном объеме научных публикаций, что обусловливает информационный кризис. Сложная ситуация на информационном рынке усугубляется расширением количества научных публикаций в цифровом формате. Изучение данного вопроса показало, что лишь за 2021 год, по разным оценкам, от 28 % до 54 % научных статей были опубликованы в изданиях с открытым доступом1.
Проблемы доступа к научной информации усугубляются также непрерывным ростом расходов на научные журналы, что вызывает еще один кризис, называемый кризисом серий. Мы обнаруживаем, что в настоящее время доступ к информации ограничен не только из-за политических и юридических барьеров, но и из-за финансовых. И библиотеки, и ученые испытывают трудности с доступом и распространением научной информации. Эти препятствия также влияют на отношения внутри научного сообщества, которые устанавливаются путем цитирования научных работ. Доступ к информации блокируется платой за подписку на научные периодические издания и базы данных или платой за скачивание публикаций из сети Интернет. В настоящее время научные публикации, представленные в Интернете, в основном следуют модели подписки на традицион-
1 Basson I, Simard M-A, Ouangré ZA, Sugimoto CR, Larivière V. The effect of data sources on the measurement of open access: A comparison of Dimensions and the Web of Science. PLoS ONE 17(3): e0265545. March 31, 2022. // URL: https://doi.org/10.1371/ journal.pone.0265545 (Дата обращения: 28.12.2022).
ные журналы. Исследовательские институты и университеты платят за онлайн-доступ, чтобы исследователи, преподаватели и студенты могли знакомиться со статьями без финансовых ограничений. Однако для поиска публикаций, актуальных для области исследований, ученые, преподаватели и студенты также обращаются к электронным ресурсам академических издательств, таких как Elsevier, Springer, Wiley или Thomson Scientific. Хотя научные метапоисковики, такие как Google Scholar, позволяют выполнять запросы, выходящие за пределы возможностей отдельных издателей, поиск информации будет успешным, если доступ к полным версиям статей обеспечивается платными подписками библиотек или научных учреждений или если ссылки, полученные в результате конкретных запросов, ведут к полнотекстовым публикациям.
Альтернативные модели публикации и открытого доступа способствуют предоставлению результатов научных исследований и позволяют унифицировать полный текст в едином информационном пространстве, доступном для широкой публики. Открытый доступ - это инновационный способ распространения и использования научной информации, предоставляющий пользователям свободный доступ к информации. Открытый доступ является альтернативой традиционной модели научной коммуникации, основанной на цифровых технологиях в сети. Эти факторы влияют на трансформацию системы научной коммуникации и изменяют социальные взаимодействия в академической среде, а также между акторами коммуникативного процесса - учеными, издателями, библиотекой, пользователем, а стратегии открытого доступа трансформируют отношения между акторами в процесс коммуникации, придающий большую публичность результатам исследований и повышению рейтинга ученых и страны за счет увеличения количества цитирований. Социальный эффект научного исследования определяется не только непосредственным внедрением результатов научной деятельности в практику, но и степенью цитируемости научной работы в публикациях других исследователей.
Необходимость оценки эффективности научных исследований становится все более важной задачей в эпоху оцифровки, свободного доступа к информации и диверсификации специализированных сетей. Оцифровка биографических данных отдельных исследователей, а также архивирование научных статей, книг, презентаций, аудио- и видеоматериалов на специально разработанных веб-сайтах теперь доступны для всех членов научного сообщества. Точность, прозрач-
ность и полнота информации на платформах говорят о профессионализме и научном авторитете их создателей.
Онлайн-профили все чаще используются для оценки потенциальных академических наставников, авторов, рецензентов и редакторов, для обмена и комментирования научных статей и для создания академических сетей. Такие поисковые платформы, научные веб-сайты и библиографические базы данных как Google Academic, Scopus и Web of Science адаптировали свои онлайн-инструменты для предоставления регулярно обновляемой информации об исследователях и авторах для расширенного профилирования и агрегирования научной информации.
Наукометрия - это наука об измерении и анализе результатов исследовательской работы в области науки, технологий и инноваций. Для измерения влияния результатов научных исследований требуются наборы справочных статей для исследования влияния журнала, понимания научных цитат, картирования научных областей и получения показателей для использования в контексте научной политики и управления2.
Наукометрия частично связана с библиометрией и может рассматриваться как ее ограничение, так и расширение. Ограничение, потому что она применяет библиометрические методы только в области наук, путем учета научных публикаций. Расширение за счет рассмотрения не только публикаций, но и финансирования, человеческих ресурсов, патентов и т.д. Первые работы по библиометрии и наукометрии появились в начале ХХ века. Заслугой Альфреда Лотки, Сэмюэля Брэдфорда и Джорджа Кингсли Ципфа, в период 1926 и 1935 годов, является разработка законодательных актов, регламентирующих деятельность в области науки и научных исследований. Закон Лотки, опубликованный в 1926 году3, впервые показал, что небольшое число исследователей отвечает за большой процент публикаций в определенной области, в определенный период. Это наблюдение наряду с другими открытиями привело к возникновению наукометрии. К 1955 году Юджин Гарфилд разработал идею использования цитат в научных статьях, то есть ссылок на другие статьи, для связывания статей между собой4. Первый том индекса научного
2 Leydesdorff, Loet & Milojevic, Stasa. (2012). Scientometrics. Computer Physics Communications. 10.1016/B978-0-08-097086-8.85030-8. // URL: https://www.research-gate.net/publication/230715913_Scientometrics (Дата обращения: 28.12.2022).
3 Lotka A.J. The Frequency Distribution of Scientific Productivity. Journal of the Washington Academy of Sciences, June 19, 1926, Vol. 16. № 12. P. 317-323. // URL: https:// www.jstor.org/stable/pdf/24529203.pdf (Дата обращения: 28.12.2022).
4 Garfield E. Citation indexes for science; a new dimension in documentation
цитирования (Science Citation Index - SCI) вышел в свет в 1963 г.
Область библиометрии быстро развивалась, особенно после создания SCI. Со временем появилось множество количественных показателей для измерения результатов научных исследований. В 1980-е годы новые подходы к государственному управлению, особенно в Великобритании и США, привели к усилению акцента на измеримых показателях ценности научных исследований. 1990-е годы породили стратегические формы исследовательской политики и управления, сопровождавшиеся более широким использованием библиометрических показателей, включая импакт-фактор журнала (JIF). Анализ цитирования стало намного проще проводить с 2QQ1 года, когда Web of Science стал доступен в Интернете, за ним последовали Scopus в 2QQ3 году и Google Scholar в 2QQ4 году и это привело к увеличению интереса к измерению индивидуальной эффективности исследователей5. С середины 199Q^ годов достижения в области информационных технологий создали для исследователей новые способы общения с другими исследователями. Возникли альтернативные показатели эффективности научной работы они включают веб-цитирование оцифрованных научных документов (например, книг или научных блогов) и, развивающиеся в последнее время, показатели из социальных сетей (например, социальные закладки, комментарии и рейтинги).
По мере развития наукометрии и усложнения систем оценки расширялся круг поставщиков данных для оценки результатов научных исследований. Финансовые агентства в США, Франции, Великобритании и Нидерландах впервые применили библиометрию для оценки и мониторинга научных исследований. Университеты по всему миру внедрили или разрабатывают исследовательские ИТ-системы, в которых можно фиксировать статистические и качественные данные об эффективности исследований, рассчитывать влияние результатов исследований и предоставлять множество других услуг. К ним относятся инструменты сравнительного анализа, такие как SciVal и InCites, системы управления, такие как PURE и Converis, а также консультации и данные от таких компаний, как Academic Analytics, Institute for Research Information and Quality Assurance (iFQ), Science-
through association of ideas. Science. 1955 Jul 15. Vol 122. Issue 3159. P. 1G8-111. // URL: https://www.science.org/doi/1G.1126/science.122.3159.1G8 (Дата обращения: 28.12.2G22).
5 Hirsch J.E. An Index to Quantify an Individual's Scientific Research Output. Proceedings of the National Academy of Sciences. 2GG5. Vol. 1G2. № 46. P. 16569-16572. // URL: https://www.pnas.org/doi/epdf/1G.1G73/pnas.G5G76551G2 (Дата обращения: 28.12.2G22).
Metrix и Centre for Science and Technology Studies (CWTS). С помощью библиографических справочных служб, таких как CrossRef, пользователи могут выполнять сложные библиометрические анализы для мониторинга институциональной, ведомственной и индивидуальной эффективности.
С учетом заявленной темы, нами представлен перечень наиболее часто используемых платформ, систем и инструментов, которые позволяют разобраться в их значимости и разнице, выступающие не только как базы для размещения и хранения информации, но и как средства для коммуникации представителей научного сообщества.
- Converis - интегрированная исследовательская ИТ-система, ориентированная на поддержку университетов, исследовательских учреждений и организаций, призванных осуществлять сбор, обработку и структурирование информации о результатах в области науки.
- CrossRef - официальное агентство регистрации Цифровых Идентификаторов Объекта (DOI) международного DOI фонда. Цифровые идентификаторы публикаций, зарегистрированные в CrossRef с корректными метаданными, позволяют решать важную задачу установления связей между автором и его публикациями, между библиографическими ссылками на публикации и адресами их местонахождения в электронной среде6. Crossref объединяет миллионы статей из различных типов контента, включая журналы, книги, материалы конференций, рабочие документы, технические отчеты и наборы данных.
- Elements - система управления исследованиями с широкими возможностями настройки, предназначенная для агрегирования исследовательской информации для снижения административной нагрузки на исследователей и поддержки администраторов исследовательских организаций.
- InCites - настраиваемый веб-инструмент, который позволяет пользователям анализировать производительность и эффективность учреждения по сравнению с аналогами по всему миру благодаря доступу к цитатам, глобальным показателям и институциональным профилям передовых исследований.
- PURE - исследовательская информационная система. Она позволяет получать доступ к внутренним и внешним источникам и агрегировать их, а также предоставляет функции анализа, отчетности и сравнительного анализа.
6 Литвинова Н.Н. Многоликий DOI CrossRef: все ли функции мы используем? Наука и научная информация. 2020. № 3(2-3). С. 155-165. // URL: https://doi. org/10.24108/2658-3143-2020-3-2-3-155-165 (Дата обращения: 28.12.2022).
- SciVal - инструмент оценки исследований, ориентированный на сбор иснформации о результатах исследований в научно-исследовательских учреждениях по всему миру.
- Идентификаторы авторов Scopus - это уникальные цифровые ссылки на научные результаты отдельных исследователей в любой академической дисциплине. Такие идентификаторы автоматически генерируются, когда авторы индексируют хотя бы одну статью в Scopus, что позволяет отслеживать и анализировать цитирование и, в частности, значения h-индекса, отображать профессиональные ключевые слова, аффилиации и ссылки на их профили соавторов. Недавняя интеграция методов PlumX Metrics со Scopus придала новое направление онлайн-профилю за счет агрегирования информации о метриках на уровне статей, таких как загрузки, просмотры, сохранение в закладки, упоминания в блогах, ссылки в Википедии, внимание СМИ и количество цитирований. Сравнение с другими инструментами, такими как ImpactStory, показало, что PlumX имеет наиболее полный охват социального резонанса научной информации7.
Хотя идентификатор автора в Scopus связан с записями крупнейшей базы данных рефератов и цитирования, крайний срок содержания (начиная с 1996 г.) может исказить профили исследователей с более длительной академической карьерой и большим количеством цитирований их работ, которые еще не охвачены этой базой данных. Профиль Scopus также может содержать технические ошибки из-за автоматической обработки данных и генерации нескольких идентификаторов для одного и того же автора. Такое ограничение можно преодолеть, регулярно отслеживая обновления и объединяя два и более профиля по запросу пользователей.
- Web of Science в отличие от Scopus не генерирует идентификаторы авторов автоматически, что некоторыми рассматривается как ограничение комплексной оценки публикационной активности человека8. В 2008 году Thomson Reuters запустила ResearcherID как междисциплинарный сервис, интегрированный с платформой Web of Science. Сайт был разработан путем создания уникальных профильных веб-страниц и демонстрации публикаций и отдельных цитат
7 Gasparyan A.Y., Yessirkepov M., Voronov A. et al. Article-Level Metrics. Journal of Korean Medical Science. March, 2021. 36. P. 1-11). // URL: https://www.researchgate. net/publication/349922977_Article-Level_Metrics (Дата обращения: 28.12.2022).
8 Gasparyan A.Y., Nurmashev B., Yessirkepov M., et al. Researcher and Author Profiles: Opportunities, Advantages, and Limitations. Journal of Korean Medical Science. 32. P. 1749-1756. // URL: https://www.researchgate.net/publication/320120523_ Researcher_and_Author_Profiles_Opportunities_Advantages_and_Limitations (Дата обращения: 28.12.2022).
исследователей Web of Science. Авторы, имеющие доступ к Web of Science, могут создать профиль исследователя, отправлять и регулярно обновлять свои биографические заметки и проиндексированные статьи, отправлять цитаты и значения h-index, предоставлять ссылки на свои идентификаторы ORCID и находить соавторов.
- Google Academic (или Google Scholar) была запущена в 2012 году как бесплатная онлайн-платформа. Теперь она работает как основной инструмент для продвижения авторов в любой научной дисциплине, по крайней мере, с одной статьей, опубликованной в проиндексированном журнале, книге, документе конференции и других источниках, которые отслеживаются Google. Для авторов с небольшим количеством проиндексированных или недостаточно заметных статей в Scopus и Web of Science, особенно в области социальных и гуманитарных наук, может быть полезен профиль в Google Scholar. Такой профиль также полезен для продвижения начинающих исследователей. Профиль автора может быть заполнен фотографиями, ссылками на аналогичные профили соавторов, вручную добавленными или взятыми из статей, книг, диссертаций, Google Slides и других опубликованных статей.
- ResearchGate - одна из крупнейших социальных сетей для исследователей, насчитывающая более 20 млн. зарегистрированных пользователей9. Она была запущена в 2008 году как междисциплинарный центр для исследователей, площадка для обмена статьями, взаимодействия с потенциальными сотрудниками и форум для научных дискуссий. Для создания страницы профиля исследователь должен иметь хотя бы одну публикацию, идентифицируемую системой, или учетную запись электронной почты признанного учреждения. Профили ResearchGate включают фотографии, ключевые слова, представляющие профессиональные интересы, ссылки на опубликованные статьи и сообщения. Пользователи могут следить за активностью публикаций других зарегистрированных исследователей, отправлять онлайн-сообщения, обсуждать вопросы исследований и получать уведомления, когда их статьи просматриваются, загружаются или цитируются. Функциональность сайта аналогична другим социальным сетям и профильным службам, таким как Academia.edu, Google Scholar, Facebook и LinkedIn. Однако ResearchGate предназначена, в первую очередь, для научного общения и обмена данными между исследователями, авторами и редакторами журналов.
- Academia.edu - платформа, ориентированная на академические
9 ResearchGate: официальный сайт. // URL: https://www.researchgate.net/ progress-report-2021 (Дата обращения: 28.12.2022).
нужды, на которой зарегистрировано более 209 млн. пользователей10. Academia.edu генерирует персонализированные списки рекомендуемых ссылок для своих пользователей, экономя время на поиски. Известные ограничения этого сайта связаны с ограниченными инструментами для качественного научного общения и тем фактом, что услуги не бесплатны.
- eLibrary.Ru - научная электронная библиотека, интегрированная с Российским индексом научного цитирования, созданная в 1999 году по инициативе Российского фонда фундаментальных исследований. Содержит рефераты и полные тексты более 38 млн. научных публикаций и патентов, в том числе электронные версии более 5600 российских научно-технических журналов, из которых более 4800 журналов в открытом доступе11.
Подводя итоги исследования, важно отметить, тот вклад, который ИКТ, через веб-платформы и онлайн-сети, внесли в развитие систем оценки результатов научных исследований, наукометрии и библиометрии, доступа к научной информации. Развитие онлайн-се-тей, позволяющих создавать профили исследователей, привело к повышению наглядности результатов исследований и развитию связей между исследователями. Беспрецедентно расширился доступ к научной информации через веб-платформы и сети.
Как показывает практика, правильная оценка играет роль измерения полученных результатов в интересах самого исследователя. Способ проведения оценки формирует научное поведение исследователей и существенно влияет на выбор приоритетов в исследовательской деятельности, а в среднесрочной перспективе определяет качество результатов, получаемых всем научным сообществом.
Библиографический список
1. Литвинова Н.Н. Многоликий DOI CrossRef: все ли функции мы используем? Наука и научная информация. 2020. № 3 (2-3). С. 155-165. // URL: https://doi. org/10.24108/2658-3143-2020-3-2-3-155-165 (Дата обращения: 28.12.2022).
2. Academia: официальный сайт. // URL: https://www.academia.edu/about (Дата обращения: 28.12.2022).
3. Basson I, Simard M-A, Ouangré ZA, Sugimoto CR, Larivière V. The effect of data sources on the measurement of open access: A comparison of Dimensions and the Web of Science. PLoS ONE 17(3): e0265545. March 31. 2022. // URL: https://doi.org/10.1371/journal. pone.0265545 (Дата обращения: 28.12.2022).
4. eLibrary: официальный сайт. // URL: https://www.elibrary.ru/defaultx.asp (Дата обращения: 28.12.2022).
5. Garfield E. Citation indexes for science; a new dimension in documentation through as-
10 Academia: официальный сайт. // URL: https://www.academia.edu/about (Дата обращения: 28.12.2022).
11 eLibrary: официальный сайт. // URL: https://www.elibrary.ru/defaultx.asp?.
sociation of ideas. Science. 1955 Jul. 15. Vol 122. Issue 3159. P. 108-111. // URL: https://www. science.org/doi/10.1126/science.122.3159.108 (Дата обращения: 28.12.2022).
6. Gasparyan A.Y., Yessirkepov M., Voronov A. et al. Article-Level Metrics. Journal of Korean Medical Science. March, 2021. № 36. P. 1-11. // URL: https://www.researchgate.net/ publication/349922977_Article-Level_Metrics (Дата обращения: 28.12.2022).
7. Gasparyan A.Y., Nurmashev B., Yessirkepov M., et al. Researcher and Author Profiles: Opportunities, Advantages, and Limitations. Journal of Korean Medical Science. 32. P. 1749-1756. // URL: https://www.researchgate.net/publication/320120523_Re-searcher_and_Author_Profiles_Opportunities_Advantages_and_Limitations (Дата обращения: 28.12.2022).
8. Hirsch, J. E. An Index to Quantify an Individual's Scientific Research Output. Proceedings of the National Academy of Sciences. 2005. Vol. 102. № 46. P. 16569-16572. // URL: https://www.pnas.org/doi/epdf/10.1073/pnas.0507655102 (Дата обращения: 28.12.2022).
9. Leydesdorff, Loet & Milojevic, Stasa. (2012). Scientometrics. Computer Physics Communications. 10.1016/B978-0-08-097086-8.85030-8. // URL: https://www.researchgate.net/ publication/230715913_Scientometrics.
10. Lotka A.J. The Frequency Distribution of Scientific Productivity. Journal of the Washington Academy of Sciences, June 19, 1926. Vol. 16. № 12. P. 317-323. // URL: https://www. jstor.org/stable/pdf/24529203.pdf (Дата обращения: 28.12.2022).
11. ResearchGate: официальный сайт. // URL: https://www.researchgate.net/progress-re-port-2021 (Дата обращения: 28.12.2022).
References
1. Litvinova N.N. The Many Faces of DOI CrossRef: Are We Using All the Functions? Science and scientific information. 2020. № 3 (2-3). pp. 155-165. // URL: https://doi. org/10.24108/2658-3143-2020-3-2-3-155-165 (12.28.2022).
2. Academy: official site. // URL: https://www.academia.edu/about (12.28.2022).
3. Basson I, Simard M-A, Ouangre ZA, Sugimoto CR, Lariviere V. The impact of data sources on the measurement of open access: comparison of measurements and Web of Science. PLoS ONE 17(3): e0265545. March 31, 2022 // URL: https://doi.org/10.1371/journal. pone.0265545 (12.28.2022).
4. Electronic library: official site. // URL: https://www.elibrary.ru/defaultx.asp (12.28.2022).
5. Garfield E. Science citation indices; a new dimension in documentation through the union of ideas. The science. 1955 July 15. Volume 122. Issue 3159. P. 108-111. // URL: https://www. science.org/doi/10.1126/science.122.3159.108 (12.28.2022).
6. Gasparyan A.Yu., Esirkepov M., Voronov A. et al. Metrics at the article level. Journal of Korean Medical Science. March 2021. № 36. P. 1-11. // URL: https://www.researchgate.net/ publication/349922977_Article-Level_Metrics (12.28.2022).
7. Gasparyan A.Yu., Nurmashev B., Esirkepov M. et al. Profiles of researchers and authors: opportunities, advantages and limitations. Journal of Korean Medical Science. 32. Р. 1749-1756. // URL: https://www.researchgate.net/publication/320120523_Research-er_and_Author_Profiles_Opportunities_Advantages_and_Limitations (12.28.2022).
8. Hirsch, J. E. Index for quantifying the results of human research. Proceedings of the National Academy of Sciences. 2005. Vol. 102. № 46. Р. 16569-16572. // URL: https://www.pnas. org/doi/epdf/10.1073/pnas.0507655102 (12.28.2022).
9. Leidesdorf, Loet and Milojevic, Stasa. (2012). scientometrics. Communications in computer physics. 10.1016/B978-0-08-097086-8.85030-8. // URL: https://www.researchgate.net/ publication/230715913_Scientometrics.
10. Lotka A.J. Frequency distribution of scientific productivity. Journal of the Washington Academy of Sciences, June 19, 1926. Vol. 16. № 12. Р. 317-323. // URL: https://www.jstor.org/ stable/pdf/24529203.pdf (Date of access: 12/28/2022).
11. ResearchGate: official site. // URL: https://www.researchgate.net/progress-report-2021 (12.28.2022).
