CC BY
31
БИБЛИОСФЕРА, 2018, № 1, с. 71-77/ BIBLIOSPHERE, 2018, no. 1, pp. 71-77
Обзоры =
УДК 001.891:62:027.021
ББК 72+30.6+78.34
DOI 10.20913/1815-3186-2018-1 -71-77
ИНДИКАТОРЫ НАУКИ И ТЕХНОЛОГИЙ ГЛАЗАМИ БИБЛИОТЕКАРЯ
© В. С. Лазарев, 2018
Белорусский национальный технический университет, Минск, Беларусь; e-mail: vslazarev@bntu.by
Обзор докладов, прослушанных автором на Международной конференции «STI 2017: Open indicators: innovation, participation and actor-based STI indicators», Paris, 6-8 September 2017 («Индикаторы науки и технологий: Открытые индикаторы: инновации, участие и индикаторы науки и технологий, основанные на учете участников», Париж, 6-8 сент. 2017).
Ключевые слова: индикаторы науки и технологий, международная конференция, научная библиотека, библиометрия, наукометрия, оценка научной деятельности, оценка научных организаций, оценка университетов, оценка научных журналов
Для цитирования: Лазарев В. С. Индикаторы науки и технологий глазами библиотекаря // Библиосфера. 2018. № 1. С. 71-77. DOI: 10.20913/1815-3186-2018-1-71-77.
Science and technology indicators by eyes of a librarian V. S. Lazarev
Belarusian National Technical University, Minsk, Belarus; e-mail: vslazarev@bntu.by
The main directions of the International Conference «STI 2017: Open indicators: innovation, participation and actor-based STI indicators» (Paris, 6-8 September 2017) were the following according to the author's opinion: survey of geographical features, patterns of the science development and a choice of adequate indicators to evaluate these features and patterns; as well as development of new methods for data processing, sharing, analysis and use to assess science and technology. As the conference was held in the format of 4 parallel sessions being carried on simultaneously, the author was compelled to choose the presentations closest to his interests, namely, presentations on scientometrics and related issues. Such a choice was not subjective, because the author being an employee of the Belarusian National Technical University Scientific Library, is engaged in evaluating research activity of scientific organizations and universities (which have long been regarded as an objective of research libraries by serious library specialists of Belarus and Ukraine), as well as of scientific periodicals, and therefore is most interested in information about indicators of research activity of scientific organizations and universities and, especially, about indicators of value and quality of academic periodicals. The presentations that the author has managed to listen to and the discussions that he participated in, transferred via this mini-review seem to be helpful in further bibliometric studies conducted in the Belarusian National Technical University Scientific Library and to be of an interest to the readers of the journal.
Keywords: science and technology indicators, international conference, academic library, bibliometrics, scientometrics, evaluation of research activities, evaluation of research organizations, ranking of universities, journal evaluation
Citation: Lazarev V. S. Science and technology indicators by eyes of a librarian // Bibliosphere. 2018. № 1. P. 71-77. DOI: 10.20913/1815-3186-2018-1 -71-77.
Международная конференция «STI 2017: Open indicators: innovation, participation and actor-based STI indicators» («Индикаторы науки и технологий: Открытые индикаторы: инновации, участие и индикаторы науки и технологий, основанные на учете участников») проводится регулярно. В 2017 г. она проходила на базе Школы инновационных технологий при Торгово-промышленной палате региона Париж Иль-де-Франс, была организована Университетом Париж-Эст-Марн-ла-Валле (Université Paris-Est Marne-la-Vallée) и Школой инновационных технологий в Торгово-промышленной палате региона Париж Иль-де-Франс при участии Института исследований и инноваций (Institut Francilien Recherche Innovation Société) и подразделения смешанного подчинения - Laboratoire Interdisciplinaire Sciences Innovations Sociétés
(11818), то есть Междисциплинарной лаборатории по науке и инновациям, созданной на базе Университета Париж-Эст-Марн-ла-Валле в январе 2015 г.
Насколько можно было судить по сайтам организаторов, на конференции 2017 г. планировалось сфокусироваться на организации новых форм взаимодействия между социальными субъектами и субъектами науки, техники и инноваций, делая при этом акцент на «гражданское общество»; рассмотреть географические особенности и закономерности развития науки и использования для оценки этих закономерностей соответствующих индикаторов; уделить внимание новым методическим разработкам, новым методам обработки, обмена, анализа и использования данных. Основными направлениями конференции представляются два последних. Как работник
Научной библиотеки Белорусского национального технического университета, я был заинтересован в информации об индикаторах научной деятельности научных организаций и университетов, об индикаторах сравнительной ценности научных сериальных изданий. В то же время такие секции, как, например, «Ген-дерные перспективы», не могли мне быть интересны и полезны1.
В конференции участвовало не менее 230 специалистов. Согласно наблюдениям автора, в основном были представлены: Нидерланды, Германия, Франция, Италия, Испания, Бельгия, Китай, скандинавские страны. Из США - всего 1 человек, из бывшего СССР - 2 (Беларусь - 1, Литва - 1). Из посткоммунистических стран - 1 участник из Чехии и 1 из Венгрии.
Первой была презентация RISIS (Research Infrastructure for Research and Innovation Policy Studies -Исследовательской инфраструктуры для изучения исследовательской и инновационной политики), которую представлял профессор Philippe Laredo, директор по исследованиям Института исследований и инноваций. Помимо этого института, в инфраструктуру входят: Сетевой институт Амстердамского университета, Манчестерский институт инновационных исследований Университета Манчестера, Австрийский институт технологий, Северный институт изучения инноваций, исследований и образования, Национальный совет исследований (Франция), Центр исследований науки и технологий Лейденского университета и другие организации.
Среди задач данной инфраструктуры в докладе Philippe Laredo были названы и развернуто прокомментированы следующие: разработка индикаторов, соответствующих новым условиям, отражающих не «картину», но изменения; организация доступа к новым информационным источникам; разработка и поддержание баз данных по инновациям, важнейшим исследованиям ЕС, новым технологиям, нанотехно-логиям.
Следующим было ключевое выступление Ismael Rafols (аналитика научно-технологической политики из Ingenio - объединенного научно-исследовательского института Испанского национального совета по исследованиям и Политехнического университета Валенсии) «Вопросы программы индикаторов социального вклада». В нем упоминалось о проблемах создания надежных индикаторов, действующих в мире, характеризующемся высокой неопределенностью, о проблемах политической ангажированности при их (индикаторов) создании. Были рассмотрены вопросы концептуальной и разносторонней экспертизы, проблемы расширения как объема данных, так и необходимых экспертиз, спорные вопросы применения индикаторов. Например, нужна оценка не «количества вкладов», а «качества привнесенного»; «больше инноваций» не значит «сделать жизнь лучше»... Или:
1 Командировка автора полностью финансировалась проектом Европейского союза «MOST», направленным на расширение контактов между гражданами Беларуси и ЕС для обмена передовым опытом и улучшения взаимопонимания, работникам которого автор выражает глубочайшую признательность. Координатор проекта - Наталья Илькевич.
«как "свести" весь мир к одной базе данных?», «как создать индикатор социального вклада и возможно ли это?».
Секция «Вопросы наукометрии I»
Ее первый доклад «Рейтинг: конкурентоспособность и стабильность», посвященный математическим проблемам ранжирования, представлял профессор Ronald Rousseau (рис. 1) из Университета Антверпена (Бельгия) (соавторы: Carlos Garcna-Zorita, Sergio Marugan-Lazaro и Elias Sanz-Casado). Вслед за этим состоялся доклад Jens Peter Andersen из Университета г. Орхус (Дания) (соавторы - Fereshteh Didegah и Jesper Wiborg Schneider) «Необходимость сравнения подобного с подобным в оценочной наукометрии: первая попытка создания и апробирования общего подхода к определению соответствующих эталонных единиц», в котором рассматривалась проблема эталонных значений при сравнении неоднородных, но подобных индикаторов (например, ключевых слов и различных стандартных классификаторов). При этом демонстрировалось, что углубленное исследование научной деятельности организаций, которые эксперты единодушно считают лучшими, «эталонными», показывает, что зачастую они такими не являются.
Доклад Vincent Antonio Traag (Центр научных и технических исследований при Лейденском университете) в соавторстве с Rodrigo Costas «Управляет ли ци-тируемостью импакт-фактор?» (рис. 2) вызвал оживленный интерес участников и дискуссию. В работе сделана попытка показать, что публикация статьи в журнале с высоким импакт-фактором повышает уровень цитируемости отдельно взятой статьи до 48% (что противоречит общепринятому мнению), в то время как предпубликационная цитируемость статей, размещенных в arXiv, может повысить общий уровень цитируемости отдельно взятой статьи не более чем на 6%. (Но как это было выделено? За счет учета высокоцитируемых статей, опубликованных в журналах с низким импакт-фактором? Это не доказывает, что причиной высокой цитируемости журналов с высоким импакт-фактором был именно высокий импакт-
Рис. 1. Профессор Ronald Rousseau выступает с докладом «Рейтинг: конкурентоспособность и стабильность»
Fig. 1. Prof. Ronald Rousseau is presenting a report «Rankings: competitiveness versus stability»
Рис. 2. Публикация статьи в журнале с высоким импакт-фактором повышает уровень цитируемости отдельно взятой статьи? По данным Vincent Antonio Traag это именно так
Fig. 2. Does publication of an article in a journal with a high impact factor make the citatedness level of this paper higher? According to Vincent Antonio Traag, it does
фактор, а не высокая ценность статьи.) Слабым местом работы, на наш взгляд, является смешение автором понятий «ценность» и «качество». (Об их нетождественности и принципиальных различиях см., например, [2]) И если статьи с высокой предпубликаци-онной цитируемостью, «имеют более высокие шансы быть опубликованными в журналах с высоким им-пакт-фактором» [11], можно ли утверждать, что именно импакт-фактор влияет на их цитируемость (а не научная ценность, обусловившая их высокую цитируемость и в предпубликационном состоянии)?
И все же эта работа представляет большой методологический интерес, особенно в контексте постоянных «шараханий» в отношении к «импакт-фактору», значение которого обычно склонны преувеличивать (но в последние год-два - преуменьшать [5, 8, 9]).
Секция «Вопросы наукометрии II»
Marco Malgarini (ANVUR - Итальянское национальное агентство по системам оценки университетов и исследований) в своем докладе «Эффект совместных исследований на цитируемость: динамический анализ панельных данных» (в соавторстве с Tindaro Cicero) поднял тему эффективности международного сотрудничества. На первый взгляд, в результате проведенного исследования однозначно подтверждено мнение о том, что только международное сотрудничество усиливает научный вклад публикаций, в то время как другие виды сотрудничества не играют такой роли. Однако, по данным докладчика, это не относится к биомедицинским наукам, а в математических и компьютерных дисциплинах сотрудничество отрицательно влияет на научный вклад публикаций.
Belén Álvarez-Bornstein из Центра гуманитарных и общественных наук (Испания) представила доклад «Отношения между финансированием исследований и научными результатами в двух различных медико-
биологических дисциплинах» (соавторы: Adrián A. Díaz-Faes и María Bordons). Предварительные результаты работы показали, что финансируемые исследования чаще публикуются в журналах с высоким импакт-фактором, получают в целом больше ссылок и чаще тяготеют к международному сотрудничеству.
Второй доклад, представленный Vincent Antonio Traag в соавторстве с Ludo Waltman («Использование журнального импакт-фактора для оценки отдельных статей не обязательно неверно»), вызвал еще большую дискуссию. Докладчик - на примере умозрительных спекуляций - продемонстрировал, что при наличии «естественных» расхождений между «ценностью» статьи и ее цитируемостью импакт-фактор журнала может быть лучше согласован с уровнем «ценности» усредненной работы, нежели уровень ее цитируемости. Однако работа содержит ту же методологическую ошибку: под «ценностью» докладчик имеет в виду качество. С такой поправкой его выводы весьма интересны, так как утверждений о применимости импакт-фактора для оценки качества публикуемых в журнале статей было сколько угодно, а убедительных подтверждений им, насколько нам известно, до сих пор не было. Качество - субъективное свойство, зависящее от познающего субъекта и оцениваемое a priori, в то время как ценность -свойство объективное, познаваемое только через взаимодействие объекта и субъекта, а точнее, через использование объекта субъектом. Потому-то ссылки на работы низкой ценности невозможны по определению, но обильное цитирование работ низкого качества (так называемое отрицательное цитирование) - вполне возможно! [2, с. 12].
Доклад «Читабельность рефератов как мягкий параболический стеклянный потолок для цитируемости» был представлен Stephan Stahlschmidt из Департамента исследовательских систем и научной динамики Германского центра исследований высшего образования и науки (рис. 3). В нем была показана зависимость цитируемости статей от читабельности их рефератов, включая длину предложений, словарь, пропуски слов, знакомство читателя с отдельными словами, использование автором конкретных частей
Рис. 3. Доклад Stephan Stahlschmidt «Читабельность рефератов как мягкий параболический стеклянный потолок для цитируемости»
Fig. 3. «Abstract Readability as a Soft Parabolic Glass Ceiling for Citations»: the presentation delivered by Stephan Stahlschmidt
речи. На вопрос, могут ли цитирующие авторы не продвигаться в чтении цитируемой статьи дальше реферата, докладчик ответил утвердительно. Это представляется сомнительным, но в то же время согласуется с некоторыми данными, приведенными в литературе [10].
Секция «Вопросы наукометрии III»
7зуАа V. Vida (Библиотека и информационный центр Венгерской академии наук) представила доклад «Познавательная дистанция на сети сотрудничества в сравнении с анализом библиографической связанности авторов». Термин «познавательная дистанция» значит в понимании автора «схожесть познавательной основы исследователей» (то есть структуры цитирования в их работах). Докладчиком была предложена новая модель библиометрической кластеризации авторов с учетом каждого соавтора. Апробация методики проведена на материале по экономике (представляющей «мягкие» науки) и физической географии (в качестве «твердой» науки).
Valeria Aman (Германский центр исследований высшего образования и науки) исследовала в своем докладе «Достаточно ли авторского идентификатора БД Scopus для отслеживания международной мобильности? Исследование на примере лауреатов премии Лейбница» возможности использования данных БД Scopus для отслеживания международной мобильности.
Доклад Andrea Reyes-Elizondo из Центра исследований науки и технологий Лейденского университета «Больницы при университетах и научных центрах: вызов для научных медицинских центров» (соавторы: Clara Calero-Medina и Martijn Visser) продемонстрировал, как вследствие формально различного статуса больниц, по сути одинаково сопряженных с университетами и исследовательскими центрами, по «тактическим причинам» происходят искажения в обозначении мест работы авторов статей, выполненных в этих больницах.
Секция «Вопросы наукометрии IV»
Профессор Loet Leydesdorf из Амстердамской школы исследований коммуникации, автор, имеющий репутацию живого классика (рис. 4), представил доклад «"Междисциплинарность" на различных уровнях обобщения: промежуточность и разнообразие в сети цитирования журналов», в котором показал подвижность и неопределенность использования в современной наукометрии понятия «междисциплинарность» (соавторы - Caroline Wagner и Lutz Bornmann) и предложил формулу определения междисциплинарности журналов. (Работа основывалась как на теоретических осмыслениях, так и на анализе 11 365 журналов, отражаемых в Journal Citation Reports.)
Ulf Sandstrom из Швеции (Королевский институт технологий, Стокгольм) в докладе «Влияние познавательной дистанции на решение о выделении грантов» (в соавторстве с Peter Van Den Besselaar) на основании изучения библиографической сочетаемости выявил интереснейшие отношения между заявителями на финансирование исследований и экспертами, рецензирующими эти заявки, как между авторами-учеными. Эти отношения, безусловно, влияют на
M8«WMTii!«s'ana
Мёзздг» Qi Lnterc
Рис. 4. Выступает классик. Loet Leydesdorf делает доклад «"Междисциплинарность" на различных уровнях обобщения: промежуточность и разнообразие в сети цитирования журналов»
Fig. 4. A classic is speaking. Prof. Loet Leydesdorf is reporting «"Interdisciplinarity" at Different Levels of Aggregation: Betweenness and Diversity in Journal Citation Networks»
рецензирование, но не учитываются и не могут учитываться при назначении экспертов. При этом докладчиком указывалось, что только исследования, с тематикой которых эксперты ограниченно знакомы, могут получить объективную оценку: действительно хорошо знакомая тематика ими воспринимается как тривиальная, а совсем незнакомая может оказаться просто непонятой.
Bart Thijs c факультета экономики и бизнеса Университета Лёвена (Бельгия) рассказал о разработанной методике и опыте построения сетей библиографических ссылок для дальнейшего использования в качестве «стандарта» выделения тематических областей при проведении Bibliometric Aided Retrieval, то есть информационного поиска, основанного на применении библиометрии. Название доклада: «Преодоление еще одного пробела между оценкой исследования и поиском информации - разграничение сред документа» (соавтор - Wolfgang Glänzel).
Затем наступила очередь ключевого выступления Rémi Barré «Индикаторы мертвы - да здравствуют индикаторы: сорок лет создания и применения индикаторов».
Главные, по нашему мнению, идеи выступления профессора Rémi Barré из Института исследований и инноваций - это убеждение, что индикаторы, созданные в 1990-2010-е гг., «способствуют нашей слепоте и невежеству, претендуя, однако, на обеспечение понимания, основанного на научно обоснованных показателях»; что предложенные в этот период унифицированные «метрики» (индикаторы) суть «необходимый компонент для построения рынков, конкуренции и связей с финансовой системой»; что, наконец, возрастает разрыв между необходимыми индикаторами и коммерческой продукцией провайдеров индикаторов (причем сообщество исследователей, использующих индикаторы науки и технологий, уделяет недостаточное внимание фундаментальной науке). Эти три тезиса докладчик назвал гипотезами, однако звучали они весьма убедительно, хорошо согласуясь с тем, что в последнее десятилетие в странах СНГ
наблюдается определенная профанация использования таких индикаторов для оценки науки и ученых, а также с недостаточной осмысленностью специалистами в области библиометрии и наукометрии оцениваемых с помощью индикаторов свойств «измеряемых» объектов [6, 7].
Секция «Подходы, основанные на локальных особенностях»
Внимание привлекли два доклада. В работе, представленной Antoine Schoen (Междисциплинарная лаборатория по науке и инновациям), «Развитие глобальных и локальных индикаторов науки и технологий для профилирования территориальной вовлеченности научно-исследовательских центров в области морской биотехнологии» (соавторы - Douglas Robinson, Laurens Patricia и Philippe Larédo) была предложена система индикаторов, охватывающих такие сферы деятельности оцениваемых центров, как публикации, выполнение проектов, финансируемых на конкурсной основе, обучение, связи с частным сектором, патентование, связь с политикой и рынком, связь с «гражданским обществом»; составлена «карта» межинститутского соавторства данных центров с охватом публикаций за 5 лет.
В докладе Marion Maisonobe из Университета Пу-атье (рис. 5) «Пространственное рассредоточение деятельности по производству научной продукции: а как насчет цитат? Анализ городов с охватом всего мира на уровне отдельных городов (1999-2011)» (соавторы: Béatrice Milard, Laurent Jégou, Denis Eckert и Michel Grossetti) было показано, в частности, снижение доли ссылок на работы «монстров продуктивности» как в странах, так и в городах, а также в дисциплинарных массивах публикаций. Применительно к различным дисциплинам, впрочем, эта закономерность проявляет себя с разной степенью выраженности. Более общие результаты: растущее сближение между географией научного «производства» (то есть публикаций) и цитируемостью. В то время как Сингапур, Китай, Индия и Иран страдали от дефицита «видимости» (цитируемости) в 2000 г., их уровень значительно улучшился в 2007 г. Кроме того, сокращение различий между «видимостью» городов наблюдается практически во всех странах мира, кроме трех: Швеция,
Рис. 5. «Пространственное рассредоточение деятельности по производству научной продукции: а как насчет цитат?» (доклад Marion Maisonobe)
Fig. 5. «The spatial déconcentration of scientific production activities: what about citations?»: the presentation by Marion Maisonobe
Египет и Дания. Разрыв между долей цитат и долей публикаций уменьшился во всех дисциплинах. Значительная асимметрия в пользу англоязычных стран осталась в распределении цитирований в области гуманитарных и социальных наук (но она уменьшается).
Секция «Новые методологии II»
На этой секции удалось познакомиться с докладом «Подходы тематического моделирования к агрегированным данным цитирования» (Johan Eklund из Университета Бореса, Швеция; соавтор Gustaf Nel-hans). В работе использован анализ социтирования, цитируемые источники воспринимаются не как самостоятельные цельные документы, а как «портфели слов» (выражение из доклада), классификацию документов предложено осуществлять на основании соответствующего анализа социтируемости «портфелей слов». Докладчик утверждал, что на основании представленного им анализа возможно даже выявление «латентных ссылок» (выражение из доклада), то есть работ, которые должны были быть процитированными, но процитированы не были. Неоднократно подчеркивался незавершенный характер представленной работы.
В докладе же Patricia Helmich из Института Фра-унгофера системных и инновационных исследований (Германия) «Циклы и эволюция темы научных работ и патентных данных - анализ ключевых слов и текстовых данных» (соавторы: Peter Neuhäusler и Rainer Frietsch) была представлена методика анализа ключевых слов для оценки изменения со временем тематики научных журналов и патентных массивов.
Секция «История индикаторов науки и технологий»
Хотя первый из докладов - Arlette Jappe из Междисциплинарного центра науки и технологических исследований в г. Вупперталь (Германия) - и назывался «Кто определяет профессиональные стандарты и используемые показатели библиометрических оценок научных исследований?», по существу он представлял собой историко-научное исследование, выполненное с помощью цитат-анализа и направленное на выявление наиболее часто использованных библиометрических методик. Автор акцентировала внимание на необходимости нормализации показателей, на целесообразности более широкого применения квартильного подхода и констатировала отсутствие стандартных методов. Возникло ощущение, что это как будто несколько огорчает автора, хотя, как видно из ключевого выступления Rémi Barré «Индикаторы мертвы - да здравствуют индикаторы: сорок лет создания и применения индикаторов», упомянутого выше, наличие обязательных стандартов в библиометрических методиках могло бы нанести непоправимый вред науке. Да и сама Arlette Jappe справедливо отмечает, что, хотя признанных стандартных индикаторов и не существует, эксперты находятся под влиянием готовых индикаторов и стремятся скорее использовать их, нежели производить громоздкие трудоемкие вычисления для работы с индикаторами, лучше характеризующими исследуемый объект.
Sabrina Petersohn из Университета г. Вупперталь (Германия) в своем докладе «Библиометрические
оценки исследований как профессиональная компетенция. Выводы из истории Лейденского центра науки и технологических исследований (CWTS), 1980-2016» (соавтор - Thomas Heinze) на основании интервью экспертов (12 бывших сотрудников CWTS), изучения архива отчетов о научных проектах и рецензий на них, а также на основании интервью с экспертами по научной политике реконструировала историю Лейденского центра науки и технологических исследований (CWTS) в названный период. При этом выявлена объективная выдающаяся роль ряда персоналий, включая Anthony van Raan и Henk Moed.
Наконец, Florian Beng из Германского центра исследований высшего образования и науки представил доклад «Альтметрика и ее интеллектуальные предтечи: аргументация и концептуальное развитие», который вызвал широкие дискуссии. Будучи весьма добротным с исторической точки зрения, весьма подробным в анализе частных методик, задач и возможностей применения, отлично структурированным, доклад, на наш взгляд, страдал от отсутствия попыток выявить специфику этой амбициозной области знаний, оправдывающей ее выделение в отдельную субдисциплину (самостоятельную методологию). В самом деле, пусть альтметрика исследует документы в новой среде, но объект остается тем же - документ; пусть в ней используется новая (часто совсем неоправданная) терминология, но ведь все методы, на которые альтметрика претендует как на свои специфические, давно известны как методы библиометрии [2, с. 8-9]. Новой здесь может быть только такая цель, как изучение закономерностей усвоения научной информации неспециалистами (либо «обществом в целом»), но достаточно ли ее для обоснования самостоятельного статуса альтметрики? Судя по реакции докладчика на замечания, он просто сознательно оставил этот аспект проблемы за рамками своей презентации. Кстати, на отсутствие «формального определения» альтметрики указано в [4, р. 1118], а на «недостаток вразумительного теоретического и концептуального обрамления» ее - в [3, p. 32]. (Отчет [3] и переслал мне после окончания конференции докладчик Florian Beng, за что автор выражает ему свою искреннюю признательность.)
Секция «Система выполнения научно-исследовательских работ II»
Marco Malgarini (Римский университет Ла Сапи-енца) представил на этой секции доклад «Об использовании библиометрической информации для оценки качества статей» (соавторы: Marco Alfo, Sergio Benedetto и Scipione Sarlo), в котором были изложены результаты одновременной оценки качества научных статей с помощью экспертной оценки и их оценки с помощью различных библиометрических индикаторов (рис. 6). По-видимому, здесь уже не принята за факт возможность прямой оценки качества научного продукта с помощью цитат-анализа, так как докладчик говорил об этом весьма осторожно (например, «возможное охарактеризование качества», «заместитель экспертной оценки»). В результате выполненных исследований было установлено, что «наилучшим заместителем экспертной оценки является
Рис. 6. Marco Malgarini рассматривает «использование библиометрической информации для оценки качества статей»
Fig. 6. Marco Malgarini is viewing «the use of bibliometric information for assessing articles quality»
комбинированная информация о цитируемости статей и импакт-факторе опубликовавших их журналов». Это интересно, но не неожиданно: во-первых, с помощью уровня цитируемости имманентно производят оценочные суждения о ценности цитируемых работ (а это свойство, принципиально отличаясь от качества, на практике зачастую с ним совпадает по результатам количественной оценки [2, c. 6]), а во-вторых, возможность использования импакт-фактора журнала для оценки качества публикуемых в нем статей характеризуется тем, что определенный уровень импакт-фактора уже выступает как умозрительный стандарт - то есть как принципиально необходимое условие для оценки качества (даже в случае непонимания этого факта экспертом-оценщиком).
Janne Polonen из Федерации финских научных обществ представил весьма любопытный доклад под названием «Была ли моя публикация прорецензирована?» (соавторы: Tim Engels, Raf Guns и Frederik Ver-leysen), в котором показал, что в ряде случаев рецензирование выполняется настолько формально, что фактически отсутствует. При этом соавторы книги или журнальной статьи из разных стран на вопрос о том, прошла ли их совместная книга предпублика-ционное рецензирование или является ли рецензируемым журнал, в котором была опубликована совместная статья, дают порой противоположные ответы.
И, наконец, свой третий доклад сделал Vincent A. Traag (соавтор Ludo Waltman) - на этот раз под названием «Замена экспертной оценки метриками?». Ответ на этот вопрос дается утвердительный, необходимая корреляция для этого утверждения найдена, а наши комментарии к данной работе полностью повторяют таковые к докладу Marco Malgarini.
Секция «Альтметрика II»
Здесь удалось ознакомиться только с докладом «Литовские научные журналы: готовы ли они к альт-метрическому ранжированию», представленным Eleonora Dagiené из Вильнюсского технического университета им. Гедиминаса (соавторы: Ruta Petrauskaité и Ulf Sandstrom). На выполненном к моменту доклада этапе исследования литовские журналы оценивались по их отражению в базах данных открытого доступа.
Завершало конференцию заседание группы специалистов «Построение Европейского научного пространства исследовательской политики: прошлый, настоящий и будущий опыт» (рис. 7).
Рис. 7. Вице-председатель Программного комитета конференции директор Института исследований и инноваций Rigas Arvanitis и автор статьи
Fig. 7. Rigas Arvanitis, vice-chair of the Conference Programme Committee and the author of the present survey
Стендовая сессия
Поскольку данные заметки не претендуют на всеобъемлющий охват, остановимся - в силу профессионального интереса - лишь у двух стендов. Работа
Список источников / References
1. Лазарев В. С., Назаровец С. А., Скалабан А. В. Формирование комплекса библиометрических показателей для оценки университетов Беларуси и Украины // Наука и инновации. 2017. № 6. С. 63-67 ; Lazarev V. S., Nazarovets S. A., Skalaban A. V. Compiling the set of bibliometric indicators for universities assessment. Nauka i innovatsii, 2017, 6, 63-67. (In Russ.)
2. Лазарев В. С. Научные документы и их упорядоченные совокупности: цитируемость, использование, ценность // Международный форум по информации. 2017. Т. 42, № 1. С. 3-16 ; Lazarev V. S. Scientific documents and their regulated totalities: citedness, use, value. Mezhdunarodnyi forum po informatsii, 2017, 42 (1), 3-16. (In Russ.)
3. Deliverable D5.1 - altmetrics status quo: OPENing UP new methods, indicators and tools for peer review, impact measurement and dissemination of research results. [S. l., s. a.]. 59 p. (Grant agreement no. 710722).
4. Erdt M., Nagarajan A., Sin S.-C. J., Theng Y.-L. Altmetrics: an analysis of the state-of-the-art in measuring research impact on social media'. Scientometrics, 2016, 109 (2), 1117-1166. DOI: 10.1007/s11192-016-2077-0.
5. Gallaway E. Publishing elite turns against impact factor. Nature, 2016, 535 (7611), 210-211.
«Тенденции марокканских сельскохозяйственных исследований: библиометрический анализ» авторского коллектива из Франции и Марокко (в частности, Sanaa Zebakh, Hicham Boutracheh и Mohamed Sadiki), включая вице-председателя Программного комитета конференции директора Института исследований и инноваций Rigas Arvanitis, в которой была представлена оценка продуктивности соответствующих научных организаций Марокко и различных показателей их ци-тируемости, была интересна своей близостью к произведенной нами сравнительной оценке белорусских и украинских университетов [1]. Работа же японских авторов Asako Okamura, Shinano Hayashi, Hitoshi Koshiba, Hiroki Tanaka и Yui Nishimura, выполненная в четырех организациях, включая Национальный институт научной и технологической политики и Японское научно-технологическое агентство, содержала сравнительный анализ ряда университетов по отражению в их учебных программах общих вопросов науки, технологии и инноваций.
Итак, участие в конференции позволило из первых уст получить новейшую методическую информацию высочайшего методологического уровня, имеющую практическую применимость в научных библиотеках. Весьма стимулирующим было и участие в дискуссиях, установление и восстановление научных контактов с коллегами. Результаты участия в конференции будут, несомненно, полезными в дальнейших библиометрических исследованиях, ведущихся в Научной библиотеке Белорусского национального технического университета, посвященных как оценке научных журналов и других сериальных изданий, так и оценке университетов и научных организаций.
6. Lazarev V. S. On chaos in bibliometric terminology. Scientometrics, 1996, 35 (2), 271-277.
7. Lazarev V. S. Properties of scientific periodicals under bibliometric assessment. International Journal of Information Sciences for Decision Making, 1997, 1, 1-17. URL: http:// isdm.univ-tln.fr/PDF/isdm1/isdm1a6_lazarev.pdf (accessed 14.09.2017).
8. Lariviere V., Kiermer V., MacCallum C. J., McNutt M., Patterson M., Pulverer B., Swaminathan S., Taylor S., Curry S. A simple proposal for the publication of journal citation distributions. BioRxiv: preprint server for biology. [S.l.], 2016. 23 p. D0l:10.1101/062109.
9. Roberts R. J. An obitary for the impact factor. Nature, 2017, 546 (7660), 600.
10. Simkin M. V., Roychowdhury V. P. Stochastic modeling of citation slips. Scientometrics, 2005, 62 (3), 367-384. DOI: 10.1007/s11192-005-0028-2.
11. Traag V. A., Costas R. Are citations driven by journal impact? Open indicators: innovation, participation and actor-based STI indicators : presentations. Paris, 2017. URL: https:// sti2017.paris/wp-content/uploads/2017/11/is1-traag-costas-on-citations.pdf (accessed 14.09.2017).
Материал поступил в редакцию 02.10.2017 г.
Сведения об авторе: Лазарев Владимир Станиславович - ведущий библиограф отдела маркетинга и проектной деятельности Научной библиотеки Белорусского национального технического университета
