CC BY
13
пространители на этом не зарабатывают. Относительно машинной обработки данных публикации (data mining) и перевода работы мнения авторов разделились. В этом вопросе гуманитарии также оказались более консервативными, чем их коллеги из естественных наук, и чаще высказывались за запрет повторного использования текста статьи.
По результатам исследования в целом стало понятно, что исследователи не столько опасаются непредвиденных последствий публикации в журналах открытого доступа, сколько видят реальные негативные стороны этой модели. При этом современные ученые не отказываются полностью от идеи ПОД, а ожидают дальнейшего развития издательского сервиса и появления новых гибридных форм. С точки зрения интеллектуальной собственности по-прежнему проблемой остается наличие ряда версий одной и той же публикации в том случае, если авторы самостоятельно размещают несколько редакций одной и той же статьи в различных местах хранения.
А.Э. Анисимова
2018.01.022. МАНОЛОПУЛОС Я., КАТСАРОС Д. МЕТРИКИ И РАНЖИРОВАНИЕ: МИФЫ И ЗАБЛУЖДЕНИЯ. MANOLOPOULOS Y., KATSAROS D. Metrics and rankings: Myths and fallacies // Communications in computer and information science: CCIS, Vol. 706; DAMDID/RCDL, 2016 / Eds. L. Kalinichenko et al; Springer international publishing AG. - 2017. - P. 265-280. - DOI: 10.1007/978-3-319-57135-5_19.
Ключевые слова: наукометрические индикаторы; академические показатели; импакт-фактор; индекс цитирования; индекс Хирша; ранжирование; инфометрия; наукометрия.
Авторы публикации, специалисты в области информатики и компьютерной инженерии, работающие в Греции, исследуют современные библиометрические метрики и построенные на них рейтинги с точки зрения уместности их использования при оценке научных журналов, специализированных конференций и отдельных авторов.
Термин «библиометрия» был предложен А. Притчардом в 1969 г. для описания методов статистического анализа, пригодных
для оценки книжной и журнальной научной продукции. В том же году В. Налимов предложил термин «наукометрия» для описания науки об измерении и анализе научно-технической и инновационной деятельности. Опорным средством библиометрии следует считать «анализ цитирования», с помощью которого описываются модели распределения цитирований в документах.
В 1955 г. с целью ранжирования журнальной продукции Ю. Гарфильдом был введен новый аналитический инструмент -импакт-фактор журнала, который, однако, использовался для оценки деятельности исследователей, а не журналов. Только в 2005 г. появилась первая метрика, специально предназначенная для характеристики значимости исследовательской работы отдельного исследователя, - так называемый индекс Хирша.
За последние два десятилетия сформировалось научное сообщество в области наукометрии и библиометрии, которое публикует результаты своих исследований в специализированных журналах: «Journal of the Association for information science and technology», «Scientometrics», «Journal of informetrics», «COLLNET journal of scientometrics and information management», «Research evaluation». В течение последних десяти лет проводятся конференции, посвященные этой тематике, среди которых наиболее значительные: International conference of the international society for scientometrics and informetrics (ISSI) (в 16-й раз проведенная в октябре 2017 г. в Китае); International conference on webometrics, informetrics and scientometrics (WIS) (прошедшая в 12-й раз в декабре 2016 г. в Ницце, Франция).
Основной инструмент измерения в наукометрии - импакт-фактор. Однако в наукометрическом сообществе сложилось скептическое мнение относительно введения этого показателя в измерительные процедуры. Основная его критика заключается в том, что он может быть просчитан только для англоязычных научных журналов, а не журналов на национальных языках. Автоматизированные сервисы предлагают рассчитывать данный показатель не для всех журналов и не берут в расчет тезисы конференций, хотя для некоторых наук именно тезисы конференций - основной источник свежей актуальной информации (в частности, для компьютерных наук). Технология расчета данного показателя контролируется частными компаниями, которые не могут принимать
взвешенного решения о качестве научного журнала и его значении для специалистов.
К сожалению, широко распространены случаи злоупотребления данным показателем, формы которого хорошо описаны: редакции принуждают авторов добавлять «нужные» ссылки в публикации; при принятии решения о публикации статьи редакции отдают предпочтение обзорам, так как они собирают больше цитирований впоследствии; опытные редакторы могут оценивать будущий потенциал статьи с точки зрения цитирования и руководствоваться этим при отборе публикаций. В данном случае все эти злоупотребления рассматриваются авторами как неэтичные и вредные для развития науки. Хорошо известно, что импакт-фактор может принести авторам незаслуженные дивиденды, поскольку всего несколько публикаций могут повысить этот показатель определенного журнала (с. 267).
В современной наукометрии существуют более изощренные метрики, с помощью которых производится более точная оценка вклада конкретного автора. Показатель SNIP (source normalized impact per paper), например используемый в Скопусе, учитывает нормированные данные о цитировании в различных дисциплинах. Другой показатель SJR (scimago journal rank) основан на анализе популярности цитирующих журналов. Он существенно влияет на представление о значимости тех или иных журналов (с. 268).
Особенностью индекса «CiteScore index» (Elzevier) является то, что в нем в качестве публикации рассматриваются и слово редактора, и письма редактору. При таком подходе средние показатели рейтинга журнала обычно снижаются.
В 2014 г. издательство «Nature publishing group» разработало собственную метрику «Nature index», которая учитывает вклад в научное исследование каждого автора. С помощью этого индекса поддерживается коллекция авторских ссылок, собранных из статей, опубликованных в избранной группе из 68 высококачественных научных журналов. В свою очередь этот индекс предоставляет еще три показателя: article count (AC), fractional count (FC), weighted fractional count (WFC).
Страна или учреждение имеет AC равную 1, если страна или учреждение имеет одного ученого, который является соавтором статьи. Таким образом, статья может вносить вклад в несколько
стран или учреждений. Чтобы удалить этот эффект, разработан показатель FC. Общий FC за статью составляет 1, и это число разделяется поровну между соавторами; если некоторые авторы имеют несколько аффилиаций, то доля распределяется поровну между ними. Наконец, показатель WFC применяют, чтобы снизить чрезмерное представление статей из астрономии и астрофизики, поскольку на четыре журнала (из 68), посвященным этим дисциплинам, приходится около 50% всех статей (с. 269).
Затруднения, возникающие при расчете метрик для научных конференций, связаны в основном с тем, что издания конференций остаются ненормированными: в них могут печататься как простые аннотации докладов, так и полноценные отрецензированные публикации. При оценке качества сборника тезисов конференции учитывается такой параметр, как «процент принятых работ» (acceptance ratio - AR). Качественной считается конференция, на которую принимают каждый пятый или каждый десятый доклад. Некоторые издательские дома, например Шпрингер, допускают норму AR в 33% (с. 270).
Наиболее пригодной метрикой для оценки авторского вклада в научный процесс остается индекс Хирша. С течением времени, однако, в адрес этого показателя накопилось много критики: индекс Хирша не является нормированным показателем с точки зрения особенностей дисциплины, следовательно, на его основе невозможно делать междисциплинарные сопоставления; он не отображает различный вклад авторов в одно произведение; этим показателем легко манипулировать, цитируя собственные работы; он никак не может отразить естественное замедление активности автора с возрастом. Нормализованной с точки зрения дисциплины можно считать недавно подготовленную на основе цитирования метрику «relative citation ratio» (RCR), рассчитываемую с учетом ожидаемого цитирования.
Существующие с 2010 г. альтметрики охватывают как публикации, так и презентации, видео-, веб-страницы. В 2012 г. предложена следующая классификация ее основных методов: просмотры и загрузки страниц HTML; обсуждения журнальных статей в комментариях, блогах, социальных сетах и других социальных медиа; сохранение ссылок на статью в библиографических менедже-
рах (Mendeley); цитирования, зафиксированные в Паутине науки, Скопусе, CrossRef; рекомендации, например в F1000 Prime.
Различного рода рейтинги стали популярной игрой в академической жизни многих стран в последнее время. Наиболее распространены рейтинги, оценивающие авторов, журналы, конференции и университеты. В реферируемой статье представлены несколько наиболее интересных рейтингов исследователей, опубликованных в сети.
На май 2016 г. на сайте DBLP были зарегистрированы 1,7 млн ученых и 3,5 млн публикаций, включая статьи, тезисы конференций, книги и отдельные главы из книг. На основе данных DBLP Я. Палсберг рассчитал индекс Хирша исследователей и разместил данные на сайте UCLA. Важно заметить, что на основе индекса Хирша формируется рейтинг с совершенно другими результатами, чем на основе данных, учитывающих только количество публикаций.
Различные рейтинги представлены на сайте MAS, данные которого формируются с учетом обработки 80 млн публикаций (с. 272). Два основных рейтинга из этого списка характеризуют авторов по параметрам «продуктивности» и «вклада». Дополнительные рейтинги рассчитываются с учетом установки временного окна, например в пять или десять лет. На сайте MAS также можно найти рейтинги конференций и журналов, правда, без нормализованных показателей.
На австралийском сервисе CORE размещены рейтинги научных журналов и конференций, распределенных по пяти группам качества. Несмотря на то что процедура отбора не совсем прозрачна для экспертов, эти рейтинги пользуются большой популярностью.
При сравнении двух рейтингов (DBLP и Google Scholar), оценивающих научные конференции в области управления данными по показателю h5-index1, были получены значительно расходящиеся результаты. На этом основании авторы статьи делают вывод о том, что современные рейтинги различного рода основаны на субъективном мнении их составителей и экспертов.
1 Ь5-т<!ех - один из вариантов индекса Хирша для научных журналов (сборников тезисов). - Прим. реф.
Существует множество доводов, вынуждающих специалистов относиться скептически и к рейтингам университетов. Наибольший скепсис вызывает понятие «репутация университета», которое, будучи само по себе субъективным, чаще отражает прошлые успехи организации, а не настоящие. Многие критерии заведомо делают более успешными университеты англосаксонской группы (например, именно в них доля международного персонала, как правило, бывает существенно выше). Что касается оценки других рейтингов, авторы считают ARWU наиболее приемлемым, а QS вполне заслуживающим критику. Высокой оценки удостаивается Лейденский университет, имеющий высокопрофессиональную команду исследователей и глубокие традиции в области библиометрии и наукометрии.
Завершается реферируемая статья перечнем рекомендаций, предназначенных современному исследователю: 1) не цитировать того или иного автора только потому, что у него много публикаций или они размещены в журналах со значимым импакт-фактором; 2) отдавать предпочтение нормированным показателям, предлагаемым в Scimago, опираться на Eigenfactor; 3) в выборе авторов для сотрудничества или журнала руководствоваться не метриками, а той тематикой, которая могла бы способствовать дальнейшему росту; 4) необходимо регулярно менять метрики и метрические процедуры, чтобы исключить возможность их фальсификации; 5) не принимать во внимание рейтинги университетов. поскольку они основаны на ненаучной методологии и ненадежны.
А. Э. Анисимова
2018.01.023. ЛО ЦЗЯНЬСИ, ВУД К.Л. РАСТУЩАЯ «СЛОЖНОСТЬ» ИЗОБРЕТАТЕЛЬСТВА.
LUO JIANXI, WOOD K.L. The growing complexity in invention process // Research in engineering design. - 2017. - P. 1-15. - DOI: 10.1007/s00163-017-0266-3.
Ключевые слова: изобретение; дизайн; инновации; коллабо-рация; система; сложность.
Авторы публикации, сотрудники Сингапурского университета технологий и дизайна, исследуют современный процесс создания новых технологий и изобретений. Сегодня один изобретатель
