CC BY
12
2. Следует уделять больше внимания теоретической основе индикаторов цитирования. Например, многие индикаторы цитирования, нормализованные по дисциплине, представлены сегодня в литературе, однако не вполне четко прописана математическая основа, стоящая за ними.
3. Следует уделять больше внимания тому, как индикаторы цитирования используются на практике. Важно помнить о практическом применении индикаторов и следить за тем, чтобы индикаторы подходили той ситуации, в которой они применяются.
4. Следует использовать новые базы библиометрической информации, с тем чтобы получить более точный результат измерения индикаторов цитирования.
Еще одна перспектива для исследований - рост численности публикаций открытого доступа. Теперь исследователи могут оперировать не только библиометрическими метаданными, но и самими текстами публикаций. Создание новых текстуальных баз данных требует изобретения более совершенных индикаторов цитирования, например индикаторов, позволяющих оценить, как часто документ цитируется в других публикациях, местоположение цитаты (во введении, методике, результатах или дискуссии), контекст цитирования. Исследователям, работающим в области наукометрии и библиометрии, следует расширять инструментарий для анализа цитирования.
А. Э. Анисимова
2016.04.026. НЕДИЧ О., ДЕКАНЬСКИ А. ПРИОРИТЕТНЫЕ КРИТЕРИИ ПРИ РЕЦЕНЗИРОВАНИИ НАУЧНЫХ СТАТЕЙ. NEDIC O., DEKANSKI A. Priority criteria in peer review of scientific articles // Scientometrics. - Budapest, 2016. - Vol. 107, N 1. - P. 1526. - D0I:10.1007/s11192-016-1869-6.
Ключевые слова: научная рецензия; критерии; бэкграунд рецензента.
Авторов, сотрудников Белградского университета (Сербия), интересует, какие критерии рецензенты считают главными при оценке статьи и влияет ли их бэкграунд (звание, стаж проведения исследований или стаж рецензирования) на выбор этих критериев.
Итог исследования - публикация статьи в специальном журнале. Предполагается, что ученые излагают оригинальные экспериментальные данные, полученные с использованием адекватных выборок и методов, ничего не искажают и не приукрашивают. На практике, как известно, существует множество отклонений от этой идеальной модели, такие как манипулирование и фабрикация данных, фальсификация, плагиат, дублирование публикаций и пр. Множество причин стоит за подобным поведением исследователя, но главные - это желание получить признание и ускорить продвижение своей карьеры, добиться финансирования своих исследований.
Примерно 1,7 млн статей ежегодно получают журналы, число которых также постоянно растет. Есть данные, что большинство рукописей, прежде чем быть опубликованными, направляются в журналы от 3 до 6 раз (с. 2). Для того чтобы оценить это огромное количество рукописей и выбрать те, в которых излагаются действительно оригинальные и надежные результаты и выводы, необходимо строгое рецензирование. Этот механизм появился еще в XVIII в. и с тех пор заметно эволюционировал. Предполагается, что рецензент - это специалист в данной области, который в состоянии определить, насколько правильно составлены выборки, использованы методы, как представлены результаты, построена аргументация, сделаны ссылки и соблюдены ли этические нормы.
«Оценка равных» рассматривается как своеобразный «контроль качества», она отсеивает вклады, которые не отвечают принятым стандартам. К сожалению, на практике этот механизм лишь частично справляется со своей задачей. Один из самых примечательных примеров - публикация южнокорейского ученого У.С. Хва-на в журнале «Science», касающаяся исследования стволовых клеток, которая оказалась чистым мошенничеством. Противоположный пример - отказ в публикации в том же «Science» статьи Розалин Ялоу, которая впоследствии получила Нобелевскую премию (1977) (с. 2). К. Силер с соавт. (K. Siler et al., 2014) провели исследование: они проследили, что произошло с 946 статьями, отклоненными тремя элитными медицинскими журналами. Оказалось, что среди них было 14 статей, которые появились в менее престижных журналах, но затем цитировались настолько часто, что вошли в топовые 2% в своей научной области.
Редакторы и издатели объединили усилия, чтобы усовершенствовать процесс «оценки равных». Для этого им необходимо было провести «полевые исследования». Редколлегия «Журнала Сербского химического общества» (ЖСХО) выполнила свое собственное исследование, посвященное приоритетным критериям, которыми пользуются рецензенты. Опрос проводился в декабре 2014 -январе 2015 г. с помощью электронной почты. Вопросник содержал три раздела: бэкграунд рецензента (звание, опыт в качестве исследователя и в качестве рецензента, страна пребывания); приоритетные критерии рецензента при оценке статьи; предложения по усовершенствованию этого механизма. В итоге было получено 309 заполненных вопросников (34,3% от разосланных рецензентам, которые сотрудничали с журналом) (с. 4).
Рецензенты, участвовавшие в опросе, представляли 43 страны. Большинство из них были профессорами или докторами философии (96%). Примерно 69% более десяти лет занимались научными исследованиями; 9% были начинающими исследователями (стаж менее пяти лет). Примерно 70% можно назвать опытными рецензентами, соответственно 30% таковыми не были (рецензировали несколько статей в год). Большинство респондентов (69%) считали «оценку равных» существенным компонентом научного профессионализма. Остальные указывали иные, более субъективные причины, в том числе 15,5% полагали, что рецензирование поможет их карьере (с. 5).
Во второй части опроса рецензентов просили оценить значимость отдельных характеристик статьи по пятибалльной шкале: от чрезвычайно важных до не имеющих значения. Согласно полученным данным, научный вклад и оригинальность были ведущим критерием (96% рецензентов дали ему оценку в пять или четыре балла). Почти столь же значимой была адекватная презентация идей, результатов и выводов (92% дали оценку пять или четыре балла). Большинство рецензентов предпочитали видеть выводы полностью поддерживаемыми экспериментальными данными, без дополнительных спекуляций (91% присудили этому критерию пять или четыре балла). Аккуратное цитирование стало еще одним важным аспектом «оценки равных» (82% ответов с оценкой в пять или четыре балла). За ними следует качество языка (74%) и качество ил-
люстраций (73%). Терминология и объем статьи расценивались как наименее важные критерии (66 и 60% соответственно) (с. 5).
Далее авторы сопоставили мнения респондентов о трех приоритетных критериях с их стажем исследований и с числом статей, которые они отрецензировали. Сравнивались две крайние группы:
1) относительно неопытные рецензенты (менее пяти лет занимается исследованиями или рецензирует менее пяти статей в год);
2) опытные рецензенты (профессора / доктора философии, которые больше 20 лет занимаются научной работой или рецензируют более 20 статей в год).
Результаты показали, что между этими группами нет существенных различий в отношении приоритетных критериев. Но доля начинающих исследователей, которые максимально высоко оценивают первые три критерия, выше, чем в группе опытных ученых. Кроме того, начинающие ученые строже относятся и к критерию «выводы полностью подтверждаются результатами». Это, видимо, говорит о том, что с опытом толерантность возрастает (с. 6).
Рецензирование в большинстве журналов - добровольная деятельность, и ученые часто отвергают предложение писать отзывы. В случае ЖСХО доля отказов в среднем достигает 70%. Иногда возникает конфликт интересов, о котором не сообщается, когда автор и рецензент оказываются конкурентами. По этой причине рецензент может отвергнуть, затормозить (запросив дополнительные эксперименты) или даже заимствовать идеи конкурента. Эта проблема чаще возникает в узких научных областях и в национальных журналах.
Доля принимаемых статей в ЖСХО (примерно 60%) в целом укладывается в аналогичные показатели для других журналов, которая варьирует от 6% в «Annals of internal medicine», «British medical journal» и «The Lancet», 10% в журналах по социальным наукам до 77% в «Journal of preanesthesia nursing» (с. 8). Журнал «American journal of obstetrics and gynecology» провел исследование, насколько часто предложение рецензентов совпадает с итоговым решением редколлегии. Отрицательный вывод рецензента совпадает с негативным решением редколлегии в 93% случаев, тогда как положительная оценка - лишь в 67% случаев. Всеми также признается, что рецензенты и редакторы склонны отклонять статьи, сообщающие об отрицательных результатах (с. 8).
Научный вклад и оригинальность, как показал опрос, были главным критерием при оценке статей. Но в суждениях рецензентов всегда сохраняется элемент субъективности. Рецензенты могут подозрительно отнестись к исследованию, которое не совпадает с их собственными представлениями и верованиями. Точно так же новые и мультидисциплинарные идеи могут остаться не замеченными и быть отвергнутыми рецензентом, отстаивающим принятые теории и допущения.
Большинство респондентов предпочитали, чтобы выводы были полностью подтверждены экспериментальными данными. Но невозможно с уверенностью сказать, сообщили ли авторы статьи обо всех экспериментальных данных. Для того чтобы минимизировать возможность манипулирования результатами, все больше журналов стали просить авторов предоставлять инструментальные и другие первичные данные.
Эксперимент, проведенный в «British medical journal», показал, что ни один из рецензентов (400 человек) не смог заметить все ошибки (восемь штук), сознательно допущенные в направленной им рукописи. В среднем каждый рецензент замечал две ошибки, а 16% - не заметили ни одной (с. 9). В защиту рецензентов следует сказать, что ряд фальсификаций в принципе невозможно обнаружить, пока статья не будет опубликована, и другие не попытаются повторить эксперимент. К счастью, такие фальсификации редки.
Несмотря на всю критику, которую «оценка равных» в принципе заслуживает, большинство ученых согласны с тем, что на сегодняшний день это самый надежный механизм. Существует несколько его вариантов: классическое одностороннее слепое рецензирование (рецензенты знают, кто автор рукописи) или двустороннее слепое рецензирование (ни рецензенты, ни авторы не знают фамилий друг друга). Но есть и новые инициативы по введению открытой модели рецензирования: имена и тех и других известны, или рецензия публикуется вместе со статьей, или она публикуется в сети и др. (с. 9).
Были попытки выплачивать рецензентам небольшие гонорары, но оказалось, что это не оказывает положительного влияния на качество рецензий. Более того, высказывались опасения, что оплата превратит рецензирование в бизнес. Тем не менее, как полагают авторы, один из способов улучшить качество рецензирования - вы-
разить признание ученым за эту работу, но не в денежной, а в иных формах (с. 10).
Т. В. Виноградова
2016.04.027. РОНДА-ПУПО Г.А., ГЕРРАС-МАРТИН Л.А. СЕТЬ СОТРУДНИЧЕСТВА ПО СОЗДАНИЮ И РАСПРОСТРАНЕНИЮ ЗНАНИЙ В ОБЛАСТИ МЕНЕДЖМЕНТА: РАНЖИРОВАНИЕ ВЕДУЩИХ ИНСТИТУТОВ.
RONDA-PUPO G.A., GUERRAS-MARTIN LA. Collaboration network of knowledge creation and dissemination on management research: Ranking the leading institutions // Scientometrics. - Budapest, 2016. -Vol. 107, N 3. - P. 917-939. - D0I:10.1007/s11192-016-1924-3.
Ключевые слова: академическое сотрудничество; ранжирование бизнес-школ; исследовательские институты; научные индикаторы; университетская политика.
Статья чилийского специалиста в области управления и испанского специалиста в области социальных наук посвящена измерению значимости институтов в академическом сообществе, занимающихся проблемами менеджмента, с помощью определения их места в сети сотрудничества.
Общий объем научной продукции за десять лет (с 1960 по 1970 г.) увеличился вдвое; тремя десятилетиями позже, в 1990-е годы, он стал удваиваться каждые 20 месяцев. Это касается и такой дисциплины, как менеджмент (с. 2). Как и в любых других науках, вклад разных институтов в производство и распространение знаний в этой области также сильно отличается.
Как правило, для определения влиятельности института используются следующие индикаторы: их научная продуктивность (количество публикаций в специализированных журналах); показатели цитируемости; сеть соавторства. На основе полученных количественных результатов составлялись списки ведущих институтов в этой области. Понятно, что эти списки заметно отличаются друг от друга.
Несмотря на заслуги научной продуктивности как индикатора значимости института, этот показатель имеет серьезные ограничения. На относительно небольшой процент университетов, публикующих исследования в области менеджмента, приходится
