CC BY
7
2017.03.016. СИЛЕР К., СТРЭНГ Д. РЕЦЕНЗИРОВАНИЕ И НАУЧНАЯ ОРИГИНАЛЬНОСТЬ.
SILER K., STRANG D. Peer review and scholarly originality: Let 1000 flowers bloom, but don't step on any // Science, technology & human values. - 2017. - Vol. 42, N 1. - P. 29-61.
Ключевые слова: оценка равных; оценка; оригинальность; креативность; наука управления.
Авторы, сотрудник Корнелльского университета (США) и сотрудник Университета Саймона Фрейзера (Канада), рассматривают критические замечания рецензентов и последующие изменения в статьях, представленных для публикации.
Наука подобна двуликому Янусу. С одной стороны, она высоко ценит революционные прорывы, а с другой, - как показал Т. Кун, она крепко укоренена в традициях. Новый вклад возникает и оценивается в свете преобладающих теоретических концепций и совокупности эмпирических данных. Борьба с революционными открытиями может быть весьма ожесточенной. Так, оптические эксперименты И. Ньютона были отвергнуты выдающимися учеными типа Х. Гюйгенса и «лежали на полке» 30 лет, пока не были оформлены таким образом, чтобы подчеркнуть их связь с прежними теориями света.
В таких областях, как астрономия, физика или химия, модель смены парадигм Т. Куна успешно разрешает противоречия между новым и старым. Однако в не-, до- и антипарадигматических науках нет моделей интеллектуальной эволюции. Области, к которым принадлежит большинство социальных наук, не генерируют нормальную науку в куновском смысле, поскольку доминирующие концептуальные рамки слишком спорные, чтобы легитимизировать решение внутренних головоломок. Вместо этого в них предъявляются высокие требования к новизне. В гуманитарных и социальных науках понятие оригинальности трактуется расширительно и включает новые теории, подходы, темы, методы и данные.
Противоречия между «традиционным» и «новым» особенно заметны в системе «оценки равных». Опросы показывают, что формально рецензенты превыше всего ценят новизну и оригинальность, но на практике в своих оценках ученые, социализированные в рамках доминирующих академических подходов, весьма консер-
вативны. В экономике много примеров революционных статей, которые вначале были отвергнуты и иногда не по одному разу, а затем шумно приветствовались.
Изучая взаимоотношения между научными идеалами и оценочными процедурами, важно учитывать множественные значения, которые имеет понятие «оригинальность». Авторы публикации могут счесть предшествующие работы неполными (что требует возвращения к недостаточно изученным вопросам, но традиционным способом), неадекватными (что предполагает необходимость взглянуть с альтернативной точки зрения), несоизмеримыми (неверно понятыми и требующими свежего взгляда).
Четвертый тип представлен статьями, которые предлагают свои теоретические подходы (с. 34). Развитие новых концептов и аргументов - это важнейшая форма оригинальности, но одновременно и наиболее сложная для оценки. В памятке для авторов журнала «Administrative science quarterly» (ASQ) подчеркивается, что он приветствует новые идеи и оригинальные теории. Но, как показывают исследования, новые и бросающие вызов работы - это ахиллесова пята системы «оценки равных». Исследование, проведенное авторами настоящей статьи, направлено на анализ этого противоречия.
Авторы провели онлайн-опрос первых авторов статей, опубликованных в ASQ в период с 2005 по 2009 г. Их просили рассказать о своем опыте работы с рецензентами, а также прислать копии первого варианта рукописи, направленной в журнал. В итоге были получены ответы и рукописи от 52 авторов.
В первую группу вошли вопросы относительно того, насколько выраженной была критика, и многое ли было предложено исправить и пр. Вторая группа касалась степени критического внимания (по пятибалльной шкале) к статье в целом, а также к ее отдельным разделам (теории, методам, результатам и обсуждению). Авторов также просили оценить изменения, которые были ими сделаны в последующих вариантах, как в целом, так и в каждом из разделов. Их спрашивали, сколько раз рукопись была им возвращена для доработки, прежде чем была принята.
Кроме того, авторов просили указать, была ли их работа направлена на: а) проверку или расширение теоретической перспективы; б) объединение двух или более перспектив; в) вызов сло-
жившимся подходам; д) предложение нового теоретического подхода. Количество статей, попавших в каждую из категорий, было 15, 18, 5 и 11 (три респондента не ответили на этот вопрос). В общей сложности 70% респондентов рассматривали свою рукопись как преимущественно развивающую теорию; 10 - сказали, что их статья преимущественно развивает методологию; 20% - развивает эмпирические знания (с. 38).
Главный итог проведенного исследования состоял в том, что наибольшую критику и наибольшее количество поправок вызвали статьи, которые предлагали оригинальную точку зрения. Эти рукописи прошли больше раундов проверки, чем остальные, и претерпели наиболее выраженные изменения. Ни принадлежность к тому или иному университету, ни прежние публикации в Л8Р не оказывали существенного влияния на экспертные оценки.
Сравнение первого и окончательного вариантов рукописей, ориентированных на вызов сложившимся точкам зрения, обнаружило два типа противоречивых изменений. Во-первых, в опубликованных статьях в большей степени подчеркивался тот вызов, который данное исследование бросает сложившимся представлениям. Во-вторых, в опубликованных версиях выводы авторов были смягчены.
В проведенном исследовании также оценивались библиографическое и текстуальное совпадение с основным корпусом статей, публикуемых в Л8р. Статьи, бросающие вызов теории, имели низкие показатели по обоим параметрам. Они в большей степени опирались на работы, выходящие за пределы мейнстримовской литературы, и использовали менее стандартный словарь. Сравнение оригинальных рукописей и опубликованных вариантов показало, что рецензирование склонно приводить статьи к единому знаменателю, делая конвенциональные статьи чуть более смелыми, а неконвенциональные - чуть менее раздражающими (с. 45).
Статьи, бросающие вызов преобладающей точке зрения, достаточно редки. Около 10% опрошенных авторов (пять из 45) сказали, что их статья «бросает вызов сложившимся теоретическим представлениям». Немногочисленность подобных статей вызывает удивление, учитывая, что им отводится центральное место в науке. Социологи науки видят в анализе научных споров самый плодотворный и эффективный метод эмпирического изучения динамики
научного знания. Соответственно и рецензенты должны быть ориентированы в пользу исследований, которые представляют оригинальные результаты, и быть толерантными по отношению к их возможным методологическим недостаткам.
В реальности было обнаружено ровно противоположное. Полученные в настоящем исследовании результаты скорее совпадают с идеей Д. Махони о сдвиге экспертных оценок в сторону конформизма. У рецензентов вызывают недоверие заявления, которые вступают в конфликт с их представлениями, что заставляет их поднимать методологические вопросы, которые в противном случае прошли бы незамеченными.
От пяти до десяти лет прошло с тех пор, как были опубликованы статьи, включенные в данное исследование. Поэтому авторы решили измерить их популярность с помощью индексов цитирования. Самыми высокими были показатели цитируемости для статей, предлагавших новые теоретические подходы; за ними шли статьи, которые бросали вызов теоретическим концепциям; эмпирические исследования цитировались реже всех. «Академическое сообщество благосклонно реагирует на новые идеи (по крайней мере после публикации и успешного прохождения через систему рецензирования), и оно менее внимательно к эмпирическим исследованиям, которые развивают то, что уже известно» (с. 52).
Т.В. Виноградова
2017.03.017. ВЛИЯНИЕ СВЯЗЕЙ ВЫПУСКНИКОВ ВУЗА НА ОЦЕНКИ ЭКСПЕРТОВ И УСПЕШНЫЙ ВЫБОР ИССЛЕДОВАТЕЛЬСКИХ ПРОЕКТОВ / ЯНГ Д., ДО С., КАНГ Г.-М., ХАН Д.-С. Impact of alumni connections on peer review ratings and selection success rate in national research / Jang D., Doh S., Kang G.-M., Han D.-S. // Science, technology & human values.-2017. - Vol. 42, N 1. - P. 116143.
Ключевые слова: связи выпускников; оценка равных; эффект репутации; эффект Матфея; естественные науки и инжиниринг.
Корейские авторы анализируют влияние связей выпускников на результаты экспертной оценки предлагаемых исследовательских проектов.
