CC BY
8
научного знания. Соответственно и рецензенты должны быть ориентированы в пользу исследований, которые представляют оригинальные результаты, и быть толерантными по отношению к их возможным методологическим недостаткам.
В реальности было обнаружено ровно противоположное. Полученные в настоящем исследовании результаты скорее совпадают с идеей Д. Махони о сдвиге экспертных оценок в сторону конформизма. У рецензентов вызывают недоверие заявления, которые вступают в конфликт с их представлениями, что заставляет их поднимать методологические вопросы, которые в противном случае прошли бы незамеченными.
От пяти до десяти лет прошло с тех пор, как были опубликованы статьи, включенные в данное исследование. Поэтому авторы решили измерить их популярность с помощью индексов цитирования. Самыми высокими были показатели цитируемости для статей, предлагавших новые теоретические подходы; за ними шли статьи, которые бросали вызов теоретическим концепциям; эмпирические исследования цитировались реже всех. «Академическое сообщество благосклонно реагирует на новые идеи (по крайней мере после публикации и успешного прохождения через систему рецензирования), и оно менее внимательно к эмпирическим исследованиям, которые развивают то, что уже известно» (с. 52).
Т.В. Виноградова
2017.03.017. ВЛИЯНИЕ СВЯЗЕЙ ВЫПУСКНИКОВ ВУЗА НА ОЦЕНКИ ЭКСПЕРТОВ И УСПЕШНЫЙ ВЫБОР ИССЛЕДОВАТЕЛЬСКИХ ПРОЕКТОВ / ЯНГ Д., ДО С., КАНГ Г.-М., ХАН Д.-С. Impact of alumni connections on peer review ratings and selection success rate in national research / Jang D., Doh S., Kang G.-M., Han D.-S. // Science, technology & human values.-2017. - Vol. 42, N 1. - P. 116143.
Ключевые слова: связи выпускников; оценка равных; эффект репутации; эффект Матфея; естественные науки и инжиниринг.
Корейские авторы анализируют влияние связей выпускников на результаты экспертной оценки предлагаемых исследовательских проектов.
Лондонское королевское общество одним из первых ввело практику рецензирования для оценки рукописей, направляемых в журнал «Философские труды». Широкое распространение процедура рецензирования получила в 1940-е годы. Экспертиза используется для оценки рукописей, исследовательских проектов, научных результатов, при принятии политических решений и пр.
В Корее используются две формы экспертных оценок: 1) двойное слепое рецензирование, когда ни авторы, ни рецензенты не имеют информации друг о друге (тем самым гарантируется справедливость принимаемым решениям); 2) одиночное слепое рецензирование, когда имеется детальная информация об авторах проекта (это делается для того, чтобы повысить эффективность). Первый вариант используется обычно для оценки рукописей, направляемых в журналы, а второй - при оценке исследовательских проектов, поскольку бэкграунд их авторов позволяет судить о будущей успешности проекта.
Субъективность в экспертных оценках может быть связана с предпочтением определенного региона или университетов, alma mater эксперта, различиями между старым и новым поколениями ученых и пр. Есть данные, согласно которым оценка зависит от личных отношений между экспертом и ученым, а также от ранга института, где он работает. В Корее помимо вышеперечисленных присутствуют еще и культурные факторы.
Корейцы склонны создавать социальные иерархии, спрашивая при первой встрече о возрасте человека и о том, где он учился. В корейских академических кругах почти обо всех ученых известны область их специализации, возраст и университет, который они окончили. В большинстве исследовательских областей ключевую группу составляют 200-300 человек, состоящих в различных научных ассоциациях, и у них есть множество возможностей наладить связи с теми, кто имеет тот же бэкграунд. В результате образуются сети выпускников, учившихся или получивших степень в одном университете. А поскольку научное сообщество в Корее не так уж многочисленно, то экспертам не сложно понять, кто автор представленного проекта. Легко предположить, что членство в одной сети выпускников способно повлиять на решение эксперта.
В настоящей работе использовались данные об исследовательских проектах в области естественных наук и инжиниринге,
направленных в Национальный исследовательский фонд Кореи с 2007 по 2011 г. Было отобрано 8402 проекта, в отношении которых была собрана персональная информация об экспертах и авторах. Были использованы два показателя: 1) средняя оценка, которая была дана тремя экспертами; 2) был ли проект выбран для финансирования (1, если проект получил финансирование, и 0, если не получил). Был проведен регрессионный анализ влияния сети выпускников на среднюю оценку каждого проекта (с. 124).
Полученные данные показали, что когда в группе экспертов присутствует выпускник, то вероятность выбора проекта повышается на статистически значимом уровне.
Доля финансирования варьирует в зависимости от количества коллег из той же альма-матер в группе экспертов: если таковых нет, то эта доля составляет лишь 27,6%; но она поднимается до 39,3% (11,8% разница), когда количество выпускников (студент / мастер / доктор) растет. На всех уровнях были обнаружены более высокие показатели успешного выбора по сравнению с теми случаями, когда в группе экспертов выпускников не было. (с. 131). В Корее более 180 университетов, но далеко не все готовят ученых, которые могут заседать в экспертных комиссиях, поэтому справиться с проблемой личных связей не так легко.
Авторы также рассматривали влияние контрольных переменных, которые, по данным литературы, могут менять результаты оценки. Больше половины (59%) проектов были предложены исследователями, получившими степень дома, но чаще одобрение получали проекты исследователей, имеющих зарубежные степени. Региональные переменные, исходя из локации университета, с которым аффилирован ученый, были разделены на метрополию и на остальные области. Показатели отобранных проектов были выше у тех исследователей, которые работают в корейских университетах.
Гендер - еще одна ключевая переменная в исследованиях, связанных с научной продуктивностью. Ученые-мужчины подают большинство заявок, и их заявки финансируются гораздо чаще, чем заявки ученых-женщин. Ученые из университетов, где ведется активная исследовательская работа, чаще получают финансирование по сравнению с представителями других университетов.
Результаты регрессионного анализа показали, что совместное обучение на уровне бакалавра и обучение в аспирантуре играют
более важную роль, чем совместное получение степени магистра. С возрастом вероятность получения финансирования снижается; женщины при прочих равных имеют меньше шансов получить одобрение, чем мужчины.
В качестве меры по преодолению искажений, связанных с отношениями выпускников, авторы предлагают, чтобы эксперты в таких случаях сообщали о конфликте интересов. Коль скоро такая информация будет доступна другим членам экспертной группы, они могут принять более взвешенное решение (с. 133).
Т. В. Виноградова
