CC BY
72
НАУКОВЕДЕНИЕ
ПРАКТИЧЕСКАЯ ЭПИСТЕМОЛОГИЯ: РОЛЬ РЕЦЕНЗИРОВАНИЯ В ОРГАНИЗАЦИИ НАУЧНОЙ ДЕЯТЕЛЬНОСТИ
А.В. Шестопал, В.И. Коннов
Московский государственный институт международных отношений (университет) МИД России. Россия, 119454, Москва, пр. Вернадского, 76.
В статье рассматривается механизм рецензирования как основная процедура, используемая для отделения научного знания от знания иного рода, не соответствующего требованиям, которые предъявляются к исследовательским результатам. В ней прослеживается история рецензирования, изначально применявшегося в первых научных журналах, а в дальнейшем ставшего одним из ключевых подходов к распределению финансовых средств, направляемых на исследовательскую работу. Здесь же исследуется роль рецензирования в юридической практике, где факт соблюдения данной процедуры может рассматриваться в качестве основного критерия, разделяющего показания, которые имеют характер научных данных, от простых свидетельств. Характеристика основных элементов рецензирования, предложенная в статье, отталкивается от «Заявления о принципах научного рецензирования», подготовленного по итогам Глобального саммита по рецензированию 2012 г., в котором приняли участие руководители организаций, финансирующих научные исследования, из более чем 50 стран. В качестве основополагающих в Заявлении были зафиксированы следующие принципы: экспертная оценка, прозрачность, объективность, пропорциональность, конфиденциальность, добросовестность и соответствие этическим нормам. Данный комплекс норм принято рассматривать в качестве гарантии обеспечения эффективности рецензирования,но опыт показывает, что при использовании этого механизма необходимо учитывать области научного знания, прежде всего, различия между гуманитарной и естественнонаучной сферами. Следуя этой логике, в статье дается обзор особенностей рецензирования в социогумани-тарных науках, а также рассматриваются ключевые процедурные моменты -подготовка индивидуальных заключений, коллективное рассмотрение, обеспечение анонимности. В завершение освещаются проблемные моменты, связанные с рецензированием: закрытость процедуры, элитаризм в отборе рецензентов, консервативность принимаемых решений.
Ключевые слова: рецензирование, научные фонды, Глобальный саммит по рецензированию, научная политика, Национальный научный фонд США
Французский психолог Серж Московичи удачно подметил, что если раньше содержание науки формировалось за счёт целенаправленной разработки и детализации истин здравого смысла, то для современного человека здравый смысл состоит главным образом из упрощённых научных знаний, ранее полученных в ходе исследовательской работы, которая зачастую развивается по своей особенной логике, доступной только специалистам. Научные знания пронизывают всю интеллектуальную сферу, и апелляция к ним является одним из самых действенных аргументов в общественных дискуссиях. Но при этом вопрос о том, где проходит граница, отделяющая собственно науку от всего остального знания, отнюдь не имеет однозначного решения. Поиск ответов на него, по сути, является главной цель философии науки. Она предлагает самые разнообразные подходы к демаркации - от жесткого критерия фальсифицируемости, предложенного Карлом Поппером, до сведения всего знания, включая научное, к декларациям от лица сетей, объединяющих силы их участников и обеспечивающих им возможность продвигать свои интересы в социуме, - как это представляется Бруно Латуру и другим сторонникам теории акторных сетей.
Однако такая теоретическая неопределенность вовсе не является непреодолимым препятствием для практического решения этой задачи. Научное сообщество обладает давним и хорошо отработанным механизмом, который, хотя и не может претендовать на непогрешимость, всё же позволяет успешно решать проблему пополнения комплекса научных знаний и отсекать большую часть безосновательных претензий на открытия. Речь идёт о рецензировании. Суть этого процесса заключается в «верификации заявления о получении научного результата специалистами, которые способны осуществить исследование, аналогичное тому, на котором основано данное заявление». [12; с. 8]
В английском языке, преобладающем в современной науке, он обозначается словосочетанием «peer review», которое можно перевести как «оценка равными». Эта формулировка указывает на историческую связь с судом присяжных, осуществляемым «jury of peers» - «коллегией равных», то есть собранием таких же граждан, как и подсудимый. В научной сфере понятие «равного» приобретает несколько иное значение: речь идёт о специалисте по тому же направлению, что и учёный, чья работа подвергается оценке. Формальное определение «равного» применительно к рецензированию было предложено Национальным научно-исследовательским советом США: «лицо, обладающее техническим опытом в оцениваемой сфере... в степени равной или превосходящей ту, которая необходима для выполнения рассматриваемой работы» [15; с. 28].
Изначально практика рецензирования сложилась в научных журналах. Впервые она нашла
применение в «Философских трудах Королевского общества» - исторически первом профессиональном научном журнале, выходящем с 1665 г. До появления изданий такого рода учёные излагали результаты исследований в письмах, адресованных коллегам, и в самостоятельно издаваемых книгах. Ни в том, ни в другом случае речи о каком-либо редакционном контроле не шло, и новация научных журналов, издаваемых под эгидой учёных обществ, заключалась в том, что достоверность изданных материалов подтверждалась авторитетом собрания учёных, учредившего данный журнал. На протяжении ХУ11-Х1Х вв. данный подход постепенно наращивал влияние, становясь обязательным во всё большем числе журналов. Однако особое значение он приобрел вследствие его закрепления в общенациональных организациях, финансирующих научные исследования, в частности, в созданном в 1920 г. Обществе экстренной помощи немецкой науке и в учрежденном в 1950 г. Национальном научном фонде США (ННФ).
Во второй половине ХХ в. ННФ стал образцом для создания аналогичных организаций по всему миру - к этому типу учреждений, финансирующих фундаментальные исследования на конкурсной основе по широкому спектру научных дисциплин, относятся и Немецкое научно-исследовательское сообщество (ННИС), и Японское общество продвижения науки, и Российский фонд фундаментальных исследований (РФФИ) и многие другие.
Помимо роли, которую рецензирование играет в научных изданиях и фондах поддержки науки, его общественное значение проявляется еще и в том, что соблюдение этой процедуры может рассматриваться в качестве критерия, по которому экспертные показания признаются в качестве научных данных судами. В США этот принцип был зафиксирован в решении по делу Добер против «Меррел Доу», которое рассматривалось Верховным судом США в 1993 г. Иск был подан родителями двух детей, родившихся с серьёёзными отклонениями, причину которых истцы видели в том, что во время беременности их мать принимала препарат фармакологической компании «Меррел Доу». Истцы опирались на экспертные заключения, подготовленные признанными специалистами, но ранее не публиковавшиеся, в то время как ответчик отрицал вину, ссылаясь на большой объём материалов, исключавших вредоносное действие препарата, которые ранее были опубликованы в научных изданиях.
В результате иск был отклонён судом по той причине, что основывался на материалах, не прошедших принятую в научном сообществе проверку. В решении суда указывалось, что «эпидемологический анализ истца, основанный на пересчёте данных из ранее опубликованных исследований, в которых не было установлено причинно-следственной связи между препаратом и врожденными отклонениями, не принима-
ется судом во внимание, так как данный анализ ранее не был опубликован и не проходил рецензирования» [20]. Данное решение было поддержано Американской ассоциацией по продвижению науки, которое в своем письме касательно данного дела заявила, что «судам также следует принимать во внимание институциональные механизмы, а именно различные виды рецензирования, которые были разработаны с тем, чтобы служить гарантией соблюдения учеными в своей работе принятых научных критериев» [12; с. 78].
В качестве свода общепринятых норм функционирования этого механизма можно рассматривать Заявление о принципах научного рецензирования (Statement of principles of scientific merit review), подготовленное по итогам состоявшегося в США в мае 2012 г. Глобального саммита по рецензированию (Global Summit for Merit Review). В нём приняли участие руководители организаций, финансирующих научные исследования из более чем 50 стран. Важно подчеркнуть, что саммит был проведен по инициативе принимающей стороны и, что характерно, в его названии получила отражение именно американская терминология - вместо традиционного «peer review» использовался «merit review» - «оценка по достоинствам».
В ННФ эта замена состоялась еще в 1986 г. и связывалась с необходимостью принимать во внимание не только научные характеристики заявки, которые могут оценить коллеги автора, но и иные достоинства: практическую пользу от планируемых результатов; способствование равномерному развитию различных регионов; вовлечение в научную деятельность дискриминируемых групп и т.д. [13]. Тем не менее, из Заявления не следует, что термин следует понимать именно в этом, специфически американском смысле. Его понимание, поддержанное участниками саммита, подписавшими заявление, раскрывается в шести основополагающих нормах рассмотрения научно-исследовательских проектов.
Прежде всего, это экспертная оценка (expert assessment). Содержание данного принципа поясняется следующим образом: «Коллектив рецензентов должен располагать соответствующими знаниями и опытом, которые необходимы для оценки заявки как в широком контексте научного направления, в рамках которого её предполагается осуществить, так и с точки зрения её конкретных целей и методологии. Для отбора экспертов должны быть установлены четкие критерии» [18]. Несмотря на внутреннюю стройность и логичность данного принципа, его практическое осуществление часто оказывается непростой задачей. Введение любых «чётких» критериев способно создать дополнительные сложности при подборе рецензентов, располагающих «соответствующими знаниями и опытом». Так, к примеру, действовавшее до 2012 г. правило РФФИ, согласно которому в качестве экспертов можно было привлекать только ученых, обла-
дающих степенью доктора наук, приводило к затруднениям при поиске специалистов по передовым направлениям, например, связанным с разработкой новых материалов, по которым ещё не успели пройти защиты докторских диссертаций.
Аналогичные проблемы связаны с использованием любых других формальных критериев, в частности, цитируемости - на рост этого показателя могут потребоваться годы, что опять же не соответствует скорости возникновения новых направлений в современной науке. Наиболее же практичным критерием выделения экспертов остается наличие публикаций в значимых журналах по темам, близким к оцениваемому исследованию. Но даже такой подход требует от организующих рецензирование администраторов специальных знаний, необходимых для точного сопоставления тематик публикаций и заявок.
Помимо этого, затруднения также возникают и в силу того, что многие научные фонды (в частности, ННФ, Норвежский научно-исследовательский совет - НИСН - и др.) считают необходимым проводить рецензирование на общественных началах - оплата этой работы воспринимается как шаг, способный поставить под сомнение объективность эксперта. Естественно, это не упрощает поиск учёных подходящей квалификации. Таким образом, несмотря на основополагающий характер принципа экспертной оценки, его идеальное соблюдение следует воспринимать, скорее, как некую цель на будущее, чем характеристику реального состояния дел.
Второй принцип - прозрачность (transparency): «Решения должны основываться на чётко описанных правилах, процедурах и критериях оценки, которые необходимо публиковать заранее. Заявители должны получать соответствующую обратную связь по вопросу оценки их заявок» [18]. Данный принцип не представляет сложности для большинства организаций, финансирующих научные исследования: общепринятым является опубликование критериев рецензирования и ознакомление заявителей с заключениями по их проектам. Однако данная информация крайне редко может быть использована заявителем для пересмотра решения, так как далеко не во всех организациях предусмотрена процедура апелляции, а там, где она существует, случаи, когда заявителю удаётся добиться требуемого им изменения, крайне редки. Например, в ННФ в 2012 г. на более чем 48 тыс. заявок было подано 46 заявлений о пересмотре, при этом лишь три из них были удовлетворены. Другой пример - НИСН: за последние пять лет здесь было подано единственное заявление, которое осталось неудовлетворённым. Таким образом, соблюдая условие прозрачности, данные организации редко предоставляют возможность реально ей воспользоваться.
Третий принцип - объективность (impartiality), в соответствии с которым «заявки
должны оцениваться справедливо и на основе их достоинств» [18]. Главным условием справедливой оценки признаётся исключение конфликта интересов, который «следует выявлять и разрешать в соответствии с фиксированными и опубликованными процедурами» [18]. В принципе, конфликт интересов возникает во всех ситуациях, в которых рецензент заинтересован в определённом - положительном или отрицательном - результате оценки. Специалисты по процедурам рецензирования выделяют четыре основные категории такой заинтересованности: финансовая, личная, организационная и интеллектуальная [12].
Финансовая заинтересованность имеет место, когда рецензент может оказаться среди получателей средств по проекту, который он оценивает. Для этого он не обязательно должен входить в круг исполнителей, к примеру, нормы ННФ устанавливают, что конфликт возникает в ситуации, когда член семьи рецензента владеет акциями компании, которая может быть заинтересована в определенном решении по проекту -поддержке или отклонении [19]. Очевидный пример личной заинтересованности - семейные отношения между оценивающим и оцениваемым. Однако конфликт могут создавать и дружеские связи или же, напротив, личная неприязнь, а также опыт совместной работы. Организационная заинтересованность возникает, когда оценивающий и оцениваемый являются сотрудниками одной организации, но проблемными также являются ситуации, в которых их организации-работодатели тесно сотрудничают или же, наоборот, конкурируют между собой. В свою очередь, интеллектуальная заинтересованность охватывает случаи приверженности идеям, принадлежности к какой-либо научной школе, привычки работать с определёнными методиками - словом, все, что может помешать нейтральному восприятию исследовательских предложений оцениваемого.
Перечень принципов рецензирования, предложенный саммитом 2012 г., продолжается «пропорциональностью» (appropriateness), означающей, что «процедура рецензирования должна подбираться в соответствии с целями конкурса, с рассматриваемой исследовательской областью и пропорционально инвестициям и сложности работ». Фактически эта формулировка предостерегает от попыток установить единую формализованную процедуру рецензирования, не позволяющую учитывать различия между проектами.
В отношении принципа конфиденциальности (confidentiality) устанавливается, что он распространяется на все данные, всю интеллектуальную собственность и все документы, которые поступают рецензентам и привлекающим их организациям в ходе осуществления рецензирования.
Содержание последнего принципа - «добросовестности и соответствия этическим нормам»
(integrity and ethics considerations) в заявлении не раскрывается, однако он декларируется в качестве имеющего первостепенное значение для рецензирования. Как этот принцип осуществляется на практике, можно проследить на примере США, где правительственные организации, финансирующие исследования, в том числе и ННФ, требуют от авторов заявок, в которых предусмотрены эксперименты с участием людей, представлять заключения этических комитетов, действующих при их организациях-работодателях. Фактически это означает, что ответственность за соблюдение этой стороны научной этики изымается из круга вопросов, подлежащих анализу в ходе рецензирования -контроль может ограничиваться формальной проверкой комплекта представленных документов. Аналогичным образом может решаться вопрос «добросовестности» - в принципе, в компетенцию рецензента не входит отслеживание таких этических нарушений как плагиат, повторное опубликование, ложное авторство, фабрикация или искажение данных - от него требуется исключительно заключение о научной состоятельности проекта или статьи. В ННФ рецензентам и администраторам, столкнувшимся с подобными нарушениями, предписывается сообщать о них в Бюро генерального инспектора, работающего при фонде, и не предпринимать никаких самостоятельных мер.
Участие РФФИ в Глобальном саммите по рецензированию, а также в учрежденном на нем Глобальном исследовательском совете (ГИС), является важным шагом с точки зрения выведения проводимых в России исследований на уровень ведущих научных держав. Одним из путей к повышению уровня исследовательской работы является приглашение зарубежных рецензентов для участия в оценке проектов, поддерживаемых фондом. К этому существует целый ряд препятствий, связанных с языковым барьером, с проблемами оплаты труда иностранцев, тем более за счет бюджетных средств, а также с культурными различиями. Примером последних может служить, в частности, тот факт, что американцы уделяют особое внимание вопросам участия в научной работе женщин и представителей национальных меньшинств и правила рецензирования ННФ выстроены таким образом, что этот момент, наряду с научными достоинствами проекта, может сыграть определяющую роль в решении о поддержке.
Правила российских фондов аналогичных положений не содержат, но в то же время делают сильный акцент на поддержке молодёжи, в том числе вводя возрастные ограничения для участия в отдельных конкурсах, - практика, неприемлемая для американцев, которые расценивают подобные условия как дискриминацию по возрасту, и в программах, ориентированных на начинающих исследователей, предпочитают пользоваться временными ограничениями, исчисляемыми от момента защиты докторской
диссертации. Конечно же, ГИС, который был заявлен как «виртуальная организация, объединяющая глав научных и инженерных финансовых агентств со всего мира», не располагает возможностями разрешить все проблемы такого рода, но поиск и признание стандартов, которые могут быть приняты учёными, представляющими самые разные культуры, - необходимый этап на пути расширения международного научного сотрудничества, в котором заинтересованы и российские учёные.
Однако несмотря на то, что принятие единых международных принципов рецензирования имеет преимущества для российской фундаментальной науки в целом, важно заметить, что этот процесс не может быть в равной мере распространен на все сферы научного знания. Так, в гуманитарной области стандарты такого рода могут иметь лишь ограниченное применение. Такое положение дел проистекает из самой природы и предназначения гуманитарных и общественных наук. Академик А.В. Торкунов в статье «О месте и роли гуманитарных и общественных наук в системе интеллектуального развития» предлагает системное описание функций социогуманитарной науки, выделяя, среди них следующие:
- «добиться рывка в развитии комплексного видения прошлого, настоящего и будущего России»;
- «выйти на формулирование убедительных концепций развития страны»;
- «разработать пути повышения культурного влияния России»;
- «обеспечить преемственность отечественной научной традиции, русской учёности;
- сохранение и развитие школ университетской и академической науки». [4; с. 396-397]
Понятно, что если речь идет о рецензировании исследовательских проектов, нацеленных на решение задач такого рода, то оценка зарубежных специалистов на основе некоторых международных принципов вряд ли будет оптимальной. В этом свете функциональным является существование в России двух главных государственных фондов поддержки науки - Российский гуманитарный научный фонд (РГНФ) и РФФИ. Именно последний является участником ГИС и, таким образом, участвует в продвижении международных стандартов рецензирования, в то время как РГНФ не принимает в подобных инициативах непосредственного участия, сохраняя большую гибкость в формировании собственных стандартов оценки, которая позволяет принимать во внимание специфику социогума-нитарных наук в России.
То, что национальная гуманитарная наука должна обладать определённой автономией, признается не только в России. Так, представитель Европейского исследовательского совета Т. Кениг, рассуждая об особенностях поддержки общественных и гуманитарных наук на европейском уровне, признает, что формирование
единого Европейского научного пространства требует равномерного развития научных комплексов стран-участниц, что создает «необходимость поощрять независимые исследования в этих странах» [8].
В принципе, возможность варьировать подходы к различным областям научного знания может обеспечить удачное сочетание традиций и новаций, сохранения национальных ценностей и максимально полного участия в международном научно-техническом прогрессе. Фактически речь идет о реализации сценария модернизации, позволяющего сохранить все культурное богатство, который проректор МГИМО А.И. Подберезкин характеризует следующим образом: «Наша концепция модернизации предполагает не только заимствование чужих знаний и технологий, но и использование огромного культурного и духовного потенциала всех народов России, то есть синтез новейших (мировых) знаний и традиционных (национальных) ценностей» [3, с. 452].
Помимо содержательных особенностей гуманитарных наук на организации рецензирования также сказываются их формальные отличия от естественных. Одно из них заключается в том, что особое значение в этих дисциплинах имеют монографии. Как отмечает российский философ Н.В. Мотрошилова, система учёта научных результатов, ориентированная главным образом на журнальные публикации, «исключительно неблагоприятна для представителей социогума-нитарных дисциплин, особенно из таких стран, как, скажем, Франция, Германия, Россия, в которых исследователи, публикуя статьи, все же традиционно отдают предпочтение солидным, фундаментальным книгам» [2, с. 46].
В отличие от статьи, издание книги в большей степени зависит от профессиональных редакторов, чем от рецензентов - коллег автора: оценка здесь оказывается гораздо более трудоёмким занятием, и для этой цели, как правило, привлекаются специалисты, работающие в издательстве. В определённом смысле это делает распространение информации с помощью книг более свободным процессом, чем посредством научной периодики. На этапе подготовки книги реже становятся объектом рассмотрения ученых, представляющих ту же специализацию, что и автор, и, таким образом, имеют возможность избежать рассмотрения с точки зрения соответствия их содержания концепциям, господствующим в определённой науке в данный момент.
Предметом такого рассмотрения монографии становятся уже после их издания - в появляющихся в печати отзывах. Такая последовательность в целом соответствует более высокому уровню плюрализма, характерного для гуманитарных наук, в которых, как правило, нет какой-то одной господствующей парадигмы и противоречия между коллективами и отдельными авторами воспринимаются как естественные и даже полезные с точки зрения развития дисциплины. К примеру, американский философ
Д. Шац отмечает, что «в философии консерватизм может вступать в силу после издания, но совсем не обязательно в ходе рецензирования, предшествующего опубликованию. По моему впечатлению, открытость новым идеям остается характерной чертой философии...» [17, с. 94]. В целом, эта характеристика в большей или меньше степени может быть распространена и на другие социогуманитарные дисциплины.
Если перейти от базовых принципов рецензирования к конкретным процедурам, то среди них выделяются две основные - подготовка индивидуальных заключений и коллективное рассмотрение. В первом случае рассматриваемый проект или статья направляется конкретному специалисту, который представляет свою оценку в письменном виде, во втором - оценка осуществляется группой экспертов в ходе совместного заседания. В практике научных фондов эти процедуры чаще всего используются совместно: вначале собираются письменные заключения на поступившие заявки, после чего заявки и заключения рассматриваются экспертными советами. При этом ход рассмотрения может различаться по ряду моментов. В частности, индивидуальные заключения могут предварительно готовиться самими участниками совета, и в таком случае автор заключения по конкретной заявке представляет ее на совете. Или же, напротив, может действовать правило, согласно которому совет обсуждает только заключения, ранее подготовленные индивидуальными рецензентами, которые не участвуют в заседаниях совета, в то время как сами заявки членами совета не рассматриваются. Такая процедура часто используется при необходимости осуществлять конкурсный отбор, благодаря ей разделяются функции содержательной оценки и принятия решений о финансировании. В противном случае, когда за оба этапа отвечают одни и те же люди, возникает риск, что знание о том, что в дальнейшем все равно придётся отклонить значительную часть заявок, способно заметно ужесточить первоначальные заключения.
Возможно, важнейшим процедурным моментом, влияющим на содержание рецензирования, является анонимность рецензентов: в большинстве случаев их имена не сообщаются авторам оцениваемых заявок. Главная цель такого подхода - исключить опасения относительно возможной негативной реакции со стороны оцениваемого, способные заметно повлиять на рецензента в случае, если оценивается материал, принадлежащий лицу, которое обладает значимым авторитетом в научной среде. При этом анонимность рецензентов создает определенные проблемы. Пожалуй, главная среди них - это снижение уровня ответственности оценивающих, которые могут подходить к своей работе без особой тщательности [5]. Другой аргумент - «неблагодарность» работы рецензента, которая зачастую выполняется бесплатно и оставляет учёным предельно ограниченное число стиму-
лов участвовать в ней - фактически таковыми являются престиж, о котором, к тому же, уместно говорить только когда речь идёт о ведущих научных фондах или наиболее респектабельных изданиях, и осознание важности самой процедуры отбора, играющей ключевую роль в формировании корпуса научных знаний.
И всё же аргументы за сохранение анонимности перевешивают аргументы против. К примеру, в опросе, проведенном редакцией журнала «Cardiovascular Research» («Исследования сердечно-сосудистой системы») рецензенты и авторы статей часто высказывали мнение, что отказ от анонимности повлечёт за собой резкое усложнение работы редакторов, которые столкнутся с трудностями при поиске желающих подписывать свои отзывы на статьи, и к тому же спровоцирует рост напряжённости в научном сообществе. Одновременно респонденты прогнозировали падение качества экспертизы из-за усиления субъективных факторов: будучи лишенными защиты, которую даёт анонимность, молодые учёные с высокой долей вероятности начнут завышать оценки известным научным деятелям, не желая конфликта с ними; усилится влияние сложившихся в той или иной дисциплине устойчивых групп единомышленников, особенно в тех случаях, когда и автор, и рецензент принадлежат к одной группе; в целом, вынужденные открыто выступать со своими отзывами, рецензенты будут, скорее, склоняться к положительным оценкам [7].
Более того, анонимность также может рассматриваться как необходимое условие эффективной работы рецензирования в качестве процедуры, отделяющей научное знание от ненаучного. Именно на этом моменте акцентировала внимание редакция «Journal of American Médical Association» («Журнал американской медицинской ассоциации»), которой пришлось отстаивать конфиденциальность своих рецензентов в суде. Материалы, содержащие их персональные данные, требовала предоставить фармакологическая компания «Пфайзер», которая выступала ответчиком по делу о введении в заблуждение потребителей касательно свойств распространяемых ей препаратов. Юристы компании столкнулись с тем, что большинство опубликованных статей содержало результаты, свидетельствующие в пользу истцов, и в надежде найти данные, которые могли бы укрепить позицию их клиента, затребовали от редакции тексты рецензий, переписку с авторами и рецензентами, а также полученные, но не опубликованные статьи.
Редакция отказалась выполнять эти требования. Её позиция основывалась на том, что журнал «издавна и намеренно сохранял конфиденциальность материалов рецензирования. Эта гарантия, предоставляемая авторам и рецензентам, обеспечивает рецензированию условия, в которых данный процесс может протекать без каких-либо стеснений. Предоставление даже
части этих документов, с именами авторов или без, поставит под сомнение весь процесс, а также доверительные отношения между редакторами, авторами и рецензентами» [6, p. 1956]. Суд поддержал редакцию, заявив, что даже в случае, если затребованные материалы и обладают доказательной силой, это не может служить основанием для нарушения «неприкосновенности процесса рецензирования» [6, р. 1956] Таким образом, соблюдение правил, обеспечивающих возможность отделения достоверных научных данных от тех, которые лишь претендуют на достоверность, было оценено выше, чем получение информации, способной повлиять на исход судебного дела.
Если оценивать механизм рецензирования в целом, то его, конечно, нельзя признать безупречным, и он нередко становится целью критики. Возможно, наиболее часто упоминаемым недостатком является консерватизм, внутренне присущий этой процедуре. По словам нобелевского лауреата Розалин Ялоу: «Сама природа революционных исследований исключает возможность предсказать, будет ли задача иметь решение, какие эксперименты приведут к этому решению, по какому графику будет идти приближение к этому решению и не заставит ли случайное открытие направить все усилия в новом направлении. Таким образом, между "системой рецензирования", используемой в финансировании научных исследований, и необходимостью поощрять научные революции существует изначальное противоречие» [5, c. 30-31].
В рамках фондов, финансирующих научные исследования, противодействовать подобной инертности возможно путем передачи права принимать решения в руки администраторов, при условии, что они обладают необходимой квалификацией. К примеру, в ННФ действует программа «Гранты на поддержку новых концепций, предполагающих пробные исследования» (Early-concept grant for exploratory research), которая позволяет программному администратору самостоятельно принять решение о финансировании заявки, при условии, что заявленный проект предлагает новый подход или методологию, обладающие революционным потенциалом [19]. Программа создана именно для того, чтобы компенсировать возможную консервативность рецензентов, которые могут расценить проект как сомнительный с точки зрения гарантий получения обещанного результата.
Другая труднопреодолимая проблема - эли-таристская закрытость рецензирования, участвовать в котором по каждой отдельной тематике может лишь небольшой круг специалистов, не только прошедших длительную профессиональную подготовку, но и имеющих значительные заслуги по своему научному направлению. В свое время с резкой критикой этой черты выступила редакция газеты «Washington Post», заявившая, среди прочего, что «...эта "оценка по достоинству" - элитаристская шарада,
в которой узкая группа богатых, известных и отлично оборудованных организаций получают все больше и больше денег, в то время как небольшие и малоизвестные университеты все заметнее отстают» [10; с. 11].
Охарактеризованная в статье ситуация является по сути проявлением описанного Р. Мертоном «эффекта Матвея»: в науке признанные ученые удостаиваются признания гораздо чаще, чем малоизвестные - первые буквально аккумулируют признание, в том числе и за незначительные результаты или результаты, полученные коллективом, в котором они играли второстепенную роль [11]. В принципе, речь идёт о негативной стороне исконно свойственной науке тенденции выдвигать немногих лучших, выделяющихся на фоне основной массы исследователей. Президент Гарвардского университета и первый председатель Национального научного совета США Дж. Конант выразил эту мысль следующим образом: «В развитии науки и в её использовании для решения практических проблем нет замены первоклассным специалистам. Даже десять второсортных ученых не смогут решить задачи, которые по плечу только лучшему» [9].
Однако подобный элитаризм идёт вразрез с демократическим устройством общества, в котором считается необходимым гарантировать всем равный доступ к общественным ресурсам. Как отмечают авторы, пожалуй, самой обстоятельной на сегодняшний день монографии, посвящённой рецензированию, Д. Чубин и Д. Хакет: «Рецензирование сложно примирить с демократическими ценностями, так как эта процедура отличается бесстыдными секретничаньем, элитаризмом и олигархической организацией -как, впрочем, и вся наука в целом. И всё же наше общество скрепя сердце идёт на это отступление от демократических принципов, демонстрируя тем самым веру в осведомлённость, мудрость и объективность этих олигархов - учёных-экспертов» [5, с. 122].
Таким образом, несмотря на то, что с рецензированием неразрывно связан целый ряд проблем, эту процедуру чрезвычайно сложно заменить. Опыт государственных ведомств, финансирующих научные исследования, показывает, что единственная реальная альтернатива - это принятие решений о поддержке или опубликовании на основе репутации автора заявки. Отказ от обращения к специалистам фактически означает, что содержание проекта останется недоступным лицу, принимающему решение. И единственное, что в этом случае можно оценить, - это то признание, которым уже пользуется автор в сообществе, при том, что о нём можно судить лишь по опубликованным работам, то есть, опять же, на основе ранее проведенной оценки коллегами. Тем не менее, применительно к практике фондов, в отдельных случаях подобная переориентация может иметь смысл, так как позволяет избавить некоторых учёных от трудоемкой процедуры написания
заявок. Если вновь обратиться к опыту ННФ, то в нём предусмотрена процедура «возобновления на основе заслуг» (accomplishment-based renewal), в соответствии с которой вместо заявки руководитель проекта направляет на конкурс 1-6 публикаций с результатами, полученными в проектах ННФ или в исследованиях, которые тесно связаны с такими проектами, и краткое -объёмом не более четырех страниц - описание своих планов [16].
Следует отметить, что в научных журналах также ведутся поиски альтернатив общепринятому подходу к рецензированию. К примеру, в 2006 г. журнал «Nature» запустил пилотный проект, в рамках которогоавторам, желающим опубликовать свои статьи в журнале, предлагали разместить их в открытом доступе с целью получения дополнительных отзывов со стороны читателей. Имея возможность выбрать стандартное рецензирование, лишь 5% авторов согласились на эту дополнительную процедуру. Из них чуть более половины (54%) получили отзывы, большая часть которых были недостаточно детальными, чтобы служить основанием для опубликования или отказа [14].
Интересным также является экспериментальное электронное издание «Philica: Journal of Everything» («Филика: журнал обо всем»), в котором рецензии на статьи появляются после их опубликования - их количество и содержание могут, таким образом, служить ориентиром для читателя, но при этом не препятствуют опубликованию материала. Надо заметить, что подобные эксперименты не столько способствуют разработке альтернатив механизму рецензирования, сколько укрепляют его, демонстрируя способность этого подхода изменяться с учётом нацеленной на него критики и воспринимать новые технологические возможности.
По сути, рецензирование не создаёт нере-шаемых проблем - все недостатки, связанные с замыканием процедуры оценивания на узком круге экспертов, которые придерживаются доминирующих на данный момент концепций, решаются расширением открытости процеду-
ры - с одной стороны, для администраторов и редакторов научных изданий, которых, при условии, что они обладают необходимой квалификацией, целесообразно наделять правом корректировать решения рецензентов, с другой - со стороны самих заявителей и авторов, которым должна предоставляться подробная информация об оценке их работ и которые должны иметь возможность вести диалог с рецензентом через представителя журнала или фонда. Препятствием на пути совершенствования этих процедур является заметное возрастание трудоёмкости и, как следствие, стоимости рецензирования.
В рамках же фундаментальной науки, основное финансирование которой поступает из государственных источников и связано с соблюдением жестких норм целевого расходования, увеличение затрат на процесс отбора проектов и статей оказывается затруднительным [1]. Тем не менее шаги, нацеленные на повышение качества рецензирования, предпринимаются, в том числе и в отечественных научных фондах. Особенно продвинулся на этом направлении РГНФ, в котором помимо того, что заявителям начали предоставляться заключения по их проектам, публикуется подробная информация о конкурсах, в том числе соотношение победителей и участников, тексты поддержанных заявок, а также публикации, подготовленные при поддержке фонда. В этом можно увидеть движение в том же направлении, в котором пытаются продвигаться научные журналы - совмещение традиционного рецензирования с общедоступностью материалов и возможностью любого интересующегося специалиста ознакомиться с ними и при желании опубликовать свой отзыв в Интернете. Представляется, что в ближайшее время в развитии рецензирования будет преобладать именно это направление - сочетание влияния сообщества ведущих специалистов, пусть даже и демонстрирующего элитаристские тенденции, но всё же незаменимого, с расширением возможностей участвовать в дискуссии для широкой научной общественности.
Список литературы
1. Коннов В.И. О государственных научных фондах // Российский экономический журнал, 2009, №6, с. 95 - 101.
2. Мотрошилова Н.В. Недоброкачественные сегменты наукометрии // Измерение философии. Сост. и отв. ред. А.В. Рубцов. М.: ИФРАН, 2012. С. 33 - 59.
3. Подберезкин А.И. Национальный человеческий капитал. В 5 т. Т. 1. Роль идеологии в модернизации России. М.: МГИМО-Университет, 2012. 468 с.
4. Торкунов А.В. По дороге в будущее. М.: Аспект-пресс, 2010. 480 с.
5. Chubin D., Hackett E. Peerless Science. Albany: State University of New York Press, 1990. 267 p.
6. DeAngelis C., Thornton J. Preserving confidentiality in the peer review process // Journal of American Medical Association, 2008, pp. 299 - 315.
7. Fabiato A. Anonymity of reviewers // Cardiovascular Research, 1994, no. 28, pp. 1134 -39.
8. Koenig T. Peer Review in the Social Sciences and Humanities on a European Level: The experiences of the European Research Council [Электронный ресурс]. Режим доступа: http://www.academia.edu/2163177/
Peer_Review_in_the_Social_Sciences_and_Humanities_on_a_European_Level_The_experiences_of_the_ European_Research_Council, дата обращения 02.11.2013 г.
9. Mazuzan G. The National Science Foundation: a Brief History. [Электронный ресурс]. Режим доступа: http://nsf.gov/about/history/nsf50/nsf8816.jsp , дата обращения 02.11.2013 г.
10. Merit and money // The Washington Post, June 1 1987, p. A11.
11. Merton R. The Sociology of Science. Chicago: The University of Chicago Press, 1973. P. 439-459.
12. Moghissi A., Love B., Straja S. Peer review and scientific assessment: A Handbook for Funding Organizations, Regulatory Agencies, and Editors. Alexandria: Institute for regulatory science, March 22, 2013. 302 p.
13. NSF Advisory Committee on Merit Review. Final Report. Washington D.C.: NSF, 1986.
14. Overview: Nature's peer review trial. [Электронный ресурс]. Режим доступа: http://www.nature.com/ nature/peerreview/debate/nature05535.html, дата обращения 29.09.2013 г.
15. Peer Review in Environmental Technology Development Programs. Washington D.C.: National Academy Press, 1998. P. 28.
16. Report to the National Science Board on the National Science Foundation's Merit Review Process. Fiscal Year 2012. Электронный ресурс]. Режим доступа: http://www.nsf.gov/nsb/public ations/2013/nsb1333. pdf, дата обращения 02.11.2013 г.
17. Shatz D. Peer review: a critical inquiry. Lanham: Rowman & Littlefield Publishers, 2004. P. 94.
18. Statement of principles for scientific merit review. Электронный ресурс]. Режим доступа: http://www. globalresearchcouncil.org/sites/default/files/pdfs/gs_principles-English.pdf, дата обращения 02.10.2013 г.
19. The National Science Foundation Proposal and Award Policies and Procedures Guide. P. IV-1. Электронный ресурс]. Режим доступа: http://www.nsf.gov/publications/pub_summ.jsp?ods_key=papp , дата обращения 10.09.2013 г.
20. U.S, Supreme Court. Daubert v. Merrell Dow Pharmaceuticals, Inc., 509 U.S. 579 (1993) Электронный ресурс]. Режим доступа: http://caselaw.lp.findlaw.com/scripts/getcase.pl?court=us&v ol=509&invol=579 , дата обращения 29.09.2013 г.
Об авторе
Шестопал Алексей Викторович- д.филос.н., профессор, заведующий кафедрой философии МГИМО (У) МИД России. E-mail: [email protected]
Коннов Владимир Иванович - к.соц.н., доцент кафедры философии МГИМО (У) МИД России. E-mail: [email protected]
Статья подготовлена при финансовой поддержке Российского фонда фундаментальных исследований, проект №12-06-00385 «Социально-политическая функция национальных научных фондов».
PRACTICAL EPISTEMOLOGY: THE ROLE OF PEER REVIEW IN ORGANIZING
SCIENTIFIC RESEARCH
A.V. Shestopal, V.I. Konnov
Moscow State Institute of International Relations (University), 76, Prospect Vernadskogo, Moscow, 119454, Russia.
Abstract: The article considers peer review as the main procedure for demarcating scientific knowledge from other kinds thereof, which do not meet the criteria set for research results. The authors examine the history of peer review, which has first been used in early scientific journals and then has become one of the key approaches to distributing funds for research in science foundations, such as the U.S. National Science Foundation. The article also considers the role of peer review in the legal process, wherein observance of this procedure can be seen as the main criteria, which separates scientific evidence from mere testimony. The description of the main elements of the peer review procedure is based on the "Statement of principles for scientific merit review" the summary of the results of the Global Summit on Merit Review, which brought together heads of science funding organizations from more than 50 countries.
The Statement listed the following principles: expert assessment, transparency, impartiality, appropriateness, confidentiality, integrity and ethical considerations. Although these principles are
seen as a way to guarantee efficient peer review one has to consider the peculiarities of a particular research area, first of all the differences between social and natural sciences. Accordingly the article gives an overview of key traits of peer review in the social sciences and humanities. The authors also consider the main procedural elements - preparation of individual reviews, consideration by panels, anonymity of reviewers. Finally the article addresses the problems of peer review such as non-transparent process, elitism in selecting reviewers, conservativeness of decisions, and possible ways of handling these problems.
Key words: peer review, science foundations, Global Summit on Merit Review, science policy, U.S. National Science Foundation
References
1. Konnov V.I. O gosudarstvennyh nauchnyh fondah [About public research foudantions]. Rossijskij jekonomicheskij zhurnal [Russian Economic Journal] 2009, no. 6, pp. 95-101. (In Russian)
2. Motroshilova N.V. Nedobrokachestvennye segmenty naukometrii [Substandard segments of Scientometrics]. Izmerenie filosofii [Measurement of the philosophy]. Ed. A.V. Rubcov. Moscow, IFRAN Publ., 2012. P. 46. (In Russian)
3. Podberezkin A.I. Nacional'nyj chelovecheskij capital [National human capital]. In 5 volumes. V. 1. Rol' ideologii v modernizacii Rossii [The role of ideology in the modernization of Russia]. Moscow, MGIMO-Universitet Publ., 2012. P. 452. (In Russian)
4. Torkunov A.V. Po doroge v budushhee [On the way to the future]. Moscow: Aspect Press Publ., 2010. P. 396-397. (In Russian)
5. Chubin D., Hackett E. Peerless Science. Albany: State University of New York Press, 1990. P. 267.
6. DeAngelis C., Thornton J. Preserving confidentiality in the peer review process // Journal of American Medical Association, 2008, 299-315 p.
7. Fabiato A. Anonymity of reviewers // Cardiovascular Research, 1994, no. 28, pp. 1134 -39.
8. Koenig T. Peer Review in the Social Sciences and Humanities on a European Level: The experiences of the European Research Council. Available at: http://www.academia.edu/2163177/Peer_Review_in_the_Social_ Sciences_and_Humanities_on_a_European_Level_The_experiences_of_the_European_Research_Council (accessed: 02.11.2013).
9. Mazuzan G. The National Science Foundation: a Brief History. Available at: http://nsf.gov/about/history/ nsf50/nsf8816.jsp (accessed: 02.11.2013).
10. Merit and money. The Washington Post, June 1 1987. P. A11.
11. Merton R. The Sociology of Science. Chicago: The University of Chicago Press, 1973. P. 439-459.
12. Moghissi A., Love B., Straja S. Peer Review and Scientific Assessment. A Handbook for Funding Organizations, Regulatory Agencies, and Editors. Alexandria: Institute for regulatory science, 2013.
13. NSF Advisory Committee on Merit Review. Final Report. Washington D.C.: NSF, 1986.
14. Overview: Nature's peer review trial. Available at: http://www.nature.com/nature/peerreview/debate/ nature05535.html (accessed: 29.09.2013).
15. Peer Review in Environmental Technology Development Programs. Washington D.C.: National Academy Press, 1998. P. 28.
16. Report to the National Science Board on the National Science Foundation's Merit Review Process. Fiscal Year 2012. Available at: http://www.nsf.gov/nsb/public ations/2013/nsb1333.pdf (accessed: 02.11.2013).
17. Shatz D. Peer Review: a Critical Inquiry. Lanham: Rowman & Littlefield Publishers, 2004. P. 94.
18. Statement of principles for scientific merit review. Available at: http://www.globalresearchcouncil.org/sites/ default/files/pdfs/gs_principles-English.pdf (accessed: 02.10.2013).
19. The National Science Foundation Proposal and Award Policies and Procedures Guide. P. IV-1. Available at: http://www.nsf.gov/publications/pub_summ.jsp?ods_key=papp (accessed: 10.09.2013).
20. U.S, Supreme Court. Daubert v. Merrell Dow Pharmaceuticals, Inc., 509 U.S. 579 (1993) Available at: http:// caselaw.lp.findlaw.com/scripts/getcase.pl?court=us&v ol=509&invol=579 (accessed: 29.09.2013).
About the author
Alexei V. Shestopal - Doctor of Philosophical Sciences, Professor, head of the Philosophy Department, MGIMO-University, E-mail: [email protected]
Vladimir I. Konnov - Ph.D. (Sociology), associate professor of the Philosophy Department, MGIMO-University, E-mail: [email protected]
