CC BY
78
Армен Эрнстович Петросян
независимый исследователь, e-mail: [email protected]
Механизм торможения (экспертная оценка научных результатов как фактор сдерживания концептуальных инноваций)
В условиях стремительных перемен в обществе инновации оказываются не только результатом творчества, но и объектом планирования. Они целенаправленно подготавливаются и внедряются в повседневную жизнь, а потому нуждаются в масштабной подпитке радикально новыми идеями. Между тем новшества в науке неизбежно сталкиваются с сопротивлением. И помимо естественных причин — человеческой настороженности к новому или концептуальных трудностей, возникающих при его усвоении, оно вызывается в значительной мере устаревшей практикой оценки научных результатов и их вклада в развитие знания. В первой части исследования автор вскрывает ее механизм и основные факторы, сковывающие инновационный потенциал науки (закрытость и непрозрачность, монополизм и низкая конкуренция, стандартизация и формализация).
Ключевые слова: наука, исследование, инновации, рецензирование, финансирование, премирование, оценка.
I. ДИАГНОСТИКА БОЛЕЗНИ
Сопротивление новому неизбежно. Это плата за то, что оно выходит за интеллектуальный горизонт эпохи, а значит, и большинства экспертов, которые с трудом «переваривают» то, что не вписывается в усвоенные ими каноны. Для впитывания непривычной идеи недостаточно общего знания, которым они обладают. Мало проку и от специализации, если только она не идет параллельным курсом с новыми взглядами. Глубина понимания лишь сужает конус видения и тем самым вытесняет из поля зрения все, что не укладывается в прокрустово ложе сложившихся концептуальных схем. А потому, чтобы справиться с чем-то радикально новым, нужно не просто вникнуть в его суть, но и уйти в сторону от проторенных дорог, отбросить стандартные формы истолкования явлений, что подразумевает отрыв от общей массы. Но любой отрыв чреват отчуждением и недопониманием, и чем он больше, тем сильнее противостояние выдвигаемой оригинальной идее.
Однако, несмотря на весь вред, идущий от мракобесия и обскурантизма и даже простого следования традиции, было бы неразумным искоренять сопротивление новому, не оставляя перед ним никаких барьеров и фильтров. И дело не только
в том, что далеко не всякое новшество оправданно и жизнеспособно. Человеческий ум устроен так, что нельзя в нем отключить неприятие незнакомого и неизведанного, не подорвав его критической функции.
однако в условиях стремительных перемен в обществе, превращения науки в непосредственную производительную силу и ужесточившейся конкуренции между исследовательскими коллективами, корпорациями и государствами за создание технических рычагов и социальных технологий управляемого обновления, инновации оказываются не только результатом творческой деятельности, но и объектом планирования; они целенаправленно подготавливаются и внедряются в практическую жизнь. А значит, новые идеи должны не просто поощряться и поддерживаться; их следует взращивать и пестовать, ибо именно они и лежат, в конечном счете, в основе инновационных прорывов.
самый очевидный и в то же время самый длительный путь к ослаблению сопротивления инновациям — это изменение культуры отношения к новому. необходимо привить людям на психологическом уровне, встроить в их ментальность более терпимое отношение к непривычному и неожиданному и, что еще важнее, более критичное отношение к уже признанному знанию. гораздо легче и быстрее можно обеспечить поддержку новым идеям, если в корне изменить атмосферу, царящую в организациях и сообществах. Поощряя свободу высказываний, уважение к чужому мнению, а главное — вытеснение на обочину голословных заявлений и авторитарного вещания, когда аргументация и подкрепление заявляемых позиций подменяются риторикой или психологическим давлением, можно значительно упростить путь новой идеи от ее зарождения до закрепления в научном сознании. однако сколь бы благоприятной ни была обстановка для восприятия и распространения новшеств, это ничего не даст, если останутся прежними организационные рамки, в которых выносятся суждения о новых идеях.
сама господствующая практика экспертных оценок, определения значимости исследовательских результатов, выявления вклада в науку выступает в качестве фактора, сдерживающего радикальное обновление знания. и, пока она сохраняется в нынешнем виде, трудно рассчитывать на управляемое и систематическое инновационное развитие. каков механизм торможения нового? из чего он состоит и как действует? какие изменения стоило бы произвести в ориентирах, способах и процедурах оценивания, чтобы обеспечить оригинальным идеям более существенную поддержку или, по крайней мере, снизить противодействие им? вот узловые вопросы, на которые отвечает эта работа.
1. «Слепое» рецензирование
среди факторов, которые оказывают удушающее влияние на новые идеи, бросается в глаза, прежде всего, закрытость процедур оценивания и принятия решений. Подразумевается, что лицо, отвечающее за них, тем самым ограждается от внешнего давления и прямого манипулирования со стороны заинтересованных сил. а значит, вроде бы обеспечиваются независимость и объективность решений, принимаемых экспертами.
Так, диссертации защищаются в советах при тайном голосовании его членов. Остается неизвестным не только то, кто и как проголосовал, но и — что еще важнее — на каком основании принято решение. Верша судьбу как соискателя, так и выдвигаемых им идей, «судьям» не приходится мотивировать свою позицию или даже иметь ее. Неудивительно, что во многих случаях голосование не свидетельствует о реальном отношении к предмету, подлежащему оценке, а иногда производится безо всякого знакомства с ним.
Нечто подобное происходит и в комиссиях, принимающих решения о предоставлении грантов или исследовательских стипендий (scholarships, fellowships, residencies), когда реальные достоинства проекта или творческий потенциал автора принимаются во внимание далеко не в первую очередь. Подотчетность «комиссионеров» общественности не предусматривается, а заявляемая ими позиция если и подкрепляется, то все равно остается достоянием узкого круга. Стало быть, ничто не заставляет их всерьез озаботиться справедливостью или глубиной выносимых оценок.
Но апофеозом некомпетентности и произвола является практика рецензирования текстов научными журналами, которая настолько перестала соответствовать своему исходному предназначению, что уже и не очень понятно, для чего она вообще существует. В большинстве изданий хвастаются тем, что применяют так называемое слепое рецензирование, а его «зашоренность» с обеих сторон (double-blind reviewing), когда автор и рецензент якобы не имеют друг о друге ни малейшего представления, и вовсе считается особым шиком. Это воспринимают как необходимое условие непредвзятости отзывов, что, казалось бы, должно способствовать более свободному прохождению новых идей.
Между тем перед нами глубокое заблуждение. Такое обезличение отзывов превращает их в абсолютно безответственные и бессмысленные бумажки. Рецензенты позволяют себе произвольные и ничем не подкрепленные замечания и перестают вникать в суть обсуждаемых вопросов. А подчас их работа и вовсе превращается в простой ритуал, не имеющий ничего общего ни с анализом, ни с предметной критикой.
Зачастую издания даже не утруждают себя развернутыми оценками. Более того, далеко не всегда полученные материалы направляются на отзыв. Так, статью о цикле деления клетки, позже опубликованную в "Science" (1974), где впервые высказывались идеи, которые принесли Л. Гартвеллу Нобелевскую премию за 2001 год (Hartwell, Culotti, et al., 1974), в журнале "Nature" отклонили без всякого рецензирования. Как вспоминал один из авторов Дж. Прингл, это надолго оставило тяжелое послевкусие, и он «никогда больше не представлял туда свои материалы по собственной воле» (Pringle, 2013: 3283).
Нередко вместо разговора по существу отделываются риторическими фразами, которые сами по себе ничего не значат, но служат формой мягкого отказа. Например, когда П. Хиггс отправил в журнал "Physics letters" короткую заметку с изложением модели, объясняющей, откуда берется масса у субатомных частиц, из чего «выросла» идея, удостоенная Нобелевской премии за 2013 год, материал «завернули», сославшись на невозможность гарантировать быструю публикацию (Griggs, 2008: 17).
Р. Ташнер называет иллюзией то, что люди, принимающие решение о публикации, вообще подробно знакомятся с текстом. В лучшем случае они обращаются (по телефону или через электронную почту) к добрым знакомым из числа тех, кто в курсе, с просьбой уточнить, стоит ли поддержать автора. Состояние, в котором
оказалась наука в связи с господствующей практикой рецензирования, Ташнер считает жалким и разлагающим (Taschner, 2007). И с ним трудно не согласиться.
Чтобы убедиться, что даже, казалось бы, «солидные» издания грешат поверхностным и безответственным рецензированием, обратимся к красноречивым фактам. В 90-е годы минувшего столетия много шума произвела история с физиком А. Сокалом, сочинившим пародию на культурологическую статью под названием «Преступая барьеры: К трансформативной герменевтике квантовой гравитации» (Sokal, 1996). Он направил ее в один из известных «профильных» постмодернистских журналов ("Social text") при весьма уважаемом университете (Duke University). и, к удивлению автора, вскоре та вышла в свет, не вызвав ни малейшей настороженности со стороны редакторов. Между тем материал был довольно своеобразен. особую пикантность ему придавало то, что самые смешные фрагменты принадлежали не самому автору, а были заимствованы им у постмодернистов. точнее говоря, он построил статью вокруг фактически напрямую цитируемых глупейших, как ему представлялось, высказываний знаменитых французских и американских интеллектуалов о философии физики и математики. Его собственный «вклад состоял лишь в том, чтобы придумать какое-нибудь бессмысленное рассуждение, сводящее эти цитаты воедино и восхваляющее их» (Sokal, 2010: 153). Это подразумевало, конечно, и отстаивание того, что, по мнению Сокала, выглядело бессвязной мешаниной остромодных идей. Но тем самым пародии лишь добавлялось «перца».
Как же редакция проглядела столь незатейливую чепуху? Более того, она даже не уловила, что над ней откровенно издеваются. Каким образом редакторы оценивали текст? и знакомились ли они с ним вообще?
нет сомнения в том, что никто глубоко не вдавался в содержание материала. Но, очевидно, какое-то знакомство с текстом — «по касательной» — все же имело место. Редакторам, как признался впоследствии один из них — Б. Роббинс, вполне хватило того, что статья тешила их идеологические предрассудки и нападала на противников (Robbins, 1996; 28). Что же касается естественнонаучной «начинки», то сам факт, что автор является дипломированным физиком, к тому же преподающим в престижном университете, казался им залогом ее высокого уровня. Без всякого труда они получили квалифицированного союзника — чего же боле? Но где тут объективность, непредвзятость или точность, взвешенность оценок?
Но быть может, это единичный случай, а реальная практика рецензирования в журналах придерживается иных процедур и стандартов? К сожалению, нет. в том, что касается новых идей, исключением являются скорее обратные случаи, да и то они охватывают в основном «умеренные» новшества.
Еще до Сокала два американских исследователя — Д. Питерс и С. Сеси, озадаченные практикой рецензирования в психологических журналах, поставили весьма простой, но поучительный эксперимент. они отобрали 12 статей, опубликованных учеными, представлявшими кафедры психологии ведущих университетов, и, слегка изменив текст, а также имена авторов и места их работы, снова отправили «рукописи» в те же журналы, где раньше (в последние 1,5—2,5 года) те были отрецензированы и вышли в свет. Казалось бы, должна была подняться буря возмущения в адрес «плагиаторов», или хотя бы стоило ожидать отзывов, аналогичных первоначальным. Но не тут-то было.
Только в 3 случаях был обнаружен подлог. В 8 из остальных 9, то есть в 89 %, случаев статьи были отклонены по существу (Peters, Ceci, 1982). Что же изменилось
в них по сравнению с первым представлением? Только одно — авторы стали выглядеть гораздо менее солидно. Вместо громких имен из прославленных университетов на редакционных столах оказались «невнятные» фамилии из богом забытых (точнее — выдуманных) «медвежьих углов». Стоит ли удивляться, что им указали на их «законное» место?
Скандал? Да. Но рядовой, будничный. И дело тут не в том, что рецензенты частенько позволяют себе чванство в отношении выходцев с научной периферии. Все гораздо прозаичнее. они спрашивают себя: а есть ли у этих «провинциальных самородков», а проще сказать выскочек, достаточная образовательная база, технические возможности для проработки вопроса и интеллектуальная среда для его обсуждения, чтобы прийти к основательным выводам? Поскольку ответ в большинстве случаев дается отрицательный, отношение к ним изначально оказывается предвзятым и не предполагает содержательного анализа материала. иначе говоря, результат оценки бывает готов еще до того, как начинается процедура оценивания.
В свете этого выглядит неудивительным и то, что, например, престижные награды редко выходят за пределы узкого («элитного») круга, причем в их присуждении наблюдается удивительная организационная преемственность, весьма напоминающая наследственные династии. Так, по подсчетам х. закерман, около половины всех исследователей, выполнивших свои исследования на территории США до 1972 года и впоследствии удостоенных Нобелевской премии, представляли лишь 5 университетов (Беркли, Чикаго, Колумбия, Гарвард и Рокфеллер), чей штат составлял всего 3% от численности сотрудников американских университетов. Более того, свыше 53% из них (49 из 92) начинали свою исследовательскую деятельность (в качестве студентов, стажеров или младших сотрудников) под руководством других нобелевских лауреатов. Чего тут больше — мощного притяжения талантов друг к другу или просто узости каналов получения признания?
Сама закерман объясняла эту тенденцию тем, что работа учителей представляла собой «образец для подражания»; они возбуждали в учениках стремление к превосходству. они учили «не столько наставлениями, сколько примером», и, благодаря «требовательным стандартам работы», им удавалось «поддерживать моральный авторитет» и тем самым подправлять учеников, если те их не выдерживали (Zuckerman, 1977: 126). Безусловно, это реальные факторы, и они весьма способствуют повышению качества исследований и соответственно научных публикаций. однако такого рода образцовых учителей — и зачастую не менее талантливых — немало и за пределами этих университетов, да и вне состава тех, кто когда-либо номинировался на Нобелевскую премию. Тем не менее им почему-то нечасто удается «вырастить» своих лауреатов.
Дело может проясниться, если посмотреть на него с другой стороны. Кто получает наибольшее финансирование? Чьи исследовательские запросы с большей готовностью подкрепляются ресурсами? Оказывается, в 1962 году 38% всех американских федеральных ассигнований на науку было сосредоточено всего в 10 институтах, а если взять 25 учреждений с наибольшим финансированием, то на их долю приходилось 59% (Barber, 1966: 63). Понятно, что ученые тут имели гораздо больше шансов получить качественные результаты. Не говоря уже о том, что, благодаря своей лучшей «видимости» и институциональному авторитету, с которым они ассоциировались, им было легче пробиться на страницы солидных изданий и выше поднять выдвигаемые идеи в глазах научной общественности.
Разумеется, имя и место работы являются далеко не исчерпывающим и даже не самым часто встречающимся основанием для предвзятости. Не менее существенную роль играют концептуальные расхождения, принадлежность к разным школам, приверженность к альтернативным методам работы и т.д. Там, где речь заходит о новых идеях, количество подобных действующих факторов возрастает, и они удивительным образом сплетаются, создавая такую синергию, против которой способен устоять редкий рецензент. А закрытость и непрозрачность процедуры рецензирования создают для предвзятости ту самую благоприятную почву, на которой удушение радикально нового становится не просто возможным или даже весьма вероятным, а практически неизбежным. Все потенциальные ростки угроз для нового, заключенные в процедуре экспертной оценки, вытягиваются в полный рост и превращаются в смирительную рубашку для прогресса знания.
2. Проблема качества
Что способствует столь массовому пренебрежению тем, что многие называют «интеллектуальным долгом» экспертов? И нельзя ли заставить их более вдумчиво относиться к рецензируемому материалу и непредвзято устанавливать как его недостатки, так и достоинства?
Четверть века назад Д. Горробин предлагал вернуться к осмыслению того, ради чего производится экспертная оценка. По его мнению, она может успешно применяться лишь там, где у вовлеченных в нее сторон (редакторов и рецензентов) есть ясное понимание своей цели. Многим кажется, что это контроль качества. На самом деле, по Горробину, она гораздо шире и сродни задаче врача — иногда лечить, часто облегчать и всегда успокаивать. Стало быть, экспертная оценка призвана содействовать внедрению усовершенствованных методик, улучшению состояния и вселению надежды. А это охватывает как контроль качества, так и поощрение инноваций. там, где утрачивается баланс между этими двумя функциями, экспертная оценка не выполняет своего предназначения (НоггоЪш, 1990).
Но как должно выявляться качество посредством рецензирования? В чем состоят обязанности эксперта, взвалившего на себя миссию по оценке статьи? Надо ли перепроверять ее выводы? Очевидно, нет. На это не хватит ни времени, ни сил. Может, повторить длинные цепочки математических вычислений, приводимых автором? Весьма проблематично. Или же воспроизвести описываемые в статье эксперименты? Это и вовсе утопия.
Более того, на практике эксперты не так часто выявляют даже грубые и, казалось бы, очевидные изъяны. В одном из исследований была проверена их способность «вылавливать» ошибки в тексте. 420 рецензентам разослали статью по нейро-биологии, содержавшую 8 «внедренных» в нее серьезных недостатков. В среднем экспертам удалось заметить 2 из них. При этом ни один из экспертов не обнаружил более 4 ошибок, а 16% участников эксперимента и вовсе прошли мимо этих изъянов (КоШтоП, МаПуп, 2000).
В другом эксперименте рецензенты сообщали в среднем о 3 из 9 крупных недостатков. При этом почти четверть их умудрялась найти не более одной ошибки. О таких «мелочах», как несоответствие между текстом и приводимыми таблицами,
не стоит и говорить. В основном (в более чем половине случаев) опознавались грубые «проколы», связанные с техникой выборки и рандомизации. Зато несообразности в анализе данных и представлении результатов обнаруживались чуть ли не вдвое реже (менее 30%). Хотя многие из рецензентов видели, что выводы простирались дальше полученных результатов, около 40% их не замечали, что авторы экстраполировали свои результаты и на области, которые они вообще не рассматривали. Даже после специальной тренировки улучшение в обнаружении ошибок наступало, главным образом, в технических вопросах, относящихся, например, к статистическим вычислениям. Что же касается контекста исследования или его привязки к практике, прогресса почти не наблюдалось (Schroter, Black, et al., 2008: 510-511).
Через какое же сито надо пропустить материал, чтобы составить представление об его качестве?
Как ни странно, вопрос о задачах рецензирования в явной и развернутой форме ставится нечасто. Тем не менее, если суммировать наиболее распространенные подходы, можно заключить, что с помощью рецензии «авторитеты в данной области определяют валидность и оценивают относительную значимость конкретного вклада естествоиспытателя или гуманитария в эту область» (Osburn, 1989: 279). Еще хуже обстоит дело с критериями, по которым определяется годность текста к публикации. Четко их нигде не прописывают — по крайней мере, в качестве универсальных правил. Если они и существуют в головах рецензентов, то в довольно размытом и расплывчатом виде. И когда их просят сформулировать эти критерии, ответ, как правило, звучит маловразумительно: мол, однозначных требований, конечно, предъявить трудно, равно как и ясно очертить границу между приемлемым и недопустимым. Но уж, по крайней мере, «бессмыслица», вроде той, что утверждал Сокал в своей нашумевшей статье — о «несуществовании гравитации», должна безжалостно пресекаться (Gernert, 2008: 242). Одно это позволило бы избавить научные издания от груды макулатуры.
все это так, но беда в том, что понятие, имеющее глубокий смысл в одной концептуальной системе, может оказаться полной бессмыслицей в другой. скажем, абсолютная одновременность, вполне естественная для человека, впитавшего в себя ньютоновскую механику, релятивисту покажется жалкой отрыжкой безвозвратно ушедшей эпохи, и наоборот — относительность одновременности, с энтузиазмом преподносимая релятивистом как прозрение, для «традиционалиста»-ньютонианца выглядит откровенным бредом. как же поступит эксперт, не имеющий представления о теории относительности, если к нему на отзыв попадет материал, в котором не просто свободно оперируют этим понятием, но и выдают его за точное описание реальности? не решит ли он, что статья воплощает пустые и бесплодные фантазии, не подкрепляемые фактами, а потому на ее пути надо поставить заслон? Ответ напрашивается сам собой.
так что же значит качество научного труда?
Очевидно, если отвлечься от доходчивости или стилистической выверенности текста, а также от соблюдения норм и стандартов оформления, речь должна идти о ценности результатов, добытых автором. Чем она больше, тем выше качество. но что понимается под ней?
Вообще говоря, издавна существует негласный консенсус, в соответствии с которым качество (ценность) научной работы оценивается по трехмерной шкале. Исходным условием его является востребованность (T), которая иногда называется
актуальностью. Это подразумевает, что она откликается на какие-то концептуальные или практические запросы своего времени и предлагает определенный вклад в решение соответствующих вопросов. Второй составляющей качества выступает вклад, вносимый ею в имеющееся знание, тот прирост, который становится возможным благодаря проведенному исследованию. Это не что иное, как новизна результатов, степень их оригинальности (О). Чем она выше, тем большей «добавкой» наука обязана оцениваемому труду. Наконец, существенную роль играет и то, насколько претензии автора подкрепляются прежними теориями и установленными фактами. Это степень обоснованности выдвигаемых положений (V). Она задает меру доверия к результатам и обусловливает готовность их использовать как в самой науке, так и в практике.
Представим себе, что у нас есть возможность реально оценить каждую из этих составляющих качества. Определив для себя «вес» (значимость для оценивающего) каждой из них, можно составить общую оценку при помощи количественной формулы:
аТ + рО + XV, где
Т — востребованность, О — новизна, V — обоснованность научных результатов, а а, р и X — весовые коэффициенты соответствующих компонент. Казалось бы, такая трехмерная система координат позволяет выявлять и сопоставлять между собой ценности результатов различных исследований и служит надежным основанием для принятия решений о том, какие работы следует поощрять, а какие — нет.
Однако проблема в том, что эти показатели качества (ценности) научного труда «неортогональны», то есть не являются независимыми переменными. Они тесным образом переплетаются между собой и могут как взаимно усиливать, так и подрывать значимость друг друга. Скажем, если работа востребована, это косвенным образом повышает ее «достоверность», хотя сама по себе обоснованность довольно безразлична к актуальности. Зато новизна плохо совмещается как с востребованностью, так и с обоснованностью. Чем оригинальнее результаты, тем они менее востребованы (в предельном случае вообще непонятно, куда и как их можно приложить). И — что еще важнее — чем больше новизны в них, тем слабее они подкрепляются существующим знанием.
Ведь обоснование идеи — в идеале не что иное, как проведение к ней непрерывной концептуальной цепи от имеющихся понятий. Чем оригинальнее идея, тем больше там пробелов, тем более скачкообразен переход, а значит, тем менее обоснованной выглядит идея (РеОгеуап, 2015: 173—177). Иначе говоря, высокая степень новизны идеи автоматически снижает меру ее обоснованности и в несколько меньшей степени — ее востребованность. И наоборот, стремление повысить востребованность и тем более обоснованность идеи неизбежно выхолащивает меру ее оригинальности. Если, например, «веса» компонент оценки одинаковы, по-настоящему новаторские работы не будут получать итоговых высоких оценок, ибо будут объявлены как маловостребованными, так и не очень обоснованными. А следовательно, если их и не будут подавлять, то на широкое признание им уж точно не стоит рассчитывать. Положение усугубляется тем, что коллеги, выносящие экспертные суждения, являются не бесплотными духами, воплощающими в себе чистое и незамутненное стремление к истине, а живыми людьми со всеми их достоинствами и недостатками, страстями и сочувствием к ближнему (Петросян, 1985: 104—106).
И когда личностные импульсы и социальные побуждения также становятся непосредственными мотивами их поступков, накладывая свой отпечаток на производимые оценки, они утрачивают последние крупицы объективности и подчас оказываются по ту сторону не только истины, но и здравого смысла.
С. Тернер и Р. Хэнер сконструировали простую модель, на которой продемонстрировали, что существующая ныне процедура рецензирования — при условии, что в ней участвует какая-то часть «рациональных» экспертов, не желающих видеть опубликованным какой-либо высококачественный труд, кроме своего собственного,— попросту не в состоянии обеспечить качество научных материалов. Выясняется, что даже не очень большая доля таких «неправильных» (эгоистически-рациональных) субъектов, не руководствующихся правилами «корректного» поведения (любовью к истине, непредвзятостью, отказом от кумовства и корпоративной солидарности и т.д.), резко снижает качество публикуемых или спонсируемых работ. Оно не может быть существенно выше, чем при произвольном отборе (например, по жребию). так, если «рациональные», «правильные» и «случайные» рецензенты представлены равными долями (по 1/3), роль рецензий практически нивелируется. Более того, даже попытка усиления политики качества может привести к дальнейшему ухудшению принятых к печати материалов. А механизм взаимной поддержки авторов и рецензентов способен окончательно добить всю систему рецензирования (ТЬитег, Напе1, 2011: 710—711).
Таким образом, проблема в действительности не в том, что в погоне за качеством рецензенты втаптывают в грунт хрупкие ростки нового знания. Понятие качества научного труда включает в себя не только и не столько соответствие каким-то принятым критериям, но и изрядную долю оригинальности, собственного вклада в научную мысль. Но это неизбежно сталкивается со строем мысли самого эксперта, и, если его внутренняя концептуальная реальность отторгает веяния, идущие от рецензируемого материала, проверяется в ней все — обоснованность доводов, правильность рассуждений, полнота освещения предыстории вопроса, уместность ссылок и даже личность самого автора,— кроме научного уровня. Вот почему у наукообразного бреда зачастую даже больше шансов попасть на страницы журналов, чем у по-настоящему прорывного материала.
но, противясь новациям, рецензенты подрывают, прежде всего, качество публикаций, их эвристический и концептуальный потенциал. И, пока господствует практика «слепого рецензирования», никакой поддержки концептуальных прорывов в науке ожидать не приходится. скорее наоборот — новые идеи будут искусственно сдерживаться, а поле для их обсуждения и приложений — съеживаться, подобно шагреневой коже.
В условиях «слепого рецензирования» никто не может предъявить экспертам претензии за низкое качество оценок и предвзятые суждения. А когда неохота углубляться в хитросплетения авторских мыслей и при этом есть полная гарантия, что не придется нести никакой — даже моральной — ответственности за свой непрофессионализм и некомпетентность, первыми падают жертвой радикально новые идеи, которые плохо вписываются в автоматизмы восприятия и, естественно, не усваиваются при небрежном прочтении по диагонали. не говоря уже о случаях откровенной предвзятости.
Разумеется, организационная закрытость вовсе не равнозначна тотальному вытеснению новшеств. они могут появляться, и даже весьма экстравагантные. однако отбор пройдут в основном только «допустимые» новации, родственные господствующим взглядам или полученные от «своих».
3. Стандартизация суждений
Еще более мощным фактором, поощряющим сопротивление новому, является стандартизация суждений. Она продолжает линию на обезличение, начатую закрытостью, и окончательно размывает личную ответственность тех, кто принимает решения. В ее основе лежит унификация оценок, их критериев и порядка вынесения, что официально закрепляет господствующие ментальные схемы, которые не просто вытесняют на обочину свежие и непривычные мысли, но ставят практически непробиваемый заслон на пути их обсуждения, не говоря уже об усвоении.
Взять, к примеру, распространяющееся повсеместное вытеснение устных экзаменов тестированием. Это не просто принуждение людей к мышлению шаблонами, но навязывание им устоявшихся схем, искусственное ограничение интеллектуального горизонта. Испытуемый не только не может высказать ничего нового, поскольку вынужден рассуждать в рамках предлагаемых концептуальных контуров, но даже не задумывается об этом, ибо любой творческий порыв в такой системе координат неизбежно расценивается как посягательство на основы существующего знания, как ниспровержение авторитетов.
Нечто подобное происходит и при рецензировании научных работ. Доходит до того, что «оценщикам» предоставляются готовые формуляры, где уже заранее определена структура отзыва, варианты суждений, а иногда и «весовая» составляющая отдельных параметров оценки. Рецензент загоняется в определенный круг мышления, за пределы которого ему не позволено выходить. какую бы самостоятельность он ни пытался проявить, его выводы все равно окажутся в зоне предвидимого и допустимого. При таких обстоятельствах наивно рассчитывать на появление на журнальных страницах или в тематических планах исследовательских учреждений радикальных новшеств и даже просто глубокого переосмысления устоявшихся представлений.
Безусловно, тестовый подход к «измерению» квалификации или результатов в большинстве случаев позволяет сразу же отбраковать заведомо некомпетентных людей и ущербные тексты. Однако с той же безжалостностью он отрезает и ярких, творческих личностей, равно как и исследовательские прорывы. В результате культивируется серая масса, сообщество «крепких специалистов», хорошо выполняющих повседневную, рутинную работу, но не способных на творческие озарения и даже не помышляющих о них.
Стандартизация и формализация процедур минимизирует живое общение между их участниками, в котором только и пестуется новое. Даже гениальный человек, в чьей голове возникла по-настоящему оригинальная и перспективная идея, должен для ее проработки и отшлифовки поделиться ею в непосредственном общении с теми, кто, с одной стороны, в ней заинтересован, а с другой — способен ее понять. Радикально новое может вызреть и «кристаллизоваться» только в обсуждениях узкого круга лиц, «оторвавшихся» от господствующей ментальности. С одной стороны, их язык содержит нечто неведомое всем остальным знатокам той или иной предметной области, а с другой — сами они, пусть и с трудом, все-таки понимают друг друга. то есть их концептуальный мир относительно единообразен, так как без этого нет и общего языка (РеОгеуап, 2015: 185—186). В противном случае новая идея так и останется зародышем, из которого не получится зрелый плод.
Чтобы радикально новая идея могла попасть в повестку дня того или иного форума, она должна пройти сквозь частокол формальных требований, построенных на противостоящем ей концептуальном материале и иной логике рассуждения. Однако это лишь одна сторона вопроса. Другая состоит в коллегиальном «стандарте», который подрывает статус отдельных личностей и приводит их к общему коллективному знаменателю. А поскольку особенно чуткими умами, способными понять и оценить радикально новые идеи, исходящие от других, выделяются единицы, они неизбежно оказываются в меньшинстве. Как следствие, и те немногие, кто мог бы поддержать масштабное новшество, часто не решаются этого сделать. При голосовании они неизбежно проигрывают, а многие, понимая это, даже не пытаются настоять на своем.
Нивелируется и роль живого (непосредственного) общения. Между тем оно является непременным условием появления и развертывания плодотворных идей. Еще в самом начале 70-х годов прошлого столетия в одном из научных центров НАСА (Американского агентства по аэрокосмическим исследованиям) был проведен любопытный опрос, охвативший 117 человек, включая 87 «карьерных» ученых,—14 групп от 2 до 17 членов со средней численностью в 6,2 человека. Больше половины участников опроса упомянули своего непосредственного руководителя как важную фигуру в групповой работе. При этом более 60% видели его роль, прежде всего, в содействии правильному мышлению и критической оценке выводов и только менее 40% — в выдвижении оригинальных идей. Что же касается коллег, то они рассматривались, главным образом, как источники технической (предметной) информации и «уши», то есть лица, с которыми обсуждается и отшлифовывается «продукт труда».
Более того, выявились интересные детали, когда все эти группы в соответствии с получаемыми ими результатами были поделены на две категории — высоко-и низкоинновационные. Оказалось, что в отличие от неинновационных групп, которые ценили своего непосредственного руководителя прежде всего за его способность выдвигать оригинальные идеи, в инновационных его важнейшим качеством считалось умение критически оценивать предложения подчиненных. Точно так же главной ценностью, исходящей от коллег, в инновационных группах называли их участие в обсуждении проблем и способов их решения (технических вопросов), тогда как в неинновационных — с их помощью рассчитывали получить более подробные сведения о разработках, ведущихся в коллективе в целом (Рагп8, 1971).
Отсюда ясно, что живое общение в ходе проведения исследований играет ключевую роль при выдвижении, обсуждении и оценке идей. Это во-первых. А во-вторых, чем выше степень их новизны, тем сильнее потребность в восприимчивом «ухе» и заинтересованной критике. А там, где рабочие контакты между коллегами разорваны, скомканы или выхолощены, шансов на появление новой идеи гораздо меньше. Но даже если она и будет высказана, нет достаточных условий для ее «доводки» и оттачивания.
4. Пренебрежение порядком
Закрытость и непрозрачность процедур оценивания вкупе с их стандартизацией приводят к засилию формальных требований и жестких правил, регулирующих порядок оценивания научных идей. Правда, это обычно мало смущает тех, кто за-
нимается вопросами социального функционирования науки. Более того, именно в таком обезличении часто усматривается залог всеобщности научного знания, его способности служить практическим целям независимо от того, кто конкретно им пользуется, и в каких условиях оно применяется. Так, согласно Р. Мертону, «универсализм находит непосредственное выражение в каноне, согласно которому претензии на истину, каким бы ни был их источник, должны быть подчинены заранее установленным безличным критериям». Отсюда вытекает объективность научного знания, которое тем самым выходит из-под влияния «личностных и социальных атрибутов» своих творцов или приверженцев. В свою очередь, «объективность исключает партикуляризм», вытесняя частные (субъективные) критерии достоверности (Мертон, 2006: 770—771). Получается, что формализация и обезличение вынесения суждений об уровне и качестве научных результатов обеспечивают точность и беспристрастность оценок.
Однако даже если отвлечься от допускаемого в рассуждении логического круга (универсальность знания, достигаемая благодаря безличному формализму, гарантирует объективность, которая сама «универсализирует» его, избавляя от партику-ляристского мерила), нельзя не признать, что, казалось бы, скрупулезно проработанные формальные критерии и методы не только не оправдывают связываемые с ними ожидания, но и, как правило, попросту не соблюдаются — по крайней мере, должным образом. И это неудивительно. Живой процесс «взвешивания» достоинств и недостатков и расстановки приоритетов трудно загнать в узкие рамки механистических стандартов, и его чрезмерная формализация действует на суждения как смирительная рубашка, выхолащивая их содержание. И, чтобы прийти хотя бы к какому-нибудь осмысленному выводу, мышлению приходится игнорировать накладываемые на него «закостенелые» ограничения.
Такое происходит не только при подведении итогов или представлении научных работ, но и при оценке перспективных замыслов и исследовательских программ, включая планирование, организацию и финансирование исследований. Формальность, стандартность и непрозрачность процедур обсуждения и принятия решений порождают картину, обратную желаемой. И зачастую возникает впечатление, что никакой регламентации вообще не существует.
И это несмотря на то, что почти каждый шаг, осуществляемый экспертами, наперед расписан. Их деятельность, казалось бы, не просто опутана сетью положений и инструкций, но и, как считается, жестко контролируется научной бюрократией. И малейшее движение в сторону от предписанного поведения может рассматриваться как попрание существующих норм и стандартов. Тем не менее мало сказать, что нарушения весьма распространены — они носят столь систематический характер, что, наблюдая за деятельностью экспертов, оценивающих исследовательские проекты и предлагающих решения об их поддержке, можно прийти к выводу, что они действуют по чьей-то команде или собственному усмотрению, но только не в соответствии с установленным порядком.
Но идет ли речь о всеобщей практике, или дело касается только «архаических» стран, не имеющих демократических традиций принятия решений, или государств, стремящихся избавиться от коммунистического прошлого с его навязыванием точек зрения и «телефонным правом»? Может, причины кроются не в самом устройстве «большой» науки, а в ее социальном окружении — тех невидимых нитях, которые связывают ее с устоями общества? к сожалению, нет. Ровно те же коллизии
возникают и в так называемых цивилизованных странах, которые давным-давно сбросили с себя полуфеодально-иерархические путы. И в Европе, и в Соединенных Штатах там, где «нужно», никто не утруждает себя излишней приверженностью ре-гулятивам. и нередко сама процедура оценки подгоняется под готовые решения.
Полвека назад американский специалист Э. Робертс, который сам был вовлечен в систему оценки и поощрения исследовательских проектов, подверг развернутому анализу существующую в США практику финансирования науки через правительственные фонды. Вывод его был шокирующим: несмотря на то что все эти фонды на словах руководствуются формальными процедурами распределения контрактов, реальность настолько далека от «прописанного» в них сценария, что подчас вообще не верится в его существование.
Принципы, декларируемые этими регламентами, можно свести к трем основным: максимум конкуренции, объективность оценок, независимость и многоступенчатость рецензирования. все они кажутся разумными и способствующими эффективной организации финансирования научных работ. Однако при ближайшем рассмотрении выясняется, что конкретная практика фондов с ними не очень хорошо сопрягается. Так, конкуренция в действительности гораздо ниже, чем официально декларируется. А там, где она все-таки обнаруживается, носит по большей части поверхностный и имитативный характер. Что же касается остальных двух принципов, то они реализуются в еще меньшей степени.
В 60% случаев конкурсы не проводились даже формально. Там же, где они объявлялись, технический инициатор проекта заранее оповещал всех о единственном «желательном исполнителе». и, хотя номинально в них участвовало в среднем по 7 фирм, после оценки их предложений небольшой группой экспертов, 5 из 6 контрактов достались исполнителю, одобренному техническим инициатором. А в тот единственный раз, когда «предпочтительный» конкурсант проиграл, ему уже ничто не могло помочь. он вел себя настолько самоуверенно, что даже технический инициатор вынужден был объявить ему строгий выговор за то, что вместо заявки им была представлена «рекламная брошюра». Нечто похожее происходило и в более сложных случаях. Предпочтения инициаторов, в конечном счете, тоже находили поддержку, хотя и не столь очевидным образом (Roberts, 1964: 71—72).
объективность оценок предполагалось обеспечить за счет числового «измерения» проектов командами экспертов. Но это выглядит утопией. Как справедливо заметил Робертс, «только наивный неспециалист может поверить в то, что техническое исполнение и тем более технические заявки можно оценить "объективно". Во всех областях, достойных обозначения как "исследования и разработки", возможна только субъективная оценка. Даже технические "факты" оспариваются компетентными оценщиками. Тем паче можно спорить о технических "мнениях" по поводу еще не доказанных проектов исследований и разработок. Мы можем ждать честных оценок от компетентных людей, но это должно отражать их опыт, суждения, технические предубеждения и другие факторы субъективного характера» (Roberts, 1964: 74). Любая попытка «объективировать» оценку может привести лишь к имитации объективности, приспособлению к внешним требованиям, но не к изменению ее существа.
как ни формализуй и ни стандартизируй внутреннюю шкалу, которую эксперт накладывает на предмет, главным в процедуре оценивания остается то, как он видит и понимает его содержание, а точнее — как оно пропускается сквозь призму его понятийного мира. А этот внутренний, сугубо личностный мир неодолимо субъ-
ективен. Недаром 9 из 10 экспертных групп, оценивавших заявки, претендующие на невоенные контракты, признавались, что они расставляли свои числовые оценки после общей дискуссии о достоинствах и недостатках претендентов. Так что количественные характеристики в действительности не «измеряли» заявки, а «задним числом» подтверждали достигнутое согласие. Они были не столько основанием для принятия решения, сколько его последующим оправданием.
О многоступенчатости рецензирования и вовсе не могло быть речи. В случае контрактов на сумму меньше 1 млн долл. формальные процедуры вообще не применялись, и все делалось в упрощенном порядке. А при более крупных контрактах вожжи оставались в руках технического инициатора, а группы более высокого уровня, по существу, лишь «штамповали» его рекомендации. так, лишь в 1 из 10 конкурсов по невоенным исследованиям и разработкам в вашингтоне приняли решение, отличное от первоначального, да и то лишь потому, что возникли серьезные разногласия относительно квалификационных требований (должностных инструкций) и произошел раскол среди самих экспертов (Roberts, 1964: 75).
В таких условиях говорить о независимости оценщиков не приходится. Да и есть ли смысл требовать ее от зависимых людей, волею судеб оказавшихся в судейской мантии? Как признавался в кулуарах один из них: «Они твердят мне, что, когда я в оценочной группе, подразумевается, что я Джо Независимый. Но они забывают, что все остальное время в году я Джо Подчиненный, и когда мой начальник говорит: "Поменяй мнение",— это мой начальник». Такая позиция — проявление инстинкта самосохранения. Ибо выполнение требования «местами независимости» ведет к функциональной шизофрении. Независимый подчиненный — это примерно то же, что и кухарка, управляющая государством.
Таким образом, из трех декларированных принципов — конкурентности, объективности и независимости, практическим смыслом обладает только конкурентность. Независимость совершенно невозможна в условиях иерархического строения научного сообщества. Она в лучшем случае вырождается в самообман, а в худшем — служит инструментом обеспечения своекорыстных интересов. Что же касается объективности, то она лишь закрепляет рычаги управления в руках тех, кто находится на вершине пирамиды, и лишает возможности стоящих у ее подножия хоть как-то влиять на «общепринятые» суждения и оценки.
5. «Коммунальная» наука?
В самом деле, нет ничего хуже надуманной объективности («отстраненности»). Ибо в действительности под ее флагом вместо одной (чужой) субъективности протаскивается другая (собственная). И вместо того, чтобы признать, что сталкиваются две субъективности и победитель должен определяться в честной конкурентной борьбе — открыто, гласно, по понятным и прозрачным правилам, когда обе стороны получают возможность развернуто представить свою позицию и доводы в ее пользу,— противостоящая (альтернативная) субъективность объявляется недостаточно объективной, не дотягивающей до стандартов описания реальности, то есть уровня собственной (устоявшейся). В этом смысле принцип объективности служит не чем иным, как дубинкой для усмирения человеческой фантазии и творческих порывов.
Если же к объективности добавляется еще и принцип «коммунальности», то мышление и вовсе попадает в ловушку — полную зависимость от господствующей тенденции, и любое инакомыслие оказывается невозможным и немыслимым. Чтобы убедиться в этом, достаточно познакомиться с весьма популярными ныне трактовками науки, представляющими ее как некий социальный организм, чья деятельность зависит не столько от усвоенного учеными концептуального наследия или того, что они изучают, сколько от организации работы и их взаимного общения. Доведенные до логической завершенности, такие подходы превращаются в забавную карикатуру, у которой остается мало точек соприкосновения с реальностью.
Так, в книге с характерным названием «Реальная наука: Чем она является и что означает» наука предстает как своеобразный колхоз с общей собственностью на продукты труда и совместным оцениванием их достоинства. Разумеется, каждый исследователь вправе высказать свое индивидуальное суждение, но оно не может иметь никакого действительного веса, если только не будет подтверждено всеобщей поддержкой. исследовательские результаты перед тем, как они будут приняты к публикации, должны получить одобрение экспертов. «Норма коммунализма» подразумевает, что для того, чтобы какой-либо элемент информации был признан «в качестве потенциального вклада в науку, ему придется достичь некоторого минимального стандарта убедительности и уместности». Мало того, он должен быть «представлен в форме, способной пройти коммунальные тесты, прежде чем его будут считать «научном знанием» в полном смысле» (Ziman, 2003: 85). Без этого полученный урожай (научные результаты) нельзя не просто рассортировать (отвести ему какое-то место в корпусе знания), но даже и занести в амбар (включить в состав науки). Что именно выросло, определяется не тем, с какого дерева сорван плод или как он выглядит, а вольным решением сообщества.
Некоторые идут еще дальше, ставя научность и достоверность полученных результатов в зависимость не просто от коллективного решения сообщества ученых, а от настроя его элиты. Так, по словам П. Мак, «новая идея становится научным и инженерным знанием после ее принятия достаточно влиятельными учеными и инженерами» (Mack, 1990: 2). Выходит, статус той или иной идеи в науке лишь косвенно обусловлен ее собственными достоинствами. и даже популярность среди широкого круга исследователей не придает ей достаточного веса. Только благодаря поддержке «столпов» научной иерархии она включается в сокровищницу науки. Причем занятое таким способом место затем отождествляется с ее объяснительной силой и эвристическим потенциалом.
Это «коммунальное» представление о науке как сфере произвола коллективного субъекта странным образом сочетается с требованием искоренения всего субъективного. Хотя наблюдение по своей природе индивидуально, оно должно расстаться с этой индивидуальностью, чтобы стать по-настоящему коммунальным. Суть научного метода как раз и состоит в «искоренении субъективных влияний на исследовательские результаты» (Ziman, 2003: 87). Но как совместить объективность научного знания с субъективизмом в причислении к нему той или иной информации? и почему знание, уже при рождении избавленное от субъективного налета, должно потом субъективно оцениваться на предмет объективности? Понятно, что такая логика призвана не заменить субъективность объективностью, а всего лишь подменить индивидуальную субъективность коллективной.
Естественно, объективность, толкуемая подобным образом, плохо стыкуется с независимостью оценок. Главное тут — приверженность установленному, заведомо известным критериям. Следовательно, она представляет собой зависимость «по определению», привязанность к существующему, обращенность в прошлое. Но объективность, подчиняющая знание «общинному» сознанию, неизбежно отвлекает от будущего, сковывает новое, сдерживает полет мысли.
между тем реальная объективность — это не беспристрастность и незаинтересованность, а как раз-таки свобода от «коммунальных» пут. Не говоря уже о том, что как незаинтересованность, так и беспристрастность на практике недостижимы, следует признать, что они не просто не способствуют поиску истины, а скорее мешают ему. Беспристрастное и незаинтересованное мышление вообще не способно прийти к каким-либо результатам, ибо само познание начинается с интереса (страсти). Только ум, поглощенный исследуемым предметом и рассматривающий его сквозь призму личностных привязанностей и практических запросов, в состоянии построить картину (знание), которая впоследствии может оказаться истинной, то есть позволяющей этому уму осуществлять стоящие перед ним цели (Петросян, 1994: 16—20). иначе говоря, с одной стороны, объективность — это не познавательная установка, а свойство знания (причастность объекту), проявляющееся в процессе его применения; а с другой — она предполагает высокую степень заинтересованности в объекте и пристрастия к нему — вплоть до полного (в идеале) слияния с ним.
Что же касается объективности в «коммунальном» смысле, то в действительности это беспристрастность к объекту, но пристрастность к своему месту в сообществе; независимость от условий познания и полная зависимость от среды, в которой приходится работать. Объективен не тот, кто сопричастен с объектом, а тот, кто подчиняется «коммунальным» нормам, вобравшим в себя прошлый опыт других субъектов, составляющих сообщество, то есть, в конечном счете, чужой субъективности. Естественно, в этих условиях оригинальной идее, устремленной к объекту, направленной на его осмысление помимо «кристаллизованной» субъективности и даже вопреки ей, вряд ли стоит рассчитывать на поддержку окружающих. Наоборот, она будет всячески выдавливаться из «коммунального разума» как подрывающая его устои.
каждый, кто хоть раз участвовал в соревнованиях за гранты, исследовательские стипендии или же защищал диссертацию, хорошо знает, что главным правилом является «не дразнить гусей» и не претендовать на значительную новизну. В противном случае он будет не просто неправильно понят и возбудит к себе нездоровый интерес, но вызовет жесткое сопротивление. Это относится и к молодым, и к вполне сформировавшимся ученым, которые еще не успели «забронзоветь», заняв место в научной иерархии (Петросян, 2008: 157—158). Ибо, выставляя напоказ свои прозрения, они тем самым вольно или невольно сосредоточивают внимание своих потенциальных критиков как раз на тех моментах, которые наиболее уязвимы с точки зрения сложившейся ментальности.
В начале 80-х годов прошлого века Дж. Армстронг вывел эффективную «авторскую формулу» для тех, кто хочет быстро и без помех опубликовать свой материал. Она включала в себя шесть обязательных компонентов: не затрагивать важных проблем; не покушаться на существующие представления; не предъявлять неожиданных результатов; не пользоваться простыми методами; не раскрывать все подробности; и не писать ясно (Armstrong, 1982). Выполнение этих рекомендаций почти гарантирует выход материала в свет. Однако проблема в том, что такая публикация лишена
всякого научного смысла — если, конечно, не считать таковым решение карьерных задач или удовлетворение тщеславия. Ибо в ней не содержится приращения знания.
Таким образом, тотальное выполнение того, чего на самом деле требуют от авторов эксперты, а от них, в свою очередь,— так называемые стандарты, привело бы лишь к «выравниванию» научного сознания, взращиванию посредственности, отсечению изобретательного и талантливого, а главное — к практическому исключению масштабных новаций. Поощрялись бы в лучшем случае только мелкие усовершенствования, «дальнейшее развитие» давно известного и отработанного, дополнительные подтверждения незыблемых принципов. У исследователей с младых ногтей подавлялась бы оригинальность и отбивалась бы охота к генерированию идей.
6. Индексы цитирования
«измеряя» вклад ученого в развитие знания, обращают внимание, прежде всего, на список печатных работ. Особенно желательным представляется их появление в так называемых авторитетных (top-tier) журналах или, по крайней мере, в тех, которые в данном учреждении принято считать солидными. Так повелось издавна. И хотя вера в столь простое мерило уже существенно подорвана, оно по-прежнему широко используется как при оценке заслуг, так и при найме на работу.
Между тем перечень опубликованных трудов в качестве основания для серьезных выводов шаток и ненадежен. В самом деле, даже разные материалы одного и того же человека в одном и том же издании сильно отличаются друг от друга по содержательности и научному уровню. Что же говорить о трудах различных авторов, появляющихся в самых разнообразных изданиях? Разве можно сравнить программную статью или сообщение о неожиданных результатах масштабного эксперимента с «дежурными» тезисами или выступлением в небольшой газетенке? А ведь многие исследователи не стесняются указывать в своих отчетах и такие публикации. Вот почему можно не сомневаться, что в этих списках содержатся несоизмеримые по ценности «пункты» — от откровенной «халтуры» до настоящих шедевров, которые никак не могут быть поставлены на одну доску.
С тех пор как стало доступным отслеживать ссылки на публикации, вместо списка печатных работ на передний план все больше выходит количество упоминаний исследователя (его трудов) коллегами. Это подается как показатель ценности работы и соответственно ее автора: чем чаще на них ссылаются, тем важнее они с точки зрения развития знания.
Столь «максималистское» истолкование индексов цитирования имеет давнюю традицию. Так, один из его поборников Э. Гарфилд полагал, что с помощью этого инструмента можно определить ценность литературы для научного сообщества. «Надо ли терпеть издержки и трудности, связанные с поиском и извлечением источников, стремясь не упустить что-то из уже сделанного и не повторять ранее выполненных исследований?» — спрашивал он, имея в виду, что предлагаемый им индекс дает возможность отделить зерна от плевел (Garfield, 1964: 649). А его коллега Дж. Маддокс ставил вопрос еще более заостренно: «Стоит ли хранить литературу?» (Maddox, 1963: 14),— очевидно, полагая, что тексты, на которые не ссылаются, мертвым грузом ложатся на плечи человечества и подлежат удалению из сокровищницы знания.
между тем индекс цитирования поначалу рассматривался как всего лишь один из методов поиска литературы по конкретной теме. По словам Гарфилда, он «является упорядоченным перечнем упоминаемых статей, каждая из которых сопровождается перечнем статей, которые на нее ссылаются» (Garfield, 1964: 651). С его помощью можно определить, какая из последующих публикаций упоминает тот или иной исходный текст. Тем самым обеспечивается переход от одних материалов к другим, прорабатывающим ту же самую тему или затрагивающим смежные с нею вопросы. Иначе говоря, благодаря индексу цитирования формируется некий «тематический куст», знакомство с которым позволяет получить довольно развернутое и систематическое представление о предмете. Но это отнюдь не придает ему методологической роли, ориентирующей собственно исследование, и тем более не наделяет оценочным потенциалом, позволяющим ранжировать полученные результаты и публикации о них.
Сам Гарфилд также отдавал себе отчет в принципиальных недостатках индекса цитирования. По его признанию, полезность этого индекса всецело зависит от того, насколько точна приводимая в статьях библиография. Если она неполна и не охватывает часть имеющих отношение к делу публикаций или же вносит искажения в «тематический куст», ссылаясь на материалы, которые мало способствуют осмыслению проблемы, возникает опасность принижения одних и переоценки других работ.
Однако Гарфилд не видел тут непреодолимой трудности. Более того, ему казалось, что существует простой и действенный способ добиться точности ссылок. Для этого нужно, чтобы «при оценке работ, поданных в журналы, рецензенты выявляли, все ли необходимые ссылки представлены» (Garfield, 1964: 652). Но откуда им знать, какие ссылки необходимы, а без каких — вполне можно обойтись? Кто-то возводит свое исследование к одним источникам, а другой может связывать полученные результаты с совершенно иными. Требуя от автора произвести изменения и дополнения в библиографии, фактически заставляют его деформировать ход собственной мысли. А это значит, произвольно формируют историю предметной области, подгоняя ее под заранее заготовленное лекало. Не говоря уже о том, что под этим видом легко «вымарывать» из текстов неугодные имена и труды и, наоборот, впихивать в них «благопристойные».
Как же вывернуться из этой ловушки?
Ответ, предлагаемый Гарфилдом, на удивление прост: рецензенты должны полагаться на тот же индекс цитирования — именно он служит критерием, позволяющим отграничить уместное от неуместного. При этом Гарфилд не замечает порочного круга в своем рассуждении. Чтобы индекс цитирования точно отражал значимость и полезность публикации, он должен вобрать в себя все необходимые упоминания. Однако решать, какое из них необходимо, можно только на основе этого индекса. Следовательно, любая новая работа пропускается сквозь призму старого индекса и отбрасывается, если в него не вписывается. Тем самым мерилом ценности новых прозрений оказываются старые предрассудки.
Те, кто осознает, что оригинальные идеи усваиваются далеко не сразу, а с определенным «запозданием», пытаются спасти хотя бы ослабленную версию статуса цитируемости. Разумеется, с помощью индекса цитирования не уловить ценности трудов, содержащих новое знание. Зато он позволяет «выявить те работы крупных ученых, которые почему-либо мало цитируются» и выяснить, из-за чего это происходит. Правда, «остается неясным, как можно выявить интересные работы
невыдающихся ученых». Но это обстоятельство мало смущает, ибо на то они и «невыдающиеся», чтобы не привлекать к себе повышенного интереса. Недаром чуть ли не единственным фактором, обусловливающим «непонятость» таких работ, называются «дефекты изложения» (Налимов, Мульченко, 1969: 117—118). То есть не потому они мало цитируются, что «выдающиеся» коллеги не в состоянии вникнуть в их суть, а только ввиду недостатков самого текста.
Однако загвоздка в том, что ни один ученый «выдающимся» не рождается. Он становится таковым, обрастая ссылками по мере публикации результатов. Но как достичь этого статуса, генерируя в основном прорывные идеи, которые не очень понятны окружающим и с трудом усваиваются даже ближайшими коллегами? Выходит, начинающему талантливому исследователю, полному оригинальных замыслов, остается один путь: сначала публиковать «стандартные» материалы — вариации на избитые темы, и только после этого, попав в разряд «выдающихся», приступить к обнародованию новых концепций, несущих в себе серьезное приращение знания. Но это означает, что ученый сначала причисляется к элите, не внеся в науку практически никакого вклада, а затем уже как бы получает право на то, чтобы сказать в ней свое слово. То есть не новые идеи делают его «выдающимся», а наоборот, только с приобретением этого статуса появляется возможность их высказывать и быть при этом услышанным.
Значит ли это, что между цитируемостью работы и ее содержательной оценкой нет никакой связи?
Разумеется, нет. Эмпирические исследования выявляют положительную статистически значимую, хотя и несовершенную корреляцию между экспертными суждениями о публикации и средним числом ее упоминаний. Однако понятно, что при таком распределении данных качество материала не может быть ни единственной, ни даже главной причиной его высокой цитируемости. Характерно и то, что наибольшая корреляция отмечается в сфере «любопытствующих» (curiosity-driven) фундаментальных исследований, где существует большой простор для концептуальных параллелей и ассоциаций. Что же касается прикладной сферы, то там наблюдается гораздо меньшая зависимость ссылок от статуса работ (Rinia et al., 1998; 105). Ничего удивительного. Живая реальность заставляет экспертов чаще выглядывать «в окно», и их уже не так завораживает магия имен и сила традиции.
Примечательна и отрицательная корреляция между самоцитированием и суждением коллег. Сами авторы выявившего ее анализа связывают свой результат с двумя возможными причинами: самоизоляцией исследователя или уникальным характером его работы. В первом случае он работает вне рамок существующих научных коллективов и остается в одиночестве, а во втором — ведет поиски вдали от интересов остальных и потому не удостаивается их внимания. В обоих случаях у него крайне мало шансов на высокую оценку со стороны коллег (Rinia et al., 1998: 105). Но, к сожалению, тут упускается из виду еще одна и более важная возможность.
Исследователь может оставаться внутри «научного организма» и разрабатывать животрепещущую проблему. Но если при этом он уйдет так далеко вперед, что его выводы окажутся у грани или тем более за гранью понимания коллег, вряд ли его библиографические показатели достигнут заметного уровня. Ибо с точки зрения здравого смысла это такая же самоизоляция, как и отшельничество — организационное (отказ от сотрудничества с коллегами) или концептуальное (уход в предметные области, не вызывающие широкого интереса).
Так о чем свидетельствует индекс цитирования?
Сам по себе — ни о чем. Есть множество резонов, склоняющих авторов к упоминанию коллег. Как справедливо заметил Гилберт, по характеру цитирования скорее можно выделить некое сообщество исследователей, хорошо знакомых друг с другом, занимающихся смежными вопросами и применяющими близкие схемы и методы рассуждений. Поэтому вернее было бы признать его выражением взятой на вооружение тактики убеждения (Gilbert, 1977: 113). Гилберт заметил, что авторы прибегают к ссылкам весьма избирательно, ориентируясь прежде всего на то, насколько они способны подкрепить с их помощью высказываемую позицию. Поэтому предпочитаются «важные и правильные» источники. «Ошибочные» материалы тоже упоминаются, но лишь для того, чтобы стать объектом критики. Наконец, избегают «тривиальных» и «не относящихся к делу» работ, чтобы не перегружать текст и не придавать ему оттенка легковесности (Gilbert, 1977: 116). Конечно, можно ошибиться и не произвести на читателя должного впечатления приводимыми именами и работами. Но так или иначе, источники, которые, по мнению автора, вряд ли будут полезными в продвижении его собственного труда, называются лишь в редчайших случаях.
Более того, если бы цитирование и могло говорить о значимости работы, его все равно крайне трудно было бы превратить в однозначное мерило ее достоинства.
Во-первых, многие из ссылок носят откровенно «заказной» характер. Некоторые журналы чуть ли не выламывают руки авторам (особенно молодым), чтобы те упомянули в представленных статьях членов редколлегии или других исследователей из их круга. Диссертант зачастую вынужден цитировать своего научного руководителя, оппонентов и членов совета, принимающего решение о присуждении ученой степени. Да и в целом авторы гораздо охотнее упоминают «своих», в том числе и в расчете на то, что те ответят им не меньшим вниманием.
Во-вторых, даже если предположить, что ссылки, приводимые в тексте, искренни и вполне уместны, их значение далеко не одинаково. Среди них встречаются принципиальные и не очень важные, а то и вовсе необязательные, затрагивающие предмет исследования лишь «по касательной». Так, в одном из исследований были проанализированы 706 ссылок из 30 теоретических статей по физике высоких энергий, выпущенных журналом "Physical review" в течение 1968—1972 годов. Более 40% из них оказались весьма «поверхностными», не имеющими прямого отношения к делу (Moravcsik, Murugesan, 1975). Могут ли они сообщить цитируемой работе тот же вес, что и остальные?
Наконец, в-третьих, немало упоминаний носят отрицательный или критический характер. Наряду с признанием косвенного вклада коллеги в разработку проблемы, нередко в них разоблачаются изъяны и непрофессионализм его публикации. Тем не менее формально и такая ссылка должна записываться ему в актив. Понятно, что в «отрицательных» случаях не может быть и речи о признании реального приращения знания, оригинальности и практического потенциала. Однако они не хуже других ссылок «раздувают» рейтинг исследователя, который кладется в основу оценки его творческого потенциала.
Почему же, несмотря на очевидные дефекты этой системы, она по-прежнему используется при «аттестации» возможностей научных кадров и качества их результатов?
Все просто. Работодателю или другому лицу, заинтересованному в исследованиях ученого — в особенности того, кто занимается теоретическими и общими проблемами,— гораздо важнее не сами по себе достижения, на которые можно рассчитывать с ним, а резонанс, который возникнет благодаря его публикациям. И в этом отношении посредственные материалы, которые гарантированно появятся в одном из уважаемых изданий, получат престижные премии или привлекут внимание широкой общественности, гораздо ценнее новаторских прорывов, рискующих не встретить должного понимания в научном сообществе, а учреждению, в котором работает их автор, принести только лишнюю головную боль.
И так будет до тех пор, пока в центре внимания — не сам материал, а его внешние атрибуты, пока оцениваются не идеи, которые в нем представлены, а то, где он опубликован, кем процитирован и какого ранга людьми поддержан. Между тем, чтобы по-настоящему выявить возможности исследователя или качество его трудов, нужно непосредственно обратиться к ним и неформально обсудить содержащиеся в них результаты. Все остальные оценки вторичны и могут служить лишь дополнением, а не основой для принятия решения.
***
Главная задача исследователя состоит в производстве нового полезного знания в широком смысле слова. Речь должна идти не только и, может быть, даже не столько о сугубо утилитарных приложениях, отвечающих насущным потребностям общества, сколько о том, чтобы открывать новые горизонты, углубляя понимание окружающего мира и путей его приспособления к интересам человека. Но именно выполнение этой функции тормозится сложившейся практикой оценки научных результатов.
Если отвлечься от деталей и второстепенных факторов и очертить механизм торможения крупными штрихами, можно выделить в нем три основных компонента. К ним относятся, прежде всего, закрытость и непрозрачность процедур оценки, что расширяет произвол и снижает ответственность экспертов. Далее, стандартизация и формализация приводят к обезличиванию и тем самым выхолащиванию их суждений. И наконец, монополизм в рычагах управления и «коммунализм» профессиональной жизни нивелируют личностное начало, подчиняя его организационной иерархии. В результате эксперт оказывается принципиально зависимым и загнанным в рамки бюрократического порядка. Ясно, что в подобных условиях вообще трудно рассчитывать на непредвзятые оценки. Что же касается систематической поддержки радикально новых идей и эффективного содействия их вызреванию и развертыванию, то это оказывается и вовсе беспочвенной фантазией. Стало быть, тот, кто хочет встать на устойчиво инновационный путь развития, должен справиться со всеми этими тремя силами, найти способы обуздать их влияние на научную жизнь.
(Окончание следует)
литература
Мертон Р. Социальная теория и социальная структура. М.: Хранитель, 2006. [Merton R. Sotsial'naya teoriya i sotsial'naya struktura. M.: Khranitel', 2006].
Налимов В. В., Мульченко З. М. Наукометрия: Изучение развития науки как информационного процесса. М.: Наука, 1969 [Nalimov V. V., Mul'chenko Z. M. Naukometriya: Izucheniye razvitiya nauki kak informatsionnogo protsessa. M.: Nauka, 1969].
Петросян А. Э. Социально-ценностная структура научного исследования // Вопросы философии. 1985. № 11. С. 103-114 [Petrosyan A. E. Sotsial'no-tsennostnaya struktura nauchnogo issledovaniya // Voprosy filosofii. 1985. № 11. S. 103-114].
Петросян А. Э. В саду расходящихся тропок (Ценностные основания научного творчества). Тверь: Икар, 1994 [Petrosyan A. E. V sadu raskhodyashchikhsya tropok (Tsennostnyye osnovaniya nauchnogo tvorchestva). Tver': Ikar, 1994].
Петросян А. Э. Дыхание времени: Как возможно жизнеспособное новое // Credo New. 2008. № 2. С. 145-165 [Petrosyan A. E. Dykhaniye vremeni: Kak vozmozhno zhiznesposobnoye novoye // Credo New. 2008. № 2. S. 145-165].
Armstrong J. S. Barriers to Scientific Contributions: The Author's Formula // Behavioral and Brain Sciences. 1982. Vol. 5. № 2. P. 197-199.
BarberR. J. The Politics of Research. Washington (D. C.): Public Affairs Press, 1966.
Farris G. F. The Effect of Individual Roles on Performance in Innovative Groups // R&D Management. 1972. Vol. 3. № 1. P. 23-28.
GarfieldE. "Science Citation Index" — A New Dimension in Indexing // Science. 1964. Vol. 144. № 3619. P. 649-654.
GernertD. How to Reject Any Scientific Manuscript // Journal of Scientific Exploration. 2008. Vol. 22. № 2. P. 233-243.
Gilbert G. N. Referencing as Persuasion // Social Studies of Science. 1977. Vol. 7. № 1. P. 113-122.
Griggs J. The Missing Piece // Edit: The University of Edinburgh Alumni Magazine. Summer. 2008. P. 16-17.
HartwellL. H., Culotti J., Pringle J. R., Reid B. J. Genetic Control of the Cell Division Cycle in Yeast // Science. 1974. Vol. 183. № 4120. P. 46-51.
Horrobin D. F. The Thilosophical Basis of Peer Review and the Suppression of Innovation // Journal of the American Medical Association. 1990. Vol. 263. № 10. P. 1438-1441.
Mack P. E. Viewing the Earth: The Social Construction of the Landsat Satellite System. Cambridge (MA): MIT Press, 1990.
Maddox J. Is the Literature Worth Keeping? // Bulletin ofAtomic Scientists. 1963. Vol. 19. № 9. P. 14.
MoravcsikM. J., Murugesan P. Some Results on the Function and Quality of Citations // Social Studies of Science. 1975. Vol. 5. № 1. P. 86-92.
Osburn C. B. (1989). The Structure of the Scholarly Communication System // College and Research Libraries. Vol. 50. № 3. P. 277-286.
Peters D. P., Ceci S. J. Peer Review Practices of Psychological Journals: The Fate of Published Articles, Submitted Again // Behavioral and Brain Sciences. 1982. Vol. 5. № 2. P. 187-195.
Petrosyan A. E. Within a Nutshell: The Mental Roots of Human Insusceptibility to New Ideas // Journal of the Knowledge Economy. 2015. Vol. 6. № 1. P. 157-189.
Pringle J. R. An Enduring Enthusiasm for Academic Science, but with Concerns // Molecular Biology of the Cell. 2013. Vol. 24. № 21. P. 3281-3284.
Rinia E. J., Leeuven T. N. Van, et al. Comparative Analysis of a Set of Bibliometric Indicators and Central Peer Review Criteria: Evaluation of Condensed Matter Physics in the Netherlands // Research Policy. 1998. Vol. 27. № 1. P. 95-107.
Robbins B. Social Text and Reality // In These Times. 1996. July 8. P. 28-29.
Roberts E. B. How the U. S. Buys Research // International Science and Technology. 1964. Vol. 4. № 33. P. 70-77.
SokalA. D. Transgressing the Boundaries: Toward a Transformative Hermeneutics of Quantum Gravity // Social Text. 1996. Vol. 14. № 1-2. P. 217-252.
Sokal A. Beyond the Hoax: Science, Philosophy, and Culture. Oxford: Oxford University Press, 2010.
Schroter S., Black N. et al. What Errors Do Peer Reviewers Detect, and Does Training Improve Their Ability to Detect Them? // Journal of the Royal Society of Medicine. 2008. Vol. 101. № 10. P. 507-514.
TaschnerR. Erosion von Wissenschaft // Erwaegen — Wissen — Ethik. 2007. Bd. 18. H. 1. S. 58-59.
Thurner S., HanelR. Peer-review in a World with Rational Scientists: Toward Selection of the Average // The European Physical Journal B — Condensed Matter and Complex Systems. 2011. Vol. 84. № 4. P. 707-711.
Ziman J. Real Science: What It Is, and What It Means. Cambridge (MA): Cambridge University Press, 2003.
Zuckerman H. Scientific Elite: Nobel Laureates in the United States. New York: Free Press, 1977.
The Inhibition Gear (Restraining the Innovative Potential of Science through the Mechanism of Assessing Scientific Ideas)
Armen E. Petrosyan
Independent Researcher, e-mail: [email protected]
Under swift changes in society, innovations appear to be not only the results of creativity but also an object of planning. They are prepared purposively and introduced into day-to-day life and therefore need nourishing with radically new ideas. Meanwhile, novelties in science, as in any other field of activity, unavoidably face with resistance. And, besides natural forces — humans' being suspicious of the new, cognitive impediments at mastering it, and so on, — that is caused largely by the obsolete practice of assessing the scientific findings and their contribution to the growth of knowledge. In the first part of the paper, the author brings to light the inhibitory mechanism and its main factors restraining the innovativeness (closedness and non-transparency, monopolism and low competition, standardization and formalization).
Keywords: science, research, innovations, reviewing, funding, awarding, appraisal.
