CC BY
9
проводилось через короткий промежуток времени; основными участниками этих исследований были студенты, а не научные работники.
Поскольку доступные данные очень низкого качества, ответ на вопрос об эффективности обучения и тренингов, с точки зрения предотвращения научной недобросовестности и стимулирования ОПИ, остается неопределенным. Лишь в нескольких исследованиях было установлено, что практические занятия, такие как использование компьютерных программ, способных обнаружить плагиат, или письменные упражнения, иногда снижают количество заимствований у их участников, хотя и неизвестно, насколько длителен этот эффект. Авторы не обнаружили каких-либо исследований, посвященных фабрикации или фальсификации данных. Не обнаружили они и работ, которые изучали бы влияние обучения и тренингов на организационном уровне.
Таким образом, заключают авторы, очень мало качественных свидетельств, которые доказывали бы, что усилия по повышению ДвИ, кроме минимального (или краткосрочного) влияния на их знания, каким-либо образом сказываются на установках и поведении ученых.
Т. В. Виноградова
2017.02.021. СМЭЛДИНО П., МАКЭЛРИХ Р. ЕСТЕСТВЕННЫЙ ОТБОР ПЛОХОЙ НАУКИ.
SMALDINO P., МсБЬЯБЛСИ R. The natural selection of bad science // Royal society open science. - 2016. - Vol. 3:160384. - P. 1-17. -DOI:10.1098/rsos.160384.
Ключевые слова: метанаука; культурная эволюция; статистическая мощность; повторение; мотивы.
П. Смэлдино - сотрудник Калифорнийского университета (США), Р. Макэлрих - сотрудник Института эволюционной антропологии Общества Макса Планка (ФРГ).
Учебники и руководства по использованию статистических методов постоянно исправляются и дополняются. Тем не менее количество ошибок и случаев применения слабых методов не только не сокращается, но, возможно, и увеличивается. В таких областях, как психология, нейронаука и медицина, практики, которые приво-
дят к ложным открытиям, не только широко распространены, но и могут считаться нормой.
В апреле 2015 г. члены научного истеблишмента Великобритании провели закрытый симпозиум по проблеме надежности биомедицинских исследований. По мнению ряда известных ученых, до 50% научной литературы - не только по медицине, но и по психологии и по другим дисциплинам - возможно, содержат ошибки. Как известно, растет количество случаев фатальных ошибок и отзывов ранее опубликованных статей. Доклад, который подвел итоги этого симпозиума, перекликается с известным лозунгом - «плохие методы приносят хорошие результаты» (с. 2).
Причины подобной ситуации кроются в тех мотивах и стимулах, которые современная наука предлагает ученым. Некоторые из них активно поощряют, вознаграждают и способствуют распространению слабых исследовательских методов и злоупотреблению статистическими процедурами. Авторы называют это «естественным отбором плохой науки», подразумевая, что она не продукт осознанной стратегии исследователей, а следствие выживания тех методов и привычек, которые позволяют наращивать список публикаций.
Однако поскольку наука - это одна из форм культурной деятельности, она подчиняется законам естественного отбора. Лабораторные методы могут распространяться либо напрямую, благодаря подготовке аспирантов, которые затем создают собственные лаборатории, либо косвенным путем, когда эти методы начинают использоваться сотрудниками других лабораторий. Соответственно, методы, которые ассоциируются с успехами на академическом поприще, будут распространяться быстрее. Эта идея не нова, но авторы намерены существенно усилить ее, дав ей эмпирическое и теоретическое обоснование.
Скорость, с которой новые статьи добавляются к уже имеющемуся массиву, неуклонно возрастает. Частично это связано с расширением возможностей для сотрудничества, что приводит к росту числа соавторов, но прежде всего это результат изменений в мотивации. Так, во Франции молодые биологи, получившие работу в академической сфере в 2013 г., имели в два раза больше публикаций, чем их предшественники в 2005 г. (22 статьи в 2013 г. против 12,5 - в 2005 г.) (с. 3).
Эти цифры говорят об острой конкуренции в академической науке. Количество выпускаемых университетами мира докторов философии гораздо больше, чем количество исследовательских и преподавательских позиций, которые они могли бы занять. И с каждым годом это несоответствие только растет. Не так давно нобелевский лауреат по физике (2013) Питер Хиггс, начинавший свои научные изыскания в 1960-е годы, сетовал: «Сегодня я вряд ли получил бы академическую работу... Я не думаю, что я считался бы достаточно продуктивным» (цит. по: с. 3). Для тех, кто все-таки добивается успеха, конкуренция продолжается: за аспирантов, гранты, продвижение и престиж.
Один из способов выделиться - представить свою работу как прорывную, недаром в последнее время наблюдается стремительный рост количества инноваций или претензий на таковые. С 1974 по 2014 г. частота употребления таких слов, как «инновационный», «прорывной» и «новый», по данным резюме PubMed, возросло на 2500% и более. Поскольку маловероятно, что ученые за последние 40 лет стали в 25 раз более одаренными, можно заключить, что эта эволюция языка отражает реакцию на растущее давление в сторону новизны, а в более широком смысле - необходимость выделиться из толпы (с. 4).
Другой способ выделиться - это высокая продуктивность. Существует множество свидетельств того, что количество публикаций - решающий фактор при приеме на работу; причем в сами эти публикации никто и никогда не заглядывает. Теперь к этому фактору добавились еще и показатели цитируемости, которые, в свою очередь, зависят от количества публикаций. Как только некие метрики используются для оценки социального поведения, они становятся объектом для манипуляций и злоупотреблений. Так, с принятием h-индекса в качестве одного из базовых критериев исследователи тут же научились «надувать» его путем самоцитирования.
На экологию научных сообществ также влияет тот факт, что позитивные результаты будут опубликованы скорее, чем негативные, особенно в журналах с высоким импакт-фактором. Например, до самого последнего времени «Journal of personality and social psychology» отказывался печатать результаты неудачных попыток повторить исследования, которые ранее были в нем опубликованы.
Было подсчитано, что менее 1% всех психологических экспериментов когда-либо повторялись, а когда их не удавалось повторить, то они подвергались критике.
Следовательно, исследователи, получающие позитивные результаты (неважно, насколько велика их истинная ценность), будут иметь преимущество. А один из способов получить подобные результаты - использовать соответствующие статистические методы. Такие методы приносят двойную выгоду: их легче использовать и они требуют меньше времени, чем более строгие и надежные; и поэтому скорее приводят к результатам, которые годятся для публикации.
Если ученых фактически вынуждают наращивать количество статей, то они будут использовать такие методы, которые позволяют получать наибольшее количество результатов, пригодных для опубликования, а не проводить строгие и тщательные исследования. Авторы предполагают, что такое отрицательное подкрепление может создавать условия для отбора в культурной эволюции слабых, но эффективных, с точки зрения возможностей для публикации, методов. Этот процесс - не результат злонамеренности ученых, он имеет естественный характер. Методологии в научных сообществах могут меняться еще и потому, что одни ученые более успешны в передаче своих методов молодым поколениям, чем другие.
Статистическая мощность в математической статистике - это вероятность отвержения основной (или нулевой) гипотезы при проверке статистических гипотез, когда конкурирующая (или альтернативная) гипотеза верна. Поскольку многие эффекты в биомедицинских, поведенческих и социальных науках малы, в этих областях очень важно, чтобы методы обладали достаточной статистической мощностью. Однако использовать такие методы гораздо сложнее, особенно если в эксперименте участвуют люди или животные, если выборка мала, если эксперимент требует дорогого оборудования или необходимо проводить лонгитюд.
«В академической среде, в которой публикуются только позитивные результаты и вознаграждается публикационная активность, эффективный способ преуспеть - это проводить именно такие "маломощные" исследования» (с. 5). Они дешевы, с их помощью легче получить значимые результаты. Но тогда возникает конфликт интересов между отдельным ученым и обществом. Об-
щество выигрывает от проведения исследований с использованием более строгих и мощных статистических методов, а исследователи -нет. У науки нет «невидимой руки», благодаря которой эгоистические интересы отдельных индивидов в итоге обязательно приводят к оптимальным коллективным результатам.
Ученые давно знают об этом конфликте. Первый, в дальнейшем часто цитируемый призыв увеличить статистическую мощность используемых методов был опубликован Дж. Коэном еще в 1962 г., как реакция на устрашающе низкое качество большинства психологических исследований. В дальнейшем эти призывы повторялись неоднократно. И тем не менее, по наблюдению специалистов, статистическая мощность методов, применяемых в психологической науке, остается низкой до сего дня.
Авторы провели собственное исследование этого вопроса. Для этого они отобрали 19 обзоров, опубликованных в 19922014 гг., которые касались вопроса статистической мощности используемых методов в социальных, поведенческих и биологических науках. Они установили, что этот показатель остается низким. И более того, нет никаких признаков того, что он вырос за последние 60 лет (с. 5).
С чем это связано? Существуют две основные группы объяснений. 1. «Ученые - это люди, и поэтому они будут отвечать (сознательно или бессознательно) на стимулы; когда личный успех связан с качеством и (критически) с количеством публикаций, разумнее использовать ограниченные ресурсы, чтобы генерировать как можно больше "публикабельных" результатов» (цит. по: с. 6).
2. Ученые могут проводить надежные и скрупулезные исследования, требующие большого количества времени, но механизмы отбора, сложившиеся в современной науке, плохо за них вознаграждают. Поэтому иные методы (слабые и легкие в использовании) будут иметь конкурентные преимущества, вытесняя альтернативные традиции на рынке труда и в ограниченном журнальном пространстве.
Обследования, проведенные среди психологов, показали, что немногие из них по-настоящему владеют методами математической статистики и разбираются в проблемах, связанных с их использованием. Однако это непонимание, по словам авторов, «приводит к позитивным результатам с точки зрения карьеры, неважно,
истинные они или ложные. Непонимание, которое наносит вред карьере, встречается гораздо реже» (с. 6).
Для того чтобы проверить логику «естественного отбора плохой науки», авторы разработали и провели анализ динамической популяционной модели. Согласно этой эволюционной модели исследователи соревнуются за престиж и работу, и показателем их пригодности служит число публикаций. Соответственно, более успешные в этом отношении лаборатории будут иметь больше учеников, которые унаследуют их методы. Описав эту модель и проверив ее (с. 7-11), авторы приходят к следующим выводам.
Единственный способ эффективно отделять истинные гипотезы от ложных - повторение исследований путем прямого или концептуального копирования. Может ли повторение служить препятствием для «плохой науки»? Если подобные работы трудно опубликовать, то это маловероятно. Не во всех случаях повторение вообще возможно, например обследование больших выборок или проверка исторических данных. И сами эти повторные исследования могут оказаться ошибочными.
Для того чтобы усовершенствовать функционирование научной культуры, следует рассматривать не только поведение отдельных ученых, но и те социальные силы, которые направляют это поведение. По словам авторов, они «далеко не первые, кто об этом говорит, но они первые, кто доказал, что в отсутствие институциональных изменений существующие стимулы обязательно приведут к деградации научных практик» (с. 13). Институциональные изменения трудно осуществить не только организационно, но и финансово, однако они необходимы.
Предложенная модель рисует довольно пессимистическую картину научного сообщества. Но, как подчеркивают авторы, они описали лишь одну из сторон. Ученые руководствуются не только внешними мотивами; очевидно, что наряду с «плохой» существует «хорошая наука». Ключевой пункт предложенной эволюционной модели состоит в том, что она не подозревает акторов в наличии злого умысла. Скорее отбор действует на институциональном уровне, отдавая предпочтение тем исследовательским коллективам, которые по каким-то причинам использовали методы, генерирующие больше результатов, пригодных для публикации.
Сведение вклада ученого к простым, объективным метрикам, таким как число публикаций и импакт-фактор журналов, экономит силы и время. Однако в долгосрочной перспективе цена подобной практики может оказаться очень высокой. «Если мы всерьез хотим, чтобы наша наука была осмысленной и воспроизводимой, мы должны быть уверены, что наши институции стимулируют именно такую науку» (с. 15).
Т. В. Виноградова
2017.02.022. АХМАД Ш. СЕМЬЯ ИЛИ АКАДЕМИЧЕСКАЯ КАРЬЕРА?
AHMAD S. Family or future in the academy? // Review of educational research. - 2016. - P. 1-36. - DOI: 10.3102/0034654316631626.
Ключевые слова: гендерное равенство; академический рынок труда; семья; факультет; исследовательская продуктивность; постоянный контракт; карьерный рост; политика совмещения работы и жизни.
Автор настоящего обзора поставила цель критически оценить современную литературу, в которой рассматривается проблема совмещения научной карьеры и жизненных приоритетов научного сотрудника. В частности, ее интересуют трудности, с которыми сталкивается женщина, выбравшая науку своей профессией и при этом желающая состояться в семейной жизни. Собранные за разные годы данные позволяют понять, как меняется во времени отношение исследователей к этой проблематике.
Различные формы гендерной дискриминации в системе образования, а также в сфере трудоустройства, в том числе и в университетах, являются незаконными в США в соответствии с законами 1964 и 1972 гг. (Civil rights act, Equal opportunity act). Для женщины создание семьи и рождение ребенка - ее естественное право, поэтому эти события ее жизни не должны становиться препятствием для продвижения по академической лестнице.
Во многих аспектах положение работающей женщины в США существенно улучшилось: женщины чаще стали получать высшее образование, защищать профессиональные дипломы и получать степень PhD, значительно увеличилось число работающих женщин, появилось больше работающих матерей, женщин-полити-
