CC BY
50
Самарская Лука: проблемы региональной и глобальной экологии.
2019. - Т. 28. - № 4. - С. 53-58.
DOI 10.24411/2073-1035-2019-10274
УДК 311.11+519.23+574
НЕСКОЛЬКО КОММЕНТАРИЕВ ПЕРЕВОДЧИКА О «ПРАВДЕ, ЛЖИ И СТАТИСТИКЕ»
© 2019 Г.С. Розенберг
Институт экологии Волжского бассейна -филиал Самарского федерального исследовательского центра РАН,
г. Тольятти (Россия)
Поступила 07.11.2019
Дан комментарий к статье П. Веллемана (Velleman, 2008), в которой обсуждаются, в большей степени, этические проблемы статистики. Сделан вывод о том, что для использования статистики студенты должны научиться принимать решения и что нет никакого гарантированного способа достичь истины путем статистического моделирования. Ключевые слова: статистика, этика, принятие решений, магия, моделирование.
Rozenberg G.S. A few translator comments about "truth, lies and statistics". - A commentary is given on an article by P. Welleman (2008), which discusses, to a greater extent, the ethical problems of statistics. It is concluded that in order to use statistics, students must learn to make decisions and that there is no guaranteed way to achieve truth through statistical modeling. Key words: statistics, ethics, decision making, magic, modeling.
В начале работы над переводом статьи (Velleman, 2008) я не собирался давать комментарий - слишком, на мой взгляд, все было написано правильно и доступно. Но в дальнейшем я понял, что следует обозначить ряд исторических личностей, на которые ссылается Пол Веллеман, и высказать свою точку зрения на эту важную проблему. Комментарии по тексту перевода обозначены буквами английского алфавита (к счастью, их как раз хватило...).
Несколько слов об авторе переведенной статьи. Пол Ф. Веллеман (Paul F. Velleman; г. р. 1949) - профессор статистики (с 1975 г.) в Корнельском университете (Cornell University, Итака, США; один из крупнейших и известнейших университетов США, входит в элитную «Лигу плюща»). Получил степень бакалавра в Дартмутском колледже и степень доктора философии в Принстонском университете.
Он является автором и разработчиком компакт-диска по статистике мультимедиа Activ-Stats, за который был награжден медалью EDUCOM (Educational Communities Worldwide; компания по предоставлению широкого спектра услуг в области инфокоммуникационных
Розенберг Геннадий Самуилович, доктор биологических наук, профессор, член-корреспондент РАН, главный научный сотрудник,
genarozenberg@yandex.ru
технологий; 1999 г.) за инновационное использование компьютеров в преподавании статистики и премией ICTCM (International Conference on Technology in Collegiate Mathematics; первый лауреат, 1997 г.) за инновации в использовании технологий в математике в колледже. В 1987 г. избран членом Американской статистической ассоциации. Автор (соавтор) ряда монографий по статистике и моделированию:
• Velleman P., Hoaglin D. Applications, Basics, and Computing of Exploratory Data Analysis. Duxbury Press, 1981.
• Velleman P. Learning Data Analysis with Data Desk. Reading MA, United States: Addison Wesley, 1997.
• Sharpe N., DeVeaux R., Velleman P. Business Statistics: A First Course. London, land: Pearson, 2013.
• Bock D., Mariani T., Craine B., Velleman P., DeVeauz R. Stats in Your World. Boston, MA: Pearson Education, 2015.
Теперь, несколько комментариев по тексту
перевода.
a) Марк Твен приписал это высказывание «There are three kinds of lies: lies, damned lies, and statistics» премьер-министру Великобритании, графу Б. Дизраэли (Benjamin Disraeli, 1st Earl of Beaconsfield, 1804-1881); в работах и высказываниях Дизраэли такая фраза не обнаружена. По свидетельству «Википедии», в 2012 г. математический факультет Йоркского университета приписал авторство британскому политическому деятелю Ч. Дильку (Charles Went-worth Dilke; 1843-1911), ранее (White, 1964) высказывание приписывали британскому журналисту и политику Г. Лабушеру (Henry Du Pré La-bouchère; 1831-1912) и французскому физиологу Ф. Мажанди (François Magendie; 1783-1855), который сказал подобную фразу по-французски: «Ainsi l'altération de la vérité qui se manifeste déjà sous la forme progressive du mensonge et du parjure, nous offre-t-elle au superlatif, la statistique» По словам американского биостатистика К. Уайта (Colin White; 1913-2011), «мир нуждался в этой фразе, и несколько человек могли бы гордиться, придумав её» (White, 1964, р. 17).
b) Рис, Найджел (Nigel Rees, г. р. 1944) - британский писатель, телеведущий, автор радиовикторины «Quote - Unquote» (с 1976 г. по н. в.), посвященной происхождению и использованию известных цитат, фраз и поговорок.
c) Кортни, Леонард Генри (Leonard Henry Courtney, 1st Baron Courtney of Penwith 18321918), британский экономист, политик (либерал).
d) Бальфур, Артур Джеймс (Arthur James Balfour, 1st Earl of Balfour; 1848-1930) - британский политик, консерватор, 50-й премьер-министр Великобритании, член Лондонского королевского общества [https://www. york.ac.uk/depts/maths/histstat/balfour.pdf].
e) Мунро, Дж. (Joseph Edwin Crawford Munro; 1849-1896) - политический оппонент А. Бальфура, юрист, опубликовавший памфлет о его деятельности на посту статс-секретаря по делам Ирландии.
f) Гладстон, Уильям (William Ewart Gladstone; 1809-1898) - британский государственный деятель (41, 43, 45 и 47-й премьер-министр Великобритании), либерал, писатель.
g) Гай, Уильям (William Augustus Guy; 18101885) - британский врач, медицинский статистик.
h) Тьюки, Джон (John Wilder Tukey; 19152000) - американский математик.
i) Хаксли, Томас (Гексли; Thomas Henry Huxley; 1825-1895) - британский зоолог, эволюционист.
j) But the great tragedy of Science - the slaying of a beautiful hypothesis by an ugly fact -which is so constantly being enacted under the eyes of philosophers... (которая так часто разыгрывается на глазах философов...). k) Азимов, Айзек (Isaac Asimov, имя при рождении Исаак Юдович Азимов; 1920-1992) -американский писатель-фантаст, популяризатор науки, биохимик. l) Пирсон, Эгон (Egon Sharpe Pearson; 18951980) - британский статистик, член Лондонского королевского общества. m) Нейман, Ежи (Jerzy Splawa-Neyman, Юрий Чеславович Нейман; 1894-1981) - польский, американский математик, статистик. n) Фишер, Рональд (Sir Ronald Aylmer Fisher; 1890-1962) - британский статистик, эволюционист, генетик; член Лондонского королевского общества. o) Абельсон, Роберт (Robert Paul Abelson; 1828-2005) - американский психолог, политолог, статистик. p) Статистическая процедура «сглаживания» эмпирической кривой с двумя и более максимумами рассматривалась в рамках прямого градиентного анализа (экология и фитоценология; Миркин, Розенберг, 1978; Ро-зенберг, 1976, 1979, 1984, 2013; Розенберг, Долотовский, 1988). q) Гомоскедастичность (homoscedasticity) - однородная вариативность значений наблюдений, выражающаяся в относительной стабильности, гомогенности дисперсии случайной ошибки регрессионной модели. r) BS - возможно, bullshit - ругательство, означающее что-то ненужное, чушь собачью, фигню. Так названа и цитируемая далее книга (Frankfurt, 2005). s) Франкфурт, Гарри (Harry Gordon Frankfurt;
г. р. 1929) - американский философ. t) Кларк, Артур (Arthur Charles "C." Clarke; 1917-2008) - британский писатель-фантаст, математик, футуролог, изобретатель. В книге «Черты будущего - Profiles of the Future»,
1962) Артур Кларк сформулировал три закона, получившие его имя:
1. Когда уважаемый, но пожилой ученый утверждает, что что-то возможно, то он почти наверняка прав. Когда он утверждает, что что-то невозможно, - он, весьма вероятно, ошибается.
2. Единственный способ обнаружения пределов возможного состоит в том, чтобы отважиться сделать шаг в невозможное.
3. Любая достаточно развитая технология неотличима от магии.
u) Хантер, Уильям (William G. Hunter; 19371986) - американский статистик, основатель статистического отдела Американского общества качества (Statistics Division of the American Society for Quality). v) Уокер, Джон (John Walker; 1732-1807) -возможно, один из авторов-составителей «A Dictionary of the English Language» издания после 1859 г. w) Бэкон, Фрэнсис (Sir Francis Bacon; 15611626) - британский философ, историк, политик; разработал новый, антисхоластический метод научного познания (по индукции).
x) Приведу эту цитату в более «расширенном варианте, так как она представляется мне весьма ценной: «Разум человека все привлекает для поддержки и согласия с тем, что он однажды принял, - потому ли, что это предмет общей веры, или потому, что это ему нравится. Каковы бы ни были сила и число фактов, свидетельствующих о противном, разум или не замечает их, или пренебрегает ими, или отводит и отвергает их посредством различений с большим и пагубным предубеждением, чтобы достоверность тех прежних заключений осталась ненарушенной. <Здесь идет текст, процитированный П. Веллеманом>. Люди, услаждающие себя подобного рода суетой, отмечают то событие, которое исполнилось, и без внимания проходят мимо того, которое обмануло, хотя последнее бывает гораздо чаще. Еще глубже проникает это зло в философию и в науки. В них то, что раз признано, заражает и подчиняет себе остальное, хотя бы последнее было значительно лучше и тверже. Помимо того, если бы даже и не имели места эти указанные нами пристрастность и суетность, все же уму человеческому постоянно свойственно заблуждение, что он более поддается положительным доводам, чем отрицательным, тогда как по справедливости он должен был
бы одинаково относиться к тем и другим; даже более того, в построении всех истинных аксиом большая сила у отрицательного довода» (Бэкон Ф. Новый Органон, Афоризм 46 об истолковании природы и царстве человека). у) у «Ах, обмануть меня не трудно!..
Я сам обманываться рад!»
Пушкин А.С. «Признание», 1826 г. z) Берк, Эдмунд (Edmund Burke; 1729-1797) -англо-ирландский политический деятель, публицист эпохи Просвещения, родоначальник идеологии консерватизма.
Наконец, несколько своих «мыслей вслух».
Статистика - отрасль знаний, наука, в которой излагаются общие вопросы сбора, измерения, мониторинга и анализа массовых статистических (количественных или качественных) данных. Слово «статистика» происходит от лат. status - состояние дел; в науку термин «статистика» в 1746 г. ввёл немецкий философ, экономист, педагог Г. Ахенвалль (Gottfried Achen-wall; 1719-1772).
Экосистемы являются стохастически-детерминированными сложными системами, что и определило в конечном итоге успех применения в экологических исследованиях методов математической статистики. Эмпирико-статистическое моделирование призвано помочь выяснить, насколько достоверны те или иные наблюдаемые различия некоторых параметров экосистем, упорядочить экологическую информацию и способствовать более обоснованному выбору тех или иных подходов к построению математических моделей других типов. Методы математической статистики позволяют отсеять недостоверные гипотезы о структуре и динамике экосистем. Еще раз подчеркну, - математическая статистика позволяет только отвергать гипотезы; принятие гипотезы на основе некоторых статистических тестов еще не означает их справедливость и доказанность («гипотеза может быть только проверена, но никогда не может быть доказана!» [Закс, 1976, с. 38]). В этом можно видеть оценочный характер эмпирико-статистических моделей. Часто эмпирико-статистические модели являются «сырьем» и обоснованием подходов к построению моделей других типов (в первую очередь, имитационных [Розенберг, 2013]).
Несмотря на то, что возникновение современных статистических методов планирования эксперимента связано еще с работами Р. Фишера, проведенными в 20-х гг. прошлого века на Ротамстедской агробиологической стан-
ции (Rotham-sted Experimental Station; Велико- • британия), долгое время математики не вмешивались в постановку эксперимента, а процесс принятия решений по планированию мониторинговых или экспедиционных наблюдений осуществлялся на интуитивном неформализованном уровне (именно об этике такого рода планирования и говорится в статье П. Веллемана). Позднее было показано, что наибольший эффект математическая статистика может принести, если её аппарат используется на самом первом этапе - при планировании экс- • перимента или организации наблюдений (см., например, [Проблемы экологического.., 2008 и др.]. В.В. Налимов опубликовал целую серию монографий, где излагались основные научные идеи планирования эксперимента и примеры их практического использования. Процесс пошел, но не все было так идеально. Укажу только на две статьи А.А. Любищева (1969а,б) "Об ошибках в применении математики в биологии", имеющих подзаголовки "Ошибки от недостатка осведомленности" и "Ошибки, связанные с избытком энтузиазма". Еще больше ошибок фиксировалось в биологических и медицинских ра- • ботах зарубежных коллег (см., например, [Alt-man, 1980; Underwood, 1997 и др.]).
В этом ряду особняком стоит статья С. Хёлберта (Hurlbert, 1984, Хёлберт, 2008) о «мнимых повторностях» (англ. pseudoreplica-tion), которая по свидетельству ряда исследователей (Hefner et al., 1996) и самого автора (Hurlbert, 2004) имела большое воспитательное и «санитарно-регламентирующее» значение. «Мнимая повторность определена как проверка статистических гипотез при оценке эффекта влияния фактора по экспериментальным данным, когда группы воздействий не могут быть признаны повторными (хотя выборки были сформированы), или эти повторности не явля- • ются статистически независимыми.., мнимые повторности относятся не к проблеме планирования эксперимента (или выборочного процесса) как такового, а скорее к определенной комбинации планирования эксперимента (или выборочного процесса) и статистического анализа, который неадекватен для проверки поставленных гипотез» (Hurlbert, 1984, р. 187, 190). Однако не все положения этой статьи встретили поддержку; более того, они вызвали и аргументированные возражения. Если резюмировать все «за» и «против» этой, можно смело • сказать, международной и достаточно бурной дискуссии (подробнее, см. [Проблемы экологического.., 2008]), то они сводятся к нескольким главным положениям.
«Эксперимент включает пять последовательных стадий: гипотеза, планирование, реализация, статистический анализ и интерпретация. Гипотеза обладает первоочередной важностью, поскольку если она не удовлетворяет некоторым критериям качества, то даже самый правильно проведенный эксперимент будет иметь не слишком большую ценность» (Ниг^!!, 1984, р. 188) - с этим, достаточно очевидным, утверждением трудно спорить. «Планируя эксперимент, Вы должны ясно и последовательно представлять место Вашей работы в логической структуре научного процесса и соответственно этому выбирать экспериментальные методы» (Ок^ашп, 2001, р. 36) - таким образом, планирование эксперимента - это тактика; стратегией научного исследования является выбор «главной» установки: проводить исследование в дедуктивном или индуктивном духе. В последнем случае, логика индукции требует «правильно организовать» анализируемую выборку (отбор объектов, повторности и пр.). «Мнимая повторность может быть определена в терминах дисперсионного анализа как проверка эффекта воздействия, основанная на оценке дисперсии, неадекватной рассматриваемой гипотезе» (Ниг^^;, 1984, р. 190). Иными словами, логически корректное выявление причинной связи может искажаться воздействием посторонних факторов и, «поэтому в любом случае есть альтернатива объяснения, казалось бы, очевидного факта воздействия» (Oksanen, 2001, р. 27) - также очевидное утверждение, т. к. математическая статистика ничего не доказывает, она только отвергает гипотезы.
«В сущности, проблема, затронутая С. Хёлбертом, чрезвычайно проста: без по-вторности результат воздействия неотличим от случайных влияний» (Cottenie, De Meester, 2003, р. 394) - естественно, для того, чтобы по выборке можно было получить достаточно точную (в вероятностном смысле) характеристику всей генеральной совокупности, необходимо, кроме планирования системы отбора образцов в выборку, планировать и само число этих образцов.
«Некоторые авторы привели доводы в пользу объективной необходимости и самодостаточности неповторяемых экологических исследований... И мы готовы признать, что некоторые исследования без по-
вторностей могут быть корректно проанализированы с использованием таких статистических методов как анализ временных рядов, численный ресамплинг, ЛКОУЛ, или методов, основанных на байесовском подходе» (Не£Тпег й а1., 1996, р. 261) -этот справедливый вывод через 20 лет подтверждает и сам автор «мнимых по-вторностей» - «отсутствие повторности воздействий не только не составляет мнимую повторность, но и не всегда мешает проведению корректных статистических тестов о результатах воздействия» (НигШей, 2004, р. 594).
Итак, из-за чего же горел весь этот «сыр-бор»? Если несколько отстраниться и «отжать» обильно повторяющиеся рассуждения саморекламного характера (НигШей, 1984, Козлов, 2003; Козлов, Хёлберт, 2006), то в «сухом остатке» представлений Хёлберта будет лишь два совершенно бесспорных тезиса (или, как говорилось, «логика понимания того, что есть хороший эксперимент» [Налимов, Голикова, 1981, с. 4]):
• не всегда выводы, полученные при изучении частных выборок, корректно распространять на всю генеральную совокупность;
• оценка степени влияния фактора может оказаться ошибочной, если изучаемое воздействие должным образом не локализовано, а сопоставляемые данные взяты из недостаточно рандомизированных источников.
Эти два тезиса хорошо знакомы отечественным специалистам по биометрии и широкому кругу пользователей биометрических методов обработки экспериментальной информации, которые воспитывались на работах советской биометрической школы (только список биометрических работ, составленный А.И. Бакановым, содержит более 4460 наименований [Проблемы экологического.., 2008, с. 234-404]). Приведу лишь три цитаты.
«Выборка - группа объектов, отличающихся тремя особенностями: а) это - часть генеральной совокупности; б) отобранная в случайном порядке, определенным образом; в) исследуемая для характеристики всей генеральной совокупности. Для того чтобы по выборке можно было получить достаточно точную характеристику всей генеральной совокупности, необходимо организовать правильный отбор объектов из генеральной совокупности (выделено мной. - Г.Р.)» (Плохинский, 1970, с. 19).
«Биометрическое исследование в центр внимания всегда ставит выборку - множество значений случайной величины, совокупность вариант, набор чисел; отдельная варианта -
объект несущий качественный или числовой признак... Основанная особенность выборки как множества значений случайной величины -это отличие отдельных вариант друг от друга, явление изменчивости, варьирования, появления отличий между отдельными вариантами. Биологу важно знать обычные причины варьирования. Один из источников, эндогенный, -это индивидуальные отличия по статусу и по состоянию. Например, животные одного возраста различны индивидуально, генетически, т. е. по статусу. Кроме того, каждое из них в разные годы, сезоны, время суток имеет разные морфологические характеристики, т. е. отличается по состоянию. Другой источник отличий между вариантами - факторы внешней среды, т. е. условия проведения наблюдений, среда существования объекта, возможная причина, определяющая текущее состояние объекта. С методической точки зрения при наблюдениях или в эксперименте самым важным оказывается обязательная регистрация максимально возможного числа факторов (как внешних, так и внутренних). Тогда появляется возможность исследовать их раздельное действие на объект, поскольку существуют методы, которые позволяют из многокомпонентной среды вычленять эффекты действия отдельных факторов (выделено авторами. - Г.Р.)» (Ивантер, Коросов, 2005, с. 10-12).
Наконец, еще одна цитата Э.В. Ивантера (1979, с. 3-4), демонстрирующее полное понимание негативных последствий некорректного применения статистических методов: «При этом следует иметь в виду, что сама по себе статистическая обработка данных, как бы ни была она совершенна с точки зрения математики, не может служить гарантией качественности выполненного биологом исследования и не способна обеспечить надежности полученных им результатов, если само исследование проведено неправильно или использованные данные ошибочны. Более того, формальное применение математических методов, без понимания их сути и приложимости к тем или иным биологическим явлениям, и вообще злоупотребление вариационной статистикой, слепое использование её даже когда в этом нет никакой необходимости, может принести не пользу, а вред». И это притом, что в 70-80-х годах достаточно популярным было следующее ошибочное, но авторитетное суждение: «В настоящее время применение статистических методов требует сравнительно небольших математических знаний и лишь некоторого навыка. В большинстве встречающихся на практике случаев выкладки сводятся к простым
арифметическим вычислениям» (Бейли, 1963, с. 11).
Завершая обсуждение этой, в целом, совершенно неконструктивной дискуссии, соглашусь со следующей её оценкой [Шитиков и др., 2008, с. 91]: «обильное цитирование статьи (имеется в виду [Hurlbert, 1984]. - Г.Р.) в зарубежных источниках определяется скорее не её научно-методологической ценностью, либо грандиозностью полученных результатов, а чисто психологическими моментами:
• желанием примкнуть к развернутой критикующей компании и самому получить шанс уличать;
• попыткой отрицать правомочность клейма "псевдорепликация" на своих работах, либо работах своих коллег;
• просто как предупредительный сигнал рецензенту "Хёлберта читал, в своей работе учитывал и в этом направлении замечаний ко мне быль не должно".
Так завязывается 20-летняя дискуссия, которая лишь частично имеет вид научной» - это тоже к вопросу об этике статистических исследований, поднятым Веллеманом.
Подводя итог своим комментариям, предложу новый мем: «Этика статистики полностью соответствует лозунгу - "Думать надо!"».
СПИСОК ЛИТЕРАТУРЫ
Бейли Н. Статистические методы в биологии. М.: Мир, 1963. 271 с.
Закс Л. Статистическое оценивание. М.: Статистика, 1976. 598 с.
Ивантер Э.В. Основы практической биометрии. Введение в статистический анализ биологических явлений / Учебное пособие. Петрозаводск: Карелия, 1979. 96 с.
Ивантер Э.В., Коросов А.В. Элементарная биометрия / Учебное пособие. Петрозаводск: ПетрГУ, 2005. 104 с.
Козлов М.В. Мнимые повторности (pseudorepli-cation) в экологических исследованиях: проблема, не замеченная российскими учеными // Журн. общ. биол. 2003. Т. 64, № 4. С. 292-307.
Козлов М.В., Хёлберт С.Х. Мнимые повторности, бесплодные дискуссии и интернациональная сущность науки: ответ Д.В. Татарникову // Журн. общ. биол. 2006. Т. 67, № 2. С. 145-152.
Любищев А.А. Об ошибках в применении математики в биологии. I. Ошибки от недостатка осведомленности // Журн. общ. биол. 1969а. Т. 30, № 5. С. 572-584.
Любищев А.А. Об ошибках в применении математики в биологии. II. Ошибки, связанные с избытком энтузиазма // Журн. общ. биол. 1969б. Т. 30, № 6. С. 715-723.
Миркин Б.М., Розенберг Г.С. Фитоценология. Принципы и методы. М.: Наука, 1978. 212 с.
Налимов В.В., Голикова T.E. Логические основания планирования эксперимента. M.: Металлургия, 1981. 152 с.
Плохинский Н.А. Биометрия. М.: МГУ, 1970. 368 с.
Проблемы экологического эксперимента (планирование и анализ наблюдений) / Под ред. Г.С. Розенберга и Д.Б. Гелашвили, сост. и коммент. В.К. Шитикова. Тольятти: ИЭВБ РАН, 2008. 274 с.
Розенберг Г.С. Об одном несложном методе уточнения факториальной дисперсии в однофактор-ном дисперсионном комплексе // Аспекты оптимизации количественных исследований растительности. Уфа: БФАН СССР, 1976. С. 92-103.
Розенберг Г.С. Современные представления о характере распределения популяций по градиентам среды как основе ординационных методов // Бот. журн. 1979. Т. 64, № 8. С. 1129-1137.
Розенберг Г.С. Модели в фитоценологии. М.: Наука, 1984. 240 с.
Розенберг Г.С. Введение в теоретическую экологию / В 2-х т.; Изд. 2-е, исправленное и дополненное. Тольятти: Кассандра, 2013. Т. 1. 565 с. Т. 2. 445 с.
Розенберг Г.С., Долотовский И.М. Еще раз о
показателях силы влияния // Биол. науки. 1988. № 9. С. 105-110.
Хёлберт С. Мнимые повторности и планирование экологических полевых экспериментов // Планирование экологического эксперимента. Тольятти: Самар. НЦ РАН; Кассандра, 2008. С. 9-45.
Altman D.G. Statistics and ethics in medical research. Misuse of statistics is unethical. // British Med. J. 1980. V. 281. P. 1182-1184.
Cottenie K., De Meester L. Comment to Oksanen (2001): reconciling Oksanen (2001) and Hurlbert (1984) // Oikos. 2003. V. 100. P. 394-396.
Esar E. Esar's Comic Dictionary. Eugene (Oregon): Harvest house Publ., 1943. 313 p.
Heffner R.A., Butler M.J. IV, Reilly C.K. Pseu-doreplication revisited // Ecology. 1996. V. 77, № 8. P. 2558-2562.
Hurlbert S.H. Pseudoreplication and the design of ecological field experiments // Ecol. Monographs. 1984. V. 54. P. 187-211.
Hurlbert S.H. On misinterpretations of pseu-doreplication and related issues: A reply to Oksanen // Oikos. 2004. V. 104. Р. 591-597.
Oksanen L. Logic of experiments in ecology: is pseudoreplication a pseudoissue? // Oikos. 2001. V. 94. P. 27-38.
Underwood A.J. Experiments in Ecology: Their Logical Design and Interpretation Using Analysis of Variance. Cambridge: Univ. Press, 1997. 504 p.
Velleman P.F. Truth, damn truth, and statistics // J. Stat. Education. 2008. V. 16, No. 2. P. 1-14.
White C. Unkind cuts at statisticians // The American Statistician. 1964. V. 18, No. 5. P. 15-17.
