Why did Kolmogorov use a dependent requirement to probabilities?

Reznikov V.M.

Cloud of Science. 2015. Vol. 2. No. 2 http:/ / cloudofscience.ru ISSN 2409-031X

Почему Колмогоров использовал зависимое требование к вероятностям?1

В. М. Резников

Институт философии и права СО РАН, 630090, Новосибирск, пр. Николаева, 8

Новосибирский государственный университет, 630090, Новосибирск, ул. Пирогова, 2

e-mail: mathphil1976@gmail. com

Аннотация. Исследованы объяснения Г. Шейфера и В. Вовка для использования А. Н. Колмогоровым требования о близости теоретической вероятности к частотам, выводимого на основе теоремы Бернулли и принципа А. Курно. Показано, что эти объяснения не являются полными, аргумент, апеллирующий к частотной интерпретации, не имеет объективного характера. Предложены новые философские и формальные аргументы в пользу рациональности требования Колмогорова. Ключевые слова: вероятность, независимость, принцип Курно, теорема Бернулли, частотная интерпретация, требования Колмогорова к вероятностям.

1. Введение

В 1933 г. вышла книга А. Н. Колмогорова, в которой была предложена аксиоматика теории вероятностей, со временем принятая математическим сообществом [1]. В 1936 г. она впервые вышла на русском языке, а в 1974 было выпущено второе издание книги, на которую мы будем ссылаться [2]. Эта небольшая по объему монография не является чисто математической, в ней также исследуется несколько вопросов, относящихся к методологии применения теории вероятностей. Во-первых, Колмогоров отмечает значимость философского анализа для исследования предпосылок, при которых реальные явления могут считаться независимыми. Он писал: «Соответственно этому одной из важнейших задач философии естественных наук, после разъяснения пресловутого вопроса о сущности самого понятия вероятности, является выяснение и уточнение тех предпосылок, при которых можно какие-либо данные действительные рассматривать как независимые» [2, с. 19]. Во-вторых, Колмогоров сформулировал два утверждения, описы-

1 Работа выполнена при частичной поддержке РФФИ проект 15-07-03410

вающие свойства вероятностей, для событий, которые изучаются в приложениях теории вероятностей. Эти требования Колмогорова таковы:

«А. Можно практически быть уверенным, что если комплекс условий S будет повторен большое число раз п и если при этом через т обозначено число случаев, при которых событие А наступило, то отношение т/п будет мало отличаться от Р(А).

В. Если Р(А) очень мало, то можно практически быть уверенным, что при однократной реализации условий S событие А не будет иметь места» [2, с. 13]. Эти требования имеют историческую значимость, так как они связаны с разработкой аксиоматизации теории вероятностей. Однако они и прагматически значимы. Так, в условии А формулируется связь теоретических и эмпирических закономерностей, а на основании условия В осуществляется проверка статистических гипотез. Условие В известно в литературе под названием принципа А. Курно [3, с. 60]. Он писал: «Следовательно, физически невозможное событие — это такое событие, математическая вероятность которого бесконечно мала» [4, с. 89].

Отметим, что в отличие от аксиоматики Колмогорова, которую знают все математики, требования Колмогорова к вероятностям событий, изучаемых в приложениях, в известных работах не используются. Даже в публикациях математиков, близких к школе А. Н. Колмогорова, эти условия формулируют не полностью. Только в известной книге Г. Крамера, посвященной математической статистике, эти условия формулируются в полном объеме [5, с. 170-171].

Так как Колмогоровым было предложено несколько требований к вероятностям, то естественно возникает вопрос об их совместимости. Как пишут Г. Шейфер и В. Вовк — уже современники А. Н. Колмогорова, в частности Э. Борель, П. Леви и другие отмечали, что условие А выводимо на основе условия В и теоремы Бер-нулли. Несмотря на давнюю известность факта связанности требований Колмогорова в зарубежной литературе, в отечественных публикациях это не было отражено. Отметим, что в известной литературе, вплоть до недавнего времени, не было работ, посвященных объяснению зависимости условия А от условия В. В 2001-2006 гг. в нескольких публикациях Шейфера и Вовка были предложены рациональные объяснения этой зависимости [3, 6-7]. Однако предложенные ими объяснения не являются полными, некоторые из них построены на предпочтении Колмогоровым частотной интерпретации, но при этом не указаны, какие свойства этой интерпретации являются значимыми для приложений. Объяснения, не описывающие оснований для выбора частотной интерпретации, в некоторой степени не могут считаться объективными. Одна из целей работы состоит в обосновании предположения, что апелляция к частотной интерпретации, объясняющая особую роль утверждения А, может быть строго аргументирована и имеет вполне объек-

тивный характер. Так как требования Колмогорова реально используются в приложениях, то актуальной является задача получения полных и объективистских объяснений для применения Колмогоровым зависимого требования.

2. Классификация объяснений Шафера и Вовка

Хотя Колмогоровым требования к вероятностям были сформулированы неформально, однако в утверждении о выводимости одного условия на основе другого, естественно предполагается, что эти условия определены формальным образом. Согласно Шейферу и Вовку, формализация условия А совпадает с заключением теоремы Бернулли. Тогда возникает вопрос о необходимости условия В вообще, так как в этой теореме требование А выводится без использования В. Однако требование В имеет значение, потому что когда оно учитывается, то условие А оказывается верным на любой конечной типичной выборке, т. е. когда В принимается во внимание, то это приводит к получению А на выборках меньшего объема по сравнению с непосредственным выводом А на основе теоремы Бернулли. В связи с тем, что условие А оказывается зависимым от В, то возникает несколько вопросов. Почему А. Н. Колмогоров остановился на зависимом требовании? Почему этот факт не оказался давно в центре внимания математиков и не был тщательно исследован?

Выше отмеченные работы Шейфера и Вовка являются интересными, однако предложенные ими объяснения не являются в одинаковой степени обоснованными. Мы ранжируем их по степени обоснованности и описываем в порядке ее возрастания, начиная от наименее убедительного:

1. Зависимость не является существенным недостатком, так как в книге Колмогорова условия применения теории вероятностей представлены после его аксиоматики, следовательно теорема Бернулли еще не была получена, и поэтому вывод требования А на основе требования В и теоремы Бернулли не мог быть осуществлен. Очевидно, что это объяснение является формальным и не вполне серьезным.

2. Колмогоров мог просто не обращать внимания на то, что его требования к вероятностям оказались зависимыми. Это предположение основано на том, что Колмогоров нигде не дал каких-либо объяснений факта зависимости его требований к вероятностям. Однако трудно предположить, что Колмогоров и многочисленные читатели его книги не заметили бы связанности этих требований в том случае, если бы они были представлены в формальном виде, что, по нашему мнению, свидетельствует о неформальном восприятии требований Колмогорова.

3) Условие А хотя и выводимо на основе условия В, имеет самостоятельное значение, так как является частотным, а А. Н. Колмогоров отмечал, что его требования к применению теории вероятностей близки к Р. Мизесу, одному из основателей частотной интерпретации теории вероятностей. А. Н. Колмогоров писал: «В

изложении необходимых предпосылок для приложимости теории вероятностей к миру действительных событий автор в значительной мере следует выводам Мизе-са» [2, с.12].

4. Корректное применение теоремы Бернулли предполагает осуществление трудоемких вычислений по верификации свойства независимости в исследуемых данных, когда они представлены выборкой большого объема. Проверка независимости связана с тем, что теорема Бернулли доказана в предположении независимости данных.

Третье и четвертое объяснения вполне рациональны, но не являются полными. Аргументация в третьем объяснении апеллирует к предпочтениям Колмогорова и поэтому имеет в некоторой степени субъективный характер. В четвертом объяснении не рассматривается вопрос обоснованного применения теоремы для независимых данных, когда не требуется верификации независимости. Последние два наиболее сильные объяснения являются связанными, так как их исследование предполагает анализ оснований теоремы Бернулли, принципа Курно, а также выводимого на их основе утверждения А в рамках частотной интерпретации.

Предлагаемое исследование условий Колмогорова основано на рассуждениях как методологического, так и вычислительного характера. Вначале показана необходимость в использовании частотной интерпретации теории вероятностей для осуществления целей работы.

3. Частотная метрологическая концепция Алимова

В статье формальная аргументация основана на частотной интерпретации теории вероятностей, так как она адекватна целям работы по ряду причин. Во-первых, А. Н. Колмогоров писал об адекватности частотной интерпретации теории вероятностей в контексте приложений. Во-вторых, представители философии науки, например, А. Хакинг, отмечают значимость объективистской частотной характеристики для развития науки. В объективистском варианте теории вероятностей понятие 'вероятность' означает некоторое свойство материального мира явлений. Какие требования предъявляются к типичной объективистской характеристике? Эта характеристика должна быть измеримой, устойчивой, прогнозируемой. В качестве таких характеристик в математической статистике и других науках, где применяются методы математической статистики, используются средние, частоты, медианы и другие статистические характеристики. Специалистам, как в области статистики, так и в различных специальных областях знания, например, в эпидемиологии, судебной медицине и других хорошо известны достаточно точные границы вариабельности таких частотных характеристик, как число автомобильных столкновений в скользкую погоду, число суицидов в течение года и границы изменчивости дру-

гих, самых различных статистических характеристик [8, с. 1]. В-третьих, частотную концепцию Р. Мизеса в основном критиковали чистые математики и философы

A. Черч, А. Вальд, А. Н. Колмогоров, К. Поппер, Г. Рейхенбах и др. за отсутствие полной аксиоматики его концепции, за определение вероятности на основе связи теоретических и эмпирических величин, но главное за то, что он не предложил, точных правил по выделению случайных подпоследовательностей. Однако чистые математики и философы не отмечают, что частотная интерпретация не подходит для реальных приложений. В-четвертых, в противоположность чистым математикам, математики, активно занимающиеся приложениями, высоко оценивают роль концепции Мизеса для ее использования в практике научных исследований. Например, Ю. И. Алимов полагает, что строгие правила для описания случайности не представляют большого интереса для практических приложений, так как невозможность осуществления предсказаний для исследуемого процесса является основанием считать такой процесс естественно случайным. В свою очередь,

B. Н. Тутубалин пишет: «Сейчас считается, что подход Мизеса описывает свойства реальных явлений, к которым приложима математическая теория вероятностей» [9, 14]. И далее он продолжает: «в то время как подход Колмогорова создает весьма удобную схему, на основе которой развивается математическая теория, формально независимая от каких-либо приложений» [Там же].

Реалистичный анализ теории Мизеса в контексте ее использования для прикладных теорий был проведен в работах Ю. И. Алимова, наиболее известны [10, 11]. В подходе Алимова речь идет не о новой математике, а о специфическом взаимоотношении мира опыта с математикой. Фундаментальная задача прикладной статистики заключается в определении устойчивых частотных оценок некоторой исследуемой случайной переменной. Роль математического аппарата сводится к определению устойчивых усредненных характеристик другой случайной переменной, если известен оператор, связывающий эти величины. В предлагаемой статье в соответствии с работами Р. Мизеса, Ю. И. Алимова, В. Н. Тутубалина, все теоретические вероятности считаются неизвестными и определяются на основе частотных оценок. Теперь в контексте частотной интерпретации рассмотрим требования Колмогорова и теорему Бернулли.

4. Методологический анализ теоремы Бернулли и требований Колмогорова

Теорема Бернулли. Проводится п независимых испытаний события А, и в т экспериментах произошло событие А. Известно, что теоретическая вероятность появления события А в каждом эксперименте равняется р(А), ш/п — это частота со-

бытия А, в — это точность вычислений. Тогда при бесконечном числе экспериментов выполняется следующее равенство:

НшР(| т/п - р(А) | <в) = 1. (1)

Теорема Бернулли сыграла выдающуюся роль в становлении теории вероятностей как теоретической науки и в ее развитии. Однако ее эпистемологическая значимость переоценивается. Во-первых, в контексте эмпирической интерпретации теоретические величины никогда неизвестны, в то время как в теореме Бернулли известна теоретическая величина — вероятность успеха. Во-вторых, теорема Бер-нулли обосновывает устойчивость частот на основе определения вероятности, с которой теоретическая вероятность успеха изучаемого события отклоняется от частотных характеристик этого события. То есть сложная проблема определения устойчивости решается на основе еще более сложной проблемы. Теперь дадим анализ требования В, известного как принцип Курно.

Во-первых, характерной особенностью маловероятных событий является то, что они будут редко происходить, но они могут произойти в результате любого испытания, в том числе и самого первого эксперимента. Это в определенном смысле не согласуется с принципом Курно, запрещающим реализацию маловероятного события в единственном испытании. Во-вторых, реализация маловероятных событий является одним из проявлений случайности. Фактически принцип Курно запрещает реализацию маловероятных событий, и тем самым ограничивает проявление случайности, хотя в науке известны реализации чрезвычайно маловероятных событий. В-третьих, принцип Курно лежит в основе проверки статистических гипотез. В соответствии с принципом Курно, если в предположении правильности гипотезы происходит маловероятное событие, то гипотеза опровергается. Считается, что на основе этого принципа редко опровергаются правильные гипотезы, однако существуют такие структуры данных, где применение принципа Курно в случае реализации маловероятного события приводит к систематическим ошибкам. Приведем известный пример, демонстрирующий недостатки методологии проверки гипотез в связи с использованием принципа Курно. Если Джон — американец, то маловероятно, что он член конгресса США. Однако Джон член конгресса США, тогда корректная гипотеза, что он американец не подтверждается [12, р. 32-33]. В-четвертых, принцип Курно апеллирует к событиям с ничтожными вероятностями, но при этом не учитывается трудоемкость их определения. Перейдем к анализу условия А.

Так как теоретические величины в частотной интерпретации неизвестны, поэтому условие А, описывающее близость теоретической вероятности частотам, естественно модифицируется в требование устойчивости частот. По мнению Шей-фера и Вовка, формализация условия А это заключение теоремы Бернулли. Однако

в рамках частотной интерпретации для корректной верификации утверждения A существуют два подхода. В первом подходе предполагается эмпирическое оценивание теоретической вероятности на основе устойчивых частотных характеристик и качественного оценивания найденной теоретической вероятности без использования теоремы Бернулли. Второй подход предполагает эмпирическое определение теоретической вероятности и использование частотной интерпретации теоремы Бернулли для верификации утверждения A.

5. Частотная интерпретация теоремы Бернулли

Частотная интерпретация теоремы моделируется на основе независимых испытаний, состоящих в бросании правильной монеты, и эксперимент считается успешным, если выпадает герб. Каждая серия испытаний состоит из п бросаний, к — число планируемых серий экспериментов, тогда всего необходимо осуществить ку.п экспериментов. Отметим, что в каждой серии экспериментов определяется одна частотная характеристика события А. Очевидно, что при реализации к серий будет получено к частот. В предлагаемом эксперименте теоретическая вероятность p(A) определяется с помощью частотных характеристик изучаемого события, а именно, если наблюдаемые частоты близки друг к другу, т. е. попадают в интервал, который меньше или равен точности наблюдений — в, то в качестве вероятности возьмем любую из частот. Если же частотные характеристики очень вариабельны, то хорошей частотной оценки не существует. Существуют различные подходы для определения искомой вероятности P.

Во-первых, в том случае, если при большом числе испытаний подавляющее число частотных оценок принадлежит выделенному интервалу с длиной, меньшей в, то тем самым осуществляется верификация утверждения А без использования заключения теоремы Бернулли. Тогда в оценивании внешней вероятности P нет особой значимости, так как ее определение основано на полученной оценке для вероятности p(A) и, кроме того, требует дополнительных вычислений. Тем не менее в целом оценивание внешней вероятности имеет значение. Во-вторых, например, в стандартной теории вероятностей известен вывод теоремы Бернулли на основе локальной теоремы А. Муавра-П. Лапласа, предполагающий значительное количество экспериментов, еще больше необходимо экспериментов для получения этой теоремы на основе неравенства П. Чебышева. Для того чтобы не зависеть от этих требований, будем вычислять внешнюю вероятность в теореме Бернулли на основе частотного подхода.

В-третьих, в чисто частотном эксперименте внешняя вероятность P в теореме Бернулли определяется по аналогии с вероятностью p(A) и на ее основе. Теперь проведем анализ требуемого количества испытаний для оценивания внешней веро-

ятности Р. Внешняя вероятность вычисляется на основе частот w, с которыми выполняется следующее неравенство:

| ш\п-р(Л)| <8. (2)

Отметим, что, хотя вычисление частотных характеристик ^ для события, определенного выражением (2), сложнее вычисления частот события А, тем не менее, определение этих частот ^ в рамках теоремы Бернулли осуществляется в рамках того же самого эксперимента, на котором основано определение частот события А. Тогда, согласно формуле (2), частоты ^ будут вычисляться на основе частот появления события А и уже известной оценки вероятности события А. Предположим, что проведена 1-я серия из п наблюдений и определена некоторая частота щ/п события А, тогда, зная р(А) и 8, осуществляется верификация выполнимости неравенства (2). Ранее проведение каждой серии из п испытаний обеспечивало получение частоты события А, теперь та же серия экспериментов приводит к получению лишь сингулярной оценки, определяющей единичную выполнимость или невыполнимость второго неравенства. Если мы хотим определить частотные характеристики ^ с той же точностью, с какой вычислялись частоты события А, т. е. на основе п свидетельств, то необходимо определять каждую частоту ^ также на основе п сингулярных характеристик, описывающих выполнимость неравенства (2). Следовательно, для получения п свидетельств, определяющих выполнимость неравенства (2), необходимо провести п серий экспериментов, где каждая серия состоит из п бросаний монеты, тогда для получения одной частотной характеристики w необходимо проведение п2 экспериментов. Так как вероятность р(А) определялась на основе к частотных характеристик т/п, (г = 1, к), то поэтому для определения вероятности выполнимости (2) также на основе к частотных характеристик предполагается реализация кхп2 экспериментов. И для каждой новой оценки вероятностей на основе предложенного эксперимента требуется в п раз больше испытаний.

Однако в действительности для получения частоты более сложного события, определенного выражением (2), необходимо, чтобы соответствующая серия экспериментов состояла из N наблюдений, где N »п, и также потребуется провести намного больше серий наблюдений К, где К » к. Здесь выражение /»К означает, что X намного больше У. В результате вместо пхк наблюдений для определения вероятности р(А) необходимо провести ЫхК наблюдений с целью получения вероятности Р, где N/К » кхп2.

6. Заключение

Наилучшие аргументы Шейфера и Вовка, предназначенные для объяснения, использованного Колмогоровым зависимого требования, сводятся к предпочтению им частотной интерпретации и трудоемкости верификации условий применения теоремы Бернулли. В нашей работе аргументация Шейфера и Вовка получила определенное развитие.

1. Шейфер и Вовк объясняют использование условия А интересом Колмогоровым к частотной интерпретации, т. е. в определенной степени субъективными причинами. Однако выбор частотной интерпретации вполне обоснован. Во-первых, она важна в науке, так как в этой интерпретации изучаются частоты — объективистские характеристики мира изучаемых феноменов. Во-вторых, математики-прикладники высоко оценивают значимость этой концепции для эффективных приложений. В-третьих, выбор частотной интерпретации является рациональным, так как условие А естественно модифицируется в условие эмпирической устойчивости частот. Однако принцип Курно и теорема Бернулли не столь естественны в частотной интерпретации.

2. Шейфер и Вовк учитывают трудоемкость верификации свойства независимости данных в контексте корректного применения теоремы Бернулли, однако существуют эпистемологические проблемы и проблемы эффективного применения теоремы для независимых испытаний. Так, в теореме предполагается известной теоретическая вероятность, хотя в частной интерпретации теоретические величины неизвестны. Устойчивость частот в теореме Бернулли объясняется посредством вероятности отклонения частотных характеристик наблюдаемого события от теоретической вероятности этого события. В результате трудная проблема устойчивости редуцируется к более сложной проблеме, что трудно признать рациональным. Методологическое несовершенство теоремы в контексте применений отражается в соотносительной эффективности при эмпирическом определении устойчивости частот и на основе частотной интерпретации теоремы Бернулли, где экспериментальное определение устойчивости частот оказывается эффективнее, чем на основе теоремы.

Отсутствие объяснений связанности требований Колмогорова до публикаций Шейфера и Вовка, по нашему мнению, объясняется двумя причинами. Во-первых, как мы уже отмечали, это связано с непопулярностью условий Колмогорова в современной литературе. Во-вторых, эти требования, по-видимому, воспринимаются неформально.

Литература

[1] KolmogoroffA. Grundbegrife der Wahrscheinlichkeitsrechnung. — Berlin : Springer, 1933.

[2] Колмогоров А. Н. Основные понятия теории вероятностей. — М. : Наука, 1974.

[3] Shafer G., Vovk V. The origins and legacy of Kolmogorov's Grundbegriffe // The game-theoretic probability and finance project working paper. 2005. Vol. 4. P. 8. (http://www.probabilityandfinance.com/articles/04.pdf)

[4] Курно А. Основы теории шансов и вероятностей. — М. : Наука, 1970.

[5] Крамер Г. Математические методы статистики. — М. : Мир, 1975.

[6] Shafer G., Vovk V. Probability and Finance It's Only a Game! — N.Y. : A Wiley Interscience Publication, 2001.

[7] Shafer G., Vovk V. The Sources of Kolmogorov's Grundbegriffe // Statistical Science. 2006. Vol. 21. No. 1. P. 70-98.

[8] Hacking I. Logic of statistical inference. — Cambridge : Cambridge University Press, 1965.

[9] Тутубалин В. Н. Теория вероятностей. — М. : Академия, 2008.

[10] Алимов Ю. И. Альтернатива методу математической статистики. — М. : Знание, 1980.

[11] Алимов Ю. И., Кравцов Ю. А. Является ли вероятность «нормальной» физической величиной? // Успехи физических наук. 1992. Т. 162, № 7. С. 149-182.

[12] Fidler F. From statistical significance to effect estimation: Statistical reform in psychology, medicine and ecology. [Электронный ресурс] The University of Melbourne, 2005. (http://www.botany.unimelb.edu.au/envisci/docs/fidler/fidlerphd aug06.pdf)