CC BY
22
удк 378.14 ♦ вак 13.00.02 ♦ ринц 14.35.09 А.А. Солодов
DOI: http://dx.doi.org/10.21686/1818-4243-2019-4-23-31
Российский государственный университет им. А.Н. Косыгина (Технологии. Дизайн. Искусство). Москва, Россия
Байесовская адаптация в пуассоновских когнитивных системах*
Целью исследования является изучение возможностей применения алгоритмов байесовской адаптации к когнитивным системам, воспринимающим пуассоновский процесс возникновения внешних событий.
Методом исследования является применение стохастического описания и синтеза когнитивных систем, включая теорию пуассоновских процессов с двойной случайностью и теорию байесовской адаптации.
Сформулировано формальное определение когнитивных систем в пространстве состояний в духе аналогичных определений теории динамических систем. Определение стало методической основой для разработки моделей тех множеств и преобразований, которые характерны для когнитивных систем. В частности, для описания стохастических свойств когнитивных систем и возможности создания оптимального алгоритма применен признанный в ряде философских работ байесовский подход. Оптимальной оценкой по критерию минимума среднеква-дратической ошибки является, как известно, апостериорное математическое ожидание случайной оцениваемой величины, которая применена в данной работе. При этом общеизвестной трудностью использования байесовской оптимальной оценки является необходимость задания априорных вероятностей случайной величины в рассматриваемой системе. Для ее преодоления применен адаптивный алгоритм байесовской оценки, известный также под названием эмпирического байесовского подхода.
В соответствии с изложенным считается, что на входе когнитивной системы, а именно в области бессознательного в непрерывном времени возникают некоторые события, которые моделируются случайными точками. Интенсивность появления точек определяется некоторой случайной величиной Х, оценка которой является задачей когнитивной системы в целом. До некоторого времени в области бессознательного количество случайных событий накапливаются (на математическом языке формируется классифицирующая выборка). В определенный момент происходит попытка оценки величины Х, т.е. попытка
перемещения информации из бессознательной области когнитивной системы в сознательную, что и является мыслительным актом, актом обучения и т.п. С математической точки зрения такая модель функционирования когнитивной и является реализацией адаптивного байесовского подхода, позволяющего уменьшить влияние априорного распределения неизвестной величины на ее оценку.
Описанная модель деятельности когнитивной системы обосновывается тем, что величина Хявляется не только случайной, но и с неизвестным априорным распределением, не наблюдается непосредственно, а некоторым образом должна быть оценена когнитивной системой на основании уже имеющегося в бессознательной области числа событий и последнего события, на основании которого производится оценка. Оптимальная оценка случайного параметра использована для решения задачи классификации наблюдений, т.е. оптимальной проверки односторонней гипотезы по байесовскому критерию. В результате предпринятого рассмотрения продемонстрирована применимость разработанного формального определения когнитивной системы для формулировки разнообразных задач анализа и синтеза систем. Достоинством примененной модели является минимально количество априорной информации о процессах, протекающих в системе. Оказалось достаточным одного допущения о пуассоновском характере возникающих на входе системы событий.
Приведены результаты вычислительного эксперимента по адаптивной оценке случайного параметра с неизвестным априорным распределением.
В заключении отмечается, что дальнейшим развитием исследования может стать детальная формулировка математических свойств элементов когнитивной системы, упомянутых в разработанном определении, постановка, решение и интерпретация новых математических задач анализа и синтеза.
Ключевые слова: Когнитивная система, формальная модель, пуассоновский процесс, байесовская адаптация
Aleksander A. Solodov
Kosygin Russian State University, Moscow, Russia
Bayesian adaptation in Poisson cognitive systems
The aim of the study is to investigate the possibility of applying Bayesian adaptation algorithms to cognitive systems that perceive the Poisson process of external events.
The method of research is the use of stochastic description and synthesis of cognitive systems, including the theory of doubly stochastic Poisson processes and the theory of Bayesian adaptation. The formal definition of cognitive systems in the state space in the spirit of similar definitions of the theory of dynamic systems is formulated. The definition has become a methodological basis for the development of models of those sets and transformations that are characteristic of cognitive systems. In particular, to describe the stochastic properties of cognitive systems and the possibility of creating an optimal algorithm, the Bayesian approach recognized in a number of philosophical works is applied.
The optimal estimate by the criterion of the minimum standard error is, as is known, a posteriori mathematical expectation of a random estimated value, which is applied in this work. In this case, the well-known difficulty of using Bayesian optimal estimation is the need to set a priori probabilities of a random variable in the system under consideration. An adaptive Bayesian estimation algorithm, also known as the empirical Bayesian approach, is used to overcome this problem. According to the above it is believed that at the entrance of the cognitive system, namely in the unconscious in continuous time there are some events that are modeled by random points. The intensity of the appearance of points is determined by a random variable X, the evaluation of which is the task of the cognitive system as a whole. Up to some time in the field of the unconscious the number of random events accumulate (in mathematical language the classifying sample
* Статья написана при поддержке РФФИ, проект 18-07-00918.
is formed). At some point, an attempt is made to estimate the value of X, i.e. an attempt to move information from the unconscious area of the cognitive system to the conscious, which is a mental act, an act of learning, etc. From a mathematical point of view, such a model of cognitive functioning is the implementation of an adaptive Bayesian approach, which allows to reduce the influence of a priori distribution of an unknown quantity on its evaluation.
The described model of the cognitive system is justified by the fact that the value of X is not only random, but also with an unknown a priori distribution, is not observed directly, and in some way must be evaluated by the cognitive system on the basis of the already existing in the unconscious number of events and the last event on the basis of which
The optimal estimation of the random parameter is used to solve the problem of classification of observations, i.e. the optimal verification of the one-sided hypothesis by the Bayesian criterion. As a result of the undertaken consideration the applicability of the
developed formal definition of cognitive system for the formulation of various problems of analysis and synthesis of systems is demonstrated. The advantage of the applied model is the minimum amount of a priori information about the processes occurring in the system. One assumption about the Poisson nature of the events occurring at the input of the system was sufficient.
The results of a computational experiment on the adaptive estimation of a random parameter with an unknown a priori distribution are presented.
In conclusion it is noted that the further development of the study can be a detailed formulation of the mathematical properties of the elements of the cognitive system mentioned in the definition, formulation, solution and interpretation of new mathematical problems of analysis and synthesis.
Keywords: Cognitive system, formal model, Poisson process, Bayesian adaptation
Введение
Одним из направлений развития теории когнитивных систем является применение для описания когнитивных процессов стохастических методов. Под этим понимается как вероятностное описание когнитивных систем, так и применение статистических выводов, т.е. попытки объяснения с позиций статистической теории реакций когнитивных систем.
Среди множества статистических подходов наибольшее внимание привлекает байесовский подход (метод, концепция), отличающийся большой общностью. Этот подход стал в последнее время настолько привлекательным, что дискуссии о его применимости к когнитивным системам переходят в философскую плоскость. В связи с этим уместно привести следующую цитату из работы [1]:
«Новая масштабная и перспективная теория стремительно обретает популярность в современных исследованиях познания и мозга. Известная преимущественно как «Предсказывающая обработка/Предсказывающее кодирование» (англ. Predictive processing/Predictive coding) [2] или же «подход минимизации ошибки в предсказании» [3], данная теория, по утверждению одного из авторов, претендует на звание «наиболее полной к настоящему моменту концептуальной рамки для объяснения восприятия, познания и действия в терминах фундаментальных теоретических принципов и нейрокогнитивных архитектур» [4]. Кроме того, в последнее время на основе ее ключевых принципов были предложены попытки объяснения (по крайней мере, частичного) столь разнообразных когнитивных, психофизических и ментальных феноменов, как внимание [3], иллюзии, психические расстройства [5], опыт, сознание, Я [3] и эмоции. Важной посылкой, разделяемой большинством исследователей в этой области, является то, что перцептивные процессы оперируют в условиях существенной неопределенности, имеющей своим источником неопределенность восприни-
маемых стимулов и/или шум/случайные ошибки в процессе нейронной обработки сигналов, результаты которого, с этой точки зрения, и стремится нивелировать перцептивная система. Поэтому восприятие, рассмотренное с позиции реализующих его субличностных процессов и механизмов, согласно сторонникам байесовской программы, является, в сущности, не чем иным, как вероятностным выводом».
Таким образом, понятно, какие большие надежды возлагаются на применение байесовского подхода к изучению когнитивных систем.
Хорошо известно, однако, что оборотной стороной универсальности байесовского подхода является необходимость достаточно подробного вероятностного описания рассматриваемой модели. Особый интерес представляет первоначальный этап функционирования когнитивной системы, когда она еще не выработала оптимальный способ обработки случайной информации на входе. Можно предположить, что на протяжении некоторого периода времени эта информация просто сохраняется в памяти (подсознании) системы до определенного момента, когда система переходит в новое качество и применяет оптимальный алгоритм обработки уже накопленной информации. Поскольку предполагается, что в системе хранятся только копии тех данных, которые система могла наблюдать в процессе обучения, то естественным образом возникает задача преодоления априорной неопределенности этой ситуации. В рамках байесовского подхода такая проблема рассматривалась и получила название байесовской адаптации или эмпирического байесовского подхода [6, 7, 8].
Таким образом, целью настоящей работы является разработка такого формального определения когнитивной системы, которое могло бы стать методической основой формулирования разнообразных задач как анализа, так и синтеза когнитивных систем с учетом отмеченных особенностей.
Методом исследования является применение стохастического описания процессов и байесов-
ского синтеза. Для описания входных воздействий применена математическая модель в виде пуассоновского процесса событий, интенсивность появления которых зависит от некоторого случайного параметра с неизвестным законом распределения. Одна из ключевых процедур функционирования когнитивной системы — перемещение полученной информации из области бессознательного в сознание когнитивной системы моделируется оценкой упомянутого параметра с применением оптимальной байесовской адаптации.
Результатом работы является формулировка определения когнитивной системы и демонстрация ее применимости к постановке разнообразных задач. Показана применимость фундаментальных результатов байесовской адаптации к синтезу оптимальных когнитивных систем, получены кривые, иллюстрирующие функционирование таких систем.
1. Формальная модель когнитивной системы
В настоящей работе под когнитивной системой будем понимать совокупность некоторых множеств, объединенных протекающими между ними процессами, описывающими познание. Более конкретно рассматриваются два множества, одно из которых называется сознанием, а другое — подсознанием. Элементами этих множеств выступают образы, мыслеформы, архетипы, гештальты [9, 10, 11] и т.п. а процессами — взаимодействие между множествами.
Теме взаимодействия сознания и подсознания посвящена обширная литература, однако до сегодняшнего времени в ней не только не получены какие-либо значимые количественные результаты, но и не установилась единая терминология. Так, в [12] применен термин бессознательное и отмечается, что «На сегодняшний день вся область познанного человеком относится исключительно к сфере сознательного. Таким образом, создается иллюзия свободной воли в построении мыслительных схем и планов познания. Несостоятельность этого, по-видимому и проявляется как в определенной детерминированности успехов, так и в наличии разочарований результатами. В то же время, практически все знания в неявном виде включают в себя элемент бессознательного, хотя бы в виде инсайтов (озарений) их создателей. Таким образом, свобода воли познания, являющегося надстройкой, жестко ограничивается фундаментом — бессознательным, порождающим "протознания", которые и определяют, в основном, генерацию своеобразия явных сознательных знаний. С этих позиций бессознательное представляется как бы машиной по переработке образа жизни, бытия субъекта в ментальность с учетом особенностей его генетической детерми-
нации (здесь наиболее ценным представляется нам философия релизерных систем и метапро-грамм природы, развитая [13] и включенности его в природные функциональные системы [14, 15, 16].»
Таким образом, для разработки содержательной теории целесообразно сформулировать такое определение когнитивной системы, которое учитывало бы современные тенденции их изучения — байесовское стохастическое описание и философско-психологические аспекты процесса познания. С учетом этих особенностей сформулируем следующее формальное определение когнитивной системы.
Когнитивной системой называется совокупность взаимосвязанных элементов, удовлетворяющая следующим аксиомам:
1. Система функционирует в непрерывном времени, т.е. аргументом всех процессов в системе является совокупность действительных чисел t с фиксированным начальным моментом
2. Задано множество О допустимых входных воздействий ю(/) е О.
3. Задано множество и состояний когнитивной системы со значениями (элементами) и(1) е и.
4. Существует переходное отображение (переходная функция) состояния F, значениями f которой являются состояния системы
и(0 = J{t, и(?о), ю]
5. Задано множество оценок и, значениями (элементами) которого являются преобразованные когнитивной системой состояния системы и'(<) е и.
6. Существует переходное отображение (переходная функция) оценок G, значениями g которой являются оценки состояния системы
и*(/) = g[t, и(/), ю]
7. Определена функция потерь (штрафов) П(и, и*).
8. Определена выходная функция Г, определяющая множество выходных состояний системы у(?) = у^, и'О)].
Сформулированное определение названо формальным, в отличие от аналогичных математических моделей динамических систем, поскольку не уточняются математические свойства множеств, элементов множеств и отображений (функций). Это сделано для того, чтобы оставить более широкие возможности для разработчика конкретных моделей и элементов когнитивных систем.
Отображения и функции, упомянутые в определении, носят методический характер и, в зависимости от изучения конкретной задачи, могут принимать различный вид. Краткая характеристики элементов когнитивной системы состоит в следующем.
Свойству непрерывности времени может быть противопоставлено требование протекания процессов дискретно. Тогда, если предположить стационарность всех отображений (функций) когнитивная система преобразуется в автомат. С формальной точки зрения автоматами являются все цифровые вычислительные средства, однако когнитивные свойства им приписать возможно тогда, когда дискретность времени выполнения операций пренебрежимо мала по сравнению с длительностью вычислительного процесса.
Допустимые входные воздействия (наблюдаемый процесс) — это такая совокупность элементов, которые могут быть непосредственно зафиксированы (записаны, отображены) когнитивной системой. Воздействия могут быть как детерминированными, так и случайными, причем их допустимость понимается в смысле способности когнитивной системы их воспринять, переработать и т.п.
Множество состояний когнитивной системы — это такое множество элементов, которое возникает в системе в результате отображения (восприятия, переработки) входных воздействий. Например, если входным воздействием является некий предмет, то элементами пространства состояний могут быть представления, соответствующие размерам и (или) весу предмета, о цвете, запахе, температуре и т.п. В человеческом процессе познания это множество ассоциируется с подсознанием или областью бессознательного.
Множество оценок формируется в соответствии с переходной функцией оценок и состоит из характеристик, сформированных на основании уже имеющихся представлений. В человеческом процессе познания это множество ассоциируется с сознанием. Перемещение элемента из множества состояний во множество оценок интерпретируется как акт познания (мыслительный, чувственный).
Формальная функция потерь характеризует затраты когнитивной системы на формирование оценки, качество оценки.
Множество выходных состояний — это те средства, с помощью которых система может общаться с внешним миром, например, язык, сформированные когнитивной системой чувственные понятия и образы, произведения музыки, изобразительных искусств и т.п.
Приведенное определение, конечно, не может адекватно описать все существующие и теоретические когнитивные системы, и, в особенности, познавательную деятельность человека, однако пригодно в качестве методической основы для математической формулировки основных задач изучения таких систем.
В настоящей работе на примере изучения байесовской адаптации пуассоновских систем
все элементы формальной когнитивной системы (кроме множества выходных состояний) подробно разрабатываются и поясняются.
Далее при ссылке на сформулированное определение для простоты будем называть его просто определением.
2. Модель входных воздействий и множества состояний когнитивной системы
Рассмотрим процесс функционирования когнитивной системы, развивающийся в соответствии с определением в непрерывном времени, и предположим, что вход системы дискретно (скачкообразно) меняет свое состояние. Таким образом, на входе системы действует случайный процесс появления точек, каждая из которых характеризуется величиной скачков.
Пусть наблюдение начинается в момент времени 10, а через некоторое время ^ в текущий момент времени на входе системы появилась некоторая информация, через некоторое другое время 12 в текущий момент времени W2 появилась другая информация и т.д. Эта последовательность событий или точек на оси времени является входными воздействиями когнитивной системы в соответствии с определением.
Для создания модели множества состояний введем в рассмотрение процесс N(1) счета появляющихся на входе системы точек, и назовем его процессом счета точек или счетным точечным процессом. Таким образом, процесс N(1) является кусочно-постоянным, имеет единичные приращения в моменты появления точек ^ и показывает сколько точек появилось на интервале времени [10, 1).
Будем полагать, что процесс появления точек на входе системы управляется внешними по отношению к системе факторами (внешней средой) и в ряде интересных содержательных приложений должен рассматриваться как случайный. В связи с этим сделаем ключевое предположение о том, что времена появления точек Wi, а поэтому и межточечные интервалы ^ и число точек N(1) являются случайными величинами.
Реакция когнитивной системы на известные, детерминированные входные воздействия изучается в большом числе работ, посвященных организационным системам. Между тем, естественно предположить, что большой интерес для изучения представляет реакция системы на случайные, непредсказуемые заранее воздействия. Это объясняется тем обстоятельством, что как в соответствии с гносеологическими представлениями [17, 18], так и в соответствии с математической теорией передачи информации [19] новое знание (информация) генерируется (возникает, предъявляется) тогда, когда имеется возможность случайного выбора из множества.
Для создания стохастической модели случайных воздействий необходимо задать базовые статистические характеристики времен появления этих воздействий, их числа и их величин. Далее обосновывается пуассоновская модель таких воздействий.
Рассмотрим произвольный интервал времени [?, такой, что ^ — t = Т и предположим, что число точек, появившихся к моментам времени t и ^ равно соответственно N(1) и N(s). Обозначим через s) = N(5) — число точек, появившихся на этом интервале, а через Р(Щ(7, 5) = п) вероятность того, что это число точек окажется равным п .
Применим широко применяющееся в различных областях знаний предположение о том, что за малый промежуток времени Т = Дt вероятность того, что точка появится пропорциональна некоторой константе с точностью до бесконечно малой по отношению к Дt и что вероятность появления за это время двух и более точек стремится к нулю:
P(N(t, s) = 1) = XAt + O(At), P(N(t, s) > 1) = O(At)
(2.1)
Если дополнительно потребовать, чтобы точки появлялись независимо друг от друга, то распределение произвольного числа точек на интервале Т является пуассоновским:
P (n (t, s ) = n ) =1 (Л)" e ~
(2.2)
где функция Л = ХТ называется параметром пу-ассоновского процесса.
Таким образом, будем теперь полагать, что точечный процесс является пуассоновским случайным точечным процессом или просто пу-ассоновским точечным процессом, в котором времена появления точек Щ1, Щ2, •■•, Щ и их число N(1) к моменту времени t являются случайными величинами. Если теперь в (2.1) Х является функцией времени, то процесс становится неоднородным пуассоновским процессом с параметром
Л( ) = J" À(r)dt
(2.3)
и распределением
Р[N((,я) = п] = ¡'Л(т)ЛтТ" ехр(Л(т)сСт), (2.4)
Для разработки более понятной содержательной модели процессов в когнитивной системе предположим, что функция Х(^ имеет вид
Х(() =
где ^(t) — известная функция времени,
X — случайная величина, распределенная по неизвестному закону.
Для простоты положим, что ^ = 0, 5 = t. Теперь параметр пуассоновского распределения (2.3) принимает вид
Л( ) = [" А(т)с1т = X [" ц(т)с1т. (2.5)
Интеграл в (2.5) на интервале времени [0, /) является известной безразмерной константой, которую без умаления общности рассмотрения можно принять за единицу. Тогда безразмерная случайная величина Х отождествится с параметром пуассоновского процесса (2.5) на некотором интервале времени Т.
Если теперь функция интенсивности Х(/) а вслед за ней и параметр Л(^) в (2.5) являются случайными функциями, а поэтому величина Х является случайной, то пуассоновский процесс называется пуассоновским процессом с двойной случайностью.
Если весть интервал наблюдения разбит на к подинтревалов, то в каждом из них будет зафиксировано соответственно п1(Х1), •.., пк(Хк) событий или точек, число которых зависит от индивидуальных реализаций Х случайной величины Х.
В соответствии с определением когнитивной системы будем полагать, что множеством состояний системы является совокупность числа точек пуассоновского процесса с двойной случайностью, на каждом из подинтервалов т.е. и(^ = {п1(Х1), •.., пк(Х,)}. Переходное отображение (переходная функция) принимает вид просто счетчика числа точек. Следует подчеркнуть, что неизвестный параметр Х не является элементом множества состояний и может быть определен только после преобразования множества состояний во множество оценок.
Другой пример множества состояний когнитивной системы приведен в [20] при изучении вопросов помехоустойчивости когнитивных систем. Элементом множества состояний там является фильтрованный пуассоновский процесс, а переходной функцией — переходная функция состояния системы.
Когнитивную систему с указанными входными воздействиями будем называть пуассо-новской.
3. Множество оценок когнитивной системы. Оптимальная байесовская адаптация.
Ключевым этапом рассмотрения функционирования когнитивной системы является разработка модели множества оценок и переходной функции оценок. Естественно предположить, что совершенная когнитивная система применит в некотором смысле оптимальный алгоритм такой оценки. Будем далее полагать, что задачей когнитивной системы является оптимальная оценка параметра Х. Поскольку выше уже упоминалось о преимуществах байе-
совского подхода к изучению когнитивных систем, то в настоящей работе применен именно этот подход с учетом адаптации, позволяющей не расширять априорную информации обо всем процессе.
Понятие адаптации сложной системы в настоящее время стало общеупотребительным и может принимать самые разнообразные формы. Так, например, в [21] отмечается, что свойство адаптации в автоматических системах управления означает ее инвариантность по отношению к изменяющейся среде и выражает предельные возможности компенсации влияния параметрических возмущений на динамические характеристики системы. В силу своей широты такое определение не является конструктивным, т.е. не определяет направление формализации понятия адаптации. В работе [22] адаптация как активное действие предполагает такое функционирование системы во внешней среде, чтобы выполнять свои функции в данной среде наилучшим образом, т.е. максимизирует свой критерий эффективности функционирования в данной среде. Таким образом, формулируется понятие критерия эффективности и процедуры оптимизации системы по данному критерию. В дальнейшем будем следовать этому определению адаптации.
Пусть функций штрафов является квадрати-ческая функция вида
П(и,и*)= П(X,X') = £(х, -х;)2.
1=1
Хорошо известно, что оптимальной байесовской оценкой параметра X при квадратичной функции штрафов является его апостериорное математическое ожидание:
X =
| Р (X )ХР (п\Х )сСХ |Р(Х)Р(п\х)сСХ '
(3.1)
В пуассоновской модели с учетом того, что везде далее полагается Л(/) = X и при наличии наблюдаемого отсчета п оптимальной оценкой X параметра X является
* ге-ххп+1Р(Х)с1Х р (п +1) X = -—--= (п +1) хУ / (3.2.)
Ге-ХХпР(X)сХ Рх (п)
Рх (п) = | е-хХпР (X)(1Х.
(3.3)
Р (х\п ) =
Р(X)Р( \х) IР(X)Р( \х)с1х'
(3.4)
где P(X) — априорное распределение параметра X.
Если теперь поступает следующее выборочное значение п2, не зависящее от п1, то распределение (3.1) можно использовать как новое априорное для вычисления следующего апостериорного
Р (х\п,, п ) =
Р(X)Р(1X)Р( \Х) iР(X)Р(х \Х)Р(п2 \Х)сХ '
Продолжая эту процедуру, получим апостериорное распределение параметра X при наличии к-мерной выборки
Р {х\
Р
Р (X )Р (и,,..., пк\Х) IР(X)Р(п,,...,пк |Х))
X ) = Пр (Х).
(3.5)
В работе [6] указано, что в соответствии с теоремой С.Н. Бернштейна и Р. Мизеса при непрерывной априорной плотности параметра апостериорное распределение (3.5) перестает зависеть от априорного распределения и что эта теорема «послужила, по-видимому, идейной основой адаптивного байесовского подхода к проблеме классификации, предложенного Роб-бинсом».
Изложим идею Роббинса [8] байесовской адаптации применительно к терминологии когнитивных систем. При наличии выборки п1, ..., пк оптимальной байесовской оценкой X является
X' =
| Р (X )ХР (,..., пк\Х )с1Х |Р(X)Р(,...,пк\Х)сСХ '
(3.6)
Одним из методов преодоления априорной неопределенности байесовского подхода является применение так называемых байесовских процедур обучения [6]. Этот метод позволяет применить байесовский подход без какого-либо предположения о начальном априорном распределении. Его идея состоит в следующем.
Пусть п1 —выборочное значение из распределения со случайным параметром X.
Апостериорное распределение этого параметра определяется, как известно, соотношением
Если функция априорного распределения Р(X) в (3.6) неизвестна, то оценку X вычислить принципиально невозможно. Во многих случаях предыдущие значения наблюдаемых чисел (п1, ..., пк-1) известны, поэтому можно поставить задачу по этим значениям приближенно получить оценку X в (3.6) при появлении очередного отсчета пк. Роббинс указал, что эмпирическая частота
Р'х (П1,-, Пк ) = Число членов последовательности
, пк равных пк
к
(3.7)
при неограниченном увеличении числа опытов стремится с вероятностью 1 к интегралу в знаменателе формулы (3.6), поскольку по своему смыслу этот интеграл является вероятностью появления на к интервалах наблюдения выборочной совокупности чисел п1, ..., пк.
Таким образом, теоретическое соотношение (3.5) можно заменить эмпирическим (3.7), и
тогда для пуассоновского ядра (1.2) эмпирическая (адаптивная) байесовская оценка параметра (3.2) примет вид
х. = IР (X )ХР (,,„„„ „,|х = ( + .
|Р(X)Р(,...,П,\Х)) 1 ' ' Р* (,)
Оценка (3.8) в соответствии с определением (3.7) зависит от к — 1 предыдущих отсчетов (п1, •.., пк-1) наблюдаемой целой и текущего отсчета пк.
Таким образом, оптимальная оценка параметра рассчитывается по одному единственному отсчету пк.
Для удобства практического применения и расчетов преобразуем соотношение (3.8) следующим образом. Введем в рассмотрение функцию совпадений
, , Г1, если п = т (р(п, т) = \
[0, если п Ф т
и функцию ик(п), зависящую от обучающей выборки
к
и (к ) = п,).
I=1
Теперь оптимальная оценка (3.7) принимает
вид
X ' = (п +1)
+1) и (пк )
(3.9)
На рис. 1 представлены результаты вычислительного эксперимента, схема которого состоит в следующем.
Предполагается, что параметр пуассоновского процесса X является случайной величиной, распределенной равномерно со средним значением, равным 1. В соответствии с этим на каждом из временных интервалов генерируется реализация случайной величины X. Очевидно, что в соответствии с общей моделью функционирования когнитивной системы такое распределение является наиболее неблагоприятным с точки зрения формирования оптимального решения.
Оценка параметра X
2,5
1,5
0,5
\ —■—11=1
\
\ •п-2
\
10 20 30 40 50 60 70 80 90 100
Число выборочных значений
Далее на каждом временном интервале формируется отсчет п, распределенный по пуассо-новскому закону в соответствии с мгновенным параметром X и запоминается. В соответствии с введенной в рассмотрение терминологией этот отсчет является выборочным значением наблюдаемой величины номер I. Когда число выборочных значений становится кратным 10 формируется оценка параметра в соответствии с соотношением (3.9), таким образом для удобства считается, что к — 1 = 10. Данными, на основании которых формируется оценка, является пуассоновская целая величина, сформированная на следующем временном интервале номер I + 1, которая принимается равной пк = 0, пк = 1, пк = 3.
Если согласиться с точкой зрения о том, что для когнитивных систем байесовский подход является наиболее адекватным, то такой же оказывается и изложенная выше теория байесовской адаптации.
Как уже упоминалось, можно предположить, что в начале формирования когнитивной системы входные воздействия, описываемые случайными величинами, не подвергаются никакой обработке и запоминаются в подсознании (бессознательной области). Только по прошествии некоторого времени очередная входная величина обрабатывается оптимальным с точки зрения байесовского подхода, образом. В этом и состоит принцип байесовской адаптации в когнитивных системах, реализованный в алгоритме (3.9).
4. Байесовская адаптивная классификация
Эмпирическая или адаптивная байесовская оценка (3.9) может быть использована для реализации алгоритма односторонней проверки гипотезы Н о том, что параметр Х пуассонов-ского процесса не превосходит заданную величину Х0, т.е. что Х < Х0. Обозначим через в0 решение о том, что гипотеза Н принимается и через в1 решение об отклонении этой гипотезы.
Разрешим неравенство Х < Х0 с учетом формулы (3.9) и получим следующее правило: принимается решение, если
Х0и(пк) - (пк + 1)и(п* + 1) > 0 (4.1)
и решение в1 в противоположном случае.
Можно показать [6], что указанный алгоритм является байесовским адаптивным, асимптотически оптимальным, если функции потерь П(в, X) определены следующим образом
, , Г0, если X < X0 П(о,X)=Г ' 0
Рис. 1. Оптимальная адаптивная оценка Х параметра Хпуассоновского процесса
П (ех, X ) =
X - X0, если X > X0
Х0 - X, если X < X0 0, если X > Х0
(4.2)
Еще раз подчеркнем, что решения в соответствии с алгоритмами (3.9) и (3.1) формируются на основании единственного отсчета пуассо-новской величины nk.
Гносеологическое содержание алгоритма (3.1) состоит в указании возможности взаимодействия области бессознательного и сознания при решении задачи классификации, т.е. приписывания сформированной величины одной из непересекающихся областей.
В [23, 24] указано, что методика построения эмпирических байесовских решающих функций, продемонстрированная Роббинсом на примерах, применима в исключительных случаях распределений P(n\X), к которым относится и пуассоновское. Кроме того, конечные соотношения (3.9) и (3.1) получены для функций потерь только указанного выше вида, что еще больше сужает сферу применения представленных результатов.
Литература
1. Сущин М.А. Байесовский разум: новая перспектива в когнитивной науке // Вопросы философии. 2017. № 3. С. 74-87.
2. Clark Andy. Whatever Next? Predictive Brains, Situated Agents and the Future of Cognitive Science, Behavioral and Cognitive Science. 36; 3:181-204.
3. Hohwy, Jacob. The Predicted Mind. Oxford University Press. NY. 2013.
4. Seth, Anil. The Cybernetic Brain. [Internet] http:// open -mind.net./papers/ the — cybernetic — bayesian — brain.
5. Fletcher, Frith. Perceivings is Believing: a Bayesian Approach to Explaining the Positive Symptoms of Schizophrenia. Nature Reviews Neuroscilence. 10; 1: 48-58.
6. Левин Б.Р. Теоретические основы статистической радиотехники. Кн. 3. М.: Сов. радио, 1976. 288с.
7. Стратонович Р.Л. Принципы адаптивного приема. М.: Сов. радио, 1973. 144 с.
8. Роббинс Г. Эмпирический байесовский подход к статистике // Математика. 1964. Т. 8. Вып. 2. С. 133—140.
9. Кузнецов О.П. Когнитивная семантика и искусственный интеллект // Искусственный интеллект и принятие решений. 2004. № 4. С. 32—42.
10. Валькман Ю.Р. Когнитивная семиотика: гештальты и знаки, целостность и структура // Сборник трудов XV Международной конференции «Искусственный интеллект (КИИ-2016)». Россия. Смоленск. октябрь 2016. Том 2. С. 250—258.
11. Лакофф Д. Женщины, огонь и опасные вещи: Что категории языка говорят нам о мышлении. М.: 2004.
12. Савельев А. В. Аспекты возможности сознательного моделирования бессознательного в искусственных социумах // Искусственные общества. 2009. Т. 4. С. 1—4.
Заключение
В работе показана применимость сформулированного определения когнитивной системы для постановки различных задач анализа и синтеза. Продемонстрирована работоспособность адаптивного байесовского алгоритма для пуас-соновских систем. Особенностью такого алгоритма является привлечение минимума априорной информации — оказалось достаточным только предположения о пуассоновском характере входных воздействий. Указаны принципиальные ограничения, присущие разработке подобных алгоритмов.
Дальнейшим развитием предпринятого исследования может стать детальная формулировка математических свойств элементов когнитивной системы, упомянутых в разработанном определении, постановка, решение и интерпретация математических задач анализа и синтеза.
13. Симкин Г. Н. Атомы поведения, или этология культуры // Человек. 1990. № 2. С. 17—30.
14. Симкин Г.Н. Явление жизни и функциональная организация биологических макросистем // Бюлл. Общества испыт. природы. Отд. Биологии. 1969. Т. LXXIV (3). С. 158—159.
15. Savelyev A. Stress and Functional System Theory. In: Proceeding of Second World Congress on Stress. 1998. Melbourne.
16. Савельев А.В. Онтологическое расширение теории функциональных систем // Журнал проблем эволюции открытых систем. Казахстан. Алматы. 2005. № 1(7). С. 86—94.
17. Кастлер Г. Возникновение биологической организации. М.: Мир, 1967. 90 с.
18. Солодова Е.А. Новые модели в системе образования: Синергетичекий подход. М.: Книжный дом «ЛИБРОКОМ», 2012. 344 с.
19. Солодов А.В. Теория информации и ее применении к задачам автоматического управления и контроля. М.: Наука, 1967. 432 с.
20. Солодов А.А., Солодова Е.А. Анализ динамических характеристик случайных воздействий в когнитивных системах // Открытое образование. 2017. Том 21. № 1. С. 4—13.
21. Справочник по теории автоматического управления под ред. А.А. Красовского. М.: Наука, 1987. 712 с.
22. Растригин Л. А. Адаптация сложных систем. Рига: Зинатне, 1981. 375 с.
23. Дрожжева О.В. О байесовской устойчивости в эмпирическом байесовском подходе // Статистические методы оценивания и проверки гипотез. 2008. Вып. 21. С. 88—97.
24. Большев Л.Н. Бейесовский подход эмпирический. Математическая энциклопедия. М.: Советская энциклопедия, 1977. 404—406 с.
References
1. Sushchin M.A. Bayesian mind: a new perspective in cognitive science. Voprosy filosofii = Philosophy Issues. 2017; 3: 74-87. (In Russ.)
2. Clark Andy. Whatever Next? Predictive Brains, Situated Agents and the Future of Cognitive Science, Behavioral and Cognitive Science. 36; 3: 181-204.
3. Hohwy, Jacob. The Predicted Mind. Oxford University Press. NY. 2013.
4. Seth, Anil. The Cybernetic Brain. [Internet] http:// open —mind.net./papers/ the — cybernetic — bayesian — brain.
5. Fletcher, Frith. Perceivings is Believing: a Bayesian Approach to Explaining the Positive Symptoms of Schizophrenia. Nature Reviews Neuroscilence. 10; 1: 48-58.
6. Levin B.R. Teoreticheskiye osnovy statisticheskoy radiotekhniki = Theoretical foundations of statistical radio engineering. Moscow: Soviet radio; 1976. 288 p. (In Russ.)
7. Stratonovich R.L. Printsipy adaptivnogo priyema = The principles of adaptive reception. Moscow: Soviet radio; 1973. 144 p. (In Russ.)
8. Robbins G. Empiricheskiy bayyesovskiy podkhod k statistike. Matematika = Empirical Bayesian approach to statistics. Mathematics. 1964; 8; 2: 133-140. (In Russ.)
9. Kuznetsov O.P. Cognitive semantics and artificial intelligence . Iskusstvennyy intellekt i prinyatiye resheniy = Artificial intelligence and decision making. 2004; 4: 32-42. (In Russ.)
10. Val'kman YU.R. Cognitive semiotics: gestalt and signs, integrity and structure. Sbornik trudov XV Mezhdunarodnoy konferentsii «Iskusstvennyy intellekt (KII-2016)» = Proceedings of the XV International Conference "Artificial Intelligence (KII-2016)". Russia. Smolensk. October 2016; 2: 250-258 p. (In Russ.)
11. Lakoff D. Zhenshchiny, ogon' i opasnyye veshchi: Chto kategorii yazyka govoryat nam o myshlenii = Women, Fire, and Dangerous Things: What Language Categories Tell Us About Thinking. Moscow: 2004. (In Russ.)
12. Savel'yev A. V. Aspects of the possibility of conscious modeling of the unconscious in artificial societies. Iskusstvennyye obshchestva = Artificial Societies. 2009; 4: 1-4. (In Russ.)
13. Simkin G. N. Atoms of behavior, or ethology of culture . Chelovek = Man. 1990; 2: 17-30. (In Russ.)
Сведения об авторе
Александр Александрович Солодов
д.т.н., профессор, профессор кафедры Прикладной математики и программирования Российский государственный университет им. А.Н. Косыгина (Технологии. Дизайн. Искусство), Москва, Россия Эл. почта: aasol@rambler.ru
14. Simkin G. N. The phenomenon of life and the functional organization of biological macrosystems. Byull. Obshchestva ispyt. prirody. Otd. Biologii = Bull. Society tested. nature. Sep. Biology. 1969. LXXIV (3): 158-159. (In Russ.)
15. Savelyev A. Stress and Functional System Theory. In: Proceeding of Second World Congress on Stress. 1998. Melbourne.
16. Savel'yev A.V. Ontological extension of the theory of functional systems. Zhurnal problem evolyutsii otkrytykh sistem. Kazakhstan. Almaty = Journal of problems of the evolution of open systems. Kazakhstan. Almaty. 2005. 1(7): 86-94.
17. Kastler G. Vozniknoveniye biologicheskoy organizatsii = The emergence of a biological organization. Moscow: Mir; 1967. 90 p. (In Russ.)
18. Solodova Ye.A. Novyye modeli v sisteme obrazovaniya: Sinergetichekiy podkhod = New models in the education system: Synergetic approach. Moscow: Book House «LIBROCOM»; 2012. 344 p. (In Russ.)
19. Solodov A.V. Teoriya informatsii i yeye primenenii k zadacham avtomaticheskogo upravleniya i kontrolya = The theory of information and its application to the tasks of automatic control and control. Moscow: Nauka; 1967. 432 p. (In Russ.)
20. Solodov A.A., Solodova Ye.A. Analysis of the dynamic characteristics of random influences in cognitive systems. Otkrytoye obrazovaniye = Open Education. 2017; 1; 21: 4-13. (In Russ.)
21. Spravochnik po teorii avtomaticheskogo upravleniya pod red. A.A. Krasovskogob = Reference on the theory of automatic control, ed. A.A. Krasovsky. Moscow: Nauka; 1987. 712 p. (In Russ.)
22. Rastrigin L. A. Adaptatsiya slozhnykh system = Adaptation of complex systems. Riga: Zinatne; 1981. 375 p. (In Russ.)
23. Drozhzheva O.V. On Bayesian stability in the empirical Bayesian approach. Statisticheskiye metody otsenivaniya i proverki gipotez, Permskiy gosudarstvennyy universitet = Statistical methods for evaluating and testing hypotheses. 2008. 21: 8897. (In Russ.)
24. Bol'shev L.N. Beyyesovskiy podkhod empiricheskiy. Matematicheskaya entsiklopediya = The Bayesian approach is empirical. Mathematical Encyclopedia. Moscow: Sovetskaya entsiklopediya; 1977: 404-406. (In Russ.)
Information about the author
Aleksander A. Solodovnikov
Dr. Sci. (Engineering), Professor,
Professor of the Department of Applied Mathematics
and Programming
Kosygin Russian State University,
Moscow, Russia.
E-mail: aasol@rambler.ru
