CC BY
18
ISSN 2079-3316 ПРОГРАММНЫЕ СИСТЕМЫ: ТЕОРИЯ И ПРИЛОЖЕНИЯ №1(24), 2015, с. 99-108 УДК 004.222.3+517.13:510.25
Н. Н. Непейвода, М. М. Хаткевич, А. А. Цветков
Рациональные агенты для случая управления
сверхбольшими базами данных как взаимодействующие вероятностные автоматы
Аннотация. Понятие рационального агента неточно и поэтому нуждается в уточнении при использовании в реальных приложениях. Настоящая статья посвящена анализу варианта системы рациональных агентов, который естественно возникает при адаптивном управлении базами данных. Они представляются как вероятностные автоматы, в которых вероятности переходов гибко пересчитываются в зависимости от оценки результата работы и «самочувствия» РА. Это потребовало уточнения в данном случае понятия вероятностного автомата и их системы, что и является главной целью статьи. Рассмотрены возможные структуры управления системами РА, не использующие прямых команд. Выяснены условия, при которых целесообразно использование централизованной и коллективистской структуры.
Ключевые слова и фразы: сверхбольшая база данных, интеллектуальный агент, рациональный агент, вероятностный автомат, адаптивный агент.
Введение
В ряде работ, например, [1-6] было описано понятие рационального агента (РА). Изложение в них далеко от точности и определения часто подменяются описаниями и рекламными утверждениями. Для целей работы со сверхбольшими базами данных (СВБД) требуется точное понятие РА, который проявляет себя как гибко настраивающийся на постоянно меняющиеся условия окружения. Оно взаимосвязано с классическими работами Варшавского, Цетлина и Д. А. Поспелова [7-9] по взаимодействующим активным элементам в общей среде и появляющимся при этом аспектам самоорганизации. Для наших целей достаточно рассматривать активный элемент как вероятностный
Проект проводится при финансовой поддержке РАН, проект 46П «Сверхвысокопроизводительные базы данных».
© Н. Н. Непейвода, М. М. Хаткевич, А. А. Цветков, 2015 © Институт программных систем имени А. К. Айламазяна РАН, 2015 © Программные системы: теория и приложения, 2015
автомат, но вне среды и вне взаимодействия с другими активными элементами он РА не является, демонстрируя чисто алгоритмическое поведение. Поэтому центральным понятием в данной работе является система РА, в которой составляющие ее автоматы начинают вести себя «интеллектуально».
В работе с большими базами данных появились элементы использования адаптивной самоорганизации [10,11]. Здесь представлена модель, основанная на последовательном использовании рациональных агентов и самоорганизации.
1. Структура управления
Наши агенты не подходят полностью ни под одну из парадигм, описанных в [5,6]. Они ближе всего к «broad agents» Барнарда и Саймона. У них нет явной цели. Она заменена суррогатом: поддерживать самочувствие агента настолько высоким, насколько возможно. Роли агентов (исполнительные или инициирующие, по классификации Рассела) могут динамически меняться в зависимости от состояния среды. Если самочувствие агента удовлетворительно, он обычно довольствуется ролью исполнителя. Если оно становится отвратительным, он превращается в инициатора. Если оно промежуточное, он может с некоторой вероятностью играть любую из этих ролей.
Прямые действия остаются в работе с БД на долю сервисных программ точек доступа либо центральной базы. Агенты могут лишь требовать или советовать инициировать их. Таким образом, все действия агентов непрямые.
Нашу модель управления назовем парадигмой муравейника. Синергия появляется без помощи «центрального правительства». Она обеспечивается не подлежащими обсуждению общими ценностями и жизненно важными характеристиками всей системы, и поддерживается простыми протоколами взаимодействий. Это обеспечивает глобальную гибкость реакций. Она соответствует модели управления базой данных, показанной на рис. 1.
2. Гибкие вероятностные автоматы с самочувствием
Стандартно автомат Мура определяется как пара из алфавита А и функции переходов: Ф(а, b) : А ^ А. В теории принято считать, что входной, выходной алфавиты и множество состояний совпадают. Это не является существенным допущением. В вероятностном
Рис. 1. Структура сверхбольшой базы данных
автомате вместо функции переходов возникает трехмерный массив вероятностей Р[А, А, А]. Его элементы — действительные числа из отрезка [0,1]. Р [а, Ь, с] понимается как вероятность перехода в состояние с из состояния а при входном символе Ь.
Новым элементом является переменная х, называемая самочувствием автомата. Далее, целесообразно сделать автомат гибким, варьируя его программу Р. Р и х называются внутренними характеристиками автомата. Это формализуется следующим образом.
Дан массив функций /[А, А, А] : Д х [0,1] ^ [0,1]. Если автомат находится в состоянии а, видит входной символ Ь и переходит в состояние с с самочувствием х, соответствующая вероятность изменяется на /[а,Ь, с](х, Р[а,Ь,с]). В частности, под это определение подходят обычные функции пересчета вероятностей с весами. В этом случае все ] [а, Ь, с] — линейные либо пороговые функции от самочувствия и предыдущей вероятности.
Рациональность поведения автомата определена у Рассела [6] следующим образом относительно целей агента.
"Rationality is defined relative to the agent's ultimate goals. These are expressed mathematically by a performance measure U on sequences of environment states. Let V(f, E, U) denote the expected value according to U obtained by an agent function f in environment class E, where (for now) we will assume a probability distribution over elements of E. Then a perfectly rational agent is defined by an agent function fopt such that /opt = argmax^V(f,E, U). This is just a fancy way of saying that the best agent does the best it can. The point is that perfectly rational behavior is a well-defined function of the task environment fixed by E and U."
Но мы не можем требовать от наших агентов, чтобы они вели себя наилучшим образом. Достаточно, чтобы они в большинстве случаев выдавали удовлетворительное решение и предупреждали сбои системы. Таким образом, адаптивное поведение системы агентов формализуется как ([12]) такое, при котором за заданное время Т достигается заданная относительная производительность 0 < е < 1 с вероятностью, большей 0.5. В принципе после этого можно было бы «оптимизировать» автоматы, сделав их детерминированным. Но при этом полностью теряется адаптивность к изменениям характеристик среды.
3. Система автоматов как рациональных агентов
На самом деле автоматы начинают вести себя как рациональные агенты лишь внутри системы. Поэтому теперь необходимо уточнить модель системы вероятностных автоматов и их взаимодействий.
Среда S — компактное подмножество конечномерного евклидового пространства. Состояние среды — точка из S. Автоматы не могут прямо обращаться к среде. Они пользуются аналоговым входами.
Аналоговый датчик Е — пара из алфавита Ае и семейства La(a € Ае) компактных подмножеств S, такого, что (JLa = S, и пересечения различных La содержат лишь конечное число точек, не принадлежащих внутренности хотя бы одного из членов пересечения. Это формализует неизбежную неточность измерений (области, в которых аналоговый датчик выдает некоторое значение, пересекаются; на их пересечении действие датчика не детерминировано). Датчик Е выдает а, если х € La. Моделирование ошибок измерений вероятностями либо случайными значениями слишком грубо для наших целей
Рис. 2. Управление сверхбольшой базой данных
(или, наоборот, слишком сомнительно, если принимаются 'очевидные и не требующие обоснований' предположения типа, что распределение ошибок нормально). Наше понятие может рассматриваться как обобщение ступенчатых функций на случай многомерных пространств, с учетом результатов конструктивной математики.
Аналоговый вход с системой датчиков Е^, г € [1 : п] — детерминированный автомат без памяти, входным алфавитом которого является произведение алфавитов А^ (устройство кодирования).
Структура рациональных агентов — ориентированный граф с четырьмя типами вершин: входы, перекодировки, агенты, выходы. Каждой входной вершине сопоставляется аналоговый вход; каждому выходу — устройство выдачи сигналов во внешнюю среду (их характер здесь не уточняется); агенту сопоставляется вероятностный автомат, перекодировке — детерминированный автомат без памяти. Совокупность начальных вершин совпадает с совокупностью входов, конечных — с выходами. Из перекодировок и входов выходит по одной дуге. Агенты имеют одну входную дугу, начинающуюся в перекодировке, и сколько угодно выходных, кончающихся в выходах либо
Рис. 3. Работа системы управления
перекодировках. Таким образом, различные агенты могут взаимодействовать лишь через перекодировки. Это обеспечивает дополнительные возможности инкапсуляции и информационной безопасности. Допускаются каскады перекодировок, поскольку часто они экономнее одной большой, функционально эквивалентной им.
Система рациональных агентов — структура рациональных агентов вместе с функцией переходов состояний среды: Ь : Б хЖ ^ Б,где N — дискретное множество моментов времени, функцией самочувствия каждого агента и функцией оценки С(х,р, £), где х — состояние среды, р — результат на выходе и Ь — момент времени. Таким образом, мера по Расселу заменяется оценкой, оптимальность — удовлетворительностью.
Пробную реализацию систем вероятностных автоматов с проверкой адаптивности поведения на базе классических примеров Цетлина сделал М. Хаткевич [13].
На базе предложенной модели среды предложена модель системы
управления, представленная на рис. 2.
иМЬ диаграмма работы системы представлена на рис. 3. По спецификациям Е. В. Кочурова М. М. Хаткевичем написана программа имитационного моделирования адаптивного управления ресурсами распределенной базы данных при помощи рациональных агентов. Результаты моделирования представлены на рис. 4.
На этом рисунке видно, что на шаге 19 часть пользователей была подключена к другому центру обработки данных.
4. Выводы
Основной результат статьи: рациональные агенты в случае, если нам достаточно адекватного поведения и мы не стремимся к оптимальности, могут представляться адаптивными вероятностными автоматами.
Показано, что эта концепция применима, в частности, к базам данных. Но управление запросами и ресурсами в базах данных не единственная область применимости данной концепции. В работе [14] первый вариант данной модели был применен в медицине.
Авторы благодарны Е. В. Кочурову за обсуждения, за спецификацию программы моделирования и за любезное разрешение воспользоваться разработанным им пакетом моделирования.
Работа докладывалась на Национальном суперкомпьютерном форуме и на конференции «Технические науки: теория, методология и практика», г. Москва.
Список литературы
[1] С. Рассел, П. Норвиг, Искусственный интеллект. Современный подход, Издательский дом «Вильямс», М., 2006, с. 75-105 f 99.
[2] M. Wooldridge, "Intelligent Agents: The Key Concepts", MASA, LNAI, vol. 2322, ed. V. Marik, O. Stepankova, H. Krautwurmova, M. Luck, Springer, 2001, pp. 3-43 f 99.
[3] B. Burmeister, S. Bussmann, A. Haddadi, K. Sundermeyer, "Agent-Oriented Techniques for Traffic and Manufacturing Applications: Progress Report", Agent Technology — Foundations, Applications, and Markets, ed. N. R. Jennings, M. J. Wooldridge, Springer-Verlag, Berlin, 1998, pp. 161-174 f 99.
[4] J. M. Bradshaw. Software Agents, AAAI/MITPress, Cambridge, MA, 1997 f 99.
[5] R. Barnard, T. Simon. "Three Paradigms of Rational Agency", Journal of Models and Modeling, 1:2 (2003), pp. 31-54 f 99, 100.
[6] S. Russell. Rationality and Intelligence: A Brief Update, 2014, URL https://www.cs.berkeley.edu/~russell/papers/ptai13-intelligence.pdf f 99, 100, 101.
[7] В. И. Варшавский. Коллективное поведение автоматов, Наука, М., 1973, 407 с. f 99.
[8] В. И. Варшавский, Д. А. Поспелов. Оркестр играет без дирижёра, Наука. Главная редакция физико-математической литературы, М., 1984, 136 с. f 99.
[9] М. Л. Цетлин. Исследование по теории автоматов и моделированию биологических систем, Наука, М., 1979, 316 с. f 99.
[10] A. Alexandrov, R. Bergmann, S. Ewen, J.-C. Freytag, F. Hueske, A. Heise, O. Kao, M. Leich, U. Leser, V. Markl, F. Naumann, M. Peters, A. Rheinländer, M. J. Sax, S. Schelter, M. Höger, K. Tzoumas, D. Warneke. "The Stratosphere o platform for big data analytics", The VLDB Journal, 23:4 (2014), pp. 939-964 f 100.
[11] K. A. Kumar, A. Quamar, A. Deshpande, S. Khuller. "SWORD: workloadaware data placement and replica selection for cloud data management systems", The VLDB Journal, 23:6 (2014), pp. 845-870 f 100.
[12] Н. Н. Непейвода, М. М. Хаткевич, А. А. Цветков, «Рациональные агенты для случая управления сверхбольшими базами данных как взаимодействующие вероятностные автоматы», Вторая международная научно-практическая конференция «Технические науки: теория, методология и практика», Сборник научных докладов (г. Москва, 28 ноября 2014 г.), АНО Издательский Дом «Научное обозрение», М., 2014, с. 34-41 t 102.
[13] М. М. Хаткевич, «Имитационное моделирование взаимодействующих автоматов», Наукоёмкие Информационные Технологии, УГП, Переславль-Залесский, 2014, с. 44-49 t 104.
[14] N. N. Nepejvoda, A. Tsvetkov, M. Frolova, "Knowledge Structurization by Multiagent Approach in a Non-formalizable Subject Area of Health and Medicine", Proceedings of the International Conference of Control, Dynamic Systems, and Robotics (Ottawa, Ontario, Canada, May 15-16, 2014), Ottawa, 2014 t 105.
Рекомендовал к публикации д.ф.-м.н. С. В. Знаменский
Об авторах:
Николай Николаевич Непейвода
Главный научный сотрудник ИПС РАН, научный руководитель работ. Более 200 публикаций по конструктивной мате-
матике, логике, информатике
e-mail:
nepejvodann@gmail.com
Марк Маркович Хаткевич
Аспирант ИПС РАН, программная реализация. Научные иетересы: автоматное программирование, 2 публикации
e-mail:
xatmm@mail.ru
Главный специалист ИПС РАН, концепция и формализация для БД. Научные интересы: искусственный интеллект, адаптивное программирование, функциональное программирование, построение больших информационных систем
e-mail:
Алексей Анатольевич Цветков
sio@interin.com
Пример ссылки на эту публикацию:
Н. Н. Непейвода, М. М. Хаткевич, А. А. Цветков. «Рациональные агенты для случая управления сверхбольшими базами данных как взаимодействующие вероятностные автоматы», Программные системы: теория и приложения, 2015, 6:1(24), с. 99-108.
ир|_ http://psta.psn.ras .ru/read/psta2015_1_99- 108.pdf
Nikolai Nepejvoda, Mark Khatkevich, Alexei Tsvetkov. Rational agents as probabilistic automata.
Abstract. A notion of intellectual or rational agent is poorly defined. Its precise specialization is defined here to deal with very large data bases (VLDB). A rational agent is considered as a probabilistic automate inside of system of such automates. The notion of feeling is introduced to affect probabilities and to grant adaptive behavior. Centralized and collectivist control methods are considered. (In Russian).
Key Words and Phrases: VLDB, database, probabilistic automata, rational agents, multi-agent environment.
Sample citation of this publication
Nikolai Nepejvoda, Mark Khatkevich, Alexei Tsvetkov. "Rational agents as probabilistic automata", Program, systems: theory and applications, 2015, 6:1(24), pp. 99—108. (In Russian.)
URL http://psta.psiras.ru/read/psta2015_1_99-108.pdf
Supported by RAS (project 46P). © N. N. Nepejvoda, M. M. Khatkevich, A. A. Tsvetkov, 2015 © Ailamazyan Program System Institute of RAS, 2015 © Program systems: Theory and Applications, 2015
