12Известия Кабардино-Балкарского научного центра РАН № 2 (46) 2012
-- МАТЕМАТИКА. МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ =
УДК 004.853
МАТЕМАТИЧЕСКАЯ МОДЕЛЬ МЕТОДА ЭВОЛЮЦИОННОГО СОГЛАСОВАНИЯ РЕШЕНИЙ
В.И. ПРОТАСОВ
ФГБОУ ВПО «Московский государственный горный университет» 119991, г. Москва, Ленинский проспект, 6.
E-mail: [email protected]
В работе предлагается теоретическая модель метода эволюционного согласования решений, обсуждаются вопросы применения метода в краудсорсинге и в системах искусственного интеллекта.
Ключевые слова: принятие решений, краудсорсинг, теорема Кондорсе, искусственный интеллект.
Постановка задачи. Эффекты Кондорсе В настоящее время наблюдается экспоненциальный рост числа научных публикаций, посвященных коллективному интеллекту. С использованием социального WEB-2 и социального компьютинга созданы и используются новые сетевые инструменты, такие, например, как:
• краудсорсинг (англ. crowdsourcing, crowd - «толпа» и sourcing - «использование ресурсов») - применение данного метода подразумевает делегирование бизнес-задачи фирмы-организатора удаленному сетевому сообществу [1];
• рынки предсказаний (prediction markets) - «новый способ предвосхищать события и формировать динамичные опережающие модели, опирающийся на "коллективный разум" сетевой толпы» [2]. На таких рынках товаром является прогноз ожидаемых событий, за виртуальные деньги продаются и покупаются такие прогнозы.
В качестве теоретической базы этих инструментов используется теорема Кондорсе о присяжных [3].
Одна из формулировок теоремы, широко используемая в ряде источников, выглядит следующим образом: «Пусть одно из двух решений, предлагаемых группой присяжных, правильное, и каждый участник в среднем чаще голосует за правильное решение. Утверждается, что вероятность вынесения правильного решения большинством голосов растёт с числом участников и стремится к 1».
На рис. 1 представлены результаты расчетов вероятности K 0 вынесения положительного заключения группы из M экспертов, если вероятность определения правильного решения у каждого эксперта равна G. Точками в виде квадратов показаны значения, полученные из компьютерного моделирования, когда у экспертов были разные значения вероятностей правильного решения Gt, а в качестве величины абсциссы бралось среднее значение распределения вероятностей. Из рассмотрения этого рисунка видно, что группа из 5001 экспертов с G=0.505 достигает результата K0 = 0.8, как и одиночный эксперт с G=0.8, иными словами, мы наблюдаем эффект «усиления интеллекта» в группе. При G>0.5 мы наблюдаем эффект Кондорсе - стремление K0 к 1 при увеличении числа экспертов. Для G<0.5 мы наблюдаем обратный эффект - уменьшение K0 до 0. Для практического применения краудсорсинга, основанного на эффекте Кондорсе, следовательно, нужно либо проводить предварительное тестирование большого количества экспертов (число
экспертов измеряется тысячами), либо найти метод, позволяющий преодолеть «барьер Кондорсе», что и предлагается в настоящей работе.
К>
а
Рис. 1. Зависимость результатов работы группы из М экспертов
от их числа и вероятности О выдачи положительного заключения одним экспертом (номер на кривой соответствует числу экспертов)
Для О=еот1 формула Кондорсе имеет вид:
М-1
К =П(М )°М- (1 - О)'. (1)
1=0
Метод эволюционного согласования решений
В основу информационной технологии сетевого метода эволюционного согласования решений (МЭС) положено применение генетического алгоритма как координатора совместной работы интеллектуальных агентов. В силу универсальности заложенных в этот метод принципов он может применяться различными интеллектуальными агентами -людьми, компьютерными программами и их симбиозами при решении широкого круга задач.
Определим этот метод следующим образом [4]. МЭС - способ организации коллективной работы интеллектуальных агентов над проектом с заранее заданной целью по правилам, основанным на принципах генетического алгоритма (ГА). Правила по организации работы интеллектуальных агентов и их взаимодействия выглядят следующим образом:
1) сформулированы цели проекта;
2) определяется состав агентов и способ их взаимодействия;
3) задаётся каркас проекта;
4) находятся первые варианты решений, возможно, неполные;
5) проводится обмен вариантами решений;
6) проверяются критерии окончания работы;
7) из полученных решений составляются новые решения (скрещивание);
8) в новые решения вносятся изменения (мутация);
9) осуществляется переход к п. 5.
В соответствии с правилами взаимодействия разрабатываются инструкции для коллективной работы с учётом особенностей конкретной задачи, коммуникационной среды, способностей и квалификации интеллектуальных агентов.
Теоретическое обоснование сетевого метода
эволюционного согласования решений
Математическая модель МЭС разработана и исследована для простейшего случая принятия консолидированного решения группой экспертов. Экспертам представлен список конкретных вопросов, ответами на каждый из которых могут быть:
1. Правильный ответ.
2. Отсутствие ответа - имеющиеся у эксперта знания по этому вопросу не позволяют сформулировать правильный ответ.
Ответ записывается экспертом в соответствующую ячейку (слот решения) своего варианта или она остается незаполненной (пример - совместное заполнение тестов 10 группой). Считается, что если за определенное время эксперт на большой выборке тестов одинаковой сложности из N вопросов в среднем заполняет правильными ответами Ы0 ячеек, то его способность как «генератора идей» равна О = ^/дг.
Эксперт также выступает в качестве оценивателя чужих идей. Если у него нет ответов на какие-либо вопросы, а они к нему поступают на экспертизу, то он с вероятностью Е (способность эксперта как оценивателя) записывает чужой заполненный ответ в пустую ячейку своего варианта решения как правильный. Например, при тестировании на 10 эксперт может оценить правильность предложенного решения и заполнить пустую ячейку своего неполного варианта.
Для исследования более сложных случаев, когда эксперты могут характеризоваться разными значениями О, и Еи была создана компьютерная модель группы экспертов, работающих над единым списком вопросов.
Целью компьютерного моделирования являлось получение и исследование зависимости компетентности К группы из М экспертов с разными способностями О, и Е, для конкретного значения Ь после Т-го сеанса итеративного согласования решений. Компетентность К понимается как доля правильных ответов большинства экспертов группы от общего количества вопросов.
Обработка результатов статистически значимого количества экспериментов моделирования позволяет для заданных величин О,, Е, и Ь определить число итераций Тц, когда величина компетентности группы К превысит значение в (1 — Здесь £ - наперед
заданное малое число, а /0, - значение К при Т —■>
Вторым важным вопросом, кроме продолжительности работы МЭС, в проблеме оценки качества консолидированного решения является квалиметрия метода. Необходимо с достаточной точностью давать ответы на вопросы о полноте найденного решения и степени его достоверности. Для этого нужно было найти и исследовать математическую модель, описывающую величину математического ожидания результативности метода в зависимости от количества экспертов, числа итераций, компетентности экспертов как генераторов идей и как оценщиков слотов проекта.
Достаточно просто доказать, что величина К не зависит от способа обмена вариантами в группе экспертов, от величин Е, и определяется только начальным распределением
компетентностей С, и количеством экспертов М. Также можно доказать, что К-^ > £гтяд-, где Отах, - максимальная величина из всех О'. Величину Кн можно определить из выражения
м
К = 1 -П С1 - О,).
(1)
':=1
На рис. 2 представлены результаты сравнения МЭС и методов, основывающихся на применении теоремы Кондорсе. Видно, что применение МЭС значительно снижает затраты на получение полного решения и можно использовать экспертов со значениями компетентностей С<0.5, или, выражаясь образно, преодолеть барьер Кондорсе.
1 1 1
\ МЭС - [ р
% М1 1 1/ ото/- же -
% г % 1 А
V ка<1 щ / £
к.<1- П щ \ / 1
%
и '//у... щ
Рис.2. Графическое изображение областей полного решения для МЭС и методов, использующих теорему Кондорсе
Определим приращение заполнения слотов экспертом-оценивателем в итерации Т+1, исходя из заполнения слотов на итерации Т при Ь=1 и заданной вероятности Е. Введем величину отношения числа заполненных слотов экспертом на итерации Т к полному числу слотов N и обозначим ее Ж(Т). Начальное значение Ж(0)=0.
Рассмотрим схему появления приращения величины Ж(Т+1)-Ж(Т) в итерации Т+1 для г-го эксперта, предположив, что он оценивает слоты '-го эксперта. На рис. За) приведен этот случай. Черным цветом изображены заполненные слоты, белым - незаполненные.
Д\ и к- й -
Допустим, что на итерации Г 7-й эксперт имеет заполнение слотов >'к-,_/-й И^, а заполнение слотов при 7 —> ся составляет К]-,. Тогда приращение 14 перта при проверке им варианта у'-го эксперта составит величину
Кн - Щ _ г —н-'-ЖЕ
К '
. . у '-го экс-
(2)
и если мы рассматриваем случай Ь=1, то величина заполненности слотов для итерации Т+1 у 7-го эксперта составит И,т (Т + 1) = Ж- (Г) + Жили с учетом (2)
— (Т +1) = Жг (Т) + (1 -—)—Е . (3)
Рис. 3. Схема расчета приращения величины Ж у ¡-го эксперта
Как можно показать, в общем виде для 1 < Ь < М с достаточной для практических целей точностью можно использовать приближенное выражение
Ж(Т +1) = Ж(Т) + (1 - — )ЖЕЬ . (4)
Кн
Исходя из (4), найдем функцию Е^), аппроксимирующую зависимость относительной величины заполнения слотов от времени Ж(1) для Ь экспертов и для заданных значений О, М, Е и 8. Время работы группы будем считать как произведение числа итераций Ту, на время работы над одной итерацией £р (рис. 4).
1
м
к*
6
ш (1 /
О к 1 2 з 4 5 6 7; 8 т^
Рис. 4. Вспомогательный график зависимости —(() для расчета времени работы группы экспертов (Т - номер итерации, ^ - время)
Приращение А— для 1=0 рассчитаем из выражения (4):
МАТЕМАТИЧЕСКАЯ МОДЕЛЬ МЕТОДА ЭВОЛЮЦИОННОГО СОГЛАСОВАНИЯ РЕШЕНИИ G
DW(0) = (1--)GEL , поскольку W(0)=G.
Kh
Найдем аппроксимационную формулу F(t), обладающую следующими свойствами:
1. При t со F(t) Kh F(t) Kh dF 1 F
2. ^ = -(1 -F)FEL (5) dt tv Kh У >
(это выражение получено из (4) приравниванием производной в начале каждой итерации
Т отношению приращения функции на единичном интервале). В момент t=0
.
3. F(0)=G.
Интегрируя (5) и подставляя значения функции и ее производной в момент t=0, получаем
F =-KJKG-. (6)
1 + Kh G e-ELt/tv
G
С помощью этого выражения мы можем определить относительное число заполненных слотов у одного эксперта в зависимости от времени. Для того чтобы получить выражение для относительного числа заполненных слотов у группы экспертов в зависимости от времени K(t) и параметров задачи, можно воспользоваться результатами компьютерного моделирования в [4], где было показано, что эта зависимость с достаточной для наших целей точностью может быть описана гипертангенсом. Параметры этой функции можно найти исходя из того, что К(0)=Ко, при t —> сл К(t) = Kf-., а точка пересечения кривых F(t) и K(t) лежит на ординате K=0.5:
K =--Kh-, (7)
Kh K 0 -EPLt / tV
1 + —f-e
KT-H0
K 0
ln-
п К0{2К\-1
где, исходя из вышесказанного, г =-—
-;
сСгх^-х.
Таким образом, получены все необходимые компоненты математической модели, позволяющие делать прогноз о ходе процесса коллективного решения задачи, поставленной перед группой экспертов, а именно: исходя из величин G, Е, М, Ь, N и е определять потенциал группы, полноту решения задачи и время, необходимое для ее решения.
Расчетные исследования зависимости числа итераций Т], от параметров задачи с использованием математической и компьютерной моделей показали, что для получения полного решения в широком диапазоне изменения переменных модели, ожидаемых на практике, достаточно небольшого количества итераций.
Анализ математической модели показывает, что полного решения задачи в случае М экспертов можно добиться всего за одну итерацию, если для заданных величин G и Е выбрать подходящие значения числа проверяемых вариантов Ь.
С помощью компьютерной модели были проделаны соответствующие расчеты и при Л: = 0 были построены номограммы для подбора значений G, ЕL (произведение Е на L) и М для одной итерации (Т=1).
Результаты представлены на рис. 5. По оси ординат откладываются значения десятичных логарифмов величины М, по оси абсцисс - величина О.
Рис. 5. Номограммы для подбора величин M и L в зависимости от G и E для получения полного решения при T=1
Для сравнения на этом рисунке приведена также кривая, полученная из выражения (1) для К0 при Г 0. Область выше кривой соответствует получению полного решения. Видно, что в соответствии с теоремой Кондорсе его можно получить только при 0>0.5.
Остальные кривые получены после проведения одной итерации согласования экспертов для разных значений произведения EL. Видно, что уже для L=10 и E=0.1 при М=10001 (lgM=4.0) можно взять экспертов с G=0.31 или, другими словами, преодолеть барьер в G= 0.5, являющийся непреодолимым для всех методов, основывающихся на теореме Кон-дорсе о присяжных.
Полученные результаты имеют принципиальное значение для применения МЭС в случае низкой квалификации экспертов при использовании краудсорсинга и позволяют избежать появления нулевого результата работы экспертов. Нужно провести всего одну дополнительную итерацию согласования решений, направляя каждому эксперту L вариантов, полученных другими экспертами на этапе генерации идей. Третьим этапом будет нахождение слотов, получивших M+1)/2 голосов. Таким образом, в системе интеллектуальных агентов при их совместной работе с использованием МЭС от этапа к этапу наблюдается явление концентрации знаний.
Принципиально важными полученные результаты являются и для конструирования искусственного интеллекта из большого количества однотипных модулей, например, ансамблей нейронов или простейших компьютеров, образующих однородную среду и обладающих «низким» интеллектом. После заполнения на первом этапе малого числа слотов какого-либо проекта каждым из интеллектуальных агентов они по заранее заданному ре-
гулярному графу связей будут получать чужие решения и в меру своей, так же слабой компетентности по оценке чужих решений, будут наполнять свои слоты, преодолевая барьер в 0.5.
Далее, на третьем этапе сработает эффект Кондорсе, и при голосовании по каждому слоту будет получено полное решение. Для выхода на полное решение необходимым и достаточным будет подбор соответствующих значений М и Ь для данных О и Е, характеризующих соответствующие компетентности интеллектуальных агентов.
Так, например, можно представить себе в общих чертах решение сложной задачи распознавания группой интеллектуальных агентов ряда объектов на сложном фоне по анализу отдельных частей. Считается, что образы объектов и их характеристики уже имеются в общей памяти знаний группы.
На первом этапе каждый интеллектуальный агент при сканировании рисунка вычленяет и запоминает отдельные примитивы (например, углы, отрезки прямых и кривых линий с прилегающими к ним углами и т.п.), причем в силу нехватки времени и случайности процесса сканирования он запоминает только малую часть от всей информации.
Далее, на втором этапе по регулярному графу связей каждый агент получает и отфильтровывает чужие данные в соответствии с имеющейся у него нечеткой информацией о других, не зафиксированных им точных значениях характеристик примитивов, объединяет их в более крупные классы, упорядочивает их списки.
Далее, на третьем этапе происходят анализ и агрегирование образов по большинству полученных группой одинаковых решений и обращение к памяти знаний с целью распознавания известных объектов и запоминания нераспознанных.
В 2001-2009 гг. в серии экспериментов было произведено непосредственное измерение коэффициента интеллекта МЭС с использованием метода Айзенка и вербальных тестов. В табл. 1 приведены сводные результаты измерений 10, проведенные в разное время с разными группами студентов.
Сходимость результатов говорит о высокой эффективности метода. По полученным результатам непосредственного измерения 10 группы экспертов можно сделать вывод, что МЭС обладает «интеллектом», превышающим как средний уровень, так и уровень наиболее интеллектуального эксперта.
Таблица 1.
Сравнительная таблица измерений 10 МЭС в экспериментах 2001-2009 гг.
Дата 28.08.2001 28.08.2001 20.03.2002 18.02.2003 25.12.2009
Число студ. 4 4 6 4 10
IQ min 120 100 95 105 115
IQ средн. 143 112 118 127 130
IQ max 170 120 140 155 140
IQ мэс 215 180 195 185 200
^мэс-IQcp. 72 68 77 58 70
Заключение
С использованием математической и компьютерной модели были решены вопросы оптимизации и квалиметрии МЭС, и на этой базе создан комплекс сетевых программ.
В течение ряда лет осуществлялись испытания метода на разных задачах, в том числе и на таких сложных, как задача коммивояжера, многокритериальная задача о назначениях, задача о формировании инвестиционного портфеля, шахматные задачи, перевод текста с английского языка на русский группой студентов, перевод текста группой автоматических переводчиков, составление фоторобота группой свидетелей, тестирование студентов. Во всех случаях метод демонстрировал высокую результативность [4-8].
В качестве интеллектуальных агентов при этом выступали как люди, так и компьютерные программы, а в некоторых случаях - и те и другие. Также было показано, что если известны параметры креативных способностей экспертов к генерации и оценке вариантов решений, то можно прогнозировать время и полноту решения задачи консилиумом экспертов.
Следует отметить, что полученные в результате данной работы эффект усиления интеллекта и явление концентрации знаний, по мнению автора, могут существенно расширить сферу применения краудсорсинга, контролировать его параметры, получить квали-метрическое обеспечение и совершенствовать его технологию. Полученный эффект диффузии знаний позволяет применять метод и для целей образования и самообразования в группах. Достаточно полезным и интересным представляется также развитие идей и методов, описанных в этой работе, для конструирования искусственного интеллекта.
ЛИТЕРАТУРА
1. Карелов С. http://www.old.itoday.ru/blog/karelov/313.html
2. Карелов С. http://www.itoday.ru/blog/karelov/322.html?commentId=2104
3. Marquis de Condorcet. «Essai sur l'application de l'analyse â la probabilité des décisions rendues â la pluralité des voix». Imprimerie Royale, Paris.
4. Протасов В.И. Применение сетевого метода эволюционного согласования решений в управлении проектами // Управление проектами и программами. М.: Изд. Grebennikov, 2011. Т. 1 (25). С. 22-35.
5. Протасов В.И. Генерация новых знаний сетевым человеко-машинным интеллектом. Постановка проблемы. Нейрокомпьютеры: разработка, применение. М., 2001. № 7-8. С. 94-103.
6. Карелин В.П., Протасов В.И. Поиск решения сложных комбинаторных и многокритериальных задач выбора методом генетического консилиума // Известия ТРТУ, Таганрог, 2004. № 3 (38). С. 49 - 54.
7. Протасов В.И., Дружинин А.А., Михайлов Л.В. Методика восстановления субъективного портрета коллективом свидетелей с использованием 3Б-морфинга // Программные продукты и системы. Тверь: Изд. МНИИПУ, 2007. № 1 (77). С. 21-24.
8. Протасов В.И. Конструирование метасистемных переходов. М.: Изд. Института физико-технической информатики, 2009. 186 с.
MATHEMATICAL MODEL OF THE METHOD OF THE EVOLUTIONARY COORDINATION OF DECISIONS
V.I. PROTASOV
Moscow Sate Mining University 119991, Moscow, 6, Lenin avenue
E-mail: [email protected]
In this paper the author proposes a theoretical model of the evolutionary agreed solutions method, discusses the application of the method of crowdsourcing and artificial intellect systems.
Key words: decision-making, crowdsourcing, Condorcet's theorem, artificial intellect.
Работа поступила 10. 02. 2012 г.
