Оптимизация метода эволюционного согласования по величине вероятности ошибочного решения Текст научной статьи по специальности «Математика»

Оптимизация метода эволюционного согласования по величине вероятности ошибочного решения

Р.О. Мирахмедов, З.Е. Потапова

Аннотация—Обсуждена проблема получения доказательно правильных решений, поставленных задач перед экспертами. Представлена методика решения локальных задач коллективом экспертов с заранее заданной малой величиной вероятности ошибки. Для построения теории систем эволюционного согласования были использованы: теория метасистемных переходов Турчина; теорема Кондорсе о присяжных; модель Раша, учитывающая связь вероятности правильного решения с подготовленностью актора и трудностью задачи; троичная логика, позволяющая экспертам принимать в трудных для них случаях ответ «не знаю»; многостадийность работы акторов, выступающих в ролях генераторов решений и экспертов-оценивателей чужих решений. Координация их работы осуществляется с помощью генетического алгоритма. Проведено теоретическое исследование разновидностей метода эволюционного согласования решений. В работе приведены и обоснованы математические модели разновидностей метода эволюционного согласования решений, доказана теорема о стремлении к нулю вероятности ошибочного решения при выполнении ряда условий. Приведены результаты компьютерного моделирования процесса принятия решений с использованием метода Монте-Карло. Получено совпадение результатов компьютерного моделирования с результатами теоретической модели в пределах статистических погрешностей. Сделан вывод о том, что все заявленные свойства систем эволюционного согласования решений по возможности давать либо правильный ответ с заданной величиной вероятности ошибочного решения, либо ответ «не знаю», могут быть выполнены при выборе разновидности метода, числа акторов и ранга в соответствии с локальной задачей.

Ключевые слова— эволюционное согласование решений, актор, группа акторов, система коллективного интеллекта, вероятность ошибки, модель Раша, теорема Кондорсе, правила взаимодействия

I. Введение

Существует проблема получения доказательно правильных решений задач, поставленных перед экспертами [1]. Особенно эта проблема обострилась с появлением больших языковых моделей в разных областях применения. Ошибки при решении трудных задач нередко присущи людям и их комитетам. Мы привыкли к тому, что нельзя дать значимой гарантии правильности решения задачи [2]. Иное дело, когда задачу дают решать носителям искусственного интеллекта (ИИ) или их комитетам, и от них почему-то хотят получить непременно гарантированно правильное

решение [3]. В рамках решения центральной проблемы ИИ [1] существуют попытки построить так называемый объяснимый интеллект, который позволяет понять, почему принято то или иное решение [4]. Ведь эксперты и их комитеты научились объяснять лицам, принимающим решения (ЛПР), почему они пришли к предлагаемому им решению. По сути дела, проблема получения гарантированно правильного решения трудной задачи заменяется переложением ответственности за последствия ошибочного решения с экспертов на ЛПР.

В [5,6] предложен диаметрально противоположный подход к получению гарантированно правильных коллективных решений. Приведенная теория систем эволюционного согласования решений действительно позволяет в первом приближении для некоторого класса локальных задач решить обозначенную выше проблему получения правильных решений с, как угодно, малой величиной вероятности ошибки. Особенностью нового подхода является то, что при трудности поставленной задачи, лежащей за пределами компетентности носителей интеллекта, система не позволяет им дать какой-либо консолидированный ответ [7]. Этот вариант равносилен ответу «не знаю, как решить задачу». То есть, по сути дела, мы имеем ситуацию, что при правильной организации работы коллектива дается либо правильный ответ с малой вероятностью ошибки, либо ответ «не знаю», и задачу нужно передать в этом случае более компетентному коллективу. В существующих же системах, в случаях, когда решение трудной задачи находится вблизи границы раздела двух взаимоисключающих решений, дается либо правильный ответ, либо ошибочный, причем неизвестно, правильный он или ошибочный [8] (см. рис.1).

В настоящей работе предпринята попытка исследования различных схем организации метода эволюционного согласования решений (МЭС), их разновидностей с целью их оптимизации по величине вероятности ошибочного решения в зависимости от параметров акторов, их числа и числа их групп.

Новый подход построен на путях комплексного применения ряда ранее существующих теорий и идей. Для построения теории систем эволюционного согласования были использованы:

- теория метасистемных переходов Турчина с его правилами взаимодействия, синергетически переводящими систему на новый уровень [9];

- организация многостадийной работы акторов, когда

они выступают в ролях генераторов частичных решении и экспертов-оценивателей чужих решений, причем координатором их работы выступают правила взаимодействия, выведенные из генетических алгоритмов [10];

- теорема Кондорсе о присяжных, математический аппарат которой позволяет рассчитать вероятность QR правильного решения задачи группой акторов на стадии генерации решений в зависимости от средней вероятности Сй правильного решения актора и числа акторов М [11] :

М-1

QR = £¿=0 (1 - Сд)';

- модель Раша, учитывающая связь вероятности Сй правильного решения с подготовленностью актора вск и трудностью задачи в [12]:

- троичная логика, когда экспертам разрешается принимать в трудных для них случаях ответ «не знаю».

Следует отметить, что в системах коллективного интеллекта существует два типа ответов «не знаю». Первый тип получается, если большинство акторов дает этот ответ. Во втором случае ответ «не знаю» получается, если акторы не могут получить большинство одинаковых решений. На рис.1 представлено сравнение МЭС с существующими методами принятия решений на примере распознавания двух классов объектов (+ и О). Их проекции на оси координат есть величины некоторых признаков этих объектов.

а) принятие решений б) принятие решений

существующими методами с использованием МЭС Рис. 1. Сравнение методов принятия решений с МЭС Обозначения. + - объект первого класса О — объект второго класса

- первый тип ответа «не знаю» V - второй тип ответов «не знаю» Существенным отличием МЭС от существующих методов является то, что линия, разграничивающая классы, заменяется узкой полосой, содержащей ответы «не знаю» второго типа (V). При этом трудные случаи распознавания, примыкающие к границе и разделяющие классы, зачастую распознающиеся неправильно, оказываются в этой полосе и исключаются из числа ошибок. Этот эффект и приводит к существенному уменьшению их числа.

Для применения МЭС необходимо обучать акторов давать ответ «не знаю» в трудных для них случаях. При

использовании в качестве акторов людей обучение производится на тестах с известными ответами. Использование существующих нейронных сетей в МЭС не приводит к уменьшению ошибок. При обучении с подкреплением нейронных сетей требуется обучать их не только на распознавание классов, но и на способность давать ответ «не знаю» в трудных случаях.

В [6,12] приводится описание двух разновидностей метода эволюционного согласования решений (МЭС). Стадия генерация решений совпадает для этих разновидностей.

«В первой разновидности метода на стадиях согласования решений каждый актор получает несколько чужих вариантов и в соответствии со своими способностями по оцениванию решений выбирает правильные на его взгляд решения и заполняет ими незаполненные на предыдущей стадии части решений (слоты), либо вновь оставляет их незаполненными.

Процесс заполнения слотов продолжается до тех пор, пока больше половины акторов по каждому слоту не получат одинаковые решения, или число итераций достигнет заранее заданного числа. В зависимости от трудности задачи и квалификации акторов, следовательно, группой может быть получен либо правильный ответ, либо ответ «не знаю», либо ошибочный ответ.

Во второй разновидности метода после окончания первой стадии составляется список всех сгенерированных акторами вариантов заполнения слотов и на второй стадии дается на экспертизу акторам, давшим ответ «не знаю» на первой стадии. Акторы, исходя из представленных вариантов и своих экспертных способностей, выбирают один из представленных вариантов заполнения слота и заполняют им слот, не заполненный ими на первой стадии, либо вновь дают ответ «не знаю». На третьей стадии (или третьем такте) работы, как и в первой разновидности метода, подводятся итоги групповой работы» [13].

Первая разновидность МЭС используется при работе экспертов-людей при поэтапном решении некоторой локальной задачи, например, составлении фоторобота коллективом свидетелей и подробно описана в [13-15].

Вторая разновидность МЭС применяется при сетевой организации коллективной работы, когда за ограниченное время нужно решить какую-либо локальную задачу коллективом нейронных сетей, либо, если есть эксперты с квалификацией, соответствующей или превышающей трудность задачи и им достаточно провести всего одну итерацию согласования.

Ясно, что из-за того, что проводится несколько итераций согласования, построение математической модели первой разновидности МЭС намного сложнее, чем у второй. И поэтому сравнения разновидностей МЭС по результатам их работы, проводились с применением метода Монте-Карло, используемого для статистической обработки результатов, полученных в компьютерных моделях различных разновидностей МЭС.

II. Математическая модель второй разновидности МЭС

Для составления математической модели второй разновидности МЭС, с помощью которой можно рассчитать величины вероятности правильного решения группового актора QR, вероятность ошибки QN и вероятность ответа «не знаю» Qv в зависимости от трудности задания в, числа акторов М, и средних величин подготовленностей вся, вС5, вЕК и вЕ5, воспользуемся моделью Раша [12] и ее расширением в [6,13]:

1 1 = 1+еР-еси , = 1+ер-всз ,

11 = 1+ер-вС5 - 1+еР-еск , (1)

Су = 1 —

Р = 1 р = 1

~ ^еР-еЕ^ - 1+еР-вЕЗ, 11 = 1+еР-вЕЗ - 1+еР-вЕЯ , (2)

где Сц - вероятность правильного ответа на стадии генерации, вск - соответствующая подготовленность, С5

- вероятность того, что ответ состоялся на стадии генерации, вС5 - соответствующая подготовленность, Ек

- вероятность правильной экспертизы, вЕК -соответствующая подготовленность, Е3 - вероятность того, что экспертиза будет сделана, вЕ5 -соответствующая подготовленность, См - вероятность ошибочного ответа одного актора на стадии генерации, Су - вероятность ответа «не знаю» у одного актора на стадии генерации.

Исходя из найденных величин средних вероятностей для отдельных акторов, можно получить выражения для вероятностей правильных и ошибочных решений Рк и у отдельных акторов после третьего такта совместной работы соответственно:

Рк = Сх+ЕхСу (1 — (1 — Ск)м-1), (3)

Рм = См+ЕмСу (1 — (1 — См Г-1).

Выражения для искомых величин QR и QN получим, подставляя Рк и Ры в формулу Кондорсе вида:

М-1

QR = ^СьРг1 (1 — Ря У,

М-1

QN = СмРр? 1(1 — PNУ , Qv = 1— QR — QN ■

На рис. 2. приведен график зависимостей искомых функций от входных параметров для М=11, вск=0, вез =0.6, вЕК=1, вЕ5=1.6.

-5 -4 -3 -2 -1 0 1 2 3 4 ß

Рис. 2. Зависимости вероятностей получения ответов «не знаю», правильных и ошибочных ответов идеальными акторами и их группой от трудности задачи после третьего такта работы

На этом рисунке представлена также зависимость вероятности Qmifi) правильного ответа группы акторов, полученная после первого такта работы. Из рассмотрения рис.2. видно, что, во-первых, вероятность Qr получения правильного решения группой акторов существенно больше QR1, полученной на первой стадии и, во-вторых, вероятность QN ошибочного решения группы акторов существенно ниже, чем на первом такте работы.

Анализ полученной математической модели метода эволюционного согласования решений показывает, что при его использовании происходит существенное увеличение вероятности правильного решения для простых и средних по трудности задач и значительное уменьшение вероятности ошибочных решений для задач произвольной трудности.

III. ТЕОРЕМА О СТРЕМЛЕНИИ К НУЛЮ ВЕРОЯТНОСТИ ОШИБОЧНОГО РЕШЕНИЯ И МАТЕМАТИЧЕСКАЯ МОДЕЛЬ АКТОРА ВТОРОГО РАНГА

Теорема

Если выполняются условия - актор второго ранга состоит из N групп акторов первого ранга, состоящих из М независимых акторов каждый,

- для организации коллективной работы используется метод эволюционного согласования решений,

- вероятность генерации правильного решения

Gr > 0,

- задача может иметь одно правильное решение и более одного варианта неправильного решения, и эти варианты равновероятны,

то при N=const и М ^ да или М =const и N ^ да вероятность ошибочного решения задачи произвольной трудности акторами с произвольными

подготовленностями QN ^ 0.

Доказательство. Поскольку задача допускает более одного равновероятного варианта неправильного решения, то при GR > 0 вероятность генерации какого-либо -го варианта неправильного решения GNi < 0.5. При М = const, согласно теореме Кондорсе, вероятность

QNi < ^N1 < 0.5 и, следовательно, при N ^ да вероятность неправильного решения групповым актором 2-го ранга QN ^ 0. Аналогично, при М ^ да и произвольном N для < 0.5 вероятность QNi следовательно,

QN ^ 0, что и требовалось доказать.

Математическая модель актора 2-го ранга. Для уменьшения времени получения решения используются системы с одной итерацией согласования, а для уменьшения вероятностей ошибок применяются иерархически построенные системы с использованием концепции актора 2-го рода. В этом случае можно для актора 2-го ранга построить достаточно простую математическую модель.

Допустим, у нас есть М1 групп, каждая из которых состоит их М2 акторов, работающих с использованием трехтактной схемы МЭС. Каждая группа работает отдельно от остальных.

На практике, например, при распознавании изображений в лучших архитектурах ансамблей нейронных сетей с глубоким обучением вероятность ошибочного распознавания составляет величину, большую, чем 0.01 и, несмотря на многочисленные попытки, прогресса в уменьшении ошибки распознавания не наблюдается.

В настоящей работе предпринята попытка преодолеть этот предел, и для этого была разработана математическая модель актора 2-го ранга. На рис. 3 представлена схема процесса принятия решений таким актором.

!} 1VII п 1-и о и иктор 2-го р . п I 1-й | [Г. |||ниши ;|К П1]| ; и груиншши п>[| > и | [г. |мткни | п[|

=-Ц||| ||||| ЩЦ

результаты работы Н Н Н / Н \

грушниих л нггорсюи ^^Л ^^Л I Щ

Ш I В \Щ)

результат р^Аиш |руц|юцог(1 актори 2-ги рани V

Рис.3. Схема процесса принятия решений групповым актором 2-ранга.

На стадии генерации решений акторы заполняют слоты в соответствии со своими подготовленностями. На рисунке черный прямоугольник - правильно заполненный слот, серый и темно-серый представляют собой один из двух ошибочных ответов, белый прямоугольник имитирует ответ «не знаю».

В соответствии со схемой работы на стадии согласования решений МЭС составляются списки возможных решений, представляющие собой объединение всех заполненных вариантов решений. Акторы, анализируя эти варианты, выбирают из них правильные на их взгляд и заполняют ими свои незаполненные на стадии генерации слоты.

Далее формируются результаты работы акторов 1-го ранга - в решении представляются одинаково заполненные слоты, если число их более половины от числа акторов, или ответ «не знаю», если ни один из типов слотов не набрал большинства голосов. И уже из этих результатов формируется результат работы актора

2-го ранга - если совпало три слота из трех, в противном случае слот заполняется ответом «не знаю».

Предположим, что исходные характеристики у всех акторов одинаковы, или, по крайней мере, равны их средним значениям. Пусть известны величины dGR, dGS, dER, вЕ5. Известным является число групп акторов Мг, число акторов в каждой группе М2 и трудность задачи р. Для актора 2-го ранга, обладающего такими характеристиками, и работающим по схеме МЭС, приведенной выше, необходимо найти зависимости вероятности правильного решения QR и ошибочного решения QN от этих параметров.

Qr = Qr (Мг, м2, р, eGR, eGS, eER, eES), Qn = Qn (M1, M2, p, eGR, eGS, eBR, eES).

Проведены следующие математические выкладки для построения математической модели.

1. Исходя из заданных значений р, dGR, 9gs , SER, вЕ5 с использованием модели Раша, определим вероятности GR, Gs, ER, Es. Запишем выражения для вероятностей правильного - PR, суммы правильного и ошибочного - Ps и ошибочного - PN решения одним актором после стадии согласования:

PR = Gr+ErGv(1 - (1 - Gr)м2-1), Ps = GS+ESGV(1 - (1 - Gs)M2-1l Pn = Ps - Pn ■

2. Поскольку каждый актор 1-го ранга после стадии согласования получает общее решение большинством голосов членов группы, то мы воспользуемся выражением, полученным из теоремы Кондорсе [11]:

М2 + 1

Qra = 1,1=0 Cm2Pr 2 (1 - PrУ '

М2+1

Qna = Cm2Pn 2 (1 - Pn)',

здесь Qra и Qna - вероятности соответственно правильного и ошибочного решения каждого из акторов 1-го ранга.

3. Поскольку решение актора 2-го ранга складывается из совпадающих решений акторов 1-го ранга, то вероятности соответственно правильного QR и ошибочного QN решения группового ранга равны произведениям соответствующих вероятностей групп акторов 1-го ранга (количество таких групп Mx):

Qr = Qra > Qn = Qna ■

Анализ полученной модели актора 2-го ранга показывает, что выбрав для задачи известной (или прогнозируемой) трудности в акторов с подходящими характеристиками dGR, dGS, SER, 0ES, можно, подбирая параметры схемы МЭС актора 2-го ранга М1 и М2 , гарантированно получать требуемые для данной задачи вероятности правильного QR и ошибочного QN решениия.

На рис. 4 приведены результаты расчетов искомых зависимостей для заданных значений параметров схемы МЭС.

Рис. 4. Результаты расчетов вероятностей правильных и ошибочных решений для актора 2-го ранга

Расчеты выполнены для

вся = 0, вС5=0.6, вЕК = 1, вЕ5 = 1.6, остальные параметры и результаты приведены в таблице 1.

На основании проделанных расчетов с использованием разработанной модели актора 2-го ранга сделан вывод о возможности преодоления предельного значения ошибки при распознавании изображений в 0.01. Подтверждена гипотеза о том, что в системах коллективного интеллекта возможно уменьшение вероятностей ошибочных решений до приемлемых, заранее заданных величин.

IV. РАЗНОВИДНОСТИ МЭС

Были исследованы разновидности МЭС, образованных из двух, описанных выше. Была предложена трех индексная нотация описания схемы МЭС. Во-первых, рассматривались и исследовались отличия в результатах применения МЭС для актора 1-го и 2-го рангов (первый индекс 1 или 2). Во-вторых, исследованию подлежали разновидности МЭС с одной итерацией согласования и более чем с одной (второй индекс соответственно тоже равен 1 или 2). В-третьих, при внимательном изучении первой и второй разновидности МЭС, предложенной в [16,17], возникает вопрос: почему на второй и последующих стадиях согласования не могут принимать участия акторы, заполнившие уже свои слоты на стадии генерации первоначальных решений и предыдущих стадиях согласования? Есть смысл исследовать разновидности МЭС, когда акторы на стадии согласования работают по-прежнему (третий индекс равен 1), или по схеме, когда всем разрешено работать на стадиях согласования (третий индекс равен 2).

Были исследованы возможные разновидности МЭС и найдены их сильные и слабые стороны. Поскольку задачи, решаемые с использованием МЭС, имеют

большое разнообразие, то знание свойств различных МЭС помогает выбрать для их решения адекватную разновидность МЭС. Например, разновидность МЭС, представленная нотацией 2-1-1 или 2-1-2, может быть использована, как это видно из [18], для организации комитета нейронных сетей с глубоким обучением при распознавании лиц или для постановки диагноза по анализу медицинских изображений. Для составления субъективного портрета (фоторобота) группой свидетелей лучше подойдет разновидность МЭС 1-1-1 или 1-1-2. Причем в этих двух случаях, как и для комитета нейронных сетей, без проведения дополнительных исследований трудно сказать, какая разновидность окажется эффективнее.

Для проведения данных исследований в полном объеме недостаточно базовой математической модели, приведенной в предыдущей главе, поскольку, во-первых, она не может претендовать на полное представление всех восьми разновидностей МЭС, подлежащих исследованию. Во-вторых, она имеет приближенный характер и в силу этого не может быть использована для адекватного сравнения всех возможных разновидностей. Математическая модель была использована в некоторых частных случаях для дополнительной проверки правильности написания кодов универсальной компьютерной модели, описывающей все возможные разновидности МЭС.

V. РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ С ИСПОЛЬЗОВАНИЕМ КОМПЬЮТЕРНЫХ МОДЕЛЕЙ И ИХ ОБСУЖДЕНИЕ

Компьютерная модель МЭС, как и в [19,20], разработана для моделирования процесса получения консолидированного решения группой виртуальных акторов с использованием метода Монте-Карло для большинства рассматриваемых здесь разновидностей МЭС. Исходя из известной трудности задачи ß и известных подготовленностей акторов dGR, 9CS, вЕК и вЕ5, согласно (1) и (2), определяются соответствующие вероятности GR, Gs, ER и Es. Для каждого актора на стадии геннерации рещений в одномерном массиве V в соответствии с вероятностями GR, Gs заносятся индексы V, где 1 соответствует правильному решению, 0 -ответу «не знаю». Поскольку в компьютерной модели предполагается, что правильный ответ может быть один, а ошибочных несколько, причем они равновероятны, то в соответствующую компоненту массива V заносится отрицательное число, модуль которого соответствует номеру типа ошибочного решения. Далее, в соответствии с разновидностью МЭС, производятся соответствующие действия над элементами массива. Согласно процедуре Монте-Карло, производятся многократные повторения имитации процедуры принятия решений акторами, и производится суммирование исходов решения в соответствии с индексами массива V. После проведения большого количества испытаний (порядка 106 в каждом случае) производится деление полученных сумм на число испытаний, и мы получаем искомые величины вероятностей QR, QN и Qv - соответственно правильных решений группы, ошибочных и ответов «не знаю».

Результаты расчетов_Таблица 1

Номер Mi М2 Q»(0) ß»

1 5 3 0.303 0.000095 -0.8

2 3 5 0.704 0.0015 0.7

3 1 15 0.986 0.018 1.9

один актор 1 1 Gr (0) = 0.5 GNmax = °.18

Примечание: ри - предельное значение трудности задачи, при котором QR = ,при —от < р < вероятность QR > Сн.

Исследования проводились для значений ошибаемости 8<1п2, числе акторов М=15 и числе типов ошибочных решений равным 5. Для сравнения приведены также результаты экспериментов при других количествах акторов. Величины трудности задания в изменялась от -7 до 7 логит с шагом 0.1 логит. С использованием компьютерной модели рассчитывались величины QR, QN и Qv для шести разновидностей МЭС, а именно: 1-1-1, 1-1-2, 1-2-1, 1-2-2 и 2-1-1, 2-1-2. Разновидности 2-2-1 и 2-2-2 не рассматривались, поскольку расчеты с использованием модели актора 2-го ранга для большого количества итераций, и применение на практике соответствующих разновидностей МЭС занимают неоправданно большое количество времени и в силу этого не пригодны для практического использования.

На рис. 5 приведены графики зависимостей Ск, Ек, Ем, QR, QN и Qv от в для разновидности МЭС 1-1-1 при д<Ы2.

Рис.5. Зависимости вероятностей правильных и ошибочных решений у одиночных акторов и актора 1-го ранга

Из сравнения кривых С11 и QR видно, что в диапазоне трудности задач -6.9 < р < 2.8 (при р = -6.9

GR = 0.999) наблюдается эффект «усиления интеллекта», поскольку вероятность принятия правильного решения у группы выше, чем у одиночки, а по всей шкале р наблюдается эффект существенного уменьшения вероятности ошибочного решения, поскольку QN << и QN << Еы. Шкалу трудности задач Р можно разбить на три области.

Первая - область гарантированного решения задачи -» < р < pR = Qmax), при Qmax = 0.999, pR =0.05.

Вторая область - область ошибок р1г < р < р]/, характеризуется величиной QNmax - максимальной величиной ошибки. В нашем случае Чцтах = 0.0162, при этом у одиночного актора СМтах = 0.1126, то есть мы наблюдаем уменьшение максимальной ошибки у группового актора по сравнению с одиночным в 7 раз.

Третья область - область ответа «не знаю» Pv < Р < », ^ = QmaX), при дтах = 0.999, ^=3.65.

Следует отметить, что область ошибок у одиночного актора начинается при Рц = -6.9 логит, а заканчивается при р]/ = 7.2 логит.

Для удобства сравнения результатов работы различных разновидностей МЭС наши расчётные

исследования представлены в виде диаграмм, приведенных на рис. 6.

Т ù i * Л 1 1C1IJ i 5 Ь t ¡{ ..................................................................................................................................................

1 LIJH -, 1

1-1-1 1 0.01*2 1 M" 15

1-1-2 1 0.1)1 lié 1 №11

1-1-1 ft. Iii "VMS

0.160 >1-15

Î-1-1 1 0,(100051 1 M|-J Mj-S

1-1-3 1 О.ООШ* 1 Ml-J Mj-5

1 0.1ХИЮ Ш11 Mi-J Mri

2-1-2 0.000001)25 Mi 5 Mj Л

М-1 O.OOU чип Mi-J Mj-3

2-1-2 1 1 Ml - ) Mj-J

2-1-2 Л.Ml 23 1 Mi-2 Mj-J

1-1-7 1 0.110« |MI~Î MrJ

Рис. 6. Результаты исследований разновидностей

МЭС

Все исследования проводились при одинаковых характеристиках акторов = 0.0, вС5 = 0.49, вш = 1.5 и вБ5 = 1.99 для различных разновидностей МЭС и числе акторов М. В левой части расположены области гарантированного решения, в правой - области ответов «не знаю». Обе области выделены серым цветом. В промежуточной области - области ошибок приведены положения максимумов вероятностей ошибочного решения акторов и их значения.

VI. ЗАКЛЮЧЕНИЕ

В заключение можно сделать вывод, что поставленная задача оптимизации МЭС по величине вероятности ошибочного решения в зависимости от разновидности метода, величин компетентностей акторов, их числа и ранга в рамках создаваемой теории систем коллективного интеллекта решена.

Показано, что свойство систем МЭС (возможность давать либо правильный ответ с регулируемой величиной вероятности ошибочного решения, либо ответ «не знаю»), может быть выполнено при правильном выборе разновидности модели МЭС, соответствующей локальной задаче, а также выборе числа акторов и ранга.

При знании диапазона величин трудностей задач с помощью математических моделей МЭС можно настроить параметры МЭС и выбрать сертифицированных по основным характеристикам подготовленностей акторов для гарантированного решения задач с заранее заданными вероятностями правильных и ошибочных решений.

Можно также сделать вывод, что если имеется база данных акторов с их подготовленностями в генерации и экспертизе решений, то при известных значениях трудностей потока задач можно построить систему нормирования интеллектуального труда и создать автоматическую систему распределения акторов по решаемым ими задачам с гарантированными правильными решениями этих задач.

Библиография

[1] Горбань А. Н.: Ошибки интеллекта, основанного на данных. Сборник статей по материалам Международной конференции «Интеллектуальные системы в науке и технике. Искусственный интеллект в решении актуальных социальных и экономических

проблем XXI века». - Пермь: -2020, с.11-13. https://elibrary.ru/item.asp?id=44314732 (дата обращения 21.03.2024) .

[2] Fields, Chris, James F. Glazebrook, and Michael Levin.. Principled Limitations on Self-Representation for Generic Physical Systems // Entropy. -2024. Vol. 3. P. 1-16.

[3] Keeling, S.: Confabulation and rational obligations for self-knowledge // Philos. Psychol. 2018, 31, pp.1215-1238. https://doi.org/10.1080/09515089.2018.1484086

[4] G. Vilone, L. Longo. Notions of explainability and evaluation approaches for explainable artificial intelligence // Information Fusion, vol. 76, pp. 89-106, Dec. 2021. doi:10.1016/j.infius.2021.05.009.

[5] V. Protasov, Z. Potapova , G. Akhobadze. How to reduce the probability of erroneous decisions in the systems of collective intelligence // IOP Conference Series: Materials Science and Engineering, 2020, v.927(1), 012069. https://iopscience.iop.org/article/10.1088/1757-899X/927/1/012069/pdf (дата обращения 21.03.2024).

[6] Протасов В.И. Системы коллективного интеллекта. Теория и практика. - М: Вузовская книга. - 2024. - 230 с.

[7] Л.В. Маркарян. Модели и алгоритмы системы коллективного интеллекта. - М: Изд. МИСиС. - 2020. - 104 с.

[8] Alexander Gorban , Bogdan Grechuk, Ivan Tyukin.: Augmented Artificial Intelligence: a Conceptual Framework. 18.03.2018, arXiv preprint arXiv: https://arxiv.org/pdf/1802.02172v3.pdf (дата обращения 21.03.2024).

[9] В.Ф. Турчин. Феномен науки. Кибернетический подход к эволюции. - М.: Синтег, 1993, 456 с.

[10] В.И. Протасов. Конструирование метасистемных переходов. -М.: Изд-во ИФТИ, 2009,186 с.

[11] Сondorcet, marquis Marie-Jean-Antoine-Nicolas de Caritat. Essai sur l'application de l'analyse à la probabilité des décisions rendues à la pluralité des voix. -Paris: Imprimerie Royale, 1785.

[12] G. Rasch. Probabilistic Models for Some Intelligence and Attainment Tests. - Chicago: University of Chicago Press, 1981,199 p.

[13] Протасов В. И. Метод эволюционного согласования решений. Компьютерная и математическая модели. Горный информационно-аналитический бюллетень. - М: Изд-во «Горная книга». - 2011. - № 1. - С. 360-379.

[14] В.И. Протасов, З.Е. Потапова. Составление фоторобота методом интеллектуального консилиума // Мир измерений. -М.: Стандарты и качество, 2009, №3,с. 10-21.

[15] В.И. Протасов, П.Д. Рабинович. Применение новой сетевой

информационной технологии интеллектуального консилиума для составления фоторобота // Труды Института системного анализа. - Москва. - 2010. - т. 1. - С. 279-286.

[16] В.И. Протасов. Применение сетевого метода эволюционного согласования решений в управлении проектами // Управление проектами и программами. -М.: Изд-во Grebennikov, 2011, т. 1(25), c. 22-35.

[17] В.И. Протасов. Настройка параметров метода эволюционного согласования решений // Известия Кабардино-Балкарского научного центра РАН, 2012, №2(46),c.29-37.

[18] M. Mirakhmedov, Z. Potapova, V. Protasov. MESING - a new method of organizing the joint work of neural networks and its metrology // Journal of Physics: Conference Series , 2021, v. 1727, 012004. https://iopscience.iop.org/article/10.1088/1742-6596/1727/1/012004/pdf (дата обращения 21.03.2024).

[19] В.И. Протасов, З.Е. Потапова. Методика кардинального снижения вероятности принятия ошибочных решений в системах коллективного интеллекта // Международный научный журнал «Современные информационные технологии и ИТ-образование». 2019, том 15, №. 3, с. 588 - 601.

[20] В.И. Протасов, З.Е. Потапова. Метрология систем эволюционного согласования решений и нормирование интеллектуального труда // Международный научный журнал «Современные информационные технологии и ИТ-образование». 2019, том 15, № 4, c. 1047-1055.

Статья получена 23 марта 2024 г. Работа выполнена в рамках государственного задания Минобрнауки России, номер темы FSFF-2023-0005.

Роман Октамович Мирахмедов,

аспирант каф. 311 Московского авиационного института, Москва, Россия. ORCID 0000-0001-8930-0138 ([email protected]).

Зинаида Евгеньевна Потапова, к.ф.-м.н., доцент каф.804 Московского авиационного института, Москва, Россия. ОЯСГО 0000-0002-2718-1556 (ро1ароуа7@уаМех. ги)

Optimization of the evolutionary matching method based on the probability of an erroneous

decision

Roman Mirakhmedov, Zinaida Potapova

Abstract—The problem of obtaining demonstrably correct solutions to problems posed to experts is discussed and a methodology for solving local problems with a predetermined low error probability by a team of experts is presented. To build a theory of systems of evolutionary coordination, the following were used: Turchin's theory of metasystem transitions; Condorcet's jury theorem; the Rasch model, which takes into account the connection between the probability of a correct decision and the actor's preparedness and the difficulty of the task; ternary logic, which allows experts to accept the answer "I don't know" in difficult cases; multi-stage work of actors acting as solution generators and expert evaluators of other people's solutions with coordination of their work by a genetic algorithm. A theoretical study of variations of the method of evolutionary coordination of solutions was carried out. The paper presents and substantiates mathematical models of variations of the method of evolutionary coordination of decisions, and proves a theorem about the tendency of the probability of an erroneous decision to zero when a number of conditions are met. The results of computer modeling of the decision-making process using the Monte Carlo method are presented. The results of computer modeling coincide with the results of the theoretical model within the limits of statistical errors. It is concluded that all the declared properties of systems of evolutionary coordination of decisions, if possible, to give either the correct answer with a given value of the probability of an erroneous decision, or the answer "I don't know," can be fulfilled by choosing a type of model, the number of actors and the rank of the actor in accordance with the local task..

Key words—evolutionary coordination of decisions, actor, group of actors, system of collective intelligence, probability of error, Rasch model, Condorcet's theorem, rules of interaction

References

[1] Gorban A. N.: Errors in data-based intelligence. Collection of articles based on the materials of the International Conference "Intelligent Systems in Science and Technology. artificial intelligence in solving pressing social and economic problems of the 21st century." - Perm: -2020, pp. 11-13.

[2] Fields, Chris, James F. Glazebrook, and Michael Levin.. Principled Limitations on Self-Representation for Generic Physical Systems // Entropy. -2024. Vol. 3. P. 1-16.

[3] Keeling, S.: Confabulation and rational obligations for self-knowledge // Philos. Psychol. 2018, 31, pp.1215-1238. https://doi.org/10.1080/09515089.2018.1484086

[4] G. Vilone, L. Longo. "Notions of explainability and evaluation approaches for explainable artificial intelligence", Information Fusion, vol. 76, pp. 89-106, Dec. 2021. doi:10.1016/j.infius.2021.05.009.

[5] V. Protasov, Z. Potapova , G. Akhobadze. "How to reduce the probability of erroneous decisions in the systems of collective intelligence", IOP Conference Series: Materials Science and Engineering, 2020, v.927(1), 012069.

https://iopscience.iop.org/article/10.1088/1757-899X/927/1/012069/pdf

[6] Protasov V.I. Collective intelligence systems. Theory and practice. -M: University book. - 2024. - 230 p. (in Russian).

[7] L.V. Markaryan. Models and algorithms of collective intelligence systems. - M: Ed. MISiS. - 2020. - 104 p. (in Russian).

[8] Alexander Gorban , Bogdan Grechuk, Ivan Tyukin.: Augmented Artificial Intelligence: a Conceptual Framework. 18.03.2018, arXiv preprint arXiv: https://arxiv.org/pdl/1802.02172v3.pdf (дата обращения 21.03.2024).

[9] V.F. Turchin. Phenomenon of science. Cybernetic approach to evolution. -M.: Sinteg, 1993, 456 p. (in Russian).

[10] V.I. Protasov. Construction of metasystem transitions. -M.: ICPT Publishing House, 2009, 186 p. (in Russian).

[11] Сondorcet, marquis Marie-Jean-Antoine-Nicolas de Caritat. "Essai sur l'application de l'analyse à la probabilité des décisions rendues à la pluralité des voix" . -Paris: Imprimerie Royale, 1785.

[12] G. Rasch. Probabilistic Models for Some Intelligence and Attainment Tests. -Chicago: University of Chicago Press, 1981,199 p.

[13] Protasov V.I. Method of evolutionary coordination of solutions. Computer and mathematical models. Mining information and analytical bulletin. - Moscow: Mining Book Publishing House. -2011. - No. 1. - P. 360-379 (in Russian).

[14] V.I. Protasov, Z.E. Potapova. "Drawing up an identikit using the method of intellectual consultation." World of Measurements, M.: Standards and Quality, 2009, No. 3, p. 10-21. (in Russian).

[15] V.I. Protasov, P.D. Rabinovich. Application of new network information technology of an intelligent council to compile an identikit. Proceedings of the Institute for Systems Analysis. -Moscow. - 2010. - vol. 1. - P. 279-286. (in Russian).

[16] V.I. Protasov. "Application of the network method of evolutionary coordination of decisions in project management." Project and program management. M.: Grebennikov Publishing House, 2011, t. 1(25), p. 22-35. (in Russian).

[17] V.I. Protasov. "Setting the parameters of the method of evolutionary coordination of solutions" News of the Kabardino-Balkarian Scientific Center of the Russian Academy of Sciences, 2012, No. 2(46), pp. 29-37 (in Russian).

[18] M. Mirakhmedov, Z. Potapova, V. Protasov. "MESING - a new method of organizing the joint work of neural networks and its metrology". Journal of Physics: Conference Series , 2021, v. 1727, 012004. https://iopscience.iop.org/article/10.1088/1742-6596/1727/1/012004/pdf (дата обращения 21.03.2024).

[19] V.I. Protasov, Z.E. Potapova. "Methodology for radically reducing the likelihood of making erroneous decisions in collective intelligence systems." International scientific journal "Modern information technologies and IT education". 2019, volume 15, no. 3, p. 588 - 601. (in Russian).

[20] V.I. Protasov, Z.E. Potapova. "Metrology of systems of evolutionary coordination of decisions and rationing of intellectual work." International scientific journal "Modern information technologies and IT education". 2019, volume 15, no. 4, h. 1047-1055. (in Russian).

Roman O. Mirakhmedov, Postgraduate, Department 307, Moscow Aviation Institute, Russia, ORCID 00000001-8930-0138 [email protected]

Zinaida E. Potapova, Candidat of Phys. and Math. Sci., Associate Professor Department 804, Moscow Aviation Institute, Russia, ORCID 0000-0002-2718-1556, potapovaz@yandex. ru