CC BY
39
УДК 004.778
DOI: 10.25559^ШТО.15.201903.588-601
Методика кардинального снижения вероятности принятия ошибочных решений в системах коллективного интеллекта
В. И. Протасов*, З. Е. Потапова
Московский авиационный институт (национальный исследовательский университет), Москва, Россия
125993, Россия, г. Москва, Волоколамское шоссе, д. 4 * [email protected]
Аннотация
В работе представлены элементы теории систем коллективного интеллекта, базирующиеся на информационной технологии эволюционного согласования решений. В качестве координатора коллективной работы выступают генетические алгоритмы. Приведен обзор современного состояния теории и практики систем коллективного интеллекта и сделан вывод, что для уменьшения вероятности ошибок при решении трудных задач необходимо создание и развитие такой теории. Рассматривается предложенный и развиваемый авторами метод эволюционного согласования, обладающий свойствами увеличения вероятности принятия правильных решений задач средней степени трудности по сравнению с лучшим актором группы и значительным уменьшением вероятности ошибочных решений в трудных случаях. Для этого метода сформулированы и доказаны соответствующие теоремы. Приведены результаты компьютерных симуляций, подтверждающих эти эффекты, а также представлены результаты кардинального снижения вероятности ошибок первого рода при распознавании изображений с использованием комитетов нейронных сетей.
Ключевые слова: генетические алгоритмы, ошибки первого рода, коллективный интеллект, согласование решений, модель Раша, подготовленность, трудность задачи, проект, нейронные сети.
Для цитирования: Протасов В. И., Потапова З. Е. Методика кардинального снижения вероятности принятия ошибочных решений в системах коллективного интеллекта // Современные информационные технологии и ИТ-образование. 2019. Т. 15, № 3. С. 588-601. DOI: 10.25559/ SITITO.15.201903.588-601
Контент доступен под лицензией Creative Commons Attribution 4.0 License. The content is available under Creative Commons Attribution 4.0 License.
Современные информационные технологии и ИТ-образование
Том 15, № 3. 2019 ISSN 2411-1473 sitito.cs.msu.ru
Technique of Drastically Reducing the Probability of Making Erroneous Decisions in Collective Intelligence Systems
V. I. Protasov*, Z. E. Potapova
Moscow Aviation Institute (National Research University), Moscow, Russia 4 Volokolamsk Highway, Moscow 125993, Russia * [email protected]
Abstract
The paper presents elements of the theory of collective intelligence systems based on information technology of evolutionary coordination of solutions. The teamwork coordinator is genetic algorithms. A review of the current state of the theory and practice of collective intelligence systems is given and it is concluded that the creation and development of such a theory is necessary to reduce the likelihood of errors in solving difficult problems. The evolutionary matching method proposed and developed by the authors is considered, which has the properties of increasing the probability of making the right decisions of problems of medium difficulty compared to the best actor in the group and significantly reducing the probability of erroneous decisions in difficult cases. The corresponding theorems are formulated and proved for this method. The results of computer simulations confirming these effects are presented, as well as the results of a drastic decrease in the probability of errors of the first kind in image recognition using neural network committees are presented.
Keywords: genetic algorithms, errors of the first kind, collective intelligence, decision coordination, Rush model, preparedness, task difficulty, project, neural networks
For citation: Protasov V.I., Potapova Z.E. Technique of Drastically Reducing the Probability of Making Erroneous Decisions in Collective Intelligence Systems. Sovremennye informacionnye tehnologii i IT-obrazovanie = Modern Information Technologies and IT-Education. 2019; 15(3):588-601. DOI: 10.25559/SITITO.15.201903.588-601
Modern Information Technologies and IT-Education
Введение
В связи с тем, что решаемые задачи становятся все сложнее и имеющихся ресурсов не всегда хватает для поддержания требуемых темпов развития[10,30,36,37], возникла проблема нахождения и теоретического обоснования новых технологий решения возникающих в разных отраслях задач, которые должны гарантированно решаться имеющимися в наличии специалистами, вычислительными и программными системами [2 , 4, 5, 6, 12-16]. Таким новым ресурсом, по мнению многих экспертов, является должным образом организованная работа в группах специалистов, поддержанная современными информационными технологиями [35, 38, 40].
В практике принятия решений замечено, что при удачно выбранной системе коллективной работы группа специалистов всегда дает меньший процент ошибочных решений, чем одиночный, даже выдающийся специалист. Можно сделать вывод, что главным недостатком существующих систем является непредсказуемость результатов их работы - при решении новых, не встречающихся ранее задач нет гарантии, что они решены правильно.
Рассмотрим кратко источники возникновения ошибочных решений, с тем, чтобы их можно было максимально нейтрализовать.
Главным источником ошибок, присущим как одиночным специалистам, так и их группам, во многих случаях, особенно когда трудность задачи превышает подготовленность специалистов, является стремление во что бы то ни стало дать ответ и зачастую он при этом получается неправильным.
Вторым источником ошибочных решений, обычно связанным с первым, является использование двоичной логики при принятии решений, когда системе предлагается дать один из двух взаимоисключающих ответов. В сложных случаях при этом зачастую возникают ошибки.
Третьим источником принятия ошибочных решений является использование одиночного специалиста или малой группы специалистов для решения трудных для них задач. Такой специалист, решая простые или средние по трудности для него задачи, практически работает без ошибок, но в трудных для него случаях не может определить - правильно ли он решил задачу. Для снижения процента ошибочных решений нужно натренировать специалистов решением ими тестовых задач разной степени трудности с известными ответами, чтобы они в большинстве случаев «чувствовали» когда нужно дать ответ «не знаю», а когда решать задачу. Нерешенную задачу при этом можно передавать более подготовленным специалистам, или увеличивать их число. Ясно, что полностью избежать ошибок при использовании этого приема не удастся.
Четвертый источник получения ошибочных решений связан с неправильной организацией работы группы. Пример - совместная работа в группе при наличии лидеров, обладающих свойствами подменять цель решения задачи на выстраивание иерархии в группе. Простой перевод решения задачи в сеть и использование анонимных экспертов позволяет избежать ошибок связанных с этим.
Однако, информационные технологии коллективной работы, использующие новые сетевые возможности, возникали
стихийно в виде разработок и развития отдельных эвристических идей и догадок. В качестве основания для этих технологий зачастую применяется переложение известных в докомпьютерную эру методов организации коллективной работы на работу в компьютерных сетях. Но до сих пор не найдены универсальные принципы и методы организации коллективной работы, позволяющие существенно снизить вероятность принятия ошибочных решений [11].
Согласно проведенным недавно масштабным исследованиям McKinsey & Company, как минимум, половина управленческих решений оказываются не верными, не смотря на все усилия науки и управленческих практик.
В статье Ицхака Адизеса, крупнейшего специалиста в области эффективного управления бизнес-процессами, рассматривается проблема несоответствия современных управленческих практик сложившимся способам производства [1] и делается вывод что должна полностью смениться вся структура управления организациями - иерархическая система должна смениться коллективной системой самоуправления бизнес-процессами. Начало этому процессу уже положено - в мире все большее распространение получают системы, основанные на холакратии, методологии agile , сетевых и «плоских» структурах самоуправления.
Сергей Карелов, основатель и Chief Technology Officer компании Witology, председатель Лиги независимых IT-экс-пертов, так характеризует сложившийся дисбаланс между требованиями к качеству управления и современными управленческими практиками1 (электронный ресурс https:// tlg.name/s/theworldisnoteasy?after=280 ) :
«Причин здесь две. Во все более усложняющемся, информационно-экономически и культурно взаимосвязанном мире:
1. становится все больше ... сложных, не имеющих очевидного решения или вообще неразрешимых проблем, являющихся таковыми в силу нелинейных зависимостей, неполноты, противоречий, изменчивости и даже непредсказуемости требований к их решениям;
2. «нейробиология решений» (особенности работы мозга при принятии решений) ... не оставляет шансов индивидууму ... самому выявлять ошибки в своих оценках и принимать адекватные меры предосторожности при принятии решений».
По мнению Сергея Карелова согласно [34] «на стыке ней-ронауки, теории информации, теории коллективного поведения и статистической физики удалось построить и верифицировать на большом объеме экспериментальных данных динамическую, стохастическую, распределенную модель принятия решений.
Новое исследование Центра Биосоциальных Сложных Систем и Института сложности в Санта-Фе не только определило схему принятия решений нейронами головного мозга, но и доказало, что эта схема является оптимальной для любых коллективных вычислений, производимых сетью интеллектуальных агентов.
Эта схема, названная «кодирующая двойственность», состоит их двух этапов:
- первый этап характеризуется ограничением на взаимодействие интеллектуальных агентов в начальной фазе процесса принятия решения. Цель данного этапа - накопле-
1 Карелов С. Найден оптимальный способ принятия решений [Электронный ресурс]. URL: https://tlg.name/s/theworldisnoteasy?after=280 (дата обращения: 19.06.2019).
Современные информационные технологии и ИТ-образование
Том 15, № 3. 2019 ISSN 2411-1473 sitito.cs.msu.ru
ние информации в условиях подавления информационного шума;
- второй этап - это «формирование консенсуса», в ходе которого информация быстро распространяется от «знающих» нейронов (имеющих доступ к информации) к множеству остальных участвующих в схеме нейронов, резко увеличивая этим избыточность в системе».
Из этого краткого описания следует, что для создания эффективных систем коллективного согласования решений необходимо использовать две стадии работы акторов - стадию генерации идей, когда они независимо друг от друга формулируют решение или его части, и стадию (или стадии) согласования, когда они, обмениваясь результатами первой стадии, выходят на формирование консенсуса.
С 2012 года в области изучения и применения коллективного интеллекта проводятся регулярные международные конференции, причем каждый год происходит увеличение направлений исследований - с двенадцати в 2012 году до семнадцати в 2015 г. (Proc. CI 2012, CI 2014 и CI 2015).
На конференции «Collective Intelligence 2012» была сформирована новая междисциплинарная область изучения коллективного интеллекта.
Анализ трудов этих конференций и последних публикаций авторов пленарных докладов показывает, что главным образом развиваются процедуры организации групповой работы и технологии коллективного интеллекта без построения соответствующих теорий. В отдельных случаях наблюдается применение статистических методов, принципов термодинамики и теории массового обслуживания к изучению информационных процессов. Вводятся эмпирические балльные системы оценки результативности работы участников коллективных проектов. Большей частью изучаются психологические и социальные аспекты коллективной работы.
Вместе с тем, несмотря на активные исследования в этой области, все еще остаются не полностью решенными многие проблемы, связанные с разработкой методов и алгоритмов групповой работы. Недостаточно проработаны вопросы интеграции созданных на их основе информационных технологий и особенности их реализации в системах коллективного интеллекта с целью повышения эффективности решения трудно формализуемых задач и снижения вероятности принятия ошибочных решений [3, 7-9].
Таким образом, разработка теории систем коллективного интеллекта, позволяющей кардинально снизить вероятность принятия ошибочных решений, а также основывающихся на этой теории алгоритмов, методов и программного обеспечения, являются важной и актуальной.
Как показывают экспериментальные и теоретические исследования, проведенные нами, такие средства могут быть созданы на базе разрабатываемой нами теории систем коллективного интеллекта [17-20, 22, 27].
Рассмотрим по порядку основные компоненты предлагаемых систем коллективного интеллекта, обладающие требуемыми свойствами.
Метод эволюционного согласования решений. Определения и термины
Поскольку новая междисциплинарная область изучения коллективного интеллекта сложилась сравнительно недавно,
то для описания систем коллективного интеллекта является необходимым введение характерных для ее специфики терминов и определений, а также введение метрических характеристик и процедур, позволяющих измерять параметры и характеристики, как систем коллективного интеллекта, так и её отдельных составляющих. Введение таких определений и терминов позволит более четко отделить предмет исследования новой научной отрасли от созданных и развитых ранее, например, в теории принятия решений.
В настоящей работе использованы следующие термины и определения:
- Актор (лат. actor - деятель) - индивид, общественная группа, институт, интеллектуальный агент, программа или другой субъект, осуществляющий конкретные действия в рамках своей роли. В системах коллективного интеллекта актор может быть носителем как естественного, так и искусственного интеллекта и может выступать в двух ролях - генерировать текст, являющийся решением какого-либо проекта или его части, либо оценивать чужие решения на их правильность. Существует три разновидности акторов:
- Единичный актор (отдельный индивид), далее называемый актор нулевого ранга или просто актор.
- Групповой актор i-го ранга - группа, объединяющая несколько акторов i -1 ранга, групповой актор 1-го ранга далее называется просто групповым актором.
- Цех - совокупность всех акторов разной подготовленности, имеющих знания в конкретной области.
- Коллективный интеллект - способность группы акторов находить решения задач более эффективные, чем лучшее индивидуальное решение в этой группе. Эта способность зависит как от способностей отдельных акторов, входящих в группу, так и от правил или процедуры взаимодействия акторов в процессе работы над проектом.
- Проект - продукт работы акторов, удовлетворяющий поставленной цели.
- Слот - отдельная часть проекта. Слот имеет самостоятельное значение в рамках проекта и частично удовлетворяет цели проекта.
При работе над проектом слот может иметь правильное или неправильное заполнение, либо остаться незаполненным (ответ - «не знаю»).
- Система коллективного интеллекта - совокупность инструментальных средств и процедур, позволяющих при соблюдении определенных условий организовать коллективную работу акторов по заполнению слотов проекта правильными решениями.
- МЭС (метод эволюционного согласования) - процедура заполнения слотов проекта групповым актором в соответствии с правилами взаимодействия, взятых из генетических алгоритмов [27]. На первой стадии - стадии генерации решений акторы, исходя из своих способностей, заполняют слоты проекта, либо оставляют некоторые из них незаполненными.
На стадиях согласования решений каждый актор получает L чужих вариантов и в соответствии со своими способностями по оцениванию решений выбирает правильные на его взгляд решения и заполняет ими незаполненные на предыдущей стадии слоты, либо вновь оставляет их незаполненными. Процесс заполнения слотов продолжается до тех пор, пока больше половины акторов по каждому слоту не получат одинаковые решения, или число итераций достигнет заранее за-
Modern Information Technologies and IT-Education
данного числа T . Если по каким-либо слотам не будет набрано больше половины одинаковых решений, то считается, что по данному слоту групповой актор дал ответ «не знаю».
Примеры задач, решаемых с использованием эволюционного согласования решений:
1. Задачи, решение которых может быть описано линейной хромосомой, например, составление фоторобота группой свидетелей [24, 25, 28], измерение Щ и перевод текстов [27], задачи стратегического планирования [22], задача о назначениях [27] и т.п.
2. Задачи, решения которых представлено деревьями, например шахматная задача [21], составление компьютерной программы по обучающей выборке [27], задача коммивояжера [27, 23, 31], задача составления финансового портфеля [27].
3. Творческие задачи, решением которых может быть какой-либо текст или гипертекст, удовлетворяющий цели проекта [26].
Наиболее важными для практики являются задачи, представленные в третьем пункте, поскольку многие задачи, стоящие перед группами специалистов, имеют решения в виде некоторых текстов, удовлетворяющих поставленной цели. Это могут быть, например, тексты технических заданий, стратегические планы развития фирм, описание совокупности мероприятий, связанных с ликвидацией последствий чрезвычайных ситуаций, научные статьи, и т.п.
В соответствии с правилами взаимодействия разрабатываются инструкции для коллективной работы с учётом особенностей конкретной задачи, коммуникационной среды, способностей и квалификации акторов.
Теорема Кондорсе о присяжных
Вероятность правильного решения задачи с использованием МЭС на стадии генерации решений можно определить с использованием математической модели, связанной с теоремой Кондорсе о присяжных [33] , опубликованной в 1785 г.
Одна из формулировок теоремы, широко используемая в ряде источников [32, 39] выглядит следующим образом:
Пусть одно из двух решений, предлагаемых группой присяжных, правильное, и присяжный в среднем чаще голосует за правильное решение. Утверждается, что вероятность вынесения правильного решения большинством голосов растёт с присяжных и стремится к 1.
Вероятность Q0 вынесения положительного заключения группой из M акторов в зависимости от их числа и величин вероятности определения правильного решения Gi у каждого актора, рассчитанную из теории, можно представить следующим образом:
М-1 (1)
е» = Х адм-1 (1 - GR) i=0
При GR >0.5 мы наблюдаем эффект Кондорсе - стремление Qo к 1 при
увеличении числа акторов. Для GR <0.5 мы наблюдаем обратный эффект - уменьшение Qo до 0. Преодолеть «барьер Кондорсе» групповой актор может только на стадиях эволюционного согласования и получить правильное решение с вероятностью, приближающейся к единице, даже в случае, если на стадии генерации решений каждый актор заполнит правильными ответами меньше половины слотов проекта.
Модель Георга Раша
Будем считать, что актор характеризуется при работе над проектом со слотами одинаковой степени трудности четырьмя параметрами:
GR - вероятность заполнения слота правильным ответом,
GN - вероятность заполнения слота неправильным ответом,
Ея - вероятность правильного оценивания слота,
С этими параметрами актора можно связать четыре вспомогательных параметра, используемых в дальнейшем:
GS = GR + GN - вероятность заполнения слота на стадии генерации решений,
GV = 1 - GS - вероятность ответа «не знаю» на этой стадии,
es = Er'
- вероятность того, что слот будет заполнен при оценивании,
EV = 1 - ES - вероятность того, что слот не будет заполнен при оценивании.
Далее введем понятие идеального актора, имеющее вспомогательный характер и используемое для формулирования утверждений и выводов теории.
Идеальный актор - гипотетический актор, у которого
gS = gR, Gn = 08
Er = 1. Найдем вероятность правильного решения Q группы из M идеальных независимых акторов при условии, что у всех акторов вероятности генерации правильного решения Gr задач одинаковой трудности совпадают.
Вероятность правильного решения группы Q определяется исходя из следующих соображений. Вероятность того, что идеальный актор не решит задачу равна 1 - GR . Вероятность того, что никто из M акторов не решит задачу, согласно теореме о вероятности одновременного наступления независимых событий, равна произведению вероятностей этих событий (1 - Gr ) . Следовательно, вероятность того, что задача будет решена хотя бы одним актором, и далее на стадии согласования решение будет подтверждено остальными, а это произойдет неизбежно, поскольку ER = 1, составит
Q = 1 -(1 - Gr f (2)
Это выражение устанавливает связь между вероятностью правильного решения идеального актора, их числом и вероятностью правильного решения группы акторов и может быть использовано для получения единиц измерения относительных затрат труда одиночных акторов и их групп при соблюдении принципа равной оплаты за равный труд. Полученные таким образом меры требуется в дальнейшем перенести и на реальных акторов.
Здесь и далее будем считать проектом совокупность тестовых вопросов различной трудности (слотов) с заранее известными единственными правильными ответами и что при работе идеальных акторов выполняется модель Раша [41].
Связь между уровнем трудности тестовых вопросов и степенью подготовленности акторов при определении вероятности правильного ответа была установлена в наиболее общей теории конструирования тестов, опирающейся на теорию измерения, - Item Response Theory (IRT). Для наших целей
Современные информационные технологии и ИТ-образование
Том 15, № 3. 2019 ISSN 2411-1473 sitito.cs.msu.ru
THEORETICAL QUESTIONS OF COMPUTER SCIENCE, COMPUTATIONAL MATHEMATICS, COMPUTER SCIENCE AND COGNITIVE INFORMATION TECHNOLOGIES
подходящей является однопараметрическая модель Раша, как наиболее простая модель, связывающая вероятность получения правильного ответа GR испытуемого с уровнем его подготовленности воя и трудности задания в . Подготовленность актора и трудность задания являются латентными переменными. Считается, что они не могут быть непосредственно измеренными, а могут быть получены лишь в результате использования математических моделей, оперирующих наблюдаемыми переменными, называемыми индикаторными.
В качестве индикаторов в модели Раша выступают результаты тестирования группы акторов с использованием тестовых заданий различного уровня сложности.
Вероятность GR правильного заполнения слота трудности в согласно этой модели определяется формулой:
1 (3)
G =-
1 + e
ß-t>G!
1 + e
ß-во,
Аналогичные выражения получаются и для вероятностей правильной и ошибочной экспертизы:
Er =
1
Е„ =
1 + eß-°E-1
Es =
1
1 + e
ß-^ES
1
1 + e
ß-t>E!
(6)
(7)
5g =<
склонность актора к ошибочной экспертизе - вели-
чиной SE.
&e @es @er
нулю.
\
GH
V;
\
\
г a*
Gm Ol
\V ß
о- « Cr. 10
1 + ев-в™
Для определения зависимости вероятности неправильного решения от трудности задания вначале определим по модели Раша зависимость вероятности заполнения слота актором: ,
^-ТТ- (4)
5 1 + ев~вв5
где в03 - подготовленность актора к заполнению слотов как правильными, так и неправильными ответами.
Вероятность принятия неправильного решения актором составит при этом
1-1 (5)
1 +
Графики зависимостей для (4 - 7) приведены на рис. 1. На графике приведена также зависимость вероятности неправильного решения
GN 2 = 1 - GR в случае, когда при оценке правильности решений используется двоичная логика, и актор стремится дать ответ, даже если не знает его и пытается отгадать. Видно, что с ростом трудности задачи эта вероятность существенно превышает вероятность GN. Уменьшение вероятности принятия неправильного решения GN с ростом трудности задачи в обусловлено тем, что актор дает ответ «не знаю» в трудных для него случаях.
Склонность актора к генерации ошибочного ответа можно характеризовать величиной 8д:
У идеального актора эти величины считаются равными
Р и с. 1. Графики зависимостей GR (в ), Gs (в ) uGN (в) от трудности задачи Fi g. 1. The plot of the GR (в), GS (в)uGN (в) versus the task difficulty
Преодоление «барьера Кондорсе» групповым актором
Предположим, что группа акторов подвергается тестированию. Заранее подготовлен тест, состоящий из ряда вопросов одинаковой трудности. На каждый вопрос существует несколько возможных ответов и только один из них правильный.
Рассмотрим следующую процедуру принятия решения акторами при тестировании.
Этап 0 - формирование частных решений. На этом этапе каждый актор дает правильный ответ c вероятностью,
0 < Gr < 0.5 [, неправильный ответ с вероятностью 0 < Gn < 0.5 или дает ответ «не знаю» с вероятностью. GV = 1 - Gr - Gn Поскольку Gr > 0, вероятность того, что при числе акторов M хотя бы один актор даст правильный ответ, стремится к единице. Для того, чтобы найденные на этом этапе правильные ответы стали ответом группы, применим процедуру поэтапного согласования решений.
Этапы 1,2,...,T - согласование решений. На этих этапах актор, не ответивший на заданный вопрос на предыдущем этапе, формирует правильный ответ исходя из предъявленного ему списка ответов других акторов с вероятностью ER, неправильный с вероятностью EN или с вероятностью EV = 1 - Er - En дает ответ «не знаю».
Теорема 1. EC
Если выполнено условие GR +---—— > 0.5, то вероят-
Er + En
ность правильности ответа, полученного большинством голосов, стремится к единице при увеличении числа акторов и этапов согласования.
Доказательство. На этапе формирования частных решений число акторов R0, давших правильный ответ (подгруппа R), составит GRM, число акторов N0, давших неправильный ответ (подгруппа N), составит GNM, а число акторов V0, давших ответ «не знаю» (подгруппа V), составит GrM = (1 - Gr - Gn)M .
Modern Information Technologies and IT-Education
594 ТЕОРЕТИЧЕСКИЕ ВОПРОСЫ ИНФОРМАТИКИ, ПРИКЛАДНОЙ МАТЕМАТИКИ, В. И. Протасов,
594 КОМПЬЮТЕРНЫХ НАУК И КОГНИТИВНО-ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ З. Е. Потапова
На этапах согласования акторы из подгруппы V будут присоединяться к подгруппам акторов R и N пропорционально величинам Ея и Ек, а подгруппа V будет уменьшаться при этом пропорционально Ег = 1 - Ея - Еы . Обозначим через R. , Ni и V число акторов в соответствующей подгруппе на /-м этапе согласования.
1-й этап: % = + Е^г)М, N1 = (в„ + Е^г)М , VI = ErGrM.
2-й этап: R2 =( + + EREVGV)M,
N = ^ + Е^г+ Е„Е^Г )М, ^2 = Е2^ГИ.
/-й этап:
^ = GRM + Е^ЭуМ £ Е,
N = +у = E,GM
к=0
Т-й этап: Яг = + Е^ГМ ^ Я,
N = С^М + Б^ГИ X Е
При Т ^ да заменяя сумму ^ ЕК на ее предельное зна-
а последний член геометрической прогрессии
1 - Е,г
1 - Е
1 - Б„
Е^ > 1 - 2GR
ем 1 - 2^
(8)
ния группой правильного решения они могут обладать слабыми экспертными способностями (
Е1{ < Е„).
3. Если у акторов группы и те и другие способности слабые, то они не смогут дать правильного решения. Более того, если число таких акторов будет расти, то результат работы группы будет ухудшаться.
Согласование решений за одну итерацию
Допустим, что на этапе формирования частных решений каждый актор дает правильное решение с вероятностью 0 < GR < 0.5 [, неправильное решение с вероятностью 0 < GN < 0.5 или не дает никакого решения с вероятностью GV = 1 - (Ор + GN), а на первой итерации согласования каждому актору, не принявшему решение, дается случайным образом чужое заполненное решение и он с вероятностью ЕК не ошибается в определении правильности или неправильности этого решения. При этом если он считает решение правильным, и оно действительно правильное, то его голос добавляется к голосам акторов, нашедшим правильное решение на этапе формирования решений. Если он ошибся, то его голос увеличит долю неправильных решений.
Теорема 2.
Е 1- ^ + GN) > 1 -
2G„
VT на ноль, получим количества акторов, распределившихся по подгруппам R, N и V следующим образом:
RT = ^ + )М' N. = (в„ + ^)М ' V.т = 0
Поскольку отношение определяет вероятность пра-М
вильного решения актором задачи при Т ^да, то для ^ + > 0 5, как и в случае теоремы Кондорсе, пра-
Ер + Ем
вильное решение будет принято большинством группы, следовательно теорема доказано. Как видно из теоремы, в этом случае значение £ _ £ + _ 05 является барьером,
ек +
который должны преодолеть акторы, чтобы получить правильное решение, но по сравнению с процедурой Кондорсе, величина GR может быть при этом меньше, чем 0.5.
Для удобства применения на практике и в теоретических исследованиях условие утверждения может быть преобразовано к виду
Если выполняется неравенство * GR + GN 2GR то вероятность правильности решения, полученного большинством голосов на первой итерации согласования, увеличивается с ростом числа акторов и стремится к единице.
Доказательство. На этапе формирования частных решений математическое ожидание числа акторов Я0, давших правильное решение, составит GRM, числа акторов М0, давших неправильное решение составит GNM, а числа акторов У0, не давших никакого решения составит
GM = (1 + GN ))М-
На первой итерации согласования прирост числа правильных решений составит величину Ер^лО^м • поскольку
GR + ^
вероятность выбора на экспертизу правильного решения из всех заполненных составляет GR , вероятность, что его
GR + ^
выберет актор, не принявший решения равна GV, а вероятность его включения в решение группы - ЕК. Следовательно, математическое ожидание числа правильных решений на первой итерации будет.
Поставим условие, как и в предыдущем утверждении, что
— > 0.5 при М -М
• да, или после преобразований получим ус-
ловие утверждения Е,
1 - (Оя + GN) 1 - 2GЙ
Рассмотрим некоторые следствия из этого утверждения, вытекающие из (8):
1. Если у акторов группы слабые способности по формированию решений (GR < GN), то для получения группой правильного решения требуется, чтобы они обладали сильными экспертными способностями (
ЕК > Еы).
2. Если у акторов группы сильные способности по формированию решений (GR > GN), то для получе-
при М ■
Я
2G„
Поскольку
■ да отношение —- определяет М
вероятность пра-
вильного решения актором задачи после первой итерации согласования решений, то выполняется требование теоремы Кондорсе и наше утверждение доказано. В этом случае акторам для получения правильного решения нужно преодолеть «барьер Кондорсе» ^ _ ^ + Е О 1 - (Ох + GN) - 0 5 .
к=0
к=0
Современные информационные технологии и ИТ-образование
Том 15, № 3. 2019 ^ 2411-1473 sitito.cs.msu.ru
THEORETICAL QUESTIONS OF COMPUTER SCIENCE, COMPUTATIONAL MATHEMATICS, COMPUTER SCIENCE AND COGNITIVE INFORMATION TECHNOLOGIES
Существуют многочисленные группы акторов, не обладающие способностями сразу формулировать свое мнение с вероятностью его правильности больше 0.5. Доказанное утверждение дает надежду на построение современных сетевых программ, позволяющих преодолеть этим группам «барьер Кондорсе».
Нахождение условий, при выполнении которых вероятность ошибочного решения групповым актором стремится к нулю
Теорема 3.
Допустим, что групповой актор состоит из М одиночных акторов с подготовленностями ввк, 0а8, 0ЕК и 0Е8, численные значения которых лежат в интервале [9 — § /2 9 + 8 /2]'
ве Я и 8е Я.
Утверждается, если М ^-ж и 8 < 1п2, то вероятность неправильного решения задачи произвольной трудности в групповым актором стремится к нулю.
Доказательство
Из всего множества значений подготовленностей вок, в0№, вЕЯ и вш выберем такие, для которых вероятность получения неправильного решения групповым актором будет максимальной, то есть
вок = в-8,ввг = в+8,вш =6-8,6ш = в + 8Л
Согласно модели Раша для соответствующих вероятностей можно записать выражения
G - 1 , Г _ 1 ,
^ 1 + вв-в+5 ^ _ 1 + ер-в-з
Gr = 1 - GW =
gn = gw - gr =
1 + e^+e+s
1
1 + eß-e-s 1 + e'
ß-e+s
(9)
Er ,ES и En, то есть
F = G F = G 8 F = G
Pn =-
1
1 + eß
(12)
вероятность также меньше 0.5. Следовательно, на всем интервале изменения ß при M ^да согласно теореме Кондорсе вероятность принятия неправильного решения групповым актором Qn стремится к нулю. Максимально допустимое значение S = ln2 определяется из решения (12) при PN = 0.5, что и требовалось доказать.
Аналогично, можно доказать, что если подготовленности dER и 0ES находятся в интервале [0-5 +1,0 + 5+1] при прежних значениях 0GR и 0GS, то величина предельного значения = ln\ß .
Исходя из этой теоремы можно сделать следующий вывод.
Если мы для какого-то класса задач имеем базу сертифицированных экспертов, и нам известны их подготовленности, то мы можем из них скомплектовать группового актора, который либо решит подобные задачи правильно, либо даст ответ «не могу решить» при заранее заданной как угодно малой величине вероятности неправильного решения. Во втором случае нерешенная задача может быть передана группе акторов с более высокой степенью подготовленности.
В [29] приведены результаты распознавания объектов групповым актором, состоящим из нейронных сетей, с малой вероятностью ошибки (табл.1).
Таблица 1. Результаты испытаний нейронных сетей Table 1. Neural networks test results
Такие же выражения можно записать соответственно для
(10)
Степень трудности Одиночная нейронная сеть Групповой нейросетевой актор
Gr G„ Gv Qr Qn Qv
Простые случаи 0.95 0.03 0.02 0.98 0.00 0.02
Средняя степень 0.64 0.27 0.09 0.87 0.01 0.12
Сложные случаи 0.22 0.47 0.31 0.46 0.02 0.52
Легко показать, что в конце итерационного цикла согласований при М ^да вероятность принятия неправильного решения одного актора в составе группы будет
Р - Г + Е*Г (11)
Подставляя (9) и (10) в (11), после преобразований получим зависимость PN (ß):
Дифференцируя ((12) по в и приравнивая полученное выражение к нулю, получим, что при единственном значении в =в для любых 5 функция (12) имеет экстремум. Поскольку при этом вторая производная от нее в этой точке отрицательна, то делаем заключение, что (12) имеет максимум в этой точке.
Очевидно, что если вероятность принятия неправильного решения одиночного актора в точке максимума меньше 0.5, то и для всего интервала изменения в от —да до + оо эта
Минимизация вероятности принятия ошибочных решений у группового актора второго ранга
К сожалению, подход, изложенный выше, требует больших затрат по проведению сертификации акторов. К тому же, как показывают расчеты в [29], при значении вероятности принятия ошибочного решения групповым актором <0.0023 и величины 8<1п2 необходимо участие более 51 актора. Оптимальным же является число акторов от 5 до 20.
Отсутствие средств измерения трудности заданий и уровней подготовленностей экспертов и более или менее развитой теории систем коллективного интеллекта не позволяло ранее ставить очень важный для практики вопрос о прогнози-руемости результатов группового решения задач. При проведении исследований с использованием тестовых задач такой прогноз не нужен, поскольку априори правильные ответы известны. В случае же, когда задача решается впервые, оценку вероятности правильного или ошибочного ее решения в настоящее время сделать невозможно.
Modern Information Technologies and IT-Education
В связи с этим возникает вопрос, если невозможно оценить эти вероятности, то нельзя ли так организовать работу экспертов, чтобы используя некоторые перекрестные проверочные групповые процедуры, группа могла получить или правильное решение, с небольшой, близкой к нулю вероятностью ошибочного решения, или ответ «задача не решена»? Разумеется, процедура должна при этом давать возможность группе получать правильное решение задачи, с вероятностью, превышающей вероятность правильного решения одиночным экспертом.
Очевидно, что одиночный, пусть даже и самый подготовленный эксперт, не может решать задачи с высокой для него трудностью с малой вероятностью ошибки, поскольку всегда найдется задача на грани возможности этого эксперта, когда он не сможет определить, правильно ли он ее решил. Для проверки правильности решения нужно использовать труд второго эксперта, или группы экспертов, с большей подготовленностью, чем у эксперта, решившего задачу с неопределенным исходом. В случае же с группой экспертов есть надежда, что за счет организации перекрестной проверки можно найти процедуру решения задач произвольной трудности, позволяющую экспертам или правильно решить задачу, с малой, близкой к нулю вероятностью ошибочного ее решения, или отказаться от ее решения. Во втором случае задача может быть передана для решения группе экспертов с более высоким уровнем подготовленности, чем у прежней группы.
Проблема минимизации вероятности ошибочных решений является актуальной и при распознавании изображений с использованием искусственных интеллектуальных агентов -
нейронных сетей глубокого обучения. В медицинской диагностике решение этой проблемы поможет существенно уменьшить число ложных диагнозов, а при массовом распознавании людей в потоках ликвидировать десятки тысяч ложных распознаваний.
Попытаемся применить для наших целей аналог известного в технике принципа дублирования параллельно работающих одинаковых устройств, когда управляющее воздействие вырабатывается при совпадении большинства выходных сигналов. Такой прием существенно снижает вероятности сбоев и отказов.
Рассчитаем вероятности принятия ошибочного решения некоторой задачи при использовании актора 2-го ранга, состоящего из трех акторов 1-го ранга, состоящих в свою очередь из пяти акторов каждый, то есть всего будет использовано 15 акторов. При этом будет выполнено требование по минимизации затрат на решение задачи по числу акторов.
Схема работы группового актора 2-го ранга приведена на рис. 2.
На стадии генерации решений акторы заполняют слоты в соответствии со своими подготовленностями. На рис.2 черный прямоугольник - правильно заполненный слот, серый и темно-серый представляют собой какой-либо из неправильных ответов, белый прямоугольник имитирует ответ «не знаю.
В соответствии со схемой работы на стадии согласования решений МЭС составляются списки возможных решений, как объединение всех вариантов решений. Акторы, анализируя эти варианты, выбирают из них правильные на их взгляд и заполняют ими свои незаполненные на стадии генерации слоты.
Групповой актор 2-го ранга 1-й групповой актор 2-й групповой актор
стадия генерации
варианты
заполненных
слотов
стадия согласования
результаты работы групповых актороов
3-й групповой актор
результат работы группового актора 2-го ранга
Р и с. 2. Схема работы актора 2-го ранга F i g. 2. The work scheme of the 2nd rank actor
Современные информационные технологии и ИТ-образование
Том 15, № 3. 2019 ISSN 2411-1473 sitito.cs.msu.ru
Далее формируются результаты работы акторов 1-го ранга - в решении представляется одинаково заполненные слоты, если число их более половины от числа акторов, или ответ «не знаю», если ни один из типов слотов не набрал большинства голосов. И уже из этих результатов формируется результат работы актора 2-го ранга - если совпало три слота из трех, в противном случае слот заполняется ответом «не знаю».
В соответствии с этой схемой была составлена программная компьютерная модель и для различных значений подго-товленностей акторов в широких пределах изменения трудностей задач были проведены статистические расчеты искомых вероятностей с использованием метода Монте-Карло. Усреднение результатов проводилось на миллионе испытаний каждого варианта, что обеспечивало достаточную точность расчетов. На рис.3. приведены сводные результаты расчетов вероятностей группового решения и вероятностей у одиночного актора с заранее заданными величинами [3= 0.99* ln (2 ), ввл =11, ввз =ввл + S, вЕЛ = 11 Qes = Qer + S для разных акторов. Почти во всех экспериментах предполагалось, что число вариантов ошибочных ответов не превышает четырех.
Было проведено четыре группы экспериментов. В первой группе рассчитывались кривые зависимостей вероятностей от трудности задачи группового актора 1-го ранга при М=51. Вероятность ошибочного решения в максимуме составила в этом случае 0.0023, что хорошо коррелирует с утверждением.
Р
GR QR(III) QR(II) 51)
\ Yj \QV(N)\ Q Nmax -000053 V
Q(NmL 0023/K(l"0\X ¡4.
\V QN(15)
01-1-1---!-1-1-1-1-
8 9 10 11 12 13 14 15 Р
Р и с. 3. Результаты компьютерных экспериментов по определению вероятностей правильных решений (индекс R], неправильных (индекс N) и
ответов «не знаю» (индекс V] F i g. 3. The results of computer experiments determining the probabilities of the right decisions (index R], wrong decisions (index N] and the answers "I do not know" (index V]
Во второй группе экспериментов при М=15 максимум ошибки составил около 0.1, что в ряде практических применений является неприемлемым.
В третьей группе экспериментов был создан групповой актор 2-го ранга, состоящий из 3 акторов 1-го ранга при М=5. Рассматривался случай совпадения трех результатов из трех одинаково заполненных слотов. На рисунке соответствующие кривые обозначены символом (III]. Величина максимальной ошибки составила в этом случае 0.00053. Расплатой за это существенное снижение является то, что кривая вероятности правильного группового решения QR (III) значительно сме-
стилась влево относительно случая М=51 , хотя все-таки на большинстве значений трудностей задач в она превышает значения вероятности правильного решения GR одиночного актора.
Проверялось также предположение о том, к чему приведет сравнение результатов у трех групповых акторов по совпадению двух результатов из трех. Соответствующие кривые помечены индексом (II). Видно, что был получен выигрыш в повышении вероятности правильного решения по сравнению со случаем (III), но значение в максимуме кривой QN (II) при этом выросло по сравнению с QN(III) в 20 раз. Для применения на практике должен быть принят, следовательно, метод совпадения трех результатов из трех.
В четвертой группе экспериментов были получены интересные результаты при моделировании работы группового актора 2-го ранга, состоящего из акторов с гипертрофированно завышенной величиной
8 = 91п (2) логит, приводящей к максимуму вероятности ошибочного решения = 0,914573. Число вариантов ошибочных ответов было снижено с четырех до двух. В результате у группового актора 2-го ранга величина вероятности принятия правильного решения в большой области изменения трудности задач оказалось значительно ниже, чем у одиночного актора, но величина вероятности принятия ошибочного решения QГ увеличилась по сравнению с групповым актором 2-го ранга, состоящего из акторов незначительно и составила всего 0,0025, что сравнимо с результатами группового актора 1-го ранга, состоящего из 51 актора.
Разумеется, данный случай носит гипотетический характер, поскольку даже при случайном выборе вариантов в данном эксперименте, вероятность выбора ошибочного варианта из предложенных не превышает 0.3333, а значение в = 0,914573 в реальных случаях может быть достигнуто только высококвалифицированными акторами, сознательно стремящимися исказить результат работы группы.
Для дополнительной проверки этого предположения были проведены эксперименты с акторами, случайно выбирающими варианты решений. В этом случае у группового актора 2-го ранга вероятность правильного выбора составила величину 0,00020, ошибочного 0,00079 и вероятность ответа «не знаю» - 0,99901. Максимальное из всех рассматриваемых случаев значение вероятности принятия ошибочного решения в 0,0025 определяется, по-видимому, только числом акторов, в данном случае равным 15. Были проведены также исследования влияния размеров и числа групп на вероятность принятия ошибочного решения. Оказалось, что при линейном увеличении числа акторов, происходит экспоненциальное уменьшение вероятности принятия ошибочного решения. Этот результат можно объяснить тем, что вероятность составного события определяется произведением вероятностей одиночных событий.
Обсуждение результатов
По результатам расчетов были сделаны выводы:
- Если нас устраивает значение вероятности получения ошибочного решения задачи произвольной трудности не более, чем 0, 0025, то мы можем на практике использовать трех акторов первого ранга, состоящих из пяти отдельных акторов в каждом, не подвергая их процедуре сертификации и выби-
Modern Information Technologies and IT-Education
рая в общее решение, только совпадающие результаты у каждого из трех акторов первого ранга. [12]
- Для уменьшения величины вероятности ошибочного решения необходимо увеличить число групп и число акторов в группе. При линейном увеличении числа акторов, происхо- [13] дит экспоненциальное уменьшение вероятности принятия ошибочного решения.
[14]
Заключение
[15]
Известно, что несмотря на впечатляющие успехи глубокого обучения нейронных сетей в распознавании объектов, [16] превышающих в ряде случаев возможности человека, широкого внедрения в ряд перспективных областей, таких, например, [17] как медицинская диагностика или поиск конкретных лиц в потоковом видео из большого количества камер, они не получили.
Сами разработчики этого вида интеллекта признают, что требуемого практикой уменьшения вероятности ложного распознавания практически до нуля в сложных случаях достиг- [18] нуть невозможно и нужно искать иные подходы.
В [29] нейронные сети впервые были применены в качестве экспертов-оценивателей чужих решений. До сих пор они являлись лишь генераторами как правильных, так и в сложных случаях неправильных решений. Таким образом, удалось включить этих акторов в структуру МЭС и добиться постав- [19] ленных целей.
Список использованных источников
[1] Адизес И. На пороге управленческой революции // [20] Harvard Business Review Россия. 2017. № 125. 16 февраля 2017. C. 6-10. URL: https://hbr-russia.ru/management/ upravlenie-izmeneniyami/a18761/ (дата обращения: 19.06.2019). [21]
[2] Алескеров Ф. Т., Хабина Э. Л., Шварц Д. А. Бинарные отношения, графы и коллективные решения. М: Издательство: ГУ ВШЭ 2006. 298 с.
[3] Бир Ст. Наука управления. М.: Энергия, 1971. 112 с.
[4] Винер Н. Я - Математик. М.: Наука, 1967. 355 с. [22]
[5] Винер Н. Кибернетика и общество. М.: Тайдекс Ко, 2002. 183 с.
[6] Глушков В. М. Введение в кибернетику. К.: изд. АН УССР, 1964. 256 с.
[7] Человек и вычислительная техника / В.М. Глушков, В.Н. Брановицкий, А.М. Довгяло, З.Л. Рабинович, А.А. Стог-
ний. Киев: Наукова думка, 1971. 294 с. [23]
[8] Гриценко В. И. Информационная технология: вопросы развития и применения. К.: Наукова думка, 1988. 268 с.
[9] Гриценко В. И., Урсатьев А. А. Распределенные информационные системы широкого применения. Концепция. Опыт разработки и внедрения. К.: Наукова думка, 2005.
317 с. [24]
[10] Затуливетер Ю. С. Информационная природа социальных перемен. М.: СИНТЕГ, 2001. 132 с.
[11] Затуливетер Ю. С. О фундаментальных проблемах программируемого метакомпьютинга // Научный сервис в сети Интернет. Труды всероссийской научной конференции (23-28 сентября 2002 г., Новороссийск). М.: Изд- [25] во МГУ 2002. С. 218-221. URL: https://elibrary.ru/item.
asp?id=22916558 (дата обращения: 19.06.2019). Мелихов А. Н, Берштейн Л. С., Коровин С. Я. Ситуационные советующие системы с нечеткой логикой. М.: Наука, 1990. 272 с.
Минский М. На пути к созданию искусственного разума // Вычислительные машины и мышление. М.: Мир, 1967. 552 с.
Миркин Б. Г Проблема группового выбора. М.: Наука, 1974. 256 с.
Миркин Б. Г Анализ качественных признаков. М.: Статистика, 1976. 166 с.
Миркин Б. Г Анализ качественных признаков и структур. М.: Статистика, 1980. 319 с.
Протасов В. И., Карелин В. П. Новый метод коллективного творчества в компьютерных сетях // Сборник докладов IV международной научно-практической конференции «Фундаментальные и прикладные системы приборостроения, информатики, экономики и права». Сочи, 2001. С. 215-218.
Протасов В. И., Карелин В. П. О возможности применения метода генетического консилиума в эволюционном менеджменте // Межвузовский научный сборник «Проблемы формирования и оценки факторов экономического роста региона». Таганрог, 2002 г., вып. 1. С. 34-35.
Протасов В. И. Применение метода коллективного творчества при проведении урока по физике // Сборник научных трудов VIII международной конференции «Математические модели физических процессов и их свойства». Таганрог, 2002. С. 17-19. Протасов В. И., Карелин В. П. Новый метод коллективной разработки проектов в компьютерных сетях // Известия высших учебных заведений. Северо-Кавказский регион. Серия: Технические науки. 2002. № 2. С. 27-30. Протасов В. И. Тестирование гибридного человеко-машинного интеллекта на шахматных задачах // Материалы международной научно-технической конференции «Искусственный интеллект 2002». Кацивели, Крым, 2002. С. 348-353.
Протасов В. И., Карелин В. П. Организация коллективной работы с информацией в корпоративных информационных системах // Труды III международной научно-практической конференции «Проблемы регионального управления, экономики, права и инновационных процессов в образовании». ТИУиЭ, Таганрог, 2003. С. 148-152.
Карелин В. П., Протасов В. И. Эффективный метод отыскания гамильтонова цикла и решения задачи коммивояжёра на плоском графе // Материалы Международной научной конференции «Оптимальные методы решения научных и практических задач», Ч. 2. Таганрог. Изд. "Антон", ТРТУ 2005. С. 34-37.
Протасов В. И., Дружинин А. А., Михайлов Л. В. Методика восстановления субъективного портрета коллективом свидетелей с использованием 3D - морфинга // Программные продукты и системы. 2007. № 1(77). С. 21-24. URL: https://elibrary.ru/item.asp?id=11685825 (дата обращения: 19.06.2019).
Протасов В. И., Потапова З. Е. Составление фоторобота интеллектуальным консилиумом // Мир измерений.
Современные информационные технологии и ИТ-образование
Том 15, № 3. 2019 ISSN 2411-1473 sitito.cs.msu.ru
2009. № 3. С. 10-16. URL: https://elibrary.ru/item. asp?id=18042232 (дата обращения: 19.06.2019).
[26] Протасов В. И., Потапова З. Е., Маркарян Л. В., Созонов В. В. Использование новой информационной технологии - коллективный редактор текста - в образовании // Материалы Всероссийской научно-практической конференции «Инновационные технологии обучения в высшей школе». Сочи: ЧГА, 2009. С. 123-125.
[27] Протасов В. И. Конструирование метасистемных переходов. М.: ИФТИ, 2009. 186 с.
[28] Протасов В. И., Рабинович П. Д. Применение новой сетевой информационной технологии интеллектуального консилиума для составления субъективного портрета // Труды Института системного анализа Российской академии наук. 2009. Т. 46. С. 279-286. URL: https:// elibrary.ru/item.asp?id=15323457 (дата обращения: 19.06.2019).
[29] Протасов В. И., Мирахмедов Р. О., Потапова З. Е., Шарнин М. М., Шаронов А. В. Уменьшение ошибок первого рода при распознавании контуров самолетов с использованием коллективного интеллекта БПЛА // Известия Кабардино-Балкарского научного центра РАН. 2018. № 6-3(86). С. 70-82. URL: https://elibrary.ru/item. asp?id=37094664 (дата обращения: 19.06.2019).
[30] Трахтенгерц Э. А. Компьютерная поддержка принятия решений. М.: СИНТЕГ, 1998. 811 с.
[31] Шустов Е. А., Протасов В. И., Витиска Н. И. Исследование эффективности метода генетического консилиума при решении задачи коммивояжера // Известия Челябинского научного центра УрО РАН. 2004. № 1. С. 11-16. URL: https://elibrary.ru/item.asp?id=8810782 (дата обращения: 19.06.2019).
[32] Baharad E., Goldberger J., Koppel M., Nitzan S. Beyond Con-dorcet: optimal aggregation rules using voting records // Theory and Decision. 2012. Vol. 72, Issue 1. Pp. 113-130. DOI: 10.1007/s11238-010-9240-5
[33] Condorcet Marquis de ESSAI sur l'application DE L'ANALYSE à la PROBABILITÉ DES DÉCISIONS Rendues à la pluralité des voix. Imprimerie Royale, Paris, 1785.
[34] Daniels B. C., Flack J. C., Krakauer D. C. Dual Coding Theory Explains Biphasic Collective Computation in Neural Decision-Making // Frontiers in Neuroscience. 2017. Vol.11. Pp. 313. DOI: 10.3389/fnins.2017.00313
[35] Grudin J. Computer-supported cooperative work: history and focus // Computer. 1994. Vol. 27, Issue 5. Pp. 19-26. DOI: 10.1109/2.291294
[36] Gupta M. M, Sànchez E. (eds.). Approximate reasoning in decision analysis. North-Holland Publishing Company, 1982. 455 pp.
[37] Gupta M. M., Kandel A., Bandler W., Kiszka J. B. (eds.). Approximate reasoning in expert systems. North-Holland, Amsterdam, 1985. 836 pp.
[38] Herrera F., Herrera-Viedma E., VerdegayJ. L. Direct approach process in group decision making using linguistic OWA operators // Fuzzy Sets and Systems. 1996. Vol. 79, Issue 2. Pp. 175-190. DOI: 10.1016/0165-0114(95)00162-X
[39] Koriyama Yu., Szentes B. A resurrection of the Condorcet Jury Theorem // Theoretical Economics. 2009. Vol. 4, Issue 2. Pp. 227-252. URL: https://EconPapers.repec.org/ RePEc:the:publsh:563 (дата обращения: 19.06.2019).
[40] McGrath J. E. Small group research, that once and future field: An interpretation of the past with an eye to the future // Group Dynamics: Theory, Research, and Practice. 1997. Vol. 1, Issue 1. Pp. 7-27. DOI: 10.1037/1089-2699.1.1.7
[41] Rasch G. Probabilistic Models for Some Intelligence and Attainment Tests. University of Chicago Press, 1980. 224 pp.
Поступила 19.06.2019; принята в печать 15.08.2018; опубликована онлайн 30.09.2019.
|об авторах:|
Протасов Владислав Иванович, доцент кафедры информационных технологий, Московский авиационный институт (национальный исследовательский университет) (125993, Россия, г. Москва, Волоколамское шоссе, д. 4), кандидат физико-математических наук, доцент, ORCID: http://orcid. org/0000-0002-4783-7209, [email protected] Потапова Зинаида Евгеньевна, доцент кафедры математической кибернетики, Московский авиационный институт (национальный исследовательский университет) (125993, Россия, г. Москва, Волоколамское шоссе, д. 4), кандидат физико-математических наук, доцент, ORCID: http://orcid.org/0000-0002-2718-1556, [email protected]
Все авторы прочитали и одобрили окончательный вариант рукописи.
References
[1] Adizes I. At the threshold of the management revolution. Harvard Business Review Russia. February 16th, 2017, pp. 6-10. Available at: https://hbr-russia.ru/management/up-ravlenie-izmeneniyami/a18761/ (accessed 19.06.2019). (In Russ.)
[2] Aleskerov F.T., Khabina E.L., Shvarts, D.A. Binary Relations, Graphs, and Collective Solutions. Moscow: Vysshaya Shkola Ekonomiki, 2006. (In Russ.)
[3] Beer A.S. Management Science: The Business Use of Operations Research. Published by Hodder & Stoughton Ltd, 1968. (In Eng.)
[4] Wiener N. I Am a Mathematician. MIT Press, 1964. (In Eng.)
[5] Wiener N. The Human Use Of Human Beings: Cybernetics And Society. Da Capo Press, 1988. (In Eng.)
[6] Glushkov V.M. Introduction to Cybernetics. Academic Press Inc, 1966. 332 pp. (In Eng.)
[7] Glushkov V.M., Branovitskii V.I., Dovgyalo A.M., Rabinovich Z.L., Stognii A.A. Man and Computers. Naukova Dumka, Kiev, 1971. (In Russ.)
[8] Mikhalevich V.S., Skurikhin V.I., Kanygin Y.M., Gritsenko V.I. Some Approaches to Developing the Concept of Society Informatization. Naukova Dumka, Kiev, 1988. (In Russ.)
[9] Gritsenko V.I., Ursatiev A.A. Distributed information systems of wide application. Concept. Experience in development and implementation. Naukova Dumka, Kiev, 2005. (In Russ.)
[10] Zatuliveter Yu.S. Informational nature of social change. SIN-TEG, Moscow, 2001. (In Russ.)
[11] Zatuliveter Yu.S. On Fundamental Problems of Programmable Metacomputing. In: Proceedings of the All-Russian scien-
Modern Information Technologies and IT-Education
tific conference "Scientific Service in Internet: solving of huge problems", MSU, Moscow, 2002, pp. 218-221. Available at: https://elibrary.ru/item.asp?id=22916558 (accessed [26] 19.06.2019). (In Russ.)
[12] Melikhov A.N., Berstein L.S., Korovin S.Ya. Situational advising systems with fuzzy logic. M.: Nauka, 1990. 272 pp. (In Russ.)
[13] Minsky M. Steps toward Artificial Intelligence. In: Proceed- [27] ings of the IRE. 1961; 49(1):8-30. (In Eng.) DOI: 10.1109/ JRPROC.1961.287775
[14] Mirkin B.G. Problema gruppovogo vybora [Prob- [28] lems of group choice]. Nauka, Moscow, 1974. 256 pp. (In Russ.)
[15] Mirkin B.G. Analiz kachestvennyh priznakov [Analysis of Qualitative Characteristics]. Statistica, Moscow, 1976. 166 pp. (In Russ.)
[16] Mirkin B.G. Analiz kachestvennyh priznakov i struktur [Analysis of Qualitative Attributes and Structures. Statisticala, [29] Moscow, 1980. 319 pp. (In Russ.)
[17] Protasov V.I., Karelin V.P. A new method of collective creativity in computer networks. In: Proceedings of the IVInternational scientific-practical conference "Fundamental and applied systems of instrumentation, computer science, economics and law." Sochi, 2001, pp. 215-218. (In Russ.)
[18] Protasov V.I., Karelin V.P. On the possibility of applying the [30] method of genetic consultation in evolutionary management. In: Problems of the formation and assessment of factors of economic growth in the region. Taganrog, 2002; [31] (1):34-35. (In Russ.)
[19] Protasov V.I. The application of the method of collective creativity during a lesson in physics. In: Mathematical models of physical processes and their properties, Taganrog, 2002, pp. 17-19. (In Russ.)
[20] Protasov V.I., Karelin V.P. A new method for the collective [32] development of projects in computer networks. University News. North-Caucasian Region. Technical Sciences Series. 2002; (2):27-30. (In Russ., abstract in Eng.)
[21] Protasov V.I. Testing hybrid human-machine intelligence on [33] chess problems. In: Artificial Intelligence 2002 Proceedings, Katsiveli, Crimea, 2002, pp. 348-353. (In Russ.)
[22] Protasov V.I., Karelin V.P. Organization of collective work [34] with information in corporate information systems. In: Proceedings of the III international scientific-practical conference "Problems of regional management, economics, law and innovative processes in education", TMEI, Taganrog, 2003, [35] pp. 148-152. (In Russ.)
[23] Karelin V.P., Protasov V.I. An effective method of finding the Hamiltonian cycle and solving the traveling salesman prob- [36] lem on a flat graph. In: Proceedingsof the International Scientific Conference "Optimal Methods for Solving Scientific
and Practical Problems", Part 2. Taganrog, Publishing "An- [37] ton", TRTU, 2005, pp. 34-37. (In Russ.)
[24] Protasov V.I., Druzhinin A.A., Mikhailov L.V. Methodology for restoring a subjective portrait by a team of witnesses using [38] 3D - morphing. Programmnye produkty i sistemy = Software
& Systems. 2007; 1(77):21-24. Available at: https://eli-brary.ru/item.asp?id=11685825 (accessed 19.06.2019). (In Russ.) [39]
[25] Protasov V.I., Potapova Z.E. Compilation of an identikit by an intelligent consultation. Measurements World. 2009; 3:10-
16. Available at: https://elibraryru/item.asp?id=18042232 (accessed 19.06.2019). (In Russ.)
Protasov V.I., Potapova Z.E., Markarayn L.V., Sozonov V.V. The use of new information technology - a collective text editor -in education. In: Proceedings of the All-Russian Scientific and Practical Conference "Innovative Learning Technologies in Higher Education", ChGA, Sochi, 2009, pp. 123-125. (In Russ.) Protasov V.I. Konstruirovanie metasistemnyh perekhodov [Constructing metasystem transitions]. ICPT, Moscow, 2009. 186 pp. (In Russ.)
Protasov V.I., Rabinovich P. D. Application of a new network information technology of intellectual consultation for drawing up a subjective portrait. Trudy Instituta sistemnogo analiza rossiyskoy akademii nauk = Proceeding of the Institute for Systems Analysis of the Russian Academy of Science. 2009; 46:279-286. Available at: https://elibrary.ru/ item.asp?id=15323457 (accessed 19.06.2019). (In Russ.) Protasov V.I., Mirakhmedov R.O., Potapova Z.E., Sharnin M.M., Sharonov A.V. Reducing type i errors in aircraft contour recognition using collective intelligence of unmanned aerial vehicles. Izvestiya Kabardino-Balkarskogo nauchnogo tsentra RAN. 2018; 6-3(86):70-82. Available at: https://eli-brary.ru/item.asp?id=37094664 (accessed 19.06.2019). (In Russ., abstract in Eng.)
Trahtengerts E.A. Komputernaya podderzhka prinyatiya resheniy [Computer Support of Decision-making]. Sinteg, Moscow, 1998. 376 pp. (In Russ.)
Shustov E.A., Protasov V.I., Vitiska N.I. Study of the effectiveness of the method of genetic consultation in solving the traveling salesman problem. Izvestiya Chelyabinskogo nauchnogo centra UrO RAN. 2004; 1:11-16. Available at: https://elibrary.ru/item.asp?id=8810782 (accessed
19.06.2019). (In Russ.)
Baharad E., Goldberger J., Koppel M., Nitzan S. Beyond Condorcet: optimal aggregation rules using voting records. Theory and Decision. 2012; 72(1):113-130. (In Eng.) DOI: 10.1007/s11238-010-9240-5
M. le Marquis de Condorcet ESSAI sur l'application DE LANALYSE à la PROBABILITÉ DES DÉCISIONS Rendues à la pluralité des voix. Imprimerie Royale, Paris, 1785. (In Eng.) Daniels B.C., Flack J.C., Krakauer D.C. Dual Coding Theory Explains Biphasic Collective Computation in Neural Decision-Making. Frontiers in Neuroscience. 2017; 11:313. (In Eng.) DOI: 10.3389/fnins.2017.00313 Grudin J. Computer-supported cooperative work: history and focus. Computer. 1994; 27(5):19-26. (In Eng.) DOI: 10.1109/2.291294
Gupta M.M, Sànchez E. (eds.). Approximate reasoning in decision analysis. North-Holland Publishing Company, 1982. 455 pp. (In Eng.)
Gupta M.M., Kandel A., Bandler W., Kiszka J.B. (eds.). Approximate reasoning in expert systems. North-Holland, Amsterdam, 1985. 836 pp. (In Eng.)
Herrera F., Herrera-Viedma E., Verdegay J. L. Direct approach process in group decision making using linguistic OWA operators. Fuzzy Sets and Systems. 1996; 79(2):175-190. (In Eng.) DOI: 10.1016/0165-0114(95)00162-X Koriyama Yu., Szentes B. A resurrection of the Condorcet Jury Theorem. Theoretical Economics. 2009; 4(2):227-252. Available at: https://EconPapers.repec.org/RePEcthe:-
Современные информационные технологии и ИТ-образование
Том 15, № 3. 2019 ISSN 2411-1473 sitito.cs.msu.ru
publsh:563 (accessed 19.06.2019). (In Eng.)
[40] McGrath J. E. Small group research, that once and future field: An interpretation of the past with an eye to the future. Group Dynamics: Theory, Research, and Practice. 1997; 1(1):7-27. (In Eng.) DOI: 10.1037/1089-2699.1.1.7
[41] Rasch G. Probabilistic Models for Some Intelligence and Attainment Tests. University of Chicago Press, 1980. 224 pp. (In Eng.)
Submitted 19.06.2019; revised 15.08.2019; published online 30.09.2019.
About the authors:
Vladislav I. Protasov, Associate Professor of the Department of Information Technology, Moscow Aviation Institute (National Research University) (4 Volokolamsk Highway, Moscow 125993, Russia), Ph.D. (Phys.-Math.), Associate Professor, ORCID: http:// orcid.org/0000-0002-4783-7209, [email protected] Zinaida E. Potapova, Associate Professor of the Department of Mathematical Cybernentics, Moscow Aviation Institute (National Research University) (4 Volokolamsk Highway, Moscow 125993, Russia), Ph.D. (Phys.-Math.), Associate Professor, ORCID: http:// orcid.org/0000-0002-2718-1556, [email protected]
All authors have read and approved the final manuscript.
Modern Information Technologies and IT-Education
