CC BY
123
В.П. КАРЕЛИН, В.И. ПРОТАСОВ
КВАЛИМЕТРИЧЕСКИЙ ПОДХОД К ФОРМИРОВАНИЮ ГРУППЫ ЭКСПЕРТОВ И ОПРЕДЕЛЕНИЮ ИХ КОМПЕТЕНТНОСТЕЙ ПРИ ОРГАНИЗАЦИИ КОЛЛЕКТИВНОГО ИНТЕЛЛЕКТА
Рассмотрены мулыпиагентные системы и методы принятия решений, базирующиеся на моделировании коллективного интеллекта, способы организации коллективной работы специалистов в компьютерных сетях, особенности и преимущества для принятия решений технологии краудсорсинга и метода эволюционного согласова-
ния решений. Предложен квалиметрический подход к формированию группы экспертов, определению их компетентностей и сложности тестовых заданий. Предложена методика выбора эталонной группы экспертов и эталонной группы тестовых заданий.
Коллективный интеллект, мулътиагентные системы, принятие решений, генетический консилиум, сетевой метод, согласование решений, квалиметрический подход, краудсорсинг, компетентность экспертов, сложность заданий, метод Дельфи, теорема Кондорсе, математическая модель, модель Раша.
В настоящее время для моделирования и анализа сложных слабоформализованных или неформализованных систем и отыскания лучших решений интенсивно развиваются и используются новые подходы, например, эволюционногенетические и бионические методы моделирования и принятия решений (ПР), методы нечеткой математики и теории возможностей, нейронные сети и моделирование рассуждений, технологии когнитивного моделирования и когнитивного ситуационного анализа, различные варианты нечётких подходов к анализу иерархий и др. [1-3]. Интересным и
перспективным является также исследование мульти-агентных систем и методов ПР, базирующихся на моделировании коллективного интеллекта (КИ). Это направление относится к эволюционному моделированию (ЭМ) и методам эволюционных вычислений (ЭВ). ЭМ и ЭВ превратились в важный инструмент поиска субопгимальных решений тех задач, которые до последнего времени считались неразрешимыми. Эти методы, как показывает практика, позволяют найти наиболее хорошие (или «достаточно хорошие») решения очень трудных задач поиска и выбора за меньшее время, чем другие, обычно применяемые в этих случаях, методы [3].
Одним из перспективных направлений моделирования КИ (или коллективного ПР) является группа эволюционно-генетических методов (социо-субъект-ориентированные генетические алгоритмы, метод генетического консилиума, метод интеллектуального консилиума, сетевой метод эволюционного согласования решений), предложенных авторами работ [310]. В этих работах приведены алгоритмы функционирования КИ в общем виде и предложены принципы организации одновременной творческой работы большого числа людей и компьютеров в сети, позволяющие наиболее выгодно использовать соответствующие преимущества человеческих, сетевых и машинных компонентов. При этом результаты совместной деятельности специалистов превышают совокупные результаты их работы поодиночке или
по существующим ныне методам организации коллективного творческого труда. Например, наиболее разработанный метод эволюционного согласования (МЭС) решений - это способ организации коллективной работы экспертов над проектом с заранее заданной целью по правилам, основанным на принципах классического генетического алгоритма. Правила по организации работы интеллектуальных агентов и их взаимодействия выглядят следующим образом:
1) сформулированы цели проекта;
2) определяется состав экспертов и способ их взаимодействия;
3) задаётся каркас проекта;
4) находятся первые варианты решений, возможно, неполные;
5) проводится обмен вариантами решений;
6) проверяются критерии окончания работы;
7) из полученных решений составляются новые решения (скрещивание);
8) в новые решения вносятся изменения (мутация);
9) осуществляется переход на п. 5.
В соответствии с правилами взаимодействия разрабатываются инструкции для коллективной работы с учётом особенностей конкретной задачи, коммуникационной среды, способностей и квалификации интеллектуальных агентов.
Проведённые эксперименты по решению сложных задач в разных областях человеческого творчества группами экспертов показали работоспособность и эффективность МЭС. Качество решения зависит от правильности выбора схемы метода, уровня компетентности и полноты знаний экспертов.
В работе Ю.С. Затуливетера [4] отмечается: «... самое главное и удивительное то, что во всех рассматриваемых случаях использования метода процессы коллегиального решения сходились достаточно быстро». Действительно, при решении сложных оптимизационных задач, в том числе ЫР-полных, зачастую требуется число итераций, превышающее десятки тысяч. По-видимому, этот факт и останавливал специалистов в области генетических
алгоритмов (ГА) от применения этого эффективного метода в человеко-машинных средах. Теоретическое обоснование МЭС, приведенное в работах [9-11], позволило определить условия, при которых сходимость к консолидированному решению осуществляется за малое число итераций. В качестве одной из теоретических основ МЭС была положена теорема Кондорсе о присяжных, где приводятся условия, при которых консолидированное решение может быть получено за одну итерацию [10-12].
МЭС занимает промежуточное положение между методами, использующими теорему Кондорсе, и ГА, наследуя их лучшие свойства. Эти методы объединяет то, что, базируясь на начальной популяции решений, составленной из частных особей-решений, имеющих разное количество «правильных» генов, с их помощью при определенных условиях можно найти полное решение [10, 11]. МЭС отличается от ГА тем, что с самого начала интеллектуальные агенты (эксперты) генерируют «правильные» гены и удерживают их в последующей эволюции и скрещиваниях, получая за малое число итераций полное или неполное решение. По сравнению с методом Кондорсе для получения правильного полного решения при использовании МЭС число таких генов может составлять у эксперта менее половины от общего количества.
Таким образом, в основу рассмотренных в работах [5-11] методов и алгоритмов положено применение Г А как координатора совместной работы экспертов в модифицированном для компьютерных сетей методе Дельфи.
Наряду с вышеуказанными активно развивается новое направление интеллектуальных информационных технологий (ИГ) - компьютерная поддержка совместной (групповой) работы (Computer Supported Cooperative Work), при этом ИГ и новые возможности общения способствуют повышению эффективности коллективных решений. Однако несмотря на интенсивное использование методов групповой работы (ГР) и продолжающиеся активные исследования в области создания систем коллективного ПР, универсальные принципы и методы организации коллективной работы в компьютерных сетях до сих пор не разработаны. Все еще остаются не полностью решенными многие проблемы, связанные с разработкой методов и алгоритмов ГР, недостаточно проработаны вопросы интеграции различных гибридных ИГ и особенности их реализации в системах ПР с целью повышения эффективности решения трудно формализуемых задач. Такое положение существенно тормозит разработку методов ГР, позволяющих гарантированно решать сложные задачи, выдвигаемые практикой, и создавать соответствующие сетевые программные продукты.
В настоящее время в Интернете наблюдается экспоненциальный рост коллективного творчества в различных областях человеческой деятельности. В сети происходит стихийный поиск методов взаимодействия пользователей, но до сих пор не существует адекватной им теории. Однако несмотря на отсутствие единой теории и основанных на ней систем КИ, имеется много примеров практического использова-
ния интуитивно наработанных приемов и методов коллективной работы и принятия ГР. Так, благодаря появлению социального WEB-2 и социального компьютинга были созданы и используются новые сетевые инструменты, такие, например, как [3, 13-16]:
• краудсорсинг (англ. crowdsourcing, crowd -«толпа» и sourcing - «использование ресурсов»);
• граундсвелл (англ. groundswell) - «социальный тренд, при котором люди используют технологии для удовлетворения своих потребностей не за счёт обращения к институциональным образованиям (например, корпорациям - производителям конкретных товаров или услуг), а путём общения и кооперации с другими людьми...»;
• рынки предсказаний (prediction markets) - «новый способ предвосхищать события и формировать динамичные опережающие модели, опирающиеся на “коллективный разум” сетевой толпы».
Метод краудсорсинга подразумевает делегирование бизнес-задачи фирмы-организатора удаленному сетевому сообществу. Такой способ организации труда имеет существенные преимущества перед традиционным наймом сотрудников, поскольку позволяет быстро создавать глобальный продукт при использовании дешевой удаленной рабочей силы. При этом бизнес-риски разделяются с исполнителями, которые в большинстве случаев получают оплату своего труда после продажи продукта [13].
Впервые термин «crowdsourcing» использовал в 2006 году журналист Джефф Хауи [14]. В своей статье в журнале «Wired» он доказывал, что группы любителей, которые работают над какой-то задачей, зачастую могут выдавать лучшие результаты, чем профессионалы. Эксперты, даже самые умные, всегда будут более ограничены, чем тысячи энтузиас -тов. Хауи утверждал, что развитие технологий обеспечило доступ к информации огромному числу пользователей. Интернет сделал метод краудсорсинга дешевым и общедоступным в десятках областей человеческих знаний. Это обстоятельство, в свою очередь, сократило разрыв между профессионалами и любителями в разнообразных отраслях знаний. В результате организации получили возможность воспользоваться талантами «сетевой толпы» в своих целях, привлекая миллионы людей к работе над разнообразными задачами [13, 14].
Популяризация идеи, которая лежит в основе краудсорсинга, началась еще до изобретения самого термина. В 2004 г. в США журналист Джеймс Шуровьевски опубликовал книгу «Мудрость толпы», заявив, что при правильно заданных условиях поиск решения какой-либо проблемы с опорой на совокупные знания многих людей может быть более эффективной методикой, чем использование знаний и опыта нескольких из них, даже наиболее талантливых. Он утверждал, что толпа может быть умной при соблюдении ряда условий: она должна быть разнообразной (состоять из независимых друг от друга людей), децентрализованной и иметь возможность выразить свое мнение в единый вердикт [15].
Базисом всех проектов, использующих краудсорсинг , являются талантливые люди, готовые жертво -вать своим временем. Обычно энтузиасты, которые
занимаются такими проектами, стремятся не столько заработать денег, сколько получить моральное удовлетворение от работы. Создание Википедии является одним из самых ярких, но далеко не единственным примером суперуспешного применения краудсорсинга [13].
В России данную технологию активно развивает недавно созданная фирма Witology, осуществившая ряд значимых для российской экономики проектов.
В настоящее время появляются новые технологии и поколения краудсорсинга. В качестве примера можно привести технологию с интеллектуального краудсорсинга, созданную компанией Witology и построенную на возможности объединения (синергии) интеллектуальных уровней участников. Как раз эту концепцию положил в основу собственного краудсорсингового проекта Сбербанк России [16].
Задача синтеллектуального краудсорсинга -найти множество лучших идей (и людей), тогда как обычный краудсорсинг направлен на вычленение одной идеи из многих. Сделать это можно, в частности, за счет применения системы рейтингов участников подобных проектов, а также специальных методик, которые позволят идеям проходить ряд эволюционных этапов видоизменений и отбора (за счет оценок идеи ее сторонниками, противниками, конкурирующими группами участников и экспертами). Новый метод работы с пользователями позволит повысить КПД сообществ и не даст скатиться к базарному гвалту, чтобы не пропустить ценную идею, заваленную грудами информационного шлака [13, 16].
С ростом популярности традиционного вида краудсорсинга стали очевидны и его недостатки -например, бесполезный «шум» идей, генерируемый пользователями, недостаточная мотивированность волонтеров, а также снижение качества конечного продукта [13].
Нетрудно видеть, что идеи краудсорсинга близки идеям, положенным в основу рассмотренного выше метода эволюционного согласования решений. Отличие лишь в количестве и компетентности экспертов, участвующих в решении поставленной проблемы.
Одной из основных проблем и краудсорсинга и МЭС является непредсказуемость результатов, связанная с тем, что по теореме Кондоре е, положенной в основу этих методов, требуется, чтобы вероятность правильного заключения каждого эксперта превышала 0,5 и для надежности метода требуется предварительное тестирование большого количества экспертов [9-12]. Дело усугубляется тем, что в реальной практике задания (слоты) проекта могут иметь различную сложность, и эти оценки сложности должны учитываться при подготовке и прогнозировании выполнения проекта.
Эти вопросы нашли свое решение в общей теории конструирования тестов, опирающейся на теорию измерения - Item Response Theory (IRT) [17,18]. Для наших целей наиболее подходящей математической моделью является однопараметрическая модель Раша, представленная формулой
G =
(1)
і + в “(е
связывающей вероятность G правильного ответа испытуемого с уровнем его компетентности (подготовленности) в и сложностью задания р [17] . В (1) величина о - это масштабный множитель.
График функции G(в,p) для конкретного значения р представляет собой логистическую кривую, уровни сложности и подготовленности измеряются в специальных единицах - логитах [17, 18].
На рисунке показаны кривые Раша при о=1 для разных значений р: от (-3) логит (самое легкое задание) до (+3) логит (самое трудное задание).
испытуемого от его компетентности в и сложности задачи р
Использование модели Раша обеспечивает независимость оценок заданий от подготовленности (компетентности) испытуемых и оценок испытуемых от сложности (параметров) заданий. Из приведенных зависимостей видно, что чем выше уровень подготовленности в испытуемого, тем выше вероятность успеха в том или ином задании. Видно, что при в = р вероятность правильного ответа G равна 0,5.
От переменных в и р, измеряемых в логитах и изменяющихся от -да до + да, можно перейти к новым переменным у и о>, находящимся в диапазоне от 0 до 1:
^ = 1+е~в и ^ = Т+ёё. ^^1Разив величины 0 и р через, соответственно, у и ши подставив в (1) при 0=1, получим выражение (2):
° =-----:---~------- (2)
1 +
1 - у 1 -Ф
У Ф
Использование этого выражения позволяет ввести понятие среднего по компетентности эксперта с у=0,5 и среднего по сложности задания с ю=0,5.
Действительно, при ю=0,5, согласно (2), у =G, то есть присущее эксперту и не зависящее от сложности задачи значение подготовленности или компетентности у может быть измерено, как отношение числа правильно решенных (выполненных) заданий
средней сложности (или правильно заполненных слотов проекта) к их общему чжлу.
Аналогично при у=0,5 из (2) следуетю=0, то есть сложность задания может быть измерена с привлечением среднего по компетентное ти эксперта. При этом мерой сложности задания будет являться доля m
неправильно решённых заданий из общего их (заданий) числа одинаковой, но неизвестной сложности.
Использование модели Раша в форме (2) для наших целей - определения компетентностей экспертов и сложностей слотов проекта является предпочтительным. Эта модель позволяет непосредственно из большой серии тестовых экспериментов с большим количеством экспертов неизвестной квалификации и большого набора тестовых заданий неизвестной сложности для данной серии и состава экспертов однозначно установить их относительные компетентности и относительные сложности заданий. Так же можно выделять из совокупности экспертов группу «эталонных» экспертов средней компетентности и использовать их в дальнейшем для измерения сложности новых тестовых заданий, равно как и использовать подмножество уже измеренных «эталонных» тестовых заданий для измерения компетентностей новых экспертов. Более того, если при коллективной работе поручить экспертам помимо выполнения заданий (внесения в проект правильных слотов) дать также экспертную оценку значения их (заданий) сложности по линейной шкале, то при большом количестве экспертов, согласно теореме Кондорсе [12, 17, 18], мы получим адекватную оценку т сложности задания (слота). Кроме того, исходя из измеренных величин О каждого эксперта по результатам его работы и применяя формулу (2), мы можем оценить присущее ему (эксперту) значение компетентности у.
Для определения эталонной группы экспертов и эталонной группы тестовых заданий можно предложить следующую методику.
Допустим, независимой группой компетентных экспертов подготовлена совокупность из большого количества N тестовых заданий разной и неизвестной сложности. Имеется группа из М экспертов, подлежащих тестированию, с неизвестными компетентное -тями у. По результатам тестирования нам нужно измерить эти величины для всех экспертов и выделить группу экспертов со средней компетентностью у=0,5. Требуется также определить значения ю сложности всех тестовых заданий и выделить группу заданий средних по сложности.
По результатам тестирования построим матрицу Я размерностью МЛ, заполняя ее клетки единицами в случае правильных ответов экспертов и нулями в случае неправильных ответов. Для каждого из N столбцов находим суммы единиц и заполняем вектор
2 значениями этих сумм, то есть определяем, сколько экспертов ответило на данный вопрос правильно. Аналогично для каждой из М строк, суммируя единицы, определяем, на сколько заданий правильно ответил каждый эксперт, заносим эти значения в вектор У. Сортируем матрицу по столбцам по возрас-танию чисел в векторе 2 и далее по строкам по возрастанию чисел в векторе У. Получим модифицированную матрицу Я1. В левом верхнем углу матрицы Я1 будет преобладание нулей, а в правом нижнем - преобладание единиц. Накладываем на матрицу Я1 в ее верхний левый угол матрицу г размерами тт (т<М и п<Л) и передвигаем ее во все возможные положения, переписывая каждый раз в
нее всю совокупность единиц и нулей соответствующей части большой матрицы Я1. Наша задача - найти такое положение малой матрицы г на большой Я1, чтобы по ее столбцам и строкам было примерно равное число единиц и нулей. То есть, двигая малую матрицу по большой, нужно минимизировать функционал
т^‘ п
І=1 1=1
пт
1=1 І=1
>тіп. (3)
Группа из т экспертов, выделяемая малой матрицей г (при таком ее расположении на большой, чтобы выполнялось 5~5т1п), и является эталонной группой экспертов, а группа из п тестовых заданий, соответственно, - группой эталонных заданий. Соотношения т/М и п/Ы подбираются экспериментально из нескольких сходящихся результатов определения составов эталонных групп.
Рассмотренный способ определения объективных оценок компетентностей специалистов-экспертов (и/или лиц, участвующих в краудсорсинге) и объективных оценок сложности тестовых заданий позволяет реализовать квалиметрический подход к формированию группы экспертов на основе предложенной в работах [9-11] математической модели и сетевого МЭС. Новая информационная технология сетевого МЭС решений повышает качество формируемых решений и сокращает время их получения. В основу теории и метода МЭС положены модифицированная для компьютерных сетей технология Дельфи, идеи генетических алгоритмов, теоремы Кондорсе, элементы теории метасистемных переходов В. Турчина.
Испытания МЭС осуществлялись в течение ряда лет на разных задачах, в том числе и на таких сложных, как задача коммивояжера, многокритериальная задача о назначениях, задача о формировании инвес -тиционного портфеля, шахматные задачи, перевод текста с английского языка на русский группой студентов, составление фоторобота группой свидетелей, тестирование студентов [6-10, 19, 20]. Во всех случаях метод демонстрировал высокую результативность. В качестве интеллектуальных агентов при этом выступали как люди, так и компьютерные программы, а в некоторых случаях и те и другие. Объединение интеллекта людей и программных агентов для решения сложных задач показало, что МЭС, по существу, представляет собой в данном случае интерфейс, объединяющий искусственный и естественный интеллекты в единое целое, позволяющий в приемлемые сроки и с надлежащим качеством решать сложные задачи. Также было показано, что если известны параметры креативных способностей экспертов к генерации и оценке вариантов решений, то можно прогнозировать время и полноту решения задачи консилиумом экспертов.
ЛИТЕРАТУРА
1. Берштейн Л.С., Карелин В.П., Целых А.Н. Модели и методы принятия решений в интегрированных интеллектуальных системах. Ростов н/Д: Изд-во РГУ, 1999. 275 с.
2. Курейчик В.В., Курейчик В.М., Родзин С.И. Концепция эволюционных вычислений, инспириро-
ванных природными системами // Известия ЮФУ. Технические науки. Таганрог: Изд-во ТТИ ЮФУ, 2009. №4. С. 16-25.
3. Карелин В.П., Протасов В. И. Эволюционно-генетические и бионические методы моделирования коллективного интеллекта в системах управления и поддержки принятия решений // Вестник ТИУиЭ. 2012. №1. С. 71-76.
4. Затуливетер Ю.С. Информация и информационное моделирование : труды Международной конференции « Идентификация систем и задачи управления». SICPRO-2000. М., 2000. С. 15291578.
5. Протасов В.И. Генерация новых знаний сетевым человеко-машинным интеллектом. Постановка проблемы// Нейрокомпьютеры. Разработка и применение. 2001. №7-8. С. 94-103.
6. Протасов В.И., Карелин В.П. Новый метод коллективного творчества в компьютерных сетях: научные труды IV Междунар. научн.- пр. конференции «Фундаментальные и прикладные проблемы приборостроения, информатики, экономики и права». Сочи; М.: Кн. информатика, 2001. С. 215-218.
7. Протасов В.П., Карелин В.П. Новый метод коллективной разработки проектов в компьютерных сетях //Известия вузов Сев.-Кавказского региона. Технические науки. 2002. №2. С. 27-30.
8. Карелин В.П., Протасов В.П. Применение метода генетического консилиума для решения многокритериальных задач дискретной оптимизации в системах организационного управления и принятия решений // Вестник ТИУиЭ. 2005. №2 С. 68-72.
9. Протасов В.П. Применение сетевого метода эволюционного согласования решений в управлении проектами. Управление проектами и программами. М.: Изд-во Grebennikov, 2011. Т. 1(25).
10. Протасов В.П. Метод эволюционного согласования решений. Компьютерная и математическая модели. Горный информационно-аналитический бюллетень. М.: Изд-во «Горная книга», 2011. Отдельный выпуск №1.
11. Протасов В.П. Математическая модель метода эволюционного согласования решений// Известия Кабардино-Балкарского научного центра РАН. 2012. №2(46). С.29-37.
12. Condorcet, marquis de (Marie-Jean-Antoine-Nicolas de Caritat) (1785). Essai sur l’application de l’analyse à la probabilité des décisions rendues à la pluralité des voix. Imprimerie Royale, Paris.
13. Коллективный разум (Что такое краудсорсинг и зачем он нужен?) [Электронный ресурс]. URL: http://lenta.ru/articles/2011/10/31/crowdsourcing/
14. Howe Jeff. The Rise of Crowdsourcing. Wired. 2006. P. 1-4.
15. Шуровъевски Дж. Мудрость толпы. Почему мы вместе умнее, чем поодиночке, и как коллективный разум формирует бизнес, экономику, общество и государство/ пер. с англ. М.: ООО «И.Д. Вильямс », 2007. 304 с.
16. http://sberbank21.ru/c rowdsourc ing. html.
17.В. H. Дружинин. Экспериментальная психология: учебник для вузов 2-е изд., доп. СПб.: Питер,
2003. 319 с
18. Rasch G. Probabilistic Models for Some Intelligence and Attainment Tests /Expanded Edition, with Foreword and Afterword by B.D. Wright. Chicago: University of Chicago Press, 1980.
19. Протасов В.И. Компьютерные системы коллективного творчества и поддержки принятия решений: учебное пособие. Таганрог: Изд-во ТГПИ,
2004. 94 с.
20. Кузнецов В.В. Технологии интернет-образования [Электронный ресурс ]. URL:
http://www. masters. donntu. edu ua/2006/fvti/grac h/ library/st2.htm
