CC BY
7Определение меры трудности заданий и уровня подготовленности экспертов при использовании метода эволюционного согласования решений
Владислав Протасов
Национальный исследовательский технологический университет «МИСИС»
Введение
В настоящее время наблюдается экспоненциальный рост числа научных публикаций, посвященных коллективному интеллекту. С использованием социального WEB-2 и социального компьютинга созданы и используются новые сетевые инструменты, такие, например, как краудсорсинг (англ. crowdsourcing, crowd — «толпа» и sourcing — «использование ресурсов») -применение данного метода подразумевает делегирование бизнес-задания фирмы-организатора удаленному сетевому сообществу.
Такой способ организации труда имеет существенные преимущества перед традиционным наймом сотрудников, поскольку он позволяет быстро создавать глобальный продукт при использовании дешёвой удаленной рабочей силы. При этом бизнес-риски разделяются с исполнителями, которые в большинстве случаев получают оплату своего труда после продажи продукта. Впервые термин «crowdsourcing» использовал в 2006 году журналист Джефф Хауи1. В России данную технологию активно развивает недавно созданная фирма Witology, осуществившая ряд значимых для российской экономики проектов2.
Одной из основных проблем краудсорсинга является непредсказуемость его результатов, связанная с тем обстоятельством, что по теореме Кондорсе3, положенной в основу этого метода, требуется, чтобы вероятность правильного заключения эксперта превышала 0,5 и для надёжности метода требуется предварительное тестирование большого количества экспертов. Дело усугубляется тем, что в реальной практике слоты (составные части) проекта могут иметь различную трудность, и это нужно было учитываться при подготовке и прогнозировании выполнения проекта.
Открытыми на сегодняшний день также остаются задачи определения стоимости интеллектуальной работы в зависимости от её трудности, а также задачи справедливой оплаты труда отдельных экспертов и групп экспертов при решении интеллектуальных задач. Неясно также, какие критерии могут быть применены для оценки правильности ответов на поставленные задачи.
1 Howe, Jeff. The Rise of Crowdsourcing. Wired. 2006, p. 1-4.
2 http://sberbank21.ru/crowdsourcing.html
3 Condorcet, marquis de (Marie-Jean-Antoine-Nicolas de Caritat) (1785), Essai sur l'application de l'analyse a la probabilite des decisions rendues a la pluralite des voix. Imprimerie Royale, Paris.
Важным является также вопрос, каким образом нужно набирать группы специалистов или отдельных специалистов в зависимости от их креативных способностей для решения задач с заранее заданной вероятностью правильности её решения? Непонятным также является вопрос, в каких единицах и каким образом можно однозначно измерять способности специалистов и трудность заданий?
В рамках предлагаемых в настоящей работе подходов предпринята попытка ответить на эти вопросы.
1. Модель Раша
Связь между уровнем трудности тестовых заданий и степенью подготовленности экспертов при определении вероятности правильного ответа была установлена в наиболее общей теории конструирования тестов, опирающейся на теорию педагогических и психологических измерений - Item Response Theory (IRT)4. Для наших целей подходя-
щей является однопараметрическая модель Раша5, как наиболее простая модель, связывающая вероятность получения правильного ответа С испытуемого с уровнем его подготовленности (компетентности) 0 и мерой трудности задания в: 1
С = 1 + еа(в-0) , (1)
где а — масштабный множитель. Данное выражение представляет собой формулу т.н. логистической функции, где уровни трудности задания и уровень подготовленности специалистов измеряются в специальных единицах — логитах.
На рис. 1 показаны графики моделей Раша, при а = 1 для трудности задания в, от -3 логит (самое легкое задание) до 3 логит (самое трудное задание).
Использование модели Раша обеспечивает независимость оценок заданий от испытуемых и оценок испытуемых от параметров заданий. Из приведенных зависимостей видно, что чем выше уровень подготовленности 0 испытуемого, тем выше
0,8
0,6
0.5
0,4
0.2
P=-3 /-2/-1/ 0
-5 -4 -3 -2
-1
1
s е
Рис. 1. Зависимость вероятности правильного ответа испытуемого от трудности задания и уровня подготовленности испытуемого
4 Дружинин В.Н. Экспериментальная психология: Учебник для вузов / В.Н. — 2-е изд., доп. — СПб.: Питер, 2003. — 319 с.
5 Rasch G. Probabilistic Models for Some Intelligence and Attainment Tests /Expanded Edition, with Foreword and Afterword by B.D. Wright. Chicago: University of Chicago Press, 1980.
вероятность успеха в том или ином задании. Видно, что при 0 = в вероятность правильного ответа С равна 0,5.
2. Определение уровней подготовленности экспертов и трудности заданий с использованием малой выборки
Необходимым условием для измерения уровня подготовленности, не зависящего от того или иного набора заданий, является наличие тестовой базы, состоящей из большого числа заданий разного уровня трудности. Как показывают оценки, исходя из закона больших чисел и результатов компьютерного моделирования, приведенных ниже, чтобы охватить диапазон измерения уровней компетентности от -7 до +7 ло-гитов, с точностью хотя бы ±0,1, необходимо заранее подготовить тестовую базу порядка 1000 заданий с уровнями трудности от -8 до +8 ло-гит. Здесь возникает чисто методологическая трудность.
Как правило, существующие базы тестов не охватывают такого количества заданий, а главное — они предназначены только на какую-либо сравнительно однородную группу испытуемых или экспертов. С другой стороны, трудно себе представить в нашем случае, чтобы эксперты смогли выделить время для ответа на сотни заданий.
Если у нас имеется большая совокупность тестовых заданий с известными значениями в, расположенная по порядку возрастания трудности, то для измерения компетентности эксперта можно применять следующую процедуру, снижающую число предлагаемых заданий К от 50 до 100.
Допустим, у нас имеется база из 1000 пронумерованных тестовых заданий. Будем задавать эксперту последовательность заданий, начиная с некоторого номера Р с шагом Ь
(величина Ь может быть в диапазоне от 10 до 20, а Р — случайное число от 1 до [Ь/2]), запоминая при этом номер задания I, в котором была допущена первая ошибка. Задаём задания до тех пор, пока эксперт не допустит подряд N ошибок (^ = 3^5). Допустим, что номер первогоо задания, в котором эксперт ошибся —]. Определяем середину этого
I + ]'
диапазона М ■■
и границы
последовательности номеров зада-
К
ваемых вопросов от
„, К г2 = М + — с шагом 1.
г1 = М
до
В качестве значения компетентности эксперта 0 рассчитывается средневзвешенное число 1 %
0 = Т 18гвг, (2)
г= г1
где 8{ = 0, если ответ г неправильный или 8{ = 1, если ответ правильный, £ - число правильных ответов.
Аналогичным образом определяется трудность нового, не имеющегося в базе, задания. Допустим, что у нас в базе данных имеется список экспертов, с известными значениями 0^., расположенных в порядке возрастания. По процедуре, изложенной выше, определяется последовательность экспертов от 3 до32 с шагом 1, решающих правильно новое задание, с вероятностью примерно равной 0,5. Трудность нового задания можно определить при этом следующим образом: 1 }2
в = 1X 8 в . (3)
3=31
3. Применение краудсорсинга для составления базы тестовых заданий
Как известно, составление тестовой базы с большим количеством заданий является весьма трудоемкой и затратной
процедурой. Здесь может помочь использование краудсорсинга, проводимого среди экспертов в той области знаний, в которой предполагается в дальнейшем использование сетевого интеллекта протестированных экспертов.
Эксперты разбиваются на группы, допустим, по семь человек, и каждая группа, работая по технологии метода эволюционного согласования решений6, составляет тестовые задания с ответами. Предполагается, что каждый участник генерирует более двух таких заданий с ответами, и они проверяются, дополняются или отвергаются коллективным разумом группы. В конце итерационного процесса остается, допустим, десять лучших тестовых заданий. Одновременно группа экспертов определяет примерную трудность заданий в логитах. Если в процессе таким образом организованного краудсорсинга было организовано, допустим, 80 групп, то на выходе мы можем получить 800 тестовых заданий разного уровня трудности с правильными ответами.
Поскольку трудности заданий были оценены приближенно, то пользоваться этими оценками для измерения компетентности экспертов нельзя. Эти оценки могут быть использованы только при проведении описанной выше адаптационной процедуры тестирования экспертов для того, чтобы снизить количество предлагаемых заданий каждому эксперту. При этом в процессе накопления статистики правильных ответов необходимо переупорядочить список заданий по трудности, делая ранжирование заданий по этому показателю более точным.
4. Сертификация экспертов и тестов с использованием краудсорсинга
Имея обширную базу тестовых заданий различной трудности, можно
построить следующую процедуру определения абсолютных компетенций экспертов и получения уточненных значений трудностей тестовых заданий.
Предположим, что у нас есть подготовленная заранее база тестовых заданий из 800 заданий разной степени трудности, предварительно проранжированных по степени трудности неким жюри, компетентность которого значительно выше компетентности тестируемых экспертов, и коллектив из 500 экспертов, подлежащих сертификации,
По адаптационной методике, описанной выше, каждому из экспертов предлагается по 50 заданий из тестовой базы, причем эксперту даются задания, в формулировании которых он не принимал участия и, следовательно, априори не знает правильных ответов. Фиксируются его правильные и неправильные ответы. В процессе накопления информации обо всей дополняющейся совокупности правильных и неправильных ответов всего коллектива экспертов происходит уточнение порядка распределения заданий по трудности. Для этого периодически происходит сортировка списка заданий по количеству правильных ответов.
После окончания процесса тестирования, когда каждый из пятисот экспертов ответил на свои 50 заданий, мы получаем двумерную таблицу Т-, где ] — номер эксперта, а I — номер тестового вопроса. Если ]-й эксперт ответил на 1-й вопрос правильно, то в соответствующее поле таблицы записываем единицу, если неправильно, то нуль. Если данный вопрос эксперту не предлагался, то в это поле ставим прочерк.
Рассмотрим методику, которая при обработке полученной таблицы позволяет однозначно определить уровни подготовленности экспертов и трудности тестовых заданий. Отметим, что мы уже имеем первое
6 Аванесов В.С. Применение тестовых форм в Rasch Measurement // Педагогические измерения № 4, 2005, С. 3-20.
приближение для уровней трудности тестовых заданий. Они были определены коллективным интеллектом экспертов на стадии формирования базы тестов. Первое приближение может быть также найдено группой экспертов, обладающих высокой компетентностью.
Следуя Рашу7,8, в каждом 1-м столбце подсчитываем сумму правильных ответов всех экспертов и записываем в нижней части таблицы, а в каждой1-й строке подсчитываем сумму правильных ответов ( и записываем справа:
Таблица 1
Т 1,1 1 2 3 4 т
1 0 1 - 0 - 01
2 1 - 0 1 0 02
3 0 - 0 0 0 0з
4 - 0 1 - 1 04
п 1 0 0 1 0 0п
51 52 53 54 5 т
Итак, в табл. 1 находится информация о результатах тестирования п экспертов на т тестовых заданий.
Далее делаем двойную сортировку таблицы Т]Ч по строкам в соответствии с полученными значениями и столбцам — в соответствии со значениями таким образом, чтобы
слева оказались самые трудные тестовые задания, а сверху — эксперты со слабой подготовленностью. В результате образуется табл. 2, в которой в верхней левой части преимущественно будут расположены нули, а в правом нижнем углу — единицы.
Таблица 2
Т1,г в1 в2 вз в4 в т
01 0 0 - 0 -
02 0 0 0 - 0
03 0 - 0 0 1
04 0 0 - 1 1
0 П - 0 1 1 1
После проведения двойной сортировки перенумеруем экспертов и тестовые задания в соответствии с полученным порядком, а в верхнюю строчку табл. 2 поместим значения первого приближения для трудно-
сти. Значения уровней подготовленности экспертов пока не определены.
Исходя из данных табл. 2 для большинства клеток, расположенных на пересечении 1-х строк и 1-х
7 Аванесов В.С. Метрическая система Георга Раша // Педагогические измерения №2, 2010, С. 57-80.
8 Аванесов В.С. Три источника становления метрической системы Георга Раша (ЯМ) // Педагогические измерения №4, 2011, С. 18-29.
столбцов, можно рассчитать величину вероятности правильного ответа 3-го эксперта на 1-е задание как отношение числа правильных ответов в некоторой окрестности данной клетки к числу клеток этой окрестности:
1 3+1 1+1
г ' = Т2Т712 X X трг5рг,(4)
(л +1; р=;-¡г=г-I здесь I — размер окрестности, 5рг = 1, если ответ правильный и 5р г = 0 в остальных случаях. Здесь следует отметить, что по формуле (4) значения вероятностей правильных ответов можно подсчитать только для областей от 3 = ¡+1 до п-¡и 1 = 1+ 1 до т - ¡. В областях, лежащих за
пределами этой части прямоугольной таблицы, значения можно определить с меньшей точностью, уменьшая размер окрестности.
Причём очевидно, что значения в левой верхней части таблицы, как правило, равны нулю, а в правой нижней части — единице. В правой верхней части таблицы и левой нижней части таблиц можно ставить прочерки. Итак, мы получили окончательную таблицу с вероятностями правильных ответов, с неизвестными значениями уровней подготовленности экспертов и первыми приближениями для уровней трудности заданий в следующем виде:
Таблица 3
г ч в1 р2 вз в4 вт-2 вт-1 вт
91 0 0 0 - - -
92 0 0 - - -
93 0 - гз,з Г3,4 Г3,т-2 г 2,т-1 -
94 Г 4,1 Г4,2 Г4,3 г44 4,4 Г4,т-2 г4,т-1 4,т-1
9т-2 - Гп-2,2 Гп-2,3 г „, п-2,4 Гп-2,т-2 г п-2,т-1 1
9п-1 - - Гп-1,3 г 14 п-1,4 г , 2 п-1,т-2 1 1
9 п - - - 1 1 1
Величину при а = 1 в соответствии с (1) можно выразить формулой
1
г =
3¿л в-9 1 + 3
(5)
Логарифмируя, получим расчётное выражение
, 1 - си вг -93 = Ь—3 = С^. (6)
Гз ,1
Исходя из (6) рассчитаем таблицу значений С-р оставляя имеющиеся в табл. 3 прочерки и заменяя нули и единицы также на прочерки, поскольку делить на нуль нельзя, а логарифм нуля не существует.
Далее строим итеративную процедуру нахождения величин 93- и в1, учитывая, что первое приближение для в1 известно:
Находим приближение для всех 0з-, выбирая из таблицы С-{ все заполненные значения по индексу 1
9 3 =
1
т
Хв 1 - С,1.
3 1
здесь т
количество заполненных
значений в строке ].
Находим среднее значение
А П
9. =1Х9 3
" 3=1
Вычитаем его из всех 9,-: 9. = 9. - 9 . ]
3 3 5
Вычисляем следующее приближение для уровней трудности:
1
в =-Х°; +
п.
здесь п{ — количество заполненных значений в столбце
Переходим на пункт 1, до тех пор, пока итеративный процесс вычисления и в не сойдется.
Полученная таким образом база тестовых заданий может быть использована для сертификации новых экспертов. Процедура адаптивного измерения подготовленности экспертов была изложена выше. Аналогичным образом группа сертифицированных экспертов может определять уровни трудности новых тестовых заданий.
5. Испытания технологии сертификации экспертов и тестов с помощью компьютерной модели
Для проверки предложенной методики сертификации экспертов и определения уровней трудности тестовых заданий были проведены эксперименты на компьютерной модели. Компьютерное моделирование осуществлялось следующим образом.
С использованием генератора случайных чисел генерируются таблицы подготовленности экспертов
0з- и уровней трудности тестовых заданий , причем эти распределения имеют существенную нелинейность. Одна из реализаций этих распределений приведена на рис. 2.
Уровни трудности в рассматриваемом примере меняются от -4 до 4 логитов, а уровни подготовленности от -3 до 3 логитов.
Исходя из заданных распределений, случайным образом были сгенерированы таблицы значений подготовленности экспертов 0. для
] = 1, 2, 3,... 500 и уровней трудности заданий в для • =1, 2, 3, .,800. Виртуальные эксперты были подвергнуты «тестированию» — они заполняли таблицу следующим образом. В ячейку таблицы с координатами], • записывалась единица, если случайная величина, генерируемая компьютером в диапазоне от 0 до 1, оказывалась меньше, чем рассчитываемая по формуле Раша (4), иначе записывался нуль.
Далее вычисления проводились по методике, описанной выше. В качестве первого приближения для уровней трудности в выбирались сгенерированные случайным образом арифметические прогрессии.
На рис. 3 представлена одна из реализаций таблицы Т^ после двойной сортировки. Черными точками изображены правильные ответы, белыми — неправильные. Сплошной линией выделена полоса, где значения С-- находятся в диапазоне от 0,499 до 0,501. Исходя из анализа данной кривой, можно сделать
отн. ед.
_______ / \
^ _ ч ...
1 1 1 1 1 1
-3
-2
логит
Рис. 2. Относительное распределение по уровню подготовленности экспертов и тестовых заданий по трудности
вывод, что инструментальными ционного метода позволило одно-
средствами можно выявить наличие нелинейности в распределениях уровня подготовленности экспертов и уровней трудности тестовых заданий. Использование итера-
значно определить искомые зависимости.
Результаты восстановления исходных таблиц представлены на рис. 4.
Рис.3. Вид таблицы после двойной сортировки
Рис. 4. Результаты расчетов одного из вариантов
На этом рисунке по оси абсцисс отложены значения исходных таблиц, а по оси ординат — восстановленные значения, и те и другие — в логитах. Светлая кривая соответствует значениям в, тёмная — 0^. Погрешности восстановления в абсолютных единицах не превышают 0,12 логит. Результаты расчетов, как показали компьютерные восстановления исходных зависимостей, не зависят от первого приближения.
Таким образом, можно сказать, что в рамках модели Раша становится возможным введение абсолютной шкалы измерения уровня подготовленности специалистов и уровня трудности заданий.
6. Краткое описание метода эволюционного согласования решений
В литературе9 приведено описание новой информационной технологии коллективного решения интеллектуальных задач с использованием метода эволюционного согласования решений (МЭС). Метод представляет собой модифицированную для компьютерных сетей технологию Дельфи, в которой координаторами групповой работы экспертов выступают генетические алгоритмы.
Определим этот метод следующим образом. МЭС10 — способ организации коллективной работы экспертов над проектом с заранее заданной целью, по правилам, основанным на принципах классического генетического алгоритма. Проект разбивается на отдельные слоты, подлежащие заполнению. Эксперты в соответствии со своими знаниями (умениями) заполняют слоты правильными или неправильными ответами, либо, если они не знают ответ, оставляют их незаполненными.
Правила по организации работы экспертов и их взаимодействия выглядят следующим образом:
1) сформулированы цели проекта;
2) определяются состав экспертов и способ их взаимодействия;
3) задаётся каркас проекта — перечень слотов, подлежащих заполнению;
4) находятся первые варианты решений, возможно неполные;
5) проводится обмен вариантами решений;
6) проверяются критерии окончания работы — слот считается заполненным, если более половины экспертов заполнили его одинаковым образом;
7) из полученных решений составляются новые решения (скрещивание);
8) в новые решения вносятся изменения (мутация);
9) осуществляется переход на п. 5.
В соответствии с правилами взаимодействия разрабатываются инструкции для коллективной работы с учётом особенностей конкретной задания, коммуникационной среды, способностей и квалификации интеллектуальных агентов.
7. Определение относительной стоимости решения задания в зависимости от её трудности
Как будет показано в этом разделе, совместное применение модели Ра-ша и МЭС позволяет принципиально решить проблему измерения трудности заданий и вклада экспертов в коллективный проект. Как видно из описания МЭС, креативные способности экспертов, используемые ими при коллективной работе над проектом, состоящим из
9 Протасов В.И. Конструирование метасистемных переходов. — изд. «Институт физико-технической информатики», 2009 г. 197 с.
10 Протасов В.И. Применение сетевого метода эволюционного согласования решений в управлении проектами. Управление проектами и программами. — М., изд. Grebennikov, 2011, т. 1(25). С. 22-35.
слотов одинаковой трудности, можно свести к четырем параметрам:
Сг — вероятность правильного заполнения слота проекта экспертом на начальном этапе (этап генерации идей),
Сп — вероятность ошибки на этом этапе,
Тг — вероятность правильной экспертизы предъявляемых на проверку чужих вариантов слотов проекта на этапах согласования решений,
Еп — вероятность ошибки на этих этапах.
Эти параметры могут быть оценены при тестировании экспертов на специально сконструированных тестах, с заданиями различной степени трудности, таким же образом, как это было представлено в разделах V и VI.
Способности эксперта к генерации идей проверяются на тестах с открытыми вопросами — эксперт должен вписать свой ответ в пустую графу теста и, если ответ совпадает с ключом, то засчитывается правильный ответ, если же не совпадает, то засчитывается неправильный. Если эксперт не знает ответа на поставленный вопрос, то он оставляет соответствующую графу незаполненной.
Способности эксперта к экспертизе чужих решений проверяются на специально сконструированных вопросах закрытого типа, когда эксперту предлагаются варианты ответов, среди которых могут быть правильные. Эксперт должен дать ответ — есть ли среди предложенных вариантов правильный ответ и, если он есть, то указать его. Ответ эксперта, верно определившего отсутствие правильного ответа, также считается правильным.
Эксперт может дать ответ «не знаю». Здесь уместно будет отметить, что для большего успеха коллективной работы, экспертам выгоднее в случае сомнений давать ответ «не знаю», чем отгадывать правильный ответ. Это связано с тем,
что каждый неправильно заполненный слот уменьшает вероятность правильного ответа группы и снижает рейтинг эксперта.
Зависимость вероятности правильного ответа эксперта на этапе генерации идей Сг от степени подготовленности эксперта 0С и трудности вопроса в следуя Рашу можно записать в виде
1
С = —мГ. (7)
1 + ев с
Степень подготовленности эксперта 0С определяется, как это было сказано выше, на тестах с открытыми вопросами.
Вероятность неправильного ответа эксперта Сп на этом этапе в зависимости от трудности задания и подготовленности эксперта можно определить также из проверки на тестах с заданиями открытой формы. После статистической обработки результатов тестирования было установлено, что эта зависимость может быть описана следующим образом:
Сп = Ас ехр(-ф-0с )2). (8)
Здесь Ас — значение вероятности неправильного ответа на задание при 06 = в.
Действительно, анализ формулы (8) показывает, что при ответе на простые задания, когда 0С >> в, вероятность неправильного ответа близка к нулю. С другой стороны, в случае решения трудных заданий, когда 0С << в, вероятность неправильного ответа также должна стремиться к нулю, поскольку эксперт с вероятностью, близкой к единице будет давать ответ «не знаю».
Из анализа результатов тестирования большой группы экспертов с использованием заданий закрытого типа в рамках модели Раша, было получено, что зависимость вероятности правильной экспертизы Е на этапах согласования в зависимости от трудности задания в и подготовленности эксперта к экспертизе
проектов 0Е можно описать выражением:
_ 1
Ег в-0"• (9)
1 + ев Е
Аналогично (8) зависимость вероятности неправильной экспертизы Еп на этапах согласования в зависимости от трудности задания в и подготовленности эксперта к экспертизе проектов 0Е можно представить в виде:
Еп _ Леехр(-ф-0е)2). (10)
Исходя из представленных выражений и возможности расчёта компьютерным моделированием вероятности правильного ответа, полученного группой экспертов в зависимости от трудности задания и их креативных характеристик, можно построить методику метрического обеспечения системы определения относительной стоимости выполнения задач и справедливой системы оплаты труда специалистов, решающих интеллектуальные зада-
ния в составе группы или индивидуально.
Для построения этой методики введем понятие идеального эксперта. Идеальным экспертом будем считать такого эксперта, у которого зависимость вероятности правильного решения задания от трудности определяется выражением (7), а остальные характеристики таковы: Оп = 0, Ег= 1, и Еп = 0. Будем называть гарантированным решением какого-либо задания правильное решение с вероятностью не ниже 0,999. Например, из (7) можно получить, что для гарантированного решения задания трудностью в логит требуется работа одного специалиста с подготовленностью 0Г не ниже в + 7 ло-гит.
С использованием компьютерной модели МЭС можно рассчитать, какое количество идеальных экспертов квалификации 0г нужно для гарантированного решения заданий разной трудности. Результаты расчетов приведены в табл. 4.
Таблица 4
N 1 2 3 4
Трудность задания в 0 - 1 Г 0 Г 0 + 1 Г 0 + 2 Г
Количество экспертов М 1 п 5 10 22 55
Отношение М /М + 1 пп 2 2,2 2,5
Самое меньшее отношение числа экспертов одинаковой квалификации Мп, гарантированно решающих задание, к числу таких же экспертов, решающих более простое задание трудностью на один логит меньше, расположено во втором столбце. Следовательно, если стоимость решения задания трудностью в нуль логит принять за единицу, то стоимость решения более трудного задания в один логит будет в два раза больше. Естественно, фирма, нанимающая специалистов для решения задач, выберет именно это соотношение. Следовательно, относитель-
ная стоимость С решения задания трудности в должна составить величину
С _ С02в, (11)
где С0 — цена, установленная за решение задания трудностью в нуль логит.
Соответственно, специалисту с квалификацией 0 = в, Сп = 0, Ег= 1 и Еп = 0, принимавшему участие в гарантированном решении задания трудностью в в составе коллектива из 10 человек, нужно заплатить
Z _ 0,1С02в. (12)
Для того, чтобы оценить уровень притязаний реального эксперта, обладающего измеренными в результате тестирования параметрами 0с, Ас, 0Е и АЕ, необходимо с помощью компьютерной модели рассчитать, сколько нужно экспертов такой же квалификаци-идля гарантированного решения задания трудностью в = 0С. Далее с использованием компьютерной модели нужно рассчитать величину 0 сид для идеального эксперта, исходя из ранее полученного количества реальных экспертов.
В этой таблице также приведены результаты расчетов «заработка» 2 (при С0 = 1000 у.е.) десяти разных специалистов при решении заданий разной трудности и поиска ответа на вопрос — сколько таких специалистов нужно для их гарантированного решения. Видно, что специалисты, объединяясь в группы, могут выбирать себе задания определенной трудности, чтобы максимизировать свой заработок.
Заключение
В результате проделанной работы можно сделать вывод, что использование МЭС, модели Раша, а также итерационного метода определения уровней подготовленности экспертов и трудности тестовых заданий,
И по формуле (12) для в = 0сид рассчитать, на какую сумму оплаты своего труда может претендовать специалист.
В табл. 5 приведены результаты расчетов величины 0Сид для специалистов разного уровня квалификации. Из анализа этой таблицы видно, что чем больше величины вероятностей неправильных решений, тем больше снижается величина 0Сид по сравнению с 0С. Величина 0Сид является по сути интегральной характеристикой креативных способностей специалиста.
Таблица 5
позволяет решить проблему тестирования и решения интеллектуальных заданий. Становится возможным однозначное и объективное измерение креативных способностей специалистов, нахождение интегральной оценки качества работы специалиста, относительных величин стоимости решения задания и размера справедливой оплаты труда специалиста.
Поскольку технология достаточно проста и малозатратна, то сообщество экспертов в определенной области человеческой деятельности («цех»), используя краудсорсинг и предлагаемую технологию, может самостоятельно провести разработку тестовых материалов и провести самосертификацию своего сетевого сообщества. В дальнейшем сертифицированные таким образом экс-
№ 0С Ас 0Е АЕ Р М(Р)^ м(Р+1)^ Мф+2)Д 0 ид "с
1 -1,6 0,08 -0,4 0,1 -3 4/31,2 9/27,8 17/29,4 -1,68
2 -0,4 0,11 0,7 0,12 -2 4/62,5 9/55,6 17/58,8 -0,68
3 0,5 0,31 1,5 0,24 -1 5/100 32/31,2 89/22,5 0,00
4 1,3 0,22 2,3 0,31 0 6/167 25/80 62/64,5 0,74
5 2,2 0,16 3,5 0,15 1 5/400 15/267 23/348 2,00
6 2,8 0,24 3,8 0,33 1 4/500 12/333 56/142 2,32
7 3,8 0,35 4,5 0,42 2 4/1000 20/400 309/52 3,32
8 4,3 0,24 5,3 0,11 3 6/1333 27/593 32/1000 3,73
9 5,1 0,12 6,2 0,24 4 6/2667 14/2285 32/2000 4,73
10 6,1 0,22 7,6 0,21 5 7/4571 27/2370 29/4413 5,51
ш и
ш ^
со ^
ш
о ш
перты могут участвовать в разного рода индивидуальных и коллективных проектах с прогнозируемым результатом.
Одним из важнейших результатов компьютерного моделирования является формулирование следующих утверждений:
При увеличении трудности задания на один логит цена его гарантированного решения возрастает по меньшей мере вдвое.
Гарантированное решение задания при всех прочих условиях имеет оптимальную цену, если модуль разности подготовленности экспертов группы и уровня трудности задания не превышает одного логита.
Благодарности
Автор признателен фонду РФФИ, профинансировавшему данное исследование в рамках проектов 13-07-00958 «Разработка теории и экспериментальные исследования новой информационной технологии самоуправляемого краудсорсинга» и 13-07-00272 «Методика автоматического формирования ассоциативных портретов предметных областей на основе естественно-языковых текстов больших объемов для систем извлечения знаний».
Отдельное спасибо Аванесову Вадиму Сергеевичу за ряд существенных замечаний по данной статье, устранение которых улучшило работу.
< ш
