CC BY
56
Методика анализа экспертных оценок при разработке автоматизированных обучающих систем
В ходе разработки автоматизированных обучающих систем (АОС) для летного состава гражданской авиации (ГА) Международная организация ГА (ИКАО - 1СА0) рекомендует привлекать в качестве экспертов высококвалифицированных исполнителей, т. е. пилотов, успешно эксплуатирующих данный тип воздушного судна. В рамках этого анализа рекомендуется применять методику, известную как «сессия РАСиМ». В усовершенствованном виде она позволяет учитывать уровень компетентности экспертов при разработке автоматизированных систем, используемых для профессиональной подготовки летного состава гражданской авиации.
Г. В. Коваленко,
доктор техн. наук, профессор, заведующий кафедрой летной эксплуатации и профессионального обучения авиационного персонала СПбГУ ГА
А. П. Ушаков,
доктор техн. наук, профессор, заведующий кафедрой диагностики технических систем СПбГУ ГА
Д. В. Айдаркин,
доцент кафедры естественно-научных дисциплин Ульяновского высшего авиационного училища гражданской авиации
М. В. Барабанов,
аспирант кафедры летной эксплуатации и профессионального обучения авиационного персонала СПбГУ ГА
которые позволили убедиться, что доля изменяющих свою оценку членов экспертной группы, чьи ответы попадают в интервал между квартилями, является линейной функцией отклонения от медианы (рис. 1). Примерно 80 % экспертов, оценки которых выходят за пределы интервала между квартилями, изменили их в следующем туре опроса независимо от величины отклонения от медианы [2].
Использование коэффициентов компетентности экспертов при вычислении обобщенной оценки объектов экспертизы позволяет сократить число требуемых туров опроса для получения согласованного экспертного мнения. Алгоритм вычисления коэффициентов компетентности экспертов к и обобщенной оценки объектов экспертизы х сводится к расчетам по следующим рекуррентным формулам [3]:
I = 1, 2, ...,«,
Н
п т
с = 1, 2, ...,
¡=1 ;=1
} = 1, 2, ..., т,
К |'=1
причем вычисления начинаются с с = 1, а начальные значения коэффициентов компетентности для каждого эксперта принимаются одинаковыми.
Методика «сессия DACUM» (аббревиатура от англ. developing а curriculum — разработка учебного плана), представляет собой «управляемый мозговой штурм» (controlled brainstorming) с участием отобранных экспертов, руководимых группой по разработке АОС [1].
Предположим, что в ходе разработки АОС m экспертов произвели оценку n объектов экспертизы. Тогда результаты оценки могут быть представлены в виде величин хц, где j — номер эксперта, i — номер объекта экспертизы. Эти величины обычно заданы с использованием баллов либо чисел, принадлежащих некоторому отрезку числовой оси.
Оценить уровень компетентности каждого эксперта для тех случаев, когда проводится непосредственное числовое оценивание альтернатив, можно по степени согласованности экспертных оценок с групповой оценкой объектов (например, медианой). Справедливость такого подхода подтверждается экспериментами,
Рис. 1. Связь доли экспертов, изменивших свое мнение, с отклонением их мнения от медианы
46 | «Транспорт Российской Федерации»
№ 6 (43) 2012
Предложенная методика анализа экспертных мнений была апробирована в Ульяновском высшем авиационном училище ГА при разработке АОС по самолету первоначального обучения Як- 18Т (36-я серия). На первом этапе сессии DACUM отобранная группа из восьми специалистов-экспертов под руководством DACUM-курато-ра разработала карту компетенций курсанта-пилота, содержащую перечень основных функций и соответствующих задач, выполняемых в ходе летной подготовки [4]. Полученная карта позволила сформировать перечень дисциплин и их составляющих — учебных элементов (УЭ), которые должны быть представлены в разрабатываемой АОС. По мнению экспертов, весь учебный материал может быть разбит на 56 УЭ [5].
На втором этапе перед экспертами была поставлена задача сформировать оптимальный порядок освоения учебного материала АОС. Для этого каждому эксперту было предложено с помощью парного сравнения произвести ранжирование УЭ. Результаты оценки были записаны в виде матриц отношений очередности УЭ, при заполнении которых учитывались свойства антирефлексивности, асимметричности, отрицательной асимметричности, транзитивности и отрицательной транзитивности этих матриц, что позволило значительно сократить работу экспертов. Общее число парных сравнений, произведенных каждым экспертом, составило:
, 56 (56-1) С*= 2
- = 1540.
Далее исходная экспертная группа была разбита на две равные подгруппы с примерно одинаковым исходным уровнем согласованности мнений экспертов, для оценки которого использовался дисперсионный коэффициент конкордации Ш [3] (Ш = 0,64 в первой подгруппе; Ш = 0,62 во второй). В каждой подгруппе проводились независимый опрос и согласование мнений экспертов по методу Дельфи до тех пор, пока значение коэффициента конкордации не превышало порогового значения, равного 0,9.
В ходе опроса первой подгруппы учитывались коэффициенты компетентности экспертов при вычислении обобщенной оценки объектов экспертизы в каждом туре с использованием приведенных рекуррентных формул, в которых число экспертов т = 4, а число объектов экспертизы п = 56. Начальные значения коэффициентов компетентности принимались равными:
к?=-= 0,25. ' т
Заданный уровень согласованности мнений экспертов в первой подгруппе был достигнут уже во втором туре (Ш = 0,96), в ходе которого произошло выравнивание коэффициентов компетентности экспертов, что также свидетельствует о достигнутом консенсусе (табл. 1).
Опрос экспертов второй подгруппы проводился по классическому алгоритму метода Дельфи, который не учитывает возможные различия уровня компетентности. Указанный уровень согласованности мнений экспертов был достигнут только в ходе четвертого тура (Ш = 0,95) (рис. 2).
Следует отметить, что обобщенные матрицы парных сравнений, полученные в ходе опроса экспертов двух подгрупп, почти
Номер тура метода Дельфи Рис. 2. Изменение согласованности мнений экспертов при определении оптимального порядка изучения УЭ АОС
совпали, что свидетельствует об устойчивости полученного решения. Хеммингово расстояние между полученными матрицами двух экспертных подгрупп равно 6, т. е. мнения экспертов разошлись лишь для трех отношений очередности УЭ АОС, что составляет менее 0,2 % от общего числа парных сравнений.
Аналогичный результат был получен на третьем этапе сессии DACUM, в ходе которого каждому члену экспертной группы предложили установить наличие логических связей между УЭ АОС. Результаты оценки были представлены в виде матриц логической связности, при заполнении которых учли свойства рефлексивности и симметричности бинарного отношения логической связности, что позволило сократить общее число парных сравнений.
После предварительного анализа полученных матриц логической связности экспертная группа вновь была разбита на две равные подгруппы с примерно одинаковым исходным уровнем согласованности мнений экспертов, для оценки которого использовался коэффициент согласия при парном сравнении V [6] (V = 0,63 в первой подгруппе; V = 0,59 во второй). В качестве порогового значения для коэффициента согласия вновь была принята величина 0,9.
Опрос и согласование мнений в первой подгруппе производились с учетом коэффициентов компетентности экспертов при вычислении обобщенной оценки объектов экспертизы в ходе каждого тура, а анализ мнений экспертов второй подгруппы не предполагал возможные различия уровня компетентности. Заданный уровень согласованности мнений экспертов в первой подгруппе был достигнут уже во втором туре (V = 0,94), а экспертам второй подгруппы для достижения похожего уровня согласованности (V = 0,97) потребовалось провести три тура, что вновь свидетельствует о низкой эффективности классического алгоритма опроса экспертов по сравнению с предлагаемой методикой (рис. 5). Значения коэффициентов компетентности экспертов первой подгруппы приведены в табл. 2.
Заметим, что хеммингово расстояние между матрицами логической связности УЭ АОС, полученными для двух экспертных подгрупп, равно 10, т. е. мнения экспертов разошлись лишь для пяти отношений логической связности, что составляет примерно 0,3 % от общего числа парных сравнений.
На завершающем этапе процесса формирования структурной модели АОС была построена матрица смежности графа содержания,
Таблица 1. Значения коэффициентов компетентности экспертов первой подгруппы при определении оптимального порядка изучения учебных элементов АОС
Эксперт,/ 1 2 3 4
Первый тур 0,2989 0,1614 0,3267 0,2130
Второй тур 0,2508 0,2499 0,2512 0,2481
№ 6 (43) 2012
«Транспорт Российской Федерации» | 47
Номер тура метода Дельфи Рис. 3. Изменение согласованности мнений экспертов при формировании матриц логической связности УЭ АОС
каждый элемент которой вычислялся как произведение соответствующих элементов обобщенных матриц отношений очередности и логической связности УЭ. Матрица смежности и рекомендованный экспертами порядок освоения УЭ обучающей системы позволили однозначно определить структуру соответствующего графа содержания АОС и представить его в виде диаграммы Хассе (рис. 4).
Построенная структурная модель обучающей системы получила экспериментальное подтверждение в ходе компьютерного тестирования курсантов училища, проходящих обучение по специализации 160503.65.01 (летная эксплуатация гражданских воздушных судов). Обработка результатов тестирования проводилась
с использованием двухпараметрической модели IRT, что позволило учесть не только средний уровень, но и имеющуюся структуру знаний у испытуемых по каждому УЭ АОС [7]. □
Литература
1. Training. Procedures for Air Navigation Services: Doc 9868. ICAO, 2006.
2. Мартино Дж. Технологическое прогнозирование / Дж. Мартино. М.: Прогресс, 1977.
3. Павлов А. Н. Методы обработки экспертной информации: учеб-но-метод. пособие / А. Н. Павлов, Б. В. Соколов. СПб.: ГУАП, 2005.
4. Айдаркин Д. В. Использование методики DACUM для разработки карты компетенций курсанта летного училища // Проблемы подготовки специалистов для гражданской авиации и повышения эффективности работы воздушного транспорта: сб. матер. Междунар. науч.-практ. конф. 18-19 ноября 2010 г. Ульяновск: УВАУ ГА (И), 2010. С. 8-11.
5. Айдаркин Д. В., Косачевский С. Г. Использование компетентност-ного подхода для разработки систем автоматизированного обучения летного состава // Научный вестник УВАУ ГА. № 1. Ульяновск: УВАУ ГА (И), 2008. С. 170-178.
6. Бешелев С. Д., Гурвич Ф. Г. Математико-статистические методы экспертных оценок. М.: Статистика, 1980.
7. Айдаркин Д. В., Косачевский С. Г. Повышение точности оценки профессиональной подготовленности летного состава на основе тестирования с использованием моделей IRT // Научный вестник МГТУ ГА. № 154 (4). 2010. С. 111-116.
Таблица 2. Значения коэффициентов компетентности экспертов первой подгруппы при определении матриц логической связности учебных элементов АОС
Эксперт, j 1 2 3 4
Первый тур 0,1765 0,3312 0,2878 0,2045
Второй тур 0,2478 0,2511 0,2519 0,2492
№ 6 (43) 2012
