Метод Дельфи как инструмент выявления согласованного мнения в современной студенческой среде при решении задач проектирования будущего

Рягин Юрий Игнатьевич; Глушков Михаил Игоревич; Остроухова Лидия Александровна

УДК 338.27

Ю.И. Рягин, М.И. Глушков, Л.А. Остроухова

МЕТОД ДЕЛЬФИ КАК ИНСТРУМЕНТ ВЫЯВЛЕНИЯ СОГЛАСОВАННОГО МНЕНИЯ В СОВРЕМЕННОЙ СТУДЕНЧЕСКОЙ СРЕДЕ ПРИ РЕШЕНИИ ЗАДАЧ ПРОЕКТИРОВАНИЯ БУДУЩЕГО

Yu.I. Ryagin, M.I. Glushkov, L.A. Ostroukhova

THE DELPHI TECHNIQUE AS A TOOL FOR IDENTIFYING CONSENSUS IN STUDENTS IN TODAY'S SOCIETY FOR SOLUTIONS PROBLEMS DESIGN OF THE FUTURE

В ходе опытного форсайт-исследования в студенческой среде Уральского федерального университета была проверена возможность применения метода Дельфи для выявления согласованной позиции при решении насущных междисциплинарных задач. Показано, что выпускники ведущих институтов федерального университета способны выработать мнение, совпадающее с позицией признанных экспертов в обсуждаемой сфере.

МЕТОД ДЕЛЬФИ, ФОРСАЙТ, УРАЛЬСКИЙ ФЕДЕРАЛЬНЫЙ УНИВЕРСИТЕТ, УРФУ, ЭКСПЕРТНАЯ ОЦЕНКА, ТАМОЖЕННЫЙ СОЮЗ, ЕВРАЗЭС.

During the pilot foresight study among the students of the Ural Federal University held iterative algorithm is verified by the interview using the Delphi method to identify an agreed position to address modern interdisciplinary problems. It is shown that graduates of the leading institutions of the Federal University are able to develop an similar opinion with the position of the leading experts in the discussed field.

DELPHI TECHNIQUE, FORESIGHT, URAL FEDERAL UNIVERSITY, UrFU, EXPERT EVALUATION, CUSTOMS UNION, EURASEC.

Форсайт (от англ. Foresight - предвидение, взгляд в будущее) есть совокупность методов экспертной оценки, которые способны существенно повлиять на развитие общества в средне-и долгосрочной перспективе. Здесь не только рассматриваются всевозможные альтернативные варианты будущего и выбираются наиболее перспективные из них, но и формируются стратегии по достижению желаемого результата в развитии приоритетных областей экономики и промышленности. Фактически речь идет о проектировании будущего.

Одним из наиболее востребованных методов, используемых в форсайт-проектах, стал метод групповых экспертных оценок, известный как метод Дельфи. Метод был разработан в 50-е годы прошлого века корпорацией RAND (США) для решения задач глобального противостояния двух сверхдержав того времени и впервые опубликован в 1964 году в работе 228

О. Хелмера и Т. Гордона [1]. Он позволяет получить максимальную согласованность позиций большого количества экспертов. Анонимный характер опроса исключает влияние авторитетов и шаблонов мышления при коллективном решении проблемы, а учет особого мнения отдельных экспертов дает возможность «зацепить» в интеллектуальную сеть парадоксальную, но перспективную ветвь развития.

Метод Дельфи концептуально прост и может использоваться при разработке проектов с близким горизонтом прогнозирования. К недостаткам метода можно отнести то, что изучаемая проблема должна быть представлена в виде набора конкретных вопросов к экспертам, а количество туров опроса существенно зависит от мотивированности участников, их гражданской позиции. По мере развития метод становился все более разнообразным, но сохранил основные признаки - анонимность, многоэтап-

ный характер опроса и внимание к парадоксальным путям реализации будущего [2].

В апреле - мае 2013 года на базе Уральского федерального университета имени первого Президента России Б.Н. Ельцина было проведено опытное форсайт-исследование с помощью метода Дельфи. В качестве экспертов выступали студенты старших курсов бакалавриата и магистранты трех институтов УрФУ: института естественных наук, института математики и компьютерных наук, а также института гуманитарных наук и искусств. Цель эксперимента - определить, насколько эффективен выбранный метод при решении важной междисциплинарной проблемы, которая была выбрана таким образом, чтобы студенты ни одного из институтов не занимались нею вплотную. Ставилась задача выявить мнение продвинутой университетской молодежи о том, как создание расширенного Таможенного союза в рамках Евразийского экономического сообщества отразится на экономике стран, входящих в ЕврА-зЭС (сегодня это Россия, Белоруссия, Казахстан, Кыргызстан, Таджикистан).

Респондентам было предложено ответить на пять вопросов:

1. Насколько важно для России членство в ЕврАзЭС?

2. Возможно ли создание расширенного Таможенного союза в рамках ЕврАзЭС?

3. Есть ли преимущества вступления новых членов в ЕврАзЭС?

4. Как вы относитесь к тому, что в состав ЕврАзЭС войдут только страны бывшего СССР?

5. Реальна ли перспектива объединения Ев-рАзЭС и ЕС?

На этапе подготовки организаторы переформулировали обращения к респондентам таким образом, чтобы с вопросами можно было работать в рамках метода Дельфи. В качестве ответа планировалось получить некоторую числовую оценку, затем обработать ее средствами метода. Большая роль уделялась корректности вопросов. К примеру, некорректно спросить: «Как скажется объединение ЕврАзЭС и ЕС?» Правильно сформулированный вопрос звучит так: «Оцените объединение ЕврАзЭС и ЕС (0 - объединение скажется отрицательно, 10 - от этого выиграют все страны, входящие в

ЕврАзЭС и ЕС)».

Следующая важная задача - формирование состава экспертной группы. Сумма оценок и, следовательно, количество респондентов должно быть статистически значимым. Нижняя граница численности экспертной группы, опрашиваемой в рамках метода Дельфи, известна из литературных данных. Это 7-9 человек. В то же время метод не имеет ограничений на верхнюю границу, так как отсутствует необходимость собирать экспертов в одном месте. Практика использования метода Дельфи содержит примеры, когда в опросе участвовали сотни и даже тысячи квалифицированных специалистов. Их число определяется характером рассматриваемой проблемы, а также количеством доступных для опроса экспертов.

Математическое обоснование метода

Согласно практике использования метода Дельфи вопрос является решенным, когда длина доверительного интервала оказывается не больше двух единиц по десятибалльной шкале [3]. Почему этого достаточно? Оценки, которые ставят эксперты, можно считать случайной величиной, принимающей значение от нуля до десяти. Ее распределение не имеет конкретного вида, поэтому подобные распределения принято описывать с помощью математических понятий медианы, квантили и интерквартильного размаха. Три понятия вместе могут быть использованы вместо математического ожидания и дисперсии в случае невозможности вычисления последних [4].

Длину интерквартильного размаха в методе Дельфи часто называют доверительным интервалом, хотя это не вполне корректно с точки зрения классической теории вероятности. Чем меньше длина доверительного интервала, тем более согласованно ответили эксперты. Если длина доверительного интервала равна нулю, эксперты ответили единогласно.

Чтобы считать вопрос решенным, можно взять любую длину доверительного интервала в диапазоне от нуля до пяти, где ноль значит, что все эксперты поставили одинаковую оценку, а пять - один из экспертов поставил минимальную, а другой - максимальную оценку. В нашем

исследовании было выбрано значение доверительного интервала, равное двум, что согласуется с позицией авторов метода Дельфи [5-7].

Для повышения уверенности в результате можно использовать меньшие значения указанного интервала. Если после трех-четырех туров опроса ширина доверительного интервала остается больше двух, то проблему рационально считать в данный момент неразрешимой.

Методика проведения исследования

На подготовительном этапе определялись каналы связи с респондентами. Раньше это была в основном почта. Сегодня преимущественно - электронная почта. Метод предполагает оценку компетентности эксперта в обсуждаемой предметной области. Коэффициент компетентности вычислялся по формуле:

С/ = 2 * (Ки + Ка),

где Ки - коэффициент информированности по проблеме, фиксируемый на основе самооценки эксперта по десятибалльной шкале; Ка - коэффициент аргументации, получаемый в результате суммирования баллов по принятой в научной литературе эталонной таблице [8] (см. таблицу).

Респонденту предлагалась таблица аргументации без цифр. Он отмечал условным знаком (крестиком, галочкой и т. д.) роль каждого источника своей аргументации в одной из трех возможных градаций (В, С, Н). После наложения заполненной таблицы на эталонную таблицу коэффициентов аргументации подсчитыва-лось количество баллов по всем обозначенным шести источникам.

Далее респонденты отвечали на поставленные вопросы, заполняя заранее подготовленную анкету. Перед каждой графой анкеты был приведен уточняющий текст: «Ответьте, пожалуйста, на вопросы, используя цифры от нуля до десяти, где ноль ставится при ответе «Категорически не согласен», десять - при ответе «Полностью согласен». Прокомментируйте свой ответ. Ваши комментарии будут доступны другим экспертам, поэтому опишите их подробно».

Эталонная таблица коэффициентов аргументации

Источник аргументации Степень влияния источника на мнение эксперта

В (высокая) С (средняя) Н (низкая)

Теоретический анализ 3 2 1

Обобщение работ зарубежных авторов 0,5 0,5 0,5

Учет работ отечественных авторов 0,5 0,5 0,5

Личное знакомство с состоянием дел за рубежом 0,5 0,5 0,5

Производственный опыт 5 4 2

Интуиция эксперта 0,5 0,5 0,5

После того как все респонденты заполнили анкету, координирующая группа провела анализ результатов. Для этого вычислялись:

Средний коэффициент компетентности МеГ по формуле

мс/ =

где С/[ - коэффициент компетентности / - го эксперта, п - количество экспертов.

Средняя оценка Мг

Мг = ^х,

где Х( - оценка, поставленная / - ым экспертом, п - количество экспертов.

Средневзвешенная оценка Штг

Фиксировалась медиана. Для вычисления медианы оценки респондентов упорядочивались по возрастанию и выбирались две средние по величине оценки, затем определялась их среднеарифметическое значение.

Определялся доверительный интервал. Считались квартили, 1/4 от разницы между максимальной и минимальной оценкой респондентов. Нижней границей доверительного интервала была принята минимальная оценка общей группы респондентов плюс один квартиль, верхней - максимальная оценка минус один квартиль.

Вычислялся интерквартильный размах. Ин-терквартильный размах - это разность между верхним и нижним квартилем, то есть длина доверительного интервала.

Итоги опроса по методу Дельфи

В первом туре опроса определялся коэффициент компетентности каждого респондента в выбранной предметной области. Респондент получал пакет справочно-информационных материалов по обсуждаемой теме и анкету с условным числовым номером на основе соблюдения принципа анонимности в группе. Особое внимание уделялось наличию развернутых комментариев на предлагаемые вопросы.

Второй тур начался с того, что респонденты получили отчет по первому туру, где был указаны: средний коэффициент компетентности, средняя оценка, средневзвешенная оценка, медиана, доверительный интервал и интерквар-тильный размах, а также комментарии респондентов, чьи оценки вышли за пределы доверительного интервала. Участники опроса знакомились с результатами первого тура и вновь заполнили анкету, имея возможность изменить свое мнение после ознакомления с чужими оценками и прочтения комментариев, либо оставить его прежним.

Третий и последующий туры проводились аналогично. Вопрос считался решенным, если длина доверительного интервала оказывалась не больше двух. В противном случае решение вопроса откладывалось до получения новой уточняющей информации.

Для анализа результатов было отобраны ответы 14 респондентов из ответов 25 участников эксперимента. Часть анкет пришлось забраковать ввиду низкой корректности ответов (пропуски в графах анкеты, текст, не несущий

смысловой нагрузки, и т. д.). Ниже приведены ответы каждого из 14 респондентов на пять поставленных вопросов.

Обработка результатов показала, что проблемы, оглашенные в вопросах 2 и 4, имеют согласованные решения. В частности, возможность создания расширенного Таможенного союза в рамках ЕврАзЭС респонденты оценили значением 6,91 по десятибалльной шкале.

Выгоду от вступления в состав ЕврАзЭС всех стран бывшего СССР респонденты также оценили согласованно, сойдясь на значении 5,17 по десятибалльной шкале. Однако перевес в положительную сторону оказался незначительным, что можно объяснить недостаточной информированностью респондентов в реалиях мировой экономики.

На основе метода Дельфи можно с уверенностью сказать, что создание расширенного Таможенного союза в рамках ЕврАзЭС студенты старших курсов ведущих институтов УрФУ считают возможным и желательным. Это совпадает с позицией признанных российских экспертов в обсуждаемой сфере. Однако вопросы 1, 3 и 5 остались неразрешенными. А именно, необходимость для России нахождения в ЕврАзЭС, оценка преимуществ вступления новых членов в ЕврАзЭС и характеристика перспективы объединения ЕврАзЭС и ЕС не нашла согласованной позиции. По всей видимости, это связано с краткостью информационно-справочных материалов, предложенных респондентам, их сложившимися шаблонами восприятия [9].

Для повышения уверенности в надежности результатов желательно предоставить возможность участникам дополнительно изучить рассматриваемую проблему и затем провести еще один, четвертый тур опроса. В то же время практика использования метода Дельфи подразумевает два-три раунда опроса. При проведении большего количества туров согласованность позиций экспертов не улучшалась, хотя затраты на проведение опросов росли. Также отмечалась эмоциональная усталость экспертов [10].

Ниже представлено графическое распределение оценок респондентов на протяжении трех туров опросов.

Вопрос 1 Оцените необходимость для России нахождения в ЕврАзЭС (0 - Россия должна выйти из состава ЕврАзЭС, 10 - Россия ни в коем случае не должна выходить из ЕврАзЭС).