CC BY-NC-ND
130
АВТОМАТИЗАЦИЯ ПРОЕКТИРОВАНИЯ ТЕХНОЛОГИЧЕСКИХ ДОРОЖНЫХ КАРТ. СБОР ИНФОРМАЦИИ И КОНСОЛИДАЦИЯ ЭКСПЕРТНЫХ МНЕНИЙ
К..В. Нагаев,
старший научный сотрудник центра информационно-аналитических систем, Институт статистических исследований и экономики знаний, Национальный исследовательский университет «Высшая школа экономики»
Е.М. Курбатова,
младший научный сотрудник центра информационно-аналитических систем, Институт статистических исследований и экономики знаний, Национальный исследовательский университет «Высшая школа экономики»
Адрес: 101000, г. Москва, ул. Мясницкая, д. 20 E-mail: [email protected], [email protected]
f X
В статье обсуждаются вопросы сбора, обработки и оценки экспертных сведений для заданной предметной области. Предлагаются методы обработки экспертных сведений с применением автоматизированных вычислительных средств. Полученные результаты используются в проектах форсайтных исследований, долгосрочного прогнозирования и разработки технологических дорожных карт. Основным преимуществом предложенных методов является учет степени компетенции экспертов, а также адаптация массивов экспертных сведений к аспектам предметной области, соответствующих сфере интересов заказчика технологической дорожной карты.
Рассматриваемый метод позволяет получать срез мнений экспертов для определенной версии опроса, либо актуальные (последние высказанные) мнения экспертов для заданного момента времени. Дополнительным фактором гибкости в модели представления экспертных знаний служат метаданные, характеризующие компетенции экспертов в различных аспектах: наука, технологии, бизнес и государственное управление. Метаданные позволяют обеспечить расчет различных аналитических индикаторов форсайтных исследований, например, слабых сигналов или форс-мажорных факторов. С целью поиска слабых сигналов метод выделяет оценки высококомпетентного эксперта, которые существенно не совпадают с мнением большинства. Форс-мажорные факторы определяются на основе оценки вероятности реализации элемента дорожной карты с высоким коэффициентом влияния на предметную область.
Другой областью применения методов обработки экспертных сведений с использованием метаданных является построение различных прогнозов развития предметной области с учетом значимости атрибутов в различных контекстах (экономическом, политическом, социальном, экологическом и технологическом). Совместный анализ этих сведений с данными о компетентности экспертов позволяет автоматически генерировать уточненные целевые анкеты для различных групп экспертов.
Предложенные методы реализованы в программном комплексе «Интерактивная дорожная карта с обратной связью» с апробированием на двух пилотных проектах: «Каталитический ^ крекинг» и «Биотехнологии в медицине». jj
Ключевые слова: экспертный опрос, анкетирование, консолидация данных, формализация знаний, технологическая дорожная карта, форсайт.
Введение
На современном этапе для принятия решений и долгосрочного прогнозирования разрабатываются различные новые подходы анализа массивов информации, получаемых при опросе экспертных групп. Значительное внимание уделяется вопросам обработки экспертных сведений при проведении форсайт-исследований (от английского Foresight — предвидение) [1]. Одним из наиболее перспективных инструментов планирования и достижения качественно новых результатов форсайт-исследований является технология дорожного картирования (составления дорожных карт). В результате анализа данных в форсайт-проектах создаются дорожные карты, представляющие собой генеральный план развития исследуемой области на заданном временном горизонте [2]. Дорожные карты дают возможность получить наглядное представление о перспективах развития предметной области с целью принятия важных решений, как в области технологий, так и в стратегическом управлении бизнесом и государственной политике, и являются одним из наиболее удобных инструментов долгосрочного стратегического планирования [3].
При реализации программного комплекса «Интерактивная дорожная карта с обратной связью» были проведены исследования процесса подготовки данных и расчета технологических дорожных карт и разработан оригинальный метод сбора, хранения и обработки информации. В настоящей работе обсуждаются организационные и технические аспекты сбора и консолидации данных при построении технологических дорожных карт (ТДК), одного из наиболее информационно насыщенных видов дорожных карт.
1. Постановка задачи
Создание базы знаний по предметной области для составления технологической дорожной карты является сложным процессом, так как требует обработки и анализа большого объема разнородной информации, ее формализации в соответствии с моделью предметной области дорожной карты и преобразования в структуры данных, соответствующих аспектам. Один из подходов при формализации предметной области предусматривает задание метаописания в виде атрибутированных объектов, отношений между объектами (при необходимости, также атрибутов отношений). Однотипные объекты объединяются в классы, что определяет требуемую структуру
ТДК. Наполнение этой структуры необходимыми типами объектов и отношений между ними предполагает решение следующих подзадач: формализация предметной области, формирование экспертных групп (поиск экспертов и оценка их компетенции), формирование анкет, обеспечивающих определение структуры классов, анкетирование и обработка результатов анкетирования. Результатом выполнения этих задач является заполненная модель ТДК, обеспечивающая проведение аналитических исследований. Целью данной статьи является описание метода формализации предметной области, сбора и консолидации экспертных мнений.
При применении большинства классических методов консолидации экспертных сведений существует проблема потери важной информации вследствие того, что мнения меньшинства экспертов отсекаются без учета их компетентности. Описываемый метод предполагает сохранение всей полученной от экспертов информации с добавлением метаданных, описывающих качественные характеристики сведений.
Для получения достоверных данных классические методы анкетирования, как правило, используют итеративный подход, где на каждой итерации идет повторный опрос группы экспертов постоянного состава с уменьшением количества вариантов ответов. Для повышения достоверности данных используются многочисленные группы экспертов, что, стоит отметить, ведет к значительным материальным и временным затратам при большом количестве итераций анкетирования. В целях снижения влияния этой проблемы был разработан адаптивный метод составления уточненной анкеты для опроса меньшего числа экспертов.
2. Современные методы сбора и обработки информации
При прогнозировании и принятии решений применяется широкий спектр методов сбора исходных данных, в их числе синектика, мозговой штурм, проведение фокус-групп, анкетный опрос, формализованное интервью и многие другие [4]. Особенностью долгосрочного планирования является значительная неопределенность будущего, что при построении дорожных карт требует для повышения объективности обработки большого массива начальных данных, полученных от представительной группы экспертов. Как правило, эти данные подготавливаются и консолидируются с применением специализированных
также в соответствии с межгрупповым взаимодействием, и формировать списки экспертов с распределением компетентности.
3. Использование мультиатрибутивного подхода при формализации данных
Для получения исходных данных при построении ТДК требуется четкая формализация задачи, при этом наилучшие результаты дает представление данных в виде объектов, характеризуемых набором атрибутов различной природы. Данный метод позволяет сформулировать вопросы анкеты таким образом, чтобы получить ответы, пригодные для машинной обработки. В целях повышения управляемости модели ТДК объекты, принадлежащие одному слою (например, НИР, технологии, продукты, рынки) и обладающие одним и тем же набором атрибутов, объединяются в класс [8]. Такая классификация позволяет структурировать свойства объектов.
Основной проблемой методов экспертного анализа является декомпозиция сложных абстрактных вопросов на последовательность простых задач, доступных для понимания и адекватного восприятия экспертом [9]. Мультиатрибутивный подход, широко применяемый, например, в маркетинге при измерении полезности того или иного товара [10], позволяет декомпозировать такие задачи на совокупность элементов и их атрибутов.
Однако, при формализации характеристик объектов ТДК в виде атрибутов разработчиком ТДК возможно появление проблем, связанных с ошибками декомпозиции. Такие ошибки основаны, прежде всего, на неполном понимании разработчиком ТДК всех возможных параметров исследуемых объектов на начальных этапах работы. Выявление проблем, связанных с ошибками декомпозиции, обеспечивается в предлагаемом методе при помощи оценки распределения экспертных мнений. В качестве показателя корректности формализации конкретного параметра объекта ТДК предлагается рассматривать унимодальное распределение мнений экспертов. Получение унимодального распределения показывает, что большинство экспертов понимают значение параметра одинаково, и дают сходные оценки объекта по данному показателю. Би- или мульти-модальное распределение указывает на ошибку декомпозиции. В качестве одной из наиболее вероятных причин такой ошибки нами предлагается рассматривать смешение в одном
атрибуте нескольких свойств объекта. В таком случае разработчику ТДК рекомендуется декомпозировать этот атрибут на последовательность более детальных характеристик объекта.
Различные свойства объекта могут быть описаны с помощью количественных либо качественных характеристик. Для облегчения работы экспертов количественные характеристики объектов описываются с помощью метрических шкал, где значения атрибутов вводятся в виде диапазона чисел, а не определенного числа. Значения, указываемые с использованием диапазонов шкал, имеющих однородную структуру единиц измерения, могут сравниваться с определенными погрешностями, которые задаются на этапе определения шкалы.
Качественные характеристики определяются с помощью номинальных и ранговых шкал, и эксперт при заполнении анкеты должен выбрать один из предложенных ему вариантов значения атрибута. Примером номинальной шкалы может служить шкала цветов. Нельзя сказать, что синий цвет лучше зеленого, а красный находится между ними по значимости. В отличие от номинальных, в ранговых шкалах определен порядок следования вариантов (например, низкий — средний — высокий), хотя вне конкретного контекста использования не всегда можно однозначно определить, какой из вариантов является наилучшим или наихудшим.
В предлагаемом методе атрибуты также характеризуются значимостью по аспектам (политический, экономический, социальный, технологический, экологический). Эта значимость определяется с помощью иерархического подхода [11] и сохраняется в базе знаний в виде метаданных.
Все данные, полученные в ходе одного этапа анкетирования экспертов, считаются версией опроса. Метод предполагает хранение всех сведений, полученных от экспертов, с обязательным указанием версии опроса. Один и тот же эксперт на разных итерациях анкетирования может дать различные варианты ответа на вопрос, поскольку его мнение будет меняться по мере накопления знаний, повышения квалификации и появления новых сведений по предметной области. Например, при составлении дорожной карты эксперты предполагали, что существует вероятность появления инновационной технологии со значительным потенциалом применения. По прошествии полугода группа ученых совершает прорыв, и данная технология становится реальностью. В этом случае в новой версии
экспертных мнений эта технология будет фигурировать уже как реально существующая, что окажет огромное влияние на прогноз развития предметной области. Кроме того, сведения о вновь созданной технологии будут конкретизированы, что приведет к изменению параметров элементов дорожной карты, связанных с ее появлением.
В различных версиях опросов состав принимающих участие экспертов может оказаться различным. Рассматриваемый метод позволяет получать срез мнений экспертов на момент определенной версии опроса (мнения экспертов, принявших участие в опросе), либо актуальные (последние высказанные) мнения экспертов на любой заданный момент времени. Мнения экспертов будут консолидированы и представлены в виде элементов ТДК с конкретными значениями параметров и связей между ними.
4. Консолидация данных, полученных от экспертов
Построение дорожных карт представляет собой адаптивный процесс, предусматривающий учет интересов заказчика ТДК в тех или иных областях планирования. Объекты дорожной карты могут рассматриваться с разных точек зрения. Большое влияние на результат разработки дорожных карт оказывает соотношение интересов заказчика ТДК в необходимых сферах планирования. Данные интересы представлены в предлагаемом методе в виде метаданных, характеризующих прогнозируемые процессы развития НИР и разработки технологий в различных аспектах: экономическом, политическом, социальном, экологическом и технологическом. Эти аспекты участвуют в определении значимости различных атрибутов элементов ТДК для
Рис. 1. Рассмотрение ТДК с точки зрения технологичности и экологии
вычисления их применимости в предметной области, как будет показано ниже.
Хранение в базе знаний всех мнений, полученных от экспертов, позволяет получать различные прогнозы развития предметной области в зависимости от условий, накладываемых с помощью метаданных. Например, разработчику ТДК может понадобиться оценить перспективы развития отрасли с точки зрения экологии. В этом случае понадобится повысить значимость экологического аспекта по сравнению с остальными в настройках расчета дорожной карты. На рис. 1 можно наблюдать, что при рассмотрении дорожной карты с учетом экологического аспекта элемент НИР «Н5. Стойкость к отравлению» исключается из основной траектории (показана синими стрелками) как обладающий низкой экологичностью и заменяется на «Н6. Оборудование для распылительной сушки».
Технологические дорожные карты в своем базовом представлении обычно имеют четыре основных слоя: рынки, продукты, технологии и НИР [12]. В программном комплексе «Интерактивная дорожная карта с обратной связью» предусмотрен также особый тип слоя «Глобальный контекст развития» (ГКР). Элементы этого слоя могут оказывать влияние на элементы других слоев, увеличивая либо уменьшая значение применимости атрибута по различным аспектам, если затронутый влиянием ГКР элемент удовлетворяет фильтру, описанному в объекте ГКР. Множитель для функции применимости элемента, учитывающий различные аспекты, определяется по формуле:
¿(Л Д ок)
а = -
ХаХ^ХС*
-д:
(1)
q — количество учитываемых аспектов (в данный момент их пять — технологический, экономический, политический, социальный и экологический);
А— значимость атрибута по аспекту к (от 0 до 1); Р— желаемый коэффициент учета аспекта к, задается при расчете ДК (от 0 до 1); Gk— коэффициент влияния объекта ГКР по аспекту к (от 0 до
Множитель влияет на полученный при расчете частный показатель применимости атрибута, затем на суммарный показатель применимости элемента,
и, в конечном итоге, на построение основной траектории и на общую картину ТДК.
Метаданные также включают в себя желаемые характеристики компетенции экспертов, чьи мнения являются определяющими для принятия решений по заданной тематике. Эксперты характеризуются, прежде всего, степенью компетенции в предметной области ТДК, а также компетентностью по следующим направлениям: наука и образование, технологии, бизнес, государственное управление. В предлагаемом методе степень компетенции экспертов оценивается с помощью метода скрытых коллективов, а также индекса цитируемости [7].
При консолидации экспертных сведений вычисляются средневзвешенные значения характеристик элементов ТДК:
Х^'Х,
1=1_
п
Х-,
(2)
Вес эксперта ж в данной формуле определяется с учетом его компетентности в предметной области и по различным аспектам при помощи инъекции введенных в систему метаданных:
Xе*
(3)
т
С. — степень компетенции эксперта в предметной области ТДК;
Ск — степень компетенции эксперта по аспекту к; Кк — желаемый коэффициент учета компетенции по аспекту к, задается при расчете ДК; т — количество учитываемых аспектов.
В программном комплексе «Интерактивная дорожная карта с обратной связью» компетентность эксперта в предметной области задается в виде безразмерной величины, исходя из базовой компетенции, равной 1 (рядовой специалист). Для эксперта высокого уровня может быть установлен коэффициент компетенции, существенно превышающий единицу. Практика показывает, что ограничение таких величин как компетенция экспертов приводит к искусственному уплотнению верхних значений интервала, либо необходимости повторной нормировки в случае необходимости добавления значений, превышающих верхнюю границу.
Кроме степени компетенции в предметной области ПК учитывает также общую компетент-
Выявление слабых сигналов
X атрибут Y атрибут Версия опроса
| Год появления
- Слои -
▼ Б1. Евро-5
Компетентность экспертов, % Наука и образование 1
Технологический 1
Бизнес
Гос. управление
Выявление слабых сигналов Компетенция, % Чувствительность X Чувствительность У
| Уточненная анкета эксперта - | Б2- Отсталая структура производстве HI. Оптимизация прокалки
100 100
Год появления X
2014 2014
2014 2014
2015 2015
Н2. Гомогенизация композиций
-I НЗ. Синтез цеолитов J Н4. Модификация матрицы Н5. Стойкость к отравлению | Нб. Оборудование для распылитель! Н7. Оборудование для синтеза цеол; П1. Шариковый (движущийся) П2. МСФ (150 мкм, псевдоожиженнь ПЗ. МСФ (70 мкм, лифт-реактор) П4. МСФ (70 мкм, двойная регенера!
2015
-й
2016
2017
2018
2019
2020
2014
2015
2016 2017
\Л/Е ~ Слои ~
[Г] Глобальный контекст развития О Глобальный контекст развития О Научные направления
2015 13 |Научные направления
2016
2017
2018
2019
2020
2014
2015
2016 2017
016-1 experts
□ Научные направления [Г] Научные направления [rj Научные направления О Научные направления
□ Продукты О Продукты П Продукты В Продукты
Рис. 2. Выявление слабых сигналов
ность эксперта по четырем аспектам: наука, технологии, бизнес и государственное управление. Комплекс позволяет в интерактивном режиме повышать и понижать значимость того или иного аспекта компетенции при расчете, в результате разработчик ТДК получает консолидированные значения параметров элементов с учетом мнений экспертов, компетентных в той или иной области деятельности.
Метод также позволяет обратить внимание разработчика ТДК на особые мнения высококомпетентных экспертов путем выявления слабых сигналов. Слабый сигнал определяется как значительное отклонение мнения высококомпетентного эксперта от мнений большинства. Для выявления слабых сигналов разработчик ДК задает степень компетенции искомых экспертов в предметной области (в процентах от наибольшей компетенции), и величины порогов в единицах измерения вычисляемых атрибутов. Пример слабого сигнала можно наблюдать на рис. 2. В данном случае мнение одного эксперта, степень компетенции которого выше 91% от максимального уровня компетенции экспертов, участвовавших в опросе, отличается от мнения большинства. Большинство экспертов прогнозируют появление результатов НИР «Н2. Гомогенизация композиций» в 2015 году, однако, высококомпетентный эксперт считает, что результаты будут только в 2016. Таким образом, по атрибуту «Год появления» система указывает на наличие слабого сигнала (колонка WE).
Также предусмотрена возможность оценки форс-мажорных факторов, то есть появление в будущем высокоэффективных технологий и раз-
работок, вероятность создания которых мала. Для оценки форс-мажорных факторов необходимо указать год появления, максимальную величину вероятности появления, а также минимальную применимость искомых элементов. Пример оценки форс-мажорных факторов показан на Рис.3. Здесь оценивается вероятность появления до 2016 года результатов НИР, у которых значение применимости выше 10. Система указывает (колонка WI) на форс-мажорный фактор, поскольку вероятность получения результатов НИР «Н4. Модификация матрицы» до 2016 года ниже 0.5.
В отличие от применяемых в настоящее время методов прогнозирования, предлагается уделять слабым сигналам и форс-мажорным факторам особое внимание, а именно: проводить повторный опрос экспертов с целью дополнительного исследования таких объектов.
5. Адаптивный метод составления уточненной анкеты
Метаданные, хранящиеся в базе знаний, содержат информацию о степени компетенции эксперта в предметной области ТДК и о его компетенции в различных областях деятельности. Также в метаданных содержится информация о значимости каждого атрибута по различным аспектам. Анализ этих данных позволяет автоматически генерировать уточненные анкеты для различных групп экспертов. Уточненные анкеты составляются с учетом компетенции целевой группы экспертов, что позволяет сделать последующие этапы анкетирования менее трудоемкими и затратными (анкеты становятся ко-
Оценка форсмажорных факторов
X атрибут Y атрибут Версия опроса
Год появления
применимость вероятность W1 Год появления
• Слои •
[Уточненная анкета эксперта т |
Компетентность экспертов, % Наука и образование Технологический Бизнес
Гос. управление
Выявление слабых сигналов Компетенция, % Чувствительность X Чувствительность У
100
100
100
100
91
Оценка форс-мажорных факторов Год появления < Вероятность появления < Применимость >
2016
0.50
10
-о-
-в -в -в
-1]
-й
Обновить
Б1. Евро-5 □ 2014
Б2. Отсталая структура произво, □ 2014
HI. Оптимизация прокалки 16,265 0.84 П 2015
Н2. Гомогенизация композициР 14,155 0.84 П 2015
НЗ. Синтез цеолитов 21,464 0.79 П 2016
Н4. Модификация матрицы 17,376 0.05 0 2017
Н5. Стойкость к отравлению 17,412 0 ш 2018
Нб. Оборудование для распыли 4,332 0 П 2019
Н7. Оборудование для синггеза i 5,597 0 □ 2020
П1. Шариковый ¡движущийся) 4,186 0.В1 П 2014
П2. МСФ (150 мкм, псевдоожиж 4.71 0.В4 п 2015
ПЗ. МСФ (70 мкм, лифт-реактор 7,967 0.84 П 2016
П4. МСФ (70 мкм, двойная perei 5,605 0 В 2017
П5. МСФ (70 мкм, мили-секонд) 5,747 0 и 2018
Р1. Движущийся слой □ 2016
Р2. Псевдоожиженный слой □ 2016
РЗ. Лифт-реактор □ 2018
Р4. Двойная регенерация П 2019
Р5. Мили-секонд □ 2020
Т1. [Плпмкпйьш Ж 1.1 л к я я гЬлчя! 6.066 0.67 IF] 7014
Рис. 3. Оценка форс-мажорных факторов
роче и эффективнее). Экспертам предоставляются вопросы, ориентированные на их область интересов. Это существенно облегчает работу, а также улучшает качество получаемых сведений.
Например, для экспертов в области науки и технологий (у которых компетентность в бизнесе и государственном управлении менее 10%) в анкету включаются только атрибуты объектов ТДК, связанные с технологическим аспектом, и не включаются экономические, политические или социальные. Кроме того, при расчете элементов дорожной карты их отбор из большого множества, получаемого при первичном опросе экспертов, осуществляется с учетом настроек проекта. В результате такого расчета получается набор элементов и связей между ними, отфильтрованный с учетом соотношения аспектов, указанных в постановке задачи на создание дорожной карты. Этот фильтр также оказывает влияние на формирование уточненной анкеты.
Метод адаптивного составления анкеты позволяет на основе результатов, полученных из уточненных анкет, обновлять имеющуюся базу знаний, и, исходя из новых данных, получать другую модификацию уточненной анкеты для прежних
условий выборки. Дополнительным преимуществом разработанного метода является возможность использования данных от любой итерации опроса, благодаря версионной организации базы знаний. Каждая версия данных соответствует определенному опросу экспертов. Такая структура данных позволяет отслеживать динамику изменения представлений экспертов о предметной области во времени. Например, на базовой графической схеме ТДК при задании различных версий опросов экспертов можно увидеть, как перемещаются элементы дорожной карты по временной оси, изменяются связи между ними, и перестраивается основная технологическая траектория, что отражает различные стороны использованного множества экспертных заключений.
Заключение
В статье предложены методы сбора и хранения данных для создания базы знаний при составлении технологической дорожной карты для заданной предметной области. Описан метод консолидации данных с учетом значимости атрибутов объектов по различным аспектам деятельности, а также степени компетентности опрашиваемых
экспертов. Метод позволяет анализировать получаемые от экспертов сведения с формированием отчетов, представляющих собой прогноз или план развития предметной области с учетом интересующих разработчика ТДК аспектов (экономический, социальный и т.д.) Также в работе представлен адаптивный метод составления анкет, позволяющий эффективно производить анкетирование экспертов в несколько этапов.
Данные методы реализованы в программном комплексе «Интерактивная дорожная карта с обратной связью», предназначенном для построения дорожных карт и принятия решений на основе экспертных сведений. Комплекс позволяет создавать базы знаний, содержащие мнения экспертов и метаданные, производить консолидацию данных и расчет технологических траекторий и частных
показателей элементов ТДК с учетом различных аспектов заданной тематики (например, с точки зрения экономики или государственного управления) [8]. Данный комплекс нацелен на управления и департаменты стратегического развития, инновационную деятельность министерств, ведомств, государственных корпораций, коммерческих корпораций, концернов, холдингов и крупных компаний. Комплекс является универсальным и может применяться при долгосрочном прогнозировании развития любой предметной области.
Описанная технология была апробирована на двух пилотных проектах: «Каталитический крекинг» и «Биотехнологии в медицине». Полученный опыт показал практическую применимость этой методологии для создания сложных моделей в широком спектре областей применений. ■
Литература
1. Соколов А.В. Форсайт: взгляд в будущее // Форсайт. 2007. № 1. С. 8-15.
2. Инвестиционная деятельность Роснано — дорожные карты // Роснано [Электронный ресурс]: http:// www.rusnano.com/investment/roadmap/oil (дата обращения: 08.08.2013)
3. Farrukh C., Phaal R., Probert D. Technology Roadmapping: Linking Technology Resources into Business Planning // International Journal of Technology Management. 2003. No. 26. P. 2-19.
4. Орлов А.И. Организационно-экономическое моделирование: В 3 ч. Ч.2. Экспертные оценки. М.: Изд. МГТУ им. Н. Э. Баумана, 2011.
5. Поспелов Г.С., Ириков В.А. Программно-целевое планирование и управление. М.: Советское радио, 1976.
6. Rowe G., Wright G. The Delphi Technique as a Forecasting Tool: Issues and Analysis // International Journal of Forecasting. 1999. Vol. 15. Issue 4.
7. Хорошевский В.Ф. Извлечение информации из текстов на конференциях серии «ДИАЛОГ: взгляд соседа по лестничной клетке» // Труды международной конференции «Диалог 2010». М.: Наука, 2010.
8. Ена О.В., Нагаев К.В. Автоматизация процессов разработки технологических дорожных карт. Расчет интегральных показателей применимости // Бизнес-информатика. 2013. №3 (25). C. 56-62.
9. Ременников В.Б. Управленческие решения: Учебное пособие для вузов. М.: ЮНИТИ-ДАНА, 2005.
10.Wittink D., Walsh J. Conjoint Analysis: Its Reliability, Validity and Usefulness. Paper presented at Sawtooth Conference Proceedings. 1988.
11.Saati T.L. Decision Making with Dependence and Feedback: The Analytic Network Process. Rws Publications, 2001.
12.Группа «Конструирование будущего»: Создание дорожных карт. Санкт-Петербургская региональная общественная организация работников науки и культуры: «Энциклопедия» // [Электронный ресурс]: http://future-designing.org/biblioteka/logyroadmappingaguideforgovernmentemployees.html (дата обращения: 08.08.2013).
TECHNOLOGY ROADMAPPING. METHOD FOR GATHERING AND CONSOLIDATION EXPERT OPINIONS
Konstantin NAGAEV,
Senior Researcher, Center for Information Analysis Applications, Institute for Statistical Studies and Economics of Knowledge, National Research University Higher School of Economics
Elena KURBATOVA,
Junior Researcher, Center for Information Analysis Applications, Institute for Statistical Studies and Economics of Knowledge, National Research University Higher School of Economics
Address: 20, Myasnitskaya str., Moscow, 101000, Russian Federation E-mail: [email protected], [email protected]
r
The paper discusses the problems related to data collection, processing and expert opinions evaluating in terms of a specified knowledge domain. Methods for expert data processing based on computer systems are presented. The results are used in foresight projects, long-term forecasting and in technology road mapping. The main advantage of proposed methods is the consideration of expert competence degrees. Additionally, expert datasets are adapted to aspects of the knowledge domain in accordance with a customer's interest area.
The proposed method provides obtaining subsets of expert data for a required version of expert polls, or expert data values effectiveon a specifieddate. An additionaldriverofexpertdata model flexibility is metadata for expert competence identification in different aspects: science, technology, business and governance. The metadata is designed to run evaluation of various analytic ndicators for foresight investigations, for example, for weak signals
K
X
and wild cards. The method gives accent to the opinion of a high-competence expert which may diverge significantly from the major opinion. This very property of the method is extremely importantfor weak signal retrieval. Wild cards are founded with an estimation of realization probability of a roadmap element with high influence rate in an interest area.
Another area of the method applications is the development of different forecasts of knowledge domain's evolution taking into account the importance ofproperties in special contexts (economic, political, ecological and technological). Joint analysis of these data and experts' competence data allows generating improved specific questionnaires for distinct expert groups automatically.
The methods described here have been implemented in the software system «Interactive roadmap with feedback link» and testedintwopilotprojects:«Catalyticcracking» and«Biotechnologies
medical». medical».
Key words: expert survey, data gathering, data consolidation, knowledge formalization, roadmapping, foresight.
References
1. Sokolov A.V. (2007) Forsajt: vzgljad v budushhee [Foresight: Look into the Future]. Foresight, no 1, pp. 8-15. (in Russian)
2. Investitsionnaya deyatelnost Rosnano — dorozhnye karty [Rosnano Investment Activity — Roadmaps] Available at: http://www.rusnano.com/ investment/roadmap/oil (accessed 8 August 2013). (in Russian)
3. Farrukh C., Phaal R., Probert D. (2003) Technology Roadmapping: Linking Technology Resources into Business Planning. International Journal of Technology Management, no. 26, pp. 2-19.
4. Orlov A.I. (2011) Organizatsionno-ekonomicheskoe modelirovanie. Ekspertnye otsenki [Business modelling. Expert evaluation]. Moscow: Bauman Moscow State Technical University. (in Russian)
5. Pospelov G.S., Irikov V.A. (1976) Programmno-celevoe planirovanie i upravlenie [Programmed-objective planning and control]. Moscow: Sovetskoye Radio. (in Russian)
6. Rowe G., Wright G. (1999) The Delphi Technique as a Forecasting Tool: Issues and Analysis. International Journal of Forecasting, vol. 15, issue 4.
7. Horoshevkiy V.F. (2010) Izvlechenie informacii iz tekstov na konferencijah serii «DIALOG: vzgljad soseda po lestnichnoj kletke» [Information Extraction from texts at conferences «DIALOG: Point ofView of Housemate»]. Moscow: Nauka. (in Russian)
8. Ena O.V., Nagaev K.V. (2013) Avtomatizacija processov razrabotki tehnologicheskih dorozhnyh kart. Raschet integral'nyh pokazatelej primenimosti [Automation of the Technology Roadmap Development. Calculation of the Integral Indicators of Applicability]. Business Informatics, no. 3(25), pp. 56—62. (in Russian)
9. Remennikov V.B. (2005) Upravlencheskiereshenija: Uchebnoeposobiedljavuzov[Management Decisions: Study Guide for High School]. Moscow: UNITY-DANA. (in Russian)
10. Wittink D., Walsh J. (1988) Conjoint Analysis: Its Reliability, Validity and Usefulness. Paper presented at Sawtooth Conference Proceedings.
11. Saati T.L. (2001) Decision Making with Dependence and Feedback: The Analytic Network Process, Rws Publications.
12. Gruppa «Konstruirovanie buduschego»: Sozdanie dorozhnyh kart [The Future Designing Group: Roadmapping]. Available at: http://future-designing.org/biblioteka/yroadmappingaguideforgovernmentemployees.html (accessed 8 August 2013).
