CC BY
45
УДК 353.2 +004.021
И. И. Лавреш, А. В. Трифонов
СОВЕРШЕНСТВОВАНИЕ ТЕХНОЛОГИИ РАБОТЫ С ВНЕШНИМИ ИСТОЧНИКАМИ ИНФОРМАЦИИ ИЗ СОЦИАЛЬНЫХ СТРУКТУР В СИСТЕМАХ ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЙ
Аннотация.
Актуальность и цели. Объектом исследования являются системы поддержки принятия решений ситуационного центра органа государственной власти субъекта Российской Федерации. Предметом исследования являются процессы сбора и обработки данных из социальных структур при проведении экспертного оценивания с использованием технологии краудсорсинга. Цель работы -повышение качества выдаваемых решений и скорости обработки информации при применении экспертного оценивания в системах поддержки принятия решений.
Материалы и методы. Рассмотрены вопросы повышения качества принимаемых решений в системах поддержки принятия решений при использовании краудсорсинга как технологии экспертного оценивания на примере ситуационного центра в региональном управлении. Использованы методы: анализа выбросов в категориальных атрибутах данных, определения результирующего ранжирования экспертных оценок, определения меры рассогласования интересов экспертов и целевого сообщества.
Результаты. Предложены возможные способы повышения качества выдаваемых решений и скорости обработки информации при применении экспертного оценивания. Описан метод выявления и отсеивания предложений, не относящихся к заявленной предметной области. Разработана процедура оценки степени сходимости мнения экспертов и целевого сообщества. Описана методика результирующего ранжирования экспертных оценок.
Выводы. Предложенный комплекс методов обеспечивает максимальный учет мнений как населения, так и профессионального сообщества. Данный подход позволяет повысить качество планирования и прогнозирования в государственном управлении. Дальнейшие исследования могут быть посвящены разработке технологий взаимодействия с социальными структурами и использованию других методов определения меры согласования интересов различных групп, например на методах, основанных на аксиомах Эрроу.
Ключевые слова: задачи управления, ситуационный центр, экспертное оценивание, краудсорсинг, ранжирование, выявление аномалий, оценка степени сходимости.
I.I. Lavresh, A. V. Trifonov
IMPROVING THE TECHNOLOGY OF WORKING WITH EXTERNAL SOURCES OF INFORMATION FROM SOCIAL STRUCTURES IN DECISION SUPPORT SYSTEMS
Abstract.
Background. The object of the study is a decision support system for the state agency of a subject of the Russian Federation. The research subject is the processes of acquisition and processing of data from social structures at peer evaluation using
crowdsourcing techniques. The purpose of the work is to improve the quality of-decisions issued and information processing speed when applying expert evaluation in decision support systems.
Materials and methods. The article considers questions of improving the quality of decisions in decision support systems using crowdsourcing as a technology of expert evaluation by the example of a situational center at a regional administration. The methods included as follows: analysis of emissions of data categorical attributes, determination of resulting ranking of expert assessments, identification of a degree of misalignment of experts' and target community's interests.
Results. The article suggests possible ways to improve the quality of issued decisions and information processing speed at application of expert evaluation. The work describes a method for detection and screening of proposals, irrelevant to the stated domain. The authors have developed a procedure of assessing convergence of experts' and target community's opinions. A method for ranking the result of expert estimates is also described.
Conclusions. The proposed set of methods ensures maximum account of views of both the population and the professional community. This approach allows to improve the quality of planning and forecasting in public administration. Further studies may be devoted to development of technologies of interaction with social structures. For example, methods such as the axioms of Arrow may be used to determine the measures of coordination of interests of different groups
Key words: strategic decisions, situational center, expert evaluation, crowdsourcing, ranking, anomaly detection, assessment of a degree of convergence.
Введение
Недостаточная обоснованность решений и анализа рисков в области стратегического планирования обусловлена тем, что многие руководители используют принципы и методы принятия решений, не соответствующие складывающимся социально-экономическим и политическим условиям в регионе.
Принятие стратегических решений происходит, как правило, в условиях слабоструктурированных или неформализованных задачах управления, для решения которых одним из наиболее эффективных инструментов является ситуационный центр (СЦ).
Сложность и многогранность задач, решаемых в СЦ, высокая скорость изменения обстановки и затрагиваемых процессов усиливают степень неопределенности задач управления. Возможности поиска наиболее оптимальных решений и всесторонний учет рисков выходят за рамки интеллектуальных возможностей лица, принимающего решения. Для преодоления этих ограничений используются достижения в области информационно-коммуникационных технологий, в том числе искусственного интеллекта. Для увеличения числа лиц, участвующих в процессе подготовки решения, привлекаются внешние эксперты. Это дает возможность получить наиболее полное описание проблемы и возможных путей ее решения.
1. Применение технологии краудсорсинга в ситуационном управлении
Достижения в области инфокоммуникационных технологий, повсеместное распространение Интернета породило такое явление, как социальные структуры, наиболее известными представителями которых являются соци-
альные сети. Органы госуправления начали привлекать энтузиастов, желающих поучаствовать в решении определенных задач. Такая технология называется краудсорсингом. При применении этой технологии целевая аудитория может беспрепятственно высказывать свое мнение, выходя за границы опросного листа.
При всех преимуществах использования технологии краудсорсинга ей присущи следующие недостатки:
- невозможность полностью контролировать ход работ, планировать результат как по срокам, так и по объемам;
- зачастую низкое качество выдаваемых решений, избыточность и дублирование информации от краудсорсеров;
- значительные затраты времени и ресурсов на обработку и дополнительную проверку информации;
- высокие требования к организации систем взаимодействия и обратной связи;
- необходимость высокого уровня мотивации участников;
- возможные утечки информации и подтасовка результатов.
В данной работе рассматриваются возможные способы повышения качества выдаваемых решений и скорости обработки данных из социальных структур при применении технологии краудсорсинга в экспертном оценивании.
Технология экспертного оценивания с использованием краудсорсинга включает в себя шесть этапов:
1. Определение проблемы (формулировка цели).
2. «Трансляция» (публикация) проблемы в форме открытого исследования (конкурса) посредством тех каналов связи, которые чаще всего используются целевым сообществом. При этом оговариваются необходимость и условия обратной связи.
3. Сбор возможных решений (генерация альтернатив), предложенных целевым сообществом.
4. Анализ возможностей применения предложенных решений (альтернатив) в интересах поставленной цели.
5. Выбор наиболее привлекательных решений:
а) ранжировка, проводимая целевым сообществом;
б) ранжировка, проводимая экспертами СЦ.
6. Оценка степени сходимости мнения экспертов и целевого сообщества. Выбор наиболее оптимального решения.
2. Поиск аномалий в данных методом анализа выбросов
На этапе сбора возможных вариантов решений, предлагаемых целевым сообществом, персонал СЦ сталкивается с необходимостью обработки большого объема поступающей информации с целью выявления и отсеивания предложений, не относящихся к заявленной предметной области.
Для поиска аномалий в данных предлагается использовать метод анализа выбросов в категориальных атрибутах данных [1]. Данный метод основан на оценке плотности расположения объектов, проверяющихся на выбросы. Объекты, лежащие в областях наиболее низкой плотности, считаются выбросами.
Понятия исходных данных и шума определяются следующим образом.
Имеется исходное множество информационных объектов (объектов данных):
X = {X1, X2' ...>Xn }.
Множество атрибутов описывается следующим образом:
A = {Ab A2,..., Ak}.
Множество значений некоторого категориального атрибута А равно
D (Ai )={a\,--; ap }.
Каждый объект является кортежем значений атрибутов
Xi = {aih ai1,•■■,aik }.
Объект Xi является искаженным объектом, т.е. содержит шум, если существует такой атрибут Aj, j =1, k, значение aj которого является искаженным. Таким образом, шумом называются искаженные значения атрибутов объектов. В данной работе рассматривается шум двух типов: отсутствие значений или аномальные значения. Шум типа «отсутствие значения» обозначается как ajj = null. Если некоторые объекты данных имеют пропуски в значениях каких-либо атрибутов, считается, что данные пропуски не несут физического смысла и маркируются как шум.
В работе [1] предложена формула для вычисления расстояний между значениями категориального атрибута. Значение fj (x) равно количеству объектов, атрибут Aj которых принимает значение х:
fj (x )=h, i=1
Г1, если aij = xi;
Л i = In
[U иначе.
Пусть имеется некоторый категориальный атрибут An, принимающий значения D(An) = {ai, ...,ap}. Тогда расстояние между значениями xi и Xj (i, j < p ) при условии, что xi Ф xj, обозначается как distAn (xi, xj) и вычисляется следующим образом:
distAn (xi, xj ) =
fn (xi )+ fn ( xj )
fn (xi) ' fn (x j)
Показатель LOF (Local Outlier Factor) аномальности объекта р относительно объекта o вычисляется следующим образом:
Z
LOF (p) =
lrdk (о)
. lrdk (p)
o&Nk (p) кУУ'
|Nk (p )|
Локальная плотность Ird (local reachability density) в точке p определяется как
f
lrdk ( p) = 1/
Z RDk (p, о)
oeNk (p)_
Л
N (р)\
где (р) - к-окрестность объектар е О. Это область, содержащая любой объект д, расстояние от р до которого не больше Ок (р) :
Нк (р) = {д е О \{р} \ d(р,д) < (р)},
к - количество объектов, попадающих в окрестность (объекты из Ык (р) называются к ближайшими соседями для р); ЯОк (р,о) - расстояние достижимости объекта р из объекта о. Расстоянием достижимости называется расстояние от объекта о до к-го ближайшего объекта, если р принадлежит окрестности объекта о. В противном случае расстоянием достижимости является непосредственное расстояние между о ир (рис. 1):
RDk (p, о) =
\Dk (о) еслиp е Nk (о) [d(p,о) иначе;
О - множество всех объектов. Для любого объекта р е О расстояние до к-го из ближайших объектов задается формулой Ок(р) = d (р,о), где d(р, о) -
расстояние между объектомр и объектом о е О таким, что:
а) существует хотя бы к объектов о'еО\{р}, для которых выполняется d (р, о') < d (р, о);
б) существует не более (к - 1) объектов о' е О\{р}, для которых выполняется d(р, о') < d(р, о).
Рис. 1. Расстояние достижимости в ^-окрестности точки и вне ее
3. Определение результирующего ранжирования экспертных оценок
Для повышения качества принимаемых решений наряду с краудсорсин-гом используется экспертное оценивание, проводимое профессиональными экспертами в данной предметной области.
Для определения результирующего ранжирования экспертных оценок предлагается методика, описанная в [2]. Она состоит из процедуры ранжирования предлагаемых альтернатив и процедуры поиска согласованных групп ответов экспертов.
Процедура ранжирования предлагаемых альтернатив. Каждое экспертное ранжирование Аг представляется в виде матрицы упорядочения в канонической форме. Элементы этих матриц соответственно равны:
А- = 1, если / предпочтительнее у;
А- = — 1, если у предпочтительнее I; АГу = 0, если / и у равноценны.
Здесь
ранжирование эксперта Аг, представленное в виде матрицы
упорядочения в канонической форме.
Расстояние между ранжированиями А и В множества п объектов рассчитывается по формуле
d (A, B ) = YY^
\a,w - b
( je n).
Если имеется т ранжирований п объектов А1, ..., Ат, то медианой этого множества ранжирований будет такое ранжирование В, для которого величина (А^, В) минимальна, а средним значением - ранжирование С, для ко-
1ет
торого минимальна величина (А^, С)2.
Суммарное рассогласование (расстояние Кемени) ^ по всем т экспертам на к-м шаге равно
S<> = YYd((),j>) (, je »),
а изменение суммарного рассогласования ДО на (к + 1)-м шаге равно
ДО(k+1> =
S(k)- S(k+1)
S
(k)
■ 100%.
Для выделения из общей совокупности ранжирований альтернатив группы экспертов с заданной степенью согласованности производится следующая процедура поиска [3].
a
2
Шаг 1. Элементы матрицы расстояний переводятся в относительные
0 ¡и
единицы по формуле ¡ц =—-—. Максимальное расстояние между ранжиро-
d
"шах
ваниями равно dшax = т (т — 1). Тогда получим таблицу расстояний Кемени в относительных единицах } .
Шаг 2. Выбирается, исходя из реальной степени согласованности ответов экспертов, пороговое значение расстояния dp. В качестве порогового
значения dp выбираются величины 0,05; 0,1 или 0,2. В этом случае будут сгруппированы ответы, степень согласованности которых будет не ниже 95, 90 или 80 %, т.е. принятые в практике статистических расчетов уровни значимости.
Шаг 3. Матрица относительных значений расстояния Кемени }
в соответствии с выбранным пороговым значением dp. В процессе такого преобразования каждое значение ¡ц сопоставляется с dp, и если 0 < do < dp,
то ставится 1, в противном случае ставится 0.
Шаг 4. Выполняется поиск ранжирования, максимально согласованного с выделенной группой г взаимосвязанных альтернатив. Ранжирование эксперта, у которого величина ^¡З]2- (/1; -г) минимальна, считается максимально
согласованным с выделенной группой из г альтернатив.
Предложенный подход позволяет выбирать пороговые значения расстояния, ориентируясь на 80, 90 или 95 % степень согласованности ответов экспертов.
4. Определение меры рассогласования интересов экспертов и целевого сообщества
На следующем этапе проводится оценка степени сходимости мнения экспертов и целевого сообщества. Мера рассогласования интересов вышеуказанной пары групп при организации их действий с ориентацией на оптимизацию значений имеющейся совокупности показателей предложена в [4].
Эта мера находится на основании следующих двух утверждений, а также на аксиомах, которые сформулированы Кемени - Снеллом [5].
1. Сопоставляемые интересы индивидуумов и/или их групп отражаются в ранжировках значимости (ценности) совокупности показателей, с ориентацией на значения которых они строят свои действия.
Ранжировка показателей К], / = 1,т, т > 2, означает, что показатели расположены по убыванию (возрастанию) важности показателей.
Например, пусть имеется четыре показателя (т = 4) (табл. 1). Две группы ранжируют их следующим образом. Для первой группы самым ценным показателем является «Доходы региона» (/ = 1), затем «Промежуточное потребление» (/ = 2), затем «Имидж региона (туристическая привлекательность)» (/ = 3). Наименее значимым для него является показатель «Экология» (/ = 4). Для второй группы самым значимым является показатель «Экология» (/ = 4). Менее значимыми и безразличными являются показатели «Доходы
региона» (г = 1), «Промежуточное потребление» (г = 2), «Имидж региона (туристическая привлекательность)» (г = 3). Ясно, что эти две ранжировки сильно отличаются.
Таблица 1
Таблица ранжировок
¥1 ¥2
Доходы региона (г = 1) Экология (г = 4)
Промежуточное потребление (г = 2) Доходы региона (г = 1); Промежуточное потребление; (г = 2); Имидж региона (туристическая привлекательность) (г = 3)
Имидж региона (туристическая привлекательность) (г = 3)
Экология (г = 4)
На языке символов:
¥1: К1 ^ К2 ^ К3 ^ К4; ¥2: К4 ^ (К1 ~ К2 ~ К3).
2. Мера Иу,к рассогласования ранжировок ¥у и ¥к групп у и к должна отвечать условиям:
а) нормирования 0 < у < 1, причем 0 имеет место в случае полного согласования интересов у-й и к-й групп, 1 - в случае полного рассогласования интересов;
б) симметрии: Иу,к = Ик]- ;
в) неравенства треугольника: Ну,к >+ Нкг , z-я группа имеет интересы, промежуточные между интересами у-й и к-й групп.
Кемени - Снеллом [5] доказано, что при истинности их аксиом существует единственная функция - расстояние между ранжировками ¥у и ¥к, которая запишется в виде
d ( ,¥к )= ( ,¥к )
(i,t)
2, если в ранжировках¥у и ¥кпара) имеет противоположную ранжировку, К1К1 в другой ранжировке, 1, если пара (г, t) в одной ранжировке связана строгим предпочтением, а в другой — безразличием, 0, если пара (г, t) одинаково проранжирована в ¥у и в ¥к, либо , либо КК, либо К^ ~ К1.
2
В приведенном выше примере ранжировок ¥1 и ¥2 имеется С4 = 6 возможных пар отношений показателей, отличающихся хотя бы одним элементом: {г = 1, г = 2}, {г = 1, г = 3}, {г = 1, г = 4}, {г = 2, г = 3}, {г = 2, г = 4}, {г = 3, г = 4}, если не принимать во внимание порядок следования номеров показателей.
К (V )='
Также имеем:
• ßi,2 = 1, так как в ранжировке V первый показатель строго предпочтительнее второго показателя, а в V2 они безразличны;
• ß13 = 1 по указанной выше причине;
• ß14 = 2, так как в ранжировке V1 первый показатель строго предпочтительнее четвертого показателя, а в V2 наоборот.
Также аналогично устанавливаем: ß23 = 1, ß2,4 = 2, ß3,4 = 2.
В результате получим d(V1, V2) = 4 + 3 + 2 = 9.
Наибольшее возможное значение функции d (Vj,Vk ) = 2С^ будет тогда, когда значения расстояния для любой пары номеров показателей ранжировки показателей в ранжировках Vj и Vk противоположны.
Тогда мера рассогласования интересов групп hj,k должна вычисляться как
j = tCT d (V).
2Cm
В нашем примере пар, различающихся хотя бы одним номером показа-
2 1
телей, C4 = 6 . Тогда h12 =-9 = 0,75, т.е. имеет место согласие лишь чет-
4 1,2 2 • 6
верть от общего числа пар. Такая характеристика говорит о низком уровне
согласования ценностей показателей двумя группами.
Заключение
Предложенный комплекс методов обеспечивает максимальный учет мнений как населения, так и профессионального сообщества. Данный подход позволяет повысить качество планирования и прогнозирования в государственном управлении. Дальнейшие исследования могут быть посвящены разработке технологий взаимодействия с социальными структурами и использованию других методов определения меры согласования интересов различных групп, например на методах, основанных на аксиомах Эрроу.
Список литературы
1. Орлов, А. О. Автоматизация процессов повышения достоверности обработки информации и принятия решений в контуре систем диспетчерского управления : автореф. дис. ... канд. тех. наук / Орлов А. О. - М. : МАДИ, 2013. - 25 с.
2. Хубаев, Г. Н. Процедура выбора согласованного упорядочения вариантов дизайна объекта / Г. Н. Хубаев. - URL: http://gnh.rsue.ru/pdf/Choose_a_ disign_object.pdf (дата обращения: 20.06.2015).
3. Родина, О. В. Пошаговое упорядочение множества показателей, составляющих совокупную стоимость владения информационной системой налогового учета / О. В. Родина. - URL: http://www.uecs.ru/uecs-24-242010/item/257-2011-03-24-13-08-08 (дата обращения: 20.06.2015).
4. Лавреш, И. И. Самоорганизация объектов управления и меры согласования интересов субъекта и объекта управления / И. И. Лавреш // Автоматизация и современные технологии. - 2011. - № 3. - С. 36-41.
5. Робертс, Ф. С. Дискретные математические модели с приложениями к социальным, биологическим и экологическим задачам / Ф. С. Робертс. - М. : Наука, 1986. - 496 с.
References
1. Orlov A. O. Avtomatizatsiya protsessov povysheniya dostovernosti obrabotki infor-matsii i prinyatiya resheniy v konture sistem dispetcherskogo upravleniya: avtoref. dis. kand. tekh. nauk [Automation of data processing and decision making reliabity improvement in monitoring systems: author's abstract of dissertation to apply for the degree of the candidate of engineering sciences]. Moscow: MADI, 2013, 25 p.
2. Khubaev G. N. Protsedura vybora soglasovannogo uporyadocheniya variantov dizayna ob"ekta [Choosing a coordinated sorting of onject design variants]. Available at: http://gnh.rsue.ru/pdf/Choose_a_ disign_object.pdf (accessed June 20, 2015).
3. Rodina O. V. Poshagovoe uporyadochenie mnozhestva pokazateley, sostavlyayushchikh sovokupnuyu stoimost' vladeniya informatsionnoy sistemoy nalogovogo ucheta [Step-by-step sorting of a set of indicators, making uo an aggregate cost of owing a tax accounting data system]. Available at: http://www.uecs.ru/uecs-24-242010/item/257-2011-03-24-13-08-08 (accessed June 20, 2015).
4. Lavresh I. I. Avtomatizatsiya i sovremennye tekhnologii [Automation and modern technologies]. 2011, no. 3, pp. 36-41.
5. Roberts F. S. Diskretnye matematicheskie modeli s prilozheniyami k sotsial'nym, bio-logicheskim i ekologicheskim zadacham [Discrete mathematical models with applications to social, biological and ecological problems]. Moscow: Nauka, 1986, 496 p.
Лавреш Иван Иванович
кандидат технических наук, доцент, Сыктывкарский лесной институт (филиал) Санкт-Петербургского государственного лесотехнического университета имени С. М. Кирова (СЛИ) (Россия, Республика Коми, г. Сыктывкар, ул. Ленина, 39)
E-mail: ilavresh@mail.ru
Lavresh Ivan Ivanovich Candidate of engineering sciences, associate professor, Syktyvkar Forest Institute (branch) of Saint-Petersburg State Forest Technical University named after S. M. Kirov (39 Lenina street, Syktyvkar, Komi Republic, Russia)
Трифонов Александр Викторович
заведующий лабораторией, Сыктывкарский лесной институт (филиал) Санкт-Петербургского государственного лесотехнического университета имени С. М. Кирова (СЛИ) (Россия, Республика Коми, г. Сыктывкар, ул. Ленина, 39)
E-mail: Alex.34nov@yandex.ru
Trifonov Aleksandr Viktorovich
Head of laboratory, Syktyvkar Forest Institute (branch) of Saint-Petersburg State Forest Technical University named after S. M. Kirov (39 Lenina street, Syktyvkar, Komi Republic, Russia)
УДК 353.2 +004.021 Лавреш, И. И.
Совершенствование технологии работы с внешними источниками информации из социальных структур в системах поддержки принятия решений / И. И. Лавреш, А. В. Трифонов // Известия высших учебных заведений. Поволжский регион. Технические науки. - 2015. - № 4 (36). -С.27-36.
