CC BY
15
Научная статья
УДК 004.827
DOI 10.25205/1818-7900-2023-21-1-32-45
Программная система визуализации и проверки согласованности оценочных знаний экспертов
Елена Дмитриевна Малаева1, Гульнара Эркиновна Яхъяева2
Новосибирский государственный университет Новосибирск, Россия
1e.malaeva@g.nsu.ru 2g.iakhiaeva@g.nsu.ru
Аннотация
Экспертные оценки применяются повсеместно и при решении широкого диапазона задач. При этом зачастую возникает проблема несогласованности множества экспертных оценок. В данной работе предложен алгоритм проверки оценочных экспертных знаний на согласованность. В результате работы алгоритма мы не только получаем ответ о том, являются ли данные согласованными или нет, но также и визуализируем исходные данные в виде дерева. В случае если введенные экспертные оценки не согласованы, на построенном дереве «подсвечиваются» ребра, в которых возникает несогласованность. Алгоритм также предлагает два альтернативных способа разрешения несогласованности оценок. В статье описывается программная система, разработанная на основе данного алгоритма. Ключевые слова
экспертные оценки, субъективная вероятность, согласованное означивание, нечеткая модель Для цитирования
Малаева Е. Д., Яхъяева Г. Э. Программная система визуализации и проверки согласованности оценочных знаний экспертов // Вестник НГУ. Серия: Информационные технологии. 2023. Т. 21, № 1. С. 32-45. DOI 10.25205/18187900-2023-21-1-32-45
Software System for Visualization and Checking the Consistency of Experts' Evaluative Knowledge
Elena D. Malaeva1, Gulnara E. Yakhyaeva2
Novosibirsk State University
1e.malaeva@g.nsu.ru 2g.iakhiaeva@g.nsu.ru
Abstract
Expert evaluations are used everywhere and in solving a wide range of problems, but often there is a problem of inconsistency in the set of expert evaluations. In this paper, we propose an algorithm for checking the evaluative expert knowledge for consistency. As a result of the algorithm, we not only get an answer about whether the data is consistent or not, but also visualize the original data in the form of a tree. If the introduced expert evaluations are inconsistent, the constructed tree "highlights" the edges in which there is an inconsistency. The algorithm also offers two alternative ways of resolving evaluation inconsistencies. The article describes a software system developed on the basis of this algorithm.
© Малаева Е. Д., Яхъяева Г. Э., 2023
Keywords
expert evaluations, subjective probability, consistent attribution, fuzzy model For citation
Malaeva E. D., Yakhyaeva G. E. Software System for Visualization and Checking the Consistency of Experts'
Evaluative Knowledge. Vestnik NSU. Series: Information Technologies, 2023, vol. 21, no. 1, pp. 32-45. (in Russ.)
DOI 10.25205/1818-7900-2023-21-1-32-45
Введение
Экспертное оценивание - это процедура получения оценок (оценки) на базе мнения группы экспертов (эксперта) в каких-либо вопросах с целью дальнейшего принятия наиболее подходящего решения, совершения выбора. Осведомленность, знания, накопленный опыт, способность смотреть наперед, интуиция экспертов побуждают отдельных людей и целые команды обращаться к специалистам за помощью. Самым распространенным способом получения и анализа качественной информации в ситуациях, когда остро чувствуется дефицит объективных данных, названы как раз экспертные оценки [1]. Специалисты со своим, безусловно, внушительным набором полезных способностей и качеств могут находить наилучшие выходы из различных ситуаций, более прибыльные сделки, перспективные и многообещающие направления развития и становления и многое другое, их потенциал неограничен.
Экспертные оценки применяются повсеместно и при решении широкого диапазона задач [2]. Например, при постановке диагноза консилиумом врачей, выборе группы космонавтов из целой группы претендующих на место в ней специалистов, при выборе инвестиционных проектов для реализации среди имеющихся, при одобрении проектов научно-исследовательских работ для спонсорства из огромного числа заявок и так далее.
Методы экспертных оценок при наличии коллектива специалистов можно разделить на две группы [3]: методы коллективной работы экспертной группы и методы получения индивидуального мнения членов экспертной группы. Первая отличается тем, что специалисты в ходе дискуссии должны прийти к общему мнению, которое и представят в виде результата совместной работы. Во второй же группе мы собираем оценки экспертов и анализируем их уже самостоятельно.
На сегодняшний день выделяются следующие методы коллективной работы экспертной группы [4]:
Метод коллективной генерации идей. Это метод, который основан на мотивации творческой работы специалистов с помощью коллективного обсуждения определенной проблемы. При реализации данного метода соблюдается ряд правил: запрет на оценку выдвигаемых идей, лимитирование времени на одного человека, приоритет отдается специалисту, развивающему предшествующую идею, фиксация всех высказанных идей [5].
Метод «635». Шесть экспертов в течение пяти минут должны придумать и записать три идеи, далее лист передается по кругу, и каждый следующий человек записывает свои три идеи за пять минут, базирующиеся на уже имеющихся на листе идеях.
Метод «Дельфи». В процессе эксперты отвечают на вопросы в несколько этапов, при этом после каждого им предоставляются анонимные результаты предыдущего раунда с пояснением причин, по которым был выбран тот или иной ответ. Таким образом, у людей будет шанс переосмыслить свои суждения, именно поэтому считается, что разброс оценок будет уменьшаться, а оценка - стремиться к истинной [6].
Метод «комиссий». Эксперты неоднократно собираются для обсуждения одного и того же вопроса с заранее намеченным планом обсуждения и большим объемом исходной информации.
Метод написания сценария. Экспертами устанавливается последовательность гипотетических событий, связанных друг с другом причинно-следственными связями, поэтому получается модель процесса, а не только модель конечного результата [7].
К основным индивидуальным методам получения мнения относятся следующие [8]:
Метод «интервью». Диалог прогнозиста с экспертом в формате вопрос-ответ, что позволяет получить наиболее честные и точные ответы, благодаря возможности уточнять детали в реальном времени, но количество усилий по сбору и обработке результата сильно превышает количество усилий для других методов.
Аналитический метод. Данный метод заключается в подробном изучении и анализе экспертом решаемой проблемы, но не подходит для оценки сложных ситуаций из-за ограниченности знаний одного эксперта в смежных областях, что могут дополнительно понадобиться для работы [9].
Также существуют математико-статические методы экспертных оценок [10]:
Метод простой ранжировки. Эксперты располагают факторы, признаки или характеристики в порядке собственного предпочтения, далее подсчитывается величина, означающая среднее значение важности факторов (чем меньше величина, тем важнее данный фактор) [11].
Метод весовых коэффициентов. Эксперты оценивают факторы, признаки или характеристики весовыми коэффициентами (есть две вариации: сумма всех должна быть равна фиксированному числу или у самого важного фактора вес фиксирован, а остальным присваиваются коэффициенты, равные долям этого числа).
Метод последовательных сравнений. При этом методе происходит систематическая проверка оценок с помощью их последовательного сравнения. Данный метод является наиболее точным из представленных, но запрашивает большое количество экспертов и усилий в сравнении с двумя предыдущими методами [12].
Метод парных сравнений. Эксперты выбирают в каждой паре наиболее значимый фактор, признак или наиболее значимую характеристику, когда их много или когда все объекты равнозначны. Таким образом, проводится статистически обоснованный анализ экспертных оценок. Данный метод реализуем тяжелее, чем метод ранжирования, но проще, чем метод последовательных сравнений.
В дополнение ко всем уже перечисленным недостаткам вышеуказанных методов в работе [3] также выделены сложность формирования группового мнения и вероятность давления авторитетов. В данной работе предлагается технология, позволяющая описанные выше проблемы. Она позволяет экспертам высказываться не в строго заявленном формате и не только по какому-то конкретному вопросу, находит несогласованность в их мнениях, а также по всем этим оценкам рассчитывает новые, что облегчает формирование группового мнения и исключает возможность давления авторитетов.
1. Математические основы программной системы
Понятие «субъективной вероятности» было введено в 30-х годах прошлого века Фрэнком Рамсеем и подразумевает степень уверенности эксперта в наступлении того или иного события. Ее применяют тогда, когда невозможно воспользоваться объективной вероятностью по причине неполноты или отсутствия данных о наблюдениях в прошлом, из-за высокой стоимости получения объективной вероятности [13].
В работах [14, 15] рассматривается теоретико-модельная формализация субъективной вероятности через аппарат нечетких моделей.
Определение 1. Тройку ЧИц = (А, <г, ц.) будем называть нечеткой моделью, если
1. Отображение ¡j.:S(aA) -> [0,1] является нечеткой, счетно-аддитивной мерой;
2. (р ~ ф => ц(ф) = ц(ф), для любых <р,ф G
Задавая нечеткую модель как формализацию предметной области, мы должны располагать знанием о субъективной вероятности всех предложений множества ^(о^). Однако эксперт (или даже группа экспертов) может не обладать таким полным знанием. Более того, множество S(Oa) может оказаться бесконечным. Тем не менее, существует конечное множество
событий предметной области о вероятностных значениях которых эксперт может дать свою субъективную оценку.
Таким образом, на входе мы имеем конечное множество предложений S £ £(ст^) и означивание S ^ [0,1]. Далее встает необходимость решения следующих задач.
Задача 1. Проверить является ли означивание п корректным (т. е. согласованным).
Задача 2. Если оценка некорректна, найти причины возникновения некорректности и предложить эксперту пересмотреть часть своих означиваний.
Задача 3. Если оценка корректна, то для произвольного предложения ф £ S(oA)\S найти всевозможные значения истинности, совместные с данным означиванием.
В работе [16] Задача 3 была частично решена, было доказано, что для любого предложения ф £ S(oA)\S множество всевозможных значений истинности, согласованных с данным означиванием, образует интервал. В данной работе мы сосредоточимся на решении первых двух задач.
Определение 2. Рассмотрим множество предложений S и отображение ^ S ^ [0,1]. Означивание ^ согласуется с нечеткой моделью ЗД^ = (А, а, ц) , если для любого предложения ф £ S выполняется равенство п (ф) = Ц (ф).
Означивание назовем согласованным, если существует нечеткая модель сигнатуры о3, с которой данное означивание согласуется.
Замечание 1. Пусть = (А, а, ц.) - нечеткая модель. Тогда для любого ср £ Л'(а ,) имеем
Ц(ф) = ИОЫ + -+
где V ... V г|/п - СДНФ предложения ф.
Доказательство следует из свойств семантической эквивалентности формул.
Рассмотрим конечное множество бескванторных предложений 3 = {ф1, ..., фп}. Введем следующие обозначения:
3а (с,) = {а1, а2, ..., ап} - множество атомарных предложений сигнатуры с,;
5р(ст5) = {(0!,..., со2п} = {ЛГ=1 | £ {0, а»6 5а(ст)} - множество всех максимальных конъюнктов сигнатуры с.
Тогда каждому предложению фг- £ 3 можно подставить в соответствие некоторый двоичный вектор аг- = (аг1, ..., аг2п), где а^- = 1 тогда и только тогда, когда конъюнкт ю £ (о,) входит в СДНФ предложения фг-.
Таким образом, множеству предложений 3 поставим в соответствие двоичную матрицу
/<*1\ /«11 - «12" \ \0-п) \ап1 — ап2п)
Теорема 1. Пусть S = {фь ..., фп} - конечное множество бескванторных предложений, § - соответствующая этому множеству двоичная матрица и 3 ^ [0,1]. Отображение % согласованно тогда и только тогда, когда система линейных уравнений
(1)
совместна и имеет решения с ограничениями
{X; е [ОД], для любого I = 1,2п;
2&Ч-1. (2)
Доказательство. Обозначим через С, множество констант сигнатуры о,. Так как 3 - множество бескванторных предложений, то С, Ф 0.
Пусть означивание % согласовано. Тогда найдется такая нечеткая модель = (С5, о5, ц), определенная на множестве констант Cs, что для любого ф £ имеем % (ф) = ц(ф). Следовательно, по Замечанию 1 кортеж истинностных значений (^(^1), ..., ц,(ю2и)) является решением системы (1) с ограничениями (2).
Допустим теперь, что кортеж (а15 ..., а2") является решением системы (1) с ограничениями (2). Выполнение ограничений позволяет рассматривать отображение н• а,1 как вероятностную меру, определенную на с-алгебре 5р(сД <5(сД Полученное таким образом вероятностное пространство будет эквивалентно некоторой нечеткой модели = (С5, а5, ц) .
Теорема доказана.
2. Архитектура программной системы
Для проверки оценочных экспертных знаний на согласованность была разработана программная система, которая состоит из трех модулей:
1. Модуль парсинга формул.
2. Модуль проверки согласованности оценок и визуализация.
3. Модуль исправлений несогласованностей.
Опишем принципы работы каждого из перечисленных модулей.
2.1. Модуль парсинга формул
Формулы на вход системы передаются в виде строковых выражений. Парсинг переданных формул преобразует каждое из выражений в дерево объектов.
Парсинг выражения выполняется за один проход по переданной строке за счет алгоритма, схожего с алгоритмом Дейкстра. Алгоритм работает с двумя стеками: первый хранит операции, второй - формулы. Принцип алгоритма заключается в следующем:
• Проходим исходную строку (рис. 1).
(¿Override
public Formula parseFormula(String formulaString) {
char[] formulaCharArray = fomrulaString.replace(" ""}.toCharArray(); int currentIndex = 0;
while (currentlndex < forrmlaCharArray.length) {
Рис. 1. Fig. 1.
• При нахождении предиката заносим его в стек формул.
• При нахождении оператора заносим его в стек операций (рис. 2).
private void processOperation(OperationStackltem operationStackltem) { switch (operationStackltem.getStackltemType()) {
case OPERATION -> handleOperation(operationStackltem);
case OPENING_BRACKET -> handleOpeningBracket(operationStackltem);
case CLOSING_BEACKET -> handleClosingBracket(operationStackltem);
}
Рис. 2. Fig. 2.
• Из стека операций выталкиваем все операции с приоритетом выше.
• Аргументы выталкиваемой операции заполняем элементами из стека формул.
• Если элементов из стека формул не хватает для заполнения всех аргументов операции, выражение некорректное.
• При нахождении открывающейся скобки, заносим ее в стек операций.
• При нахождении закрывающей скобки, выталкиваем из стека операций все операторы до открывающейся скобки, а открывающуюся скобку удаляем из стека. При этом выполняем те же действия, что и при выталкивании операций с более высоким приоритетом.
2.2. Модуль проверки согласованности оценок и визуализация
Для проверки согласованности оценочных знаний нам необходимо привести все введенные формулы к виду СДНФ. Для этого выделяются все атомарные предложения, входящие в заданный набор формул, и фиксируются в лексикографическом порядке. После этого строится таблица истинности для каждого предложения. По таблице истинности строится система линейных уравнений
f т
^aijxJ = \ii, i = l,n;
■'t
V 7=1
где n - количество формул, введенных пользователем, и m - количество всевозможных дизъюнктов, содержащих все атомарные предложения, взятые с отрицанием или без. Коэффициент a^j равен 1, если конъюнкт под номером j содержится в полном СДНФ представлении предложения под номером 7, и 0 в противном случае. Коэффициент ц,7 является оценочным значением 7-го предложения. Очевидно, что 0 < ц,7 < 1. Переменная Xj является искомым оценочным значением j-го конъюнкта. Согласно Теореме 1, множество предложений, введенное пользователем, согласованно тогда и только тогда, когда данная система имеет решения при ограничениях 0 < Xj < 1 для любого j = 1, т.
По теореме Кронекера-Капелли [17] проверяется совместность системы. При решении системы уравнений может возникнуть три ситуации:
Случай 1. Система имеет решения при заданных ограничениях.
Случай 2. Система не имеет решений при заданных ограничениях, но имеет решения, выходящие за пределы ограничений.
Случай 3. Система не имеет решений.
В первом случае множество предложений согласованно, и в нем нет конфликтов. В качестве примера этого случая возьмем входные данные из табл. 1.
Таблица 1
Входные данные для случая согласованного множества предложений
Table 1
Input Data for the Case of a Consistent Set of Proposals
ф! = P(a) v ! Q(b), 0,8
Ф2 = (P(a) V Q(b)) & (P(a) V ! Q(b)), 0,7
Приводим формулы ф! и ф2 к виду СДНФ:
ф1 = (Р(а)у 0(Ь)) V (Р(а)у ! 0(Ь)) V (! Р(а)у ! ОСЬ)) ф2 = (Р(а)у 0(Ь)) V (РСа)у ! ОСЬ))
и строим систему линейных уравнений:
х1+х2 + х3 = 0,8; 4" х2 = 0,7;
Очевидно, что эта система имеет решение с ограничениями 0 < х < 1 для любого ] = 1,4. Для визуализации данных из табл. 1 производится отрисовка графа, где в качестве листьев представлены конъюнкты из СДНФ формул, которые постепенно собираются в сами формулы, что мы подали, с помощью дизъюнкции между собой (в конечном итоге превращаясь в дизъюнкцию всех конъюнкций с вероятностью 1), а ребра означают отношение частичного порядка между ними. У каждой вершины есть свое оценочное значение (это может быть интервал). По умолчанию вершине присваивается оценочное значение в виде интервала [0; 1], далее эти значения могут корректироваться в зависимости от введенных пользователем значений. Граф для примера из табл. 1 представлен на рис. 3.
Рис. 3. Граф для примера из табл. 1 Fig. 3. Graph for an example from the Table 1
Рассмотрим теперь ситуацию, когда система линейных уравнений не имеет решений при заданных ограничениях, но имеет решения, выходящие за пределы ограничений. В этом случае с помощью построенного графа можно также увидеть конкретные места, где возникают проблемы т. е. где именно происходит рассогласование. В качестве примера такой ситуации рассмотрим входные данные из табл. 2.
Таблица 2
Входные данные для случая несогласованного множества предложений
Table 2
Input Data for the Case of an Inconsistent Set of Proposals
Ф! = P(a) v ! Q(b),, 0,65
Ф2 = (P(a) V Q(b)) & (P(a) V ! Q(b)),, 0,8
Этим входным данным соответствует следующая система линейных уравнений:
Х1 + х2 + хз = 0,65; х1 + х2 = 0,8; * х1 %2 хз х4 — 1.
Рис. 4. Граф для примера из табл. 2 Fig. 4. Graph for an example from the Table 2
Очевидно, что любое решение этой системы выходит за рамки ограничений, так как значение конъюнкта ! P(a) V ! Q(b) принимает значение -0,15. Это видно и на построенном дереве (рис. 4).
Далее происходит проверка всех ребер построенного дерева. Вес вершин на пути от листа до корня дерева должен монотонно, нестрого возрастать. В том месте, где это правило нарушается, и происходит рассогласование оценок. На рис. 4 это ребро окрашено в красный цвет. Во всех остальных переходах монотонность возрастания оценок соблюдена, поэтому ребра окрашены в зеленый цвет.
Случай, когда система линейных уравнений несовместна, является одним из вариантов несогласованности оценок экспертов, в этом случае конкретное место с некорректностью найти невозможно из-за отсутствия в принципе решений, поэтому граф не строится. Пользователю в этом случае предлагается пересмотреть набор критериев (т. е. множество формул), которые необходимо оценивать.
2.3. Модуль исправлений несогласованностей
Если все решения построенной системы линейных уравнений не удовлетворяют заданным ограничениям, «проблемные» места видны на визуализации. При некоторой корректировке оценочных значений данные могут быть согласованы. В разработанной программной системе предлагается два подхода корректировки оценочных значений:
- подход ближайшего верного значения;
- подход равномерного распределения нагрузки [18].
В первом случае предлагается заменить значение «верхнего» или «нижнего» конъюнкта до ближайшего верного. Пример такой замены можно увидеть на рис. 5. Здесь мы либо заменяем значение конъюнкта над некорректным ребром до значения «нижнего» конъюнкта, либо заменяем значение конъюнкта под некорректным ребром до значения «верхнего» конъюнкта. Таким образом, отношение становится верным, а значит возникший конфликт разрешается.
Рис. 5. Пример использования подхода ближайшего верного значения Fig. 5. An example of using the nearest-right-value approach
Рис. 6. Пример работы алгоритма равномерного распределения нагрузки Fig. 6. An example of the work of the algorithm for uniform load distribution
При втором подходе сначала берется одно частное решение системы <аь ..., ат> и считается его суммарное нижнее отклонение:
Р = 1,%1тт[0,а]}.
Затем отклонение в равномерно распределяется на положительные значения вектора <аь ..., ат>, т. е. строится вектор <ЬЬ ..., Ьт>, где
bj =
О, а;- < 0; (3
а) + ь> а; > ^ к
На следующем шаге алгоритма меняем вектор введенных экспертных оценок ..., ди> так, чтобы вектор <ЬЬ ..., Ьт> являлся решением системы уравнений. Пример работы алгоритма равномерного распределения нагрузки показан на рис. 6.
3. Интерфейс программной системы
Интерфейс программной системы был реализован с использованием библиотеки JavaFX. Реализовано разделение Model, View, Controller за счет поддержки FXML и возможности писать контроллеры, привязывая его методы к элементам UI.
Пользователь, используя диалоговое окно, может задавать события, описывая их в виде формул логики предикатов, используя операции конъюнкции, дизъюнкции, импликации и отрицания, а также кванторы существования и всеобщности, и субъективные вероятности наступления этих событий в виде чисел от 0 до 1. Пользователь может ввести любое число формул и их оценочные значения (рис. 7).
После нажатия кнопки «Построить граф» строится визуализация введенных данных. Узлы, в которых представлены программно-вычисленные оценки, отрисованы голубым цветом, а узлы, в которых представлены оценки, заданные пользователем, - фиолетовым. Скриншот работы программной системы в случае, если введенные пользователем оценки согласованны, представлен на рис. 8.
Рис. 7. Диалоговое окно Fig. 7. Dialog window
Рис. 8. Результат работы программной системы в случае согласованных оценок Fig. 8. The result of the work of the software system in the case of consistent evaluations
Рис. 9. Результат работы программной системы в случае несогласованных оценок Fig. 9. The result of the work of the software system in the case of inconsistent evaluations
Если же для введенных пользователем данных не существует решения с заданными ограничениями, то места несогласованности подсвечиваются цветом. Розовые узлы - это узлы с отрицательной вероятностью. Красные ребра - это ребра, на которых нарушается свойство монотонности оценок. Скриншот работы программной системы в случае, если введенные пользователем оценки не согласованны, представлен на рис. 9.
Пользователь может изменить введенные ранее оценки формул и снова проверить их согласованность. В этом случае, в качестве подсказки, появляются дополнительные два окна с вариантами исправления несогласованностей: методом ближайшего верного значения (рис. 10) и методом равномерного распределения нагрузки (рис. 11).
Увеличьте вероятность формулы Р(а) v !Q(b) до 0.3
или уменьшите вероятность формулы (Р(а)v Q(b)) А (Р(а) v !Q{b)) до 0.65
Рис. 10. Результат работы метода ближайшего верного значения Fig. 10. The result of the work of the nearest-right-value approach
(P(a) v QM A (Pfa} v !Q[b)] 0.8 ->1.5 P(a) v !Q(b) 0,65 1.5
Рис. 11. Результат работы метода равномерного распределения нагрузки Fig. 11. The result of the work of the method for uniform load distribution
Заключение
В данной работе описана программная система проверки согласованности множества субъективных оценок событий в той или иной предметной области. Описание событий формализуется на языке логики предикатов, оценки этих событий являются действительными числами из интервала [0,1]. Для проверки согласованности оценочных знаний строится система линейных уравнений, которая однозначно определяет, есть проблема или нет, но наглядно не может показать, где именно возникла несогласованность. Для визуализации «узких мест» по введенным пользователем данным строится граф и предлагаются варианты разрешения конфликтов оценок.
На данный момент в разработанной программной системе реализуется глобальная проверка согласованности и отрисовка единого графа для всего множества введенных пользователем формул (формальных описаний событий). Этот подход имеет минус «комбинаторного взрыва», заключающийся в том, что при увеличении числа понятий предметной области (т. е. при увеличении сигнатуры допустимых формул) рост количества переменных в системе линейных уравнений происходит экспоненциально. Для решения этой проблемы мы планируем внедрить в систему иерархическую кластеризацию введенных пользователем формул, что позволит внедрить локальную проверку согласованности оценочных знаний.
Список литературы
1. Гуцыкова С. Метод экспертных оценок. Теория и практика. М.: Институт психологии РАН, 2011. 144 с.
2. Palchunov D. E., Tishkovsky D. E., Tishkovskaya S. V., Yakhyaeva G. E. Combining logical and statistical rule reasoning and verification for medical applications. 2017 International Multi-Conference on Engineering, Computer and Information Sciences (SIBIRCON), Novosibirsk, Russia, 2017, p. 309-313. DOI: 10.1109/SIBIRC0N.2017.8109895.
3. Данелян Т. Я. Формальные методы экспертных оценок // Статистика и экономика. 2015. № 1. С. 183-187. DOI: 10.21686/2500-3925-2015-1-183-187.
4. Бурцева Т. А., Зуева И. А. Направления совершенствования методик мониторинга реализации стратегий развития регионов в условиях цифровой информационной среды // Вестник Московского университета имени С. Ю. Витте. Серия 1: Экономика и управление. 2018. Т. 27, № 4. С. 43-50. DOI: 10.21777/2587-554x-2018-4-43-50.
5. Волковская В. М., Захаров В. В. Метод коллективной генерации идей // Инновационные процессы в сфере информационных технологий и современного образования в регионах России: сб. научн. ст. по материалам Всероссийской научно-практической конференции, Ставрополь, 16-17 ноября 2020 года / Ставрополь: АГРУС, 2020. С. 85-89.
6. Стончюте К. Э., Гурбо А. А., Пузыревская А. А. Методы экспертных оценок: Метод Дельфи // Научное знание современности. 2021. Т. 53, № 5. С. 16-19.
7. Датенко В. И. Применение ориентированных графов при прогнозировании исходов в многокомпонентных задачах // Прикладные информационные системы в технологиях наземного транспорта (машиностроение): материалы Всероссийской научно-практической конференции с международным участием, Таганрог, 20-21 декабря 2018 года / Таганрог: ЭльДирект, 2019. С. 47-50.
8. Евстигнеева Е. О., Новикова И. В. Метод экспертных оценок в прогнозировании // Проблемы и перспективы развития экспериментальной науки: сб. ст. Международной научно-практической конференции, Новосибирск, 28 ноября 2019 года / Уфа: OMEGA SCIENCE, 2019. С. 72-74.
9. Цугунян А. М., Кваско М. А. Методы принятия стратегических решений на микро- и макроуровнях // Современная мировая экономика: проблемы и перспективы в эпоху развития цифровых технологий и биотехнологии: сб. научн. ст. Международной научной конференции, Москва, 29-31 марта 2019 года / М.: КОНВЕРТ, 2019. С. 53-55.
10. Козенко И. А. Использование экспертных оценок при определении потребительских предпочтений // Актуальные вопросы современной экономики. 2018. № 9. С. 287-296.
11. Демина Л. М., Дивина Т. В. Исследование потребительских предпочтений на основе экспертных оценок : учеб.-методич. пособие. М.: МГИУ, 2012. 56 с.
12. Дивина Т. В., Петракова Е. А., Вишневский М. С. Основные методы анализа экспертных оценок // Экономика и бизнес: теория и практика. 2019. № 7. С. 42-44. DOI: 10.24411/24110450-2019-11072
13. Дулесов А. С., Семенова М. Ю. Субъективная вероятность в определении меры неопределенности состояния объекта // Фундаментальные исследования. 2012. № 3. С. 81-86.
14. Яхъяева Г. Э., Пальчунова О. Д. Нечеткие модели как формализация оценочных знаний экспертов // Двадцатая национальная конференция по искусственному интеллекту с международным участием, КИИ-2022: Труды конференции. В 2-х т., Москва, 21-23 декабря 2022 года / М.: Национальный исследовательский университет «МЭИ», 2022. С. 97-109.
15. Yakhyaeva G. Method for Verifying the Logical Correctness of Experts' Evaluative Knowledge. 2022 IEEE International Multi-Conference on Engineering, Computer and Information Sciences (SIBIRCON), Yekaterinburg, Russian Federation, 2022, p. 850-854.
16. Пальчунов Д. Е., Яхъяева Г. Э. Нечеткие алгебраические системы // Вестник НГУ. Серия: Математика, механика, информатика. 2010. Т. 10, № 3. C. 76-93.
17. Ильин В. А., Ким Г. Д. Линейная алгебра и аналитическая геометрия. М.: Проспект, 2007. 400 с.
18. Yakhyaeva G., Skokova V. Subjective Expert Evaluations in the Model-Theoretic Representation of Object Domain Knowledge. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 2021, p. 152-165.
References
1. Gutsykova S. Method of expert evaluations. Theory and practice. Moscow: Institute of Psychology RAS, 2011. (in Russ.)
2. Palchunov D. E., Tishkovsky D. E., Tishkovskaya S. V., Yakhyaeva G. E. Combining logical and statistical rule reasoning and verification for medical applications // 2017 International MultiConference on Engineering, Computer and Information Sciences (SIBIRCON), Novosibirsk, Russia, 2017. Pp. 309-313. DOI 10.1109/SIBIRCON.2017.8109895
3. Danelyan T. Y. Formal methods of expert estimations // Statistics and Economics. 2015. No. 1. Pp. 183-187 (in Russ.) DOI 10.21686/2500-3925-2015-1-183-187
4. Burtseva T. A., Zueva I. A. Directions of perfection of methods of monitoring the implementation of development strategies of regions in terms of digital information // Vestnik Moskovskogo universiteta imeni S. Yu. Vitte. Seriya 1: Ekonomika i upravlenie. 2018. Vol. 27, no. 4. Pp. 43-50. (in Russ.) DOI 10.21777/2587-554x-2018-4-43-50
5. Volkovskaya V. M., Zakharov V. V. Method of collective idea generation // Innovatsionnye protsessy v sfere informatsionnykh tekhnologii i sovremennogo obrazovaniya v regionakh Rossii: sbornik nauchnykh statei po materialam Vserossiiskoi nauchno-prakticheskoi konferentsii. Stavropol, November 16-17, 2020. Pp. 85-89. (in Russ.)
6. Stonchyute K. E., Gurbo A. A., Puzyrevskaya A. A. Methods of expert evaluations: Delphi method // Scientific knowledge of modernity. 2021. Vol. 53, no. 5. Pp. 16-19. (in Russ.)
7. Datenko V. I. Oriented graphs application for the prediction of the outcomes in multicomponent task // Prikladnye informatsionnye sistemy v tekhnologiyakh nazemnogo transporta (mashinostroenie): materialy Vserossiiskoi nauchno-prakticheskoi konferentsii s mezhdunarodnym uchastiem, Taganrog, December 20-21, 2018. Pp. 47-50. (in Russ.)
8. Evstigneeva E. O., Novikova I. V. The method of expert evaluations in forecasting // Problemy i perspektivy razvitiya eksperimental'noi nauki: sbornik statei Mezhdunarodnoi nauchno-prakticheskoi konferentsii, Novosibirsk, November 28, 2019. Pp. 72-74. (in Russ.)
9. Tsugunyan A. M., Kvasko M. A. Methods for making strategic decisions at the micro and macro levels // Sovremennaya mirovaya ekonomika: problemy i perspektivy v epokhu razvitiya tsifrovykh tekhnologii i biotekhnologii : sbornik nauchnykh statei mezhdunarodnoi nauchnoi konferentsii, Moscow, March 29-31, 2019. Pp. 53-55. (in Russ.)
10. Kozenko I. A. The use of expert evaluations in determining consumer preferences // Actual issues of the modern economy. 2018. No. 9. Pp. 287-296. (in Russ.)
11. Demina L. M., Divina T. V. Research of consumer preferences based on expert evaluations. Mocow: MSIU, 2012. (in Russ.)
12. Divina T. V., Petrakova E. A., Vishnevsky M. S. Basic methods of analysis of expert assessments // Economy and business: theory and practice. 2019. No. 7. Pp. 42-44. (in Russ.) DOI 10.24411/2411-0450-2019-11072
13. Dulesov A. S., Semyonova M. Y. Subject probability in measure detection of object state uncertainty // Fundamental'nye issledovaniya. 2012. No. 3. Pp. 81-86. (in Russ.)
14. Yakhyaeva G. E., Palchunova O. D. Fuzzy models as a formalization of evaluative knowledge // Dvadtsataya Natsional'naya konferentsiya po iskusstvennomu intellektu s mezhdunarodnym uchastiem, KII-2022 : Trudy konferentsii. Moscow, December 21-23, 2022. Pp. 97-109. (in Russ.)
15. Yakhyaeva G. Method for Verifying the Logical Correctness of Experts' Evaluative Knowledge. 2022 IEEE International Multi-Conference on Engineering, Computer and Information Sciences (SIBIRCON), Yekaterinburg, Russian Federation, 2022. Pp. 850-854.
16. Palchunov D. E., Yakhyaeva G. E. Fuzzy algebraic systems // Vestnik NSU. Series: Mathematics, mechanics, computer science. 2010. Vol. 10, no. 3. Pp. 76-93. (in Russ.)
17. Il'in V. A., Kim G. D. Linear Algebra and Analytic Geometry. Moscow: Prospekt, 2007. (in Russ.)
18. Yakhyaeva G., Skokova V. Subjective Expert Evaluations in the Model-Theoretic Representation of Object Domain Knowledge. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 2021. Pp. 152-165.
Информация об авторах
Малаева Елена Дмитриевна, студент НГУ
Яхъяева Гульнара Эркиновна, кандидат физико-математических наук, доцент кафедры общей информатики НГУ
Information about the Authors
Elena D. Malaeva, student, Novosibirsk State University (Novosibirsk, Russian Federation)
Gulnara E. Yakhyaeva, Candidate of Physical and Mathematical Sciences, Associate Professor of the Department of General Informatics, Novosibirsk State University (Novosibirsk, Russian Federation)
Статья поступила в редакцию 02.03.2023; одобрена после рецензирования 18.03.2023; принята к публикации 18.03.2023 The article was submitted 02.03.2023; approved after reviewing 18.03.2023; accepted for publication 18.03.2023
