CC BY
20ТЕХНОЛОГИЯ И ПРАКТИКА ОБУЧЕНИЯ
'84'""'............
Олег Викторович Рогозин, доцент кафедры«Программное обеспечение ЭВМ и информационные технологии»МГТУ им. Н.Э. Баумана, кандидат технических наук
СРАВНИТЕЛЬНАЯ ОЦЕНКА АЛГОРИТМОВ ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЙ НА ОСНОВЕ КАЧЕСТВЕННЫХ ХАРАКТЕРИСТИК
В представленной статье рассматриваются методы поддержки принятия решений на основе нечёткой логики в задаче подбора программного обеспечения. Существующие методы поддержки принятия решений опираются на анализ количественных характеристик, среди них MAUT, ELECTRE, AHP. Точность полученного результата сравнивается с результатами, полученными методом MA UT.
Ключевые слова: оценка эффективности выбора решений, метод ELECTRE, нечёткая логика.
Разнообразие решаемых в образовательном процессе задач и инновационная составляющая современных экономических процессов диктуют новые требования ко всем компонентам качественного обучения. В связи с этим возникает необходимость подбора ПО не только с учётом формальных показателей его качества, но и в соответствии с предпочтениями конкретного пользователя. По характеру принимаемого решения
задача относится к задаче распределения альтернатив по классам решений: из множества альтернатив (программных продуктов) выделяется группа предпочтительных для пользователя.
Представим задачу выбора эффективного ПО в образовании как задачу поддержки принятия решения (ППР Decision Making DM) в инвестиционном процессе с инновационной составляющей. Определим инвестиционный процесс как долгосрочное вложение экономических ресурсов с целью создания и получения выгоды в будущем. Основной аспект реальных инвестиций состоит в преобразовании инвестиционных средств в производительные активы и в создании новой ликвидности при использовании этих акти-вов1. Особенность рассматриваемой проблемы в том, что инвестиции производятся в инновационные объекты, что делает задачу трудноформализуемой. Под инновационны-
1 R.E. Bellman, L.A.Zadeh Decision making in a fuzzy environment. Management Science, 17, 141-164, 1970.
ми объектами будем понимать единицы ПО в области образования. Выбор производится на основе как количественных (объём занимаемой оперативной памяти, время отклика и т.д.), так и качественных (надёжность, эффективность) характеристик ПО, причём преобладают качественные. Таким образом, задача является слабо структурированной.
Под эффективностью принятого решения будем понимать отношение результата к затратам, необходимым для достижения этого результата. Для оценки эффективности выбора альтернативных решений на основе качественных оценок необходимо основываться на определённом подходе:
• во-первых, использовать стандарты, чтобы обеспечить объективность сравнения программных средств;
• во-вторых, опираться на комплексный системный подход, чтобы гарантировать полноту и объективность результатов;
• в-третьих, обеспечить учёт пользовательских предпочтений.
Качественные показатели ПО как инвестиционного объекта
В комплексную оценку ПО, в соответствии со стандартом ISO 9126-1 как инвестиционного объекта, будем включать следующие качественные характеристики2:
Функциональность. В первую очередь продукт должен обеспечивать реализацию необходимых функций, корректность их выполнения. Набор функций будет различным в таких группах ПО, как программы моделирования, оптимизации, машинной
2 Там же.
..............кчУ85Ч
графики, управления объектами, и т.п., поэ-Ь^а/ тому для каждой группы программ после предварительного проведения классификации ПО нужно устанавливать свои способы оценки функциональности.
Защищённость и целостность. В коммерческих организациях большое значение имеют конфиденциальность, блокировка неавторизованного доступа к данным, предотвращение потери информации. Целостность очень важна для Интернет-приложений.
Надёжность. Показатель надёжности наиболее важен для систем, выполняющих ответственные функции. Чем серьёзнее могут быть последствия сбоя в применяемой системе, тем выше требования к её надёжности.
Эффективность. Эффективность приобретает наибольшее значение в системах с большим количеством пользователей, обрабатывающих большие объёмы данных или производящих сложные расчёты. Эффективность также определяет минимальную конфигурацию необходимого оборудования.
Сопровождаемость. Сопровождаемость имеет значение при необходимости регулярных обновлений программного продукта (например, для антивирусов).
Переносимость и способность к взаимодействию. Переносимость зависит от уже используемых в организации программ, необходимости взаимодействия их с новой системой, а также от операционной системы и наличия сети.
Изучаемость и простота использования. Программы со сложным интерфейсом и значительной трудоёмкостью освоения операций пользования отвлекают обучаемого от основного предмета изучения, приводят к нерациональным затратам времени.
86
Анализ применения методов принятия решения на примере подбора программного обеспечния
Метод многокритериальной функции полезности
Метод MAUT (Multi-Attribute Utility Theory) имеет следующие особенности:
1. Строится функция полезности, имеющая аксиоматическое (чисто математическое) обоснование.
2. Некоторые условия, определяющие форму этой функции, подвергаются проверке в диалоге с ЛПР.
3. Обычно используется для решения задач с заданными альтернативами, а полученные результаты применяются для оценки заданных альтернатив.
Основные этапы подхода MAUT:
1. Разработать перечень критериев.
2. Построить функции полезности по каждому из критериев. (В практических задачах в случае линейной функции полезности бывает достаточно таблицы значений функции для имеющихся значений критерия).
3. Задать веса критериев.
4. Построить зависимость между оценками альтернатив по критериям и общим качеством альтернативы (многокритериальная функция полезности).
5. Оценить все имеющиеся альтернативы и выбрать наилучшую.
Аксиоматическое обоснование
В методе MAUT выдвигаются некоторые условия (аксиомы), которым должна удовлетворять функция полезности ЛПР. В MAUT эти условия можно разделить на две группы.
Первая группа — аксиомы общего характера:
1. Аксиома, утверждающая, что может быть установлено отношение между полез-ностями любых альтернатив: либо одна из них превосходит другую, либо они равны.
2. Аксиома транзитивности: из превосходства полезности альтернативы А над полезностью альтернативы В и превосходства полезности В над полезностью С следует превосходство полезности альтернативы А над полезностью альтернативы С.
3. Для соотношений между полезностя-ми альтернатив А, В, С, имеющими вид
U(A)> U(в)> U(C),
можно найти такие числа а, ß меньше 1 и больше 0, что:
а ■ U (A) + (1 -а)- U (C) = U (в), U(A) ■ (1 -ß) + ß-U(в)> U(в),
где U — многокритериальная функция полезности альтернативы.
Аксиома 3 основана на предположении, что функция полезности непрерывна и что можно использовать любые малые части полезности альтернатив. Вторая группа условий специфична для MAUT. Они называются аксиомами (условиями) независимости, позволяющими утверждать, что некоторые взаимоотношения между оценками альтернатив по критериям не зависят от значений по дру -гим критериям.
1. Независимость по разности.
Предпочтения между двумя альтернативами, отличающимися лишь оценками по порядковой шкале одного критерия C1, не зависят от одинаковых (фиксированных) оценок по другим критериям С2,...,С^.
2. Независимость по полезности.
Критерий называется независимым по полезности от критериев С2,..., 0^, если порядок предпочтений альтернатив, в которых меняются лишь уровни критерия С1 не зависит от фиксированных значений по другим критериям.
3. Независимость по предпочтению.
Независимость по предпочтению является одним из наиболее важных и часто используемых условий. Два критерия О1 и С2 независимы по предпочтению от других критериев Сз,...,С^, если предпочтения между альтернативами, различающимися лишь оценками по С], С2, не зависят от фиксированных значений по другим критериям.
В тех примерах, где три и более критериев зависят от остальных, также проявляется и нарушение условия независимости по предпочтению. В связи с этим особое внимание уделяется проверке условия независимости по предпочтению. Если аксиомы первой группы и некоторые из условий независимости выполнены, то из этого следует строгий вывод о существовании многокритериальной функции полезности в определённом виде. По теореме Р. Кини, если условия независимости по полезности и независимости по предпочтению выполнены, то функция полезности является аддитивной:
N
и (х) = £ wiUi (х)
1=1
N
при ^ wi = 1, либо мультипликатив-
1=1
N
1 + ки(х) = П [1 + ыи< (х)
1=1 '
N
при ^wi ф 1, где:
ной:
..............'""87'
U, Uj — функции полезности, изменяющиеся от 0 до 1;
Wj — коэффициенты важности (веса) критериев, причем 0< wj <1;
коэффициент k>-1.
Таким образом, многокритериальную функцию полезности можно определить, если известны значения коэффициентов Wj, k, а также однокритериальные функции полезности U(x).
Рассмотрим применение метода на примере задачи выбора программного обеспечения. Имеются три пакета ПО для управления обработкой документов и потоками работ: Docs Open 3.0., Keyfile 3.1., Livelink Intranet 7.0. Были выбраны следующие критерии для их оценки:
• Функциональная пригодность.
• Защищённость.
• Документация и поддержка.
• Цена.
Экспертные оценки по критериям для каждой альтернативы приведены в табл. 1.
Таблица 1
Критерий (оценки по шкале от 0 до 10) Docs Open 3.0 Keyfile 3.1 Livelink Intranet 7.0 Вес (от 0 до 1)
Функциональная пригодность 6 7 8 0,5
Защищённость 10 8 6 0,2
Документация и поддержка 7,5 7,5 6 0,15
Цена 7 8 6 0,15
Обобщённая оценка альтернатив по всем критериям:
A1 = 6 • 0,5 +10 • 0,2 + 7,5 • 0,15 + 7 • 0,15 = 7,175 A2 = 7 • 0,5 + 8 • 0,2 + 7,5 • 0,15 + 8 • 0,15 = 7,425 A3 = 8 • 0,5 + 6 • 0,2 + 6 • 0,15 + 6 • 0,15 = 7,0
88
Таким образом, наиболее предпочтительна вторая альтернатива (Keyfile 3.1.).
Хотя построение общей функции полезности требует достаточно много времени и усилий ЛПР, полученный результат позволяет оценить любые (в том числе и вновь появляющиеся) альтернативы.
Достоинства
С помощью метода MAUT можно определить полезность каждой из альтернатив. Многокритериальная теория полезности позволяет получить значения в интервальной шкале.
Недостатки
В методе MAUT ЛПР должен изначально задать точные количественные измерения всех основных параметров, что является достаточно сложным. Подход MAUT не даёт возможности провести исследования проблемы привычным для человека методом «проб и ошибок». Это приводит к тому, что различные заданные параметры (например, веса критериев) приводят к различным результатам.
Метод AHP
Метод анализа иерархий (Analytic Hierarchy Process — АНР) является систематической процедурой для иерархического представления элементов, определяющих суть проблемы. Метод состоит в декомпозиции проблемы на все более простые составляющие части и дальнейшей обработке последовательности суждений ЛПР по парным сравнениям. В результате может быть выражена относительная степень (интенсивность) взаимодействия элементов в иерархии. Эти суждения затем выражаются численно. AHP
включает в себя процедуры синтеза множественных суждений, получения приоритетности критериев и нахождения альтернативных решений. Такой подход к решению проблемы выбора исходит из естественной способности людей думать логически и творчески, определять события и устанавливать отношения между ними.
Постановка задачи, решаемой с помощью метода АНР, заключается обычно в следующем. Дано: общая цель (или цели) решения задачи; критерии оценки альтернатив; альтернативы. Требуется: выбрать наилучшую альтернативу. Подход АНР состоит из совокупности этапов.
Первый этап заключается в структуризации задачи. В АНР любая задача или проблема предварительно структурируется и представляется в виде иерархии, древовидной или сетевой. Таким образом, основная цель исследования и все факторы, в той или иной степени влияющие на достижение цели, распределяются по уровням в зависимости от степени и характера влияния. На первом уровне иерархии всегда находится одна вершина — цель проводимого исследования. Второй уровень иерархии составляют факторы, непосредственно влияющие на достижение цели. При этом каждый фактор представляется в строящейся иерархии вершиной, соединённой с вершиной 1-го уровня. Третий уровень составляют факторы, от которых зависят вершины 2-го уровня, и т.д. Этот процесс построения иерархии продолжается до тех, пока в иерархию не включены все основные факторы или хотя бы для одного из факторов последнего уровня невозможно непосредственно получить необходимую информацию. По окончании построения
иерархии для каждой материнской вершины проводится оценка весовых коэффициентов, определяющих степень её зависимости от влияющих на неё вершин более низкого уровня. При этом используется метод парных сравнений Саати.
На втором этапе ЛПР выполняет парные сравнения элементов каждого уровня, результаты сравнений переводятся в числа. Используем метод парных сравнений Саати.
При парных сравнениях ЛПР даётся шкала словесных определений уровня важности, причём каждому определению ставится в соответствие число.
Таблица 2
Уровень важности Количественное значение
Равная важность 1
Умеренное превосходство 3
Существенное или сильное превосходство 5
Значительное (большое) превосходство 7
Очень большое превосходство 9
Промежуточные решения между двумя соседними суждениями 2,4,6,8
1. При сравнении элементов, принадлежащих одному уровню иерархии, ЛПР выражает своё мнение, используя одно из приведённых в таблице определений. В матрицу сравнения заносится соответствующее число. Если элемент А1 доминирует над элементом А2, то в клетку матрицы, соответствующую строке А1 и столбцу А2, заносится целое число, а в клетку, соответствующую строке А2 и столбцу А1, заносится обратное число. Если обозначить долю фактора (коэффициент важности) А| через Жр то элемент матрицы
w.
а =
w,
Таким образом, в предлагаемом варианте применения метода парных сравнений определяются не величины разностей значений факторов, а их отношение. При этом
очевидно а.. = —. Работа экспертов состоит
1 а..
в том, что, производя парное сравнение факторов А1, ...,АП, эксперт заполняет таблицу парных сравнений. Если Ж1, Ж2, ..., жп неизвестны заранее, то парные сравнения элементов производятся с использованием субъективных суждений, численно оцениваемых по шкале, а затем решается проблема нахождения компонента ж
2. При сравнении критериев определяется их важность или воздействие на достижение цели. Таким образом определяются веса критериев. При п критериях производится п(п —
1)/2 сравнений.
3. Вычисляются коэффициенты важности для элементов каждого уровня. При этом проверяется согласованность суждений ЛПР.
Один из основных методов отыскания вектора ж основывается на одном из утверждений линейной алгебры.
При построении матриц парных сравнений важным вопросом является согласованность матрицы. Ранжирование элементов осуществляется с помощью главных собственных векторов матрицы ^[п Xп]. Число X является собственным числом квадратной матрицы А, а ненулевой элемент ж — её собственным вектором. Собственные числа квадратной матрицы ^[п X п] могут быть вычислены как корни уравнения det(( — ЛЕ) = 0, а собственные векторы — как решение соответствующих однородных систем
(( — ЛЕ) w = 0 . При этом собственный вектор, соответствующий максимально-
90
му собственному числу, называется главным собственным вектором.
При проведении сравнений в реальной ситуации вычисленное максимальное собственное число будет отличаться от соответствующего собственного числа для идеальной матрицы. Это различие характеризует так называемую рассогласованность реальной матрицы и характеризует уровень доверия к полученным результатам. Для проверки согласованности собственные числа матрицы сравниваются с собственными числами случайно заполненной матрицы.
Рассогласованность матрицы парных сравнений может быть вызвана, по крайней мере, двумя факторами:
— личными качествами эксперта;
— степенью неопределённости объекта
оценки.
Поэтому рассогласованность матрицы выступает как результат взаимодействия этих факторов. В последнем случае необходимо изучать объект таким, какой он есть со всеми присущими ему неопределённостями.
В практических задачах приближённое значение главного собственного вектора можно получить суммированием элементов каждой строки. Для каждой строки вычисляется сумма
а
а
]=1
Затем все от нормируются так, чтобы их сумма была равна 1. В результате получается искомый собственный вектор ж Этот способ значительно проще в реализации, но он не позволяет определять качество исходных данных.
4. Подсчитывается количественный индикатор качества каждой из альтернатив, и определяется наилучшая альтернатива.
Рассмотрим применение метода на примере задачи выбора программного обеспечения, описанной выше.
Структуризация
Структура решаемой задачи может быть представлена в виде, показанном на рис. 1.
Рис 1. Структура задачи выбора ПО по методу АНР
В иерархии выделяются элементы-родители и элементы-потомки. Потомки воздействуют на элементы вышестоящего уровня иерархии, являющиеся по отношению к ним
родителями. Для всех элементов-потомков относящихся к одному родителю, строятся матрицы парных сравнений.
Матрица сравнений критериев выбора ПО:
Таблица 3
Критерии Функциональная пригодность (С1) Защищённость (С2) Документация и поддержка (С2) Цена (С3) Собственный вектор Вес
С1 1 7 6 6 20 0,61
С2 1/7 1 3 3 7,143 0,22
С3 1/6 1/3 1 1/2 2 0,06
С4 1/6 1/3 2 1 3,5 0,11
Таблица 4
Матрица сравнения альтернатив по отдельным критериям:
По критерию С1 (функциональная пригодность)
Альтернатива Docs Open 3.0 Keyfile 3.1 Livelink Intranet 7.0 Собственный вектор Вес
Docs Open 3.0 1 1/2 1/3 1,83 0,16
Keyfile 3.1. 2 1 1/2 3,5 0,31
Livelink Intranet 7.0 3 2 1 6 0,53
По критерию С2 (защищённость)
Docs Open 3.0 1 3 5 8 0,58
Keyfile 3.1 1/3 1 3 4,33 0,31
Livelink Intranet 7.0 1/5 1/3 1 1,53 0,11
По критерию С3 (документация и поддержка)
Docs Open 3.0 1 1 1/2 2,5 0,25
Keyfile 3.1 1 1 1/2 2,5 0,25
Livelink Intranet 7.0 2 2 1 5 0,5
По критерию С3 (цена)
Docs Open 3.0 1 1/2 2 3,5 0,31
Keyfile 3.1 2 1 3 6 0,53
Livelink Intranet 7.0 1/2 1/3 1 1,83 0,16
Определение наилучшей альтернативы
Синтез полученных коэффициентов важности осуществляется по формуле:
N
£>, = ^ ^У^ , где — показатель
/=1
качества 1-й альтернативы;
Wj— вес 1-го критерия;
Уд— важность ]-й альтернативы по 1-му критерию.
Для трёх программных продуктов проведённые вычисления позволяют определить: А1=0,61-0,16+0,22-0,58+0,06-0,25+0,11-0,31 = = 0,2743;
ТЕХНОЛОГИЯ И ПРАКТИКА ОБУЧЕНИЯ ............
vy°A2= 0,61 •0,31+0,22-0,31+0,06-0,25+0,11 -0,53= = 0,3306;
A3= 0,61-0,53+0,22-0,11+0,06-0,5+0,11-0,16= = 0,3951.
Альтернатива Livelink Intranet 7.0. оказалась лучшей.
Общая характеристика подхода АНР
Метод AHP направлен на сравнение реальных альтернатив.
Достоинства
Метод АНР может применяться в тех случаях, когда эксперты (или ЛПР) не могут дать абсолютные оценки альтернатив по критериям, а пользуются более слабыми сравнительными измерениями. Метод позволяет получить приоритеты в шкале отношений.
Недостатки
Введение новой, недоминирующей альтернативы может в общем случае привести к изменению предпочтений между двумя ранее заданными альтернативами.
Метод ELECTRE
Метод ELECTRE направлен на решение задач с уже заданными многокритериальными альтернативами. В отличие от метода АНР в методе ELECTRE не определяется количественно показатель качества каждой из альтернатив, а устанавливается лишь условие превосходства одной альтернативы над другой. Постановка задачи обычно имеет следующий вид:
Дано: N критериев со шкалами оценок (обычно количественные), веса критериев (обычно целые числа), альтернативы с оценками по критериям.
Требуется: выделить группу лучших альтернатив.
Основные этапы методов ELECTRE:
1. На основании заданных оценок двух альтернатив подсчитываются значения двух индексов: согласия и несогласия. Эти индексы определяют согласие и несогласие с гипотезой, что альтернатива А превосходит альтернативу В.
2. Задаются уровни согласия и несогласия, с которыми сравниваются подсчитанные индексы для каждой пары альтернатив. Если индекс согласия выше заданного уровня, а индекс несогласия ниже, то одна из альтернатив превосходит другую. В противном случае альтернативы несравнимы.
3. Из множества альтернатив удаляются доминируемые. Оставшиеся образуют первое ядро. Альтернативы, входящие в ядро, могут быть либо эквивалентными, либо несравнимыми.
4. Вводятся более «слабые» значения уровней согласия и несогласия (меньший по значению уровень согласия и больший уровень несогласия), при которых выделяются ядра с меньшим количеством альтернатив.
5. В последнее ядро входят наилучшие альтернативы. Последовательность ядер определяет упорядоченность альтернатив по качеству.
Индексы согласия и несогласия
В различных методах семейства ELECTRE индексы согласия и несогласия строятся по-разному. Рассмотрим принцип построения этих индексов на примере метода ELECTRE 1.
Каждому из N критериев ставится в соответствие целое число р, характеризующее важность критерия. Выдвигается гипотеза о превосходстве альтернативы А над альтернативой В. Множество I, состоящее из N критериев, разбивается на три подмножества:
1+ — подмножество критериев, по которым А предпочтительнее В;
1= — подмножество критериев, по которым А равноценно В;
I- — подмножество критериев, по которым В предпочтительнее А.
Далее формулируется индекс согласия с гипотезой о превосходстве А над В. Индекс согласия подсчитывается на основе весов критериев. В методе ЕЬЕСТКЕ1 этот индекс определяется как отношение суммы весов критериев подмножеств 1+ и I- к общей сумме весов:
X W
w.
Индекс несогласия dAB с гипотезой о превосходстве А над В определяется на основе самого «противоречивого» критерия — критерия, по которому В в наибольшей степени превосходит А. Чтобы учесть возможную разницу длин шкал критериев, разность оценок В и А относят к длине наибольшей шкалы:
li - li
d,B = max ——A
AB l
i ,
где l Ai , lBi оценки альтернатив А и В по i-му критерию;
- длина шкалы i-го критерия.
Свойства индекса согласия:
1. 0 < Cab < 1.
2. CAB = 1, если подмножество I пусто.
3- С^сохраняет значение при замене одного критерия на несколько с тем же общим весом.
Свойства индекса несогласия:
1- 0 < dAB < 12. dAB сохраняет значение при введении более детальной шкалы по i-му критерию при той же её длине.
Введенные индексы используются при построении матриц индексов согласия и несогласия для заданных альтернатив.
Выделение ядер
В методе ELECTRE 1 бинарное отношение превосходства задаётся уровнями согласия и несогласия. Если CAB > С1 и dAB > d1, где CAB, dAB — заданные уровни согласия и несогласия, то альтернатива А объявляется лучшей по сравнению с альтернативой В. Если же при этих уровнях сравнить альтернативы не удалось, то они объявляются несравнимыми. Если оценки альтернатив в значительной степени противоречивы (по одним критериям одна намного лучше другой, а по другим — наоборот), то такие противоречия никак не компенсируются и такие альтернативы сравнивать нельзя. Понятие несравнимости позволяет выявить альтернативы с «контрастными» оценками, как заслуживающие специального изучения. Похожие идеи используются и в других методах семейства ELECTRE.
Задавая уровни коэффициентов согласия и несогласия, постепенно понижая требуемый уровень коэффициента согласия и повышая требуемый уровень коэффициента несогласия, ЛПР может исследовать имеющееся множество альтернатив. При заданных уров-
CAB =
ТЕХНОЛОГИЯ И ПРАКТИКА ОБУЧЕНИЯ
ядро недоминируемых элементов, которые находятся либо в отношении несравнимости, либо в отношении эквивалентности. При изменении уровней из данного ядра выделяется меньшее ядро и т. д. Различные ядра представляют собой возможные решения проблемы. В конечном итоге можно получить одну лучшую альтернативу.
Рассмотрим пример задачи выбора программного обеспечения, описанный выше.
Таблица 5
Таблица критериев
Критерий (оценки по шкале от 0 до 10) Docs Open 3.0 Keyfile 3.1 Livelink Intranet 7.0 Вес
Функциональная пригодность 6 7 8 0,5
Защищённость 10 8 6 0,2
Документация и поддержка 7,5 7,5 6 0,15
Цена 7 8 6 0,15
Индексы согласия
Docs Open 3.0 Keyfile 3.1 Livelink Intranet 7.0.
Docs Open 3.0 * 0,55 0,5
Keyfile 3.1 0,2 * 0,5
Livelink Intranet 7.0 0,5 0,5 *
Индексы несогласия
Docs Open 3.0 Keyfile 3.1 Livelink Intranet 7.0.
Docs Open 3.0 * 0,2 0,4
Keyfile 3.1 0,1 * 0,2
Livelink Intranet 7.0 0,2 0,1 *
Зададим уровень согласия CAB = 0,5 и уровень несогласия dAB = 0,1. Тогда в ядро входят доминирующая альтернатива Keyfile 3.1.
Общая характеристика метода
Достоинства: поэтапность выявления предпочтений ЛПР в процессе назначения уровней согласия и несогласия и изучения ядер. Детальный анализ позволяет ЛПР сформировать свои предпочтения, определить компромиссы между критериями.
Использование отношения несравнимости позволяет выделить пары альтернатив с противоречивыми оценками, остановиться на ядре, выделение которого достаточно обоснованно с точки зрения имеющейся информации.
Построение модели системы принятия решений
Модель системы принятия решения строится в контексте решения некоторой проблемы или достижения некоторой цели. Для построения модели системы необходимо структурировать проблемную область, определив её границы и внутренние взаимосвязи.
Выбор алгоритма принятия решения
Выбор алгоритма принятия решения зависит от особенностей решаемой задачи и модели системы принятия решения. Задача подбора программного обеспечения имеет следующие особенности:
• Задача является слабо структурированной, то есть содержит преимущественно качественные критерии оценки альтернатив.
• Критерии альтернатив представляют из себя иерархическую структуру: атрибуты качества ПО детализируются более конкретными субхарактеристиками.
• Число альтернатив заранее неизвестно, количество и состав альтернатив в задаче может изменяться.
ОБРАЗОВАТЕЛЬНЫЕ ТЕХНОЛОГИИ. № 4/2010
..................'$"95 (
• Некоторые значения критериев взаимосвязаны и зависят друг от друга.
В табл. 6 показана взаимосвязь соответствующих атрибутов: знак «+» означает, что увеличение величины атрибута в соответствующей строке позитивно влияет на атрибут в соответствующем столбце. Знак «-» означает негативное влияние, а пустая ячейка говорит о том, что атрибут строки оказывает незначительное влияние на атрибут столбца. Например, увеличение гибкости, целостности, способности программы к взаимодействию и других атрибутов наверняка скажется как на времени отклика, так и на объёме занимаемой памяти и приведёт к падению эффективности. Эти закономерности могут использоваться для проверки объективности имеющихся данных, а также учитываться в случае недостающих данных.
Таблица 6 Взаимосвязи атрибутов качества ПО
Доступность | Эффективность | Гибкость 1 Целостность | Способность к взаимодействию Лёгкость в эксплуатации | Переносимость | Надёжность | Устойчивость к сбоям | Удобство и простота использования
Доступность + +
Эффективность - - - - - -
Гибкость - - + + -
Целостность - - + -
Способность к взаимодействию - + - +
Изучаемость + - + +
Переносимость - + + - -
Надёжность + - + + + +
Устойчивость к сбоям + - + +
Удобство и простота использования - +
Для применения данной программы в различных областях и для оценки программных продуктов различных классов необходимо обеспечить гибкость модели системы принятия решений:
• возможность изменения состава структуры критериев, добавление новых или удаления существующих критериев;
• возможность изменения списка альтернатив, добавление и удаление программных продуктов, подлежащих оценке.
При изменении условий применения системы затраты на изменения модели системы должны быть минимальными.
Метод MAUT. Для изменения структуры критериев необходимо задать веса новых критериев и оценки всех альтернатив по ним, и произвести нормировку весов всех критериев. MAUT также позволяет добавлять новые альтернативы - для этого ЛПР должен задать оценки новых альтернатив по каждому из критериев. ЛПР должен изначально задавать точные количественные оценки альтернатив по критериям, при этом даже небольшое изменение оценки может сказаться на результате.
Метод AHP является наиболее подходящим для реализации иерархической структуры критериев, однако в этом случае ЛПР задаёт гораздо больше значений, чем в методе MAUT. При добавлении новой альтернативы необходимо сравнить её со всеми су-
96
ществующими альтернативами по всем критериям, а при добавлении нового критерия — сравнить его по значимости с имеющимися критериями и произвести попарное сравнение всех альтернатив по новому критерию. Таким образом изменение модели требует большой работы ЛПР.
Метод ELECTRE. Для выявления оптимального набора альтернатив ЛПР необходимо поэтапно анализировать получаемые в ходе алгоритма ядра и изменять уровни согласия и несогласия. Таким образом, суждения ЛПР требуются в процессе всего нахождения решения.
Вышеперечисленные методы также не позволяют учитывать взаимосвязь критериев эффективности ПО и использовать её в случае недостающих исходных данных.
Для решения этой задачи и построения наиболее гибкой модели можно использовать алгоритм нечёткого вывода.
Алгоритм нечёткого вывода позволяет наиболее просто и быстро изменять модель системы путём добавления или изменения правил вывода. При добавлении нового критерия эксперту необходимо задать термы и функции принадлежности для соответствующей новой лингвистической переменной и правила, учитывающие оценку по новому критерию в общем выводе. При добавлении новой альтернативы эксперт должен задать её оценки по всем критериям по выбранным шкалам. Алгоритм также позволяет учитывать взаимосвязь критериев с помощью задания соответствующих правил. В этом случае при отсутствии оценок альтернативы по некоторым критериям могут использоваться соответствующие правила исходя из оценок по остальным критериям.
Построение системы нечёткого вывода для задачи подбора ПО
В качестве лингвистических переменных в рамках данной задачи выступают критерии оценки ПО. Для них задаются такие термы, как «Низкий», «Средний», «Высокий» и т.д. Каждому терму лингвистической переменной соответствует нечёткое множество и функция. С помощью функции принадлежности определяются степени принадлежности каждого элемента глобального множества данному терму. Элементами глобального множества являются численные экспертные оценки характеристик программного продукта по некоторой шкале.
На вход алгоритма нечёткого вывода подаются чёткие значения характеристик альтернатив (экспертные оценки программных продуктов). Выходной переменной системы является лингвистическая переменная «Полезность», характеризующая предпочтительность выбора альтернативы.
Для реализации алгоритма принятия решения с помощью нечёткого вывода необходимо описать правила, по которым осуществляется связь между различными характеристиками и выходным значением полезности альтернатив. Сравнение альтернатив и принятие решения производится с помощью продукционных правил. Каждое продукционное правило состоит из одной или нескольких посылок и заключения. Если посылок несколько, они связываются логическим «И». Продукционное правило имеет вид:
ЕСЛИ посылка [И посылка ...], ТО заключение, где посылка и заключение являются нечёткими высказываниями.
Например:
ЕСЛИ Надёжность высокая и Изучае-мость средняя, ТО Полезность высокая.
Используемые для вывода правила учитывают характеристики альтернатив по всем критериям и степени важности каждой из характеристик для пользователя. Чем выше степень важности некоторой характеристики для пользователя, тем более высокую оценку по соответствующему критерию должна иметь альтернатива.
На основе имеющихся правил делаются соответствующие заключения для выходной переменной. Заключения правил объединяются для получения чётких значений переменной полезности. Полученные чёткие значения являются численными оценками предпочтительности альтернатив.
Алгоритмы нечёткого вывода
Пусть х, у — входные переменные, имеющие чёткие значения х0, у0.
г — выходная переменная. Заданы функции принадлежности Л}, Л2, Б], Б2, С], С2 и правила:
Если х есть Л] и у есть Б], ТО г есть С], Если х есть Л2 и у есть Б2, ТО г есть С2
Алгоритм Mamdani
В системах типа Маш<!аш база знаний строится из нечётких высказываний вида «в есть а» с помощью связок «И», «ЕСЛИ — ТО»:
ЕСЛИ х высокий И у средний, ТО ъ высокий.
Этапы нечёткого вывода реализуются следующим образом:
1. Фаззификация: находятся степени истинности для предпосылок каждого правила: А1(хоХ А2(хоХ В^УоХ В2(Уо).
2. Вывод: находятся уровни отсечения для предпосылок каждого из правил с использованием операции минимум:
а1 = Л1 (хо )лБ1 (Уо ) ,
а2 = Л2 (хо )л Б2 (Уо ),
где л — операция логического минимума.
Затем находятся усечённые функции принадлежности:
С'(г)=( л С, (г)),
С' (г) = (а2 л С2 (г))
3. Композиция: с использованием операции максимум (обозначается как « V ») производится объединение найденных усечённых функций, что приводит к получению итогового нечёткого подмножества для переменной выхода с функцией принадлежности:
ц (г )= С (г )= С'(г )v С2(г ) =
= (а1 л С; (г)) V (а2 л С2 (г)).
4. Приведение к чёткости для получения го производится методом центра тяжести. (Алгоритм Маш<!ат см. рис. 2 на стр. 98.)
Алгоритм Tsukamoto
Исходные данные и база знаний такие же, как и в алгоритме Маш<!ат, но предполагается, что функции С^ъ), С2(ъ) являются монотонными.
Этапы нечёткого вывода:
1. Фаззификация: находятся степени истинности для предпосылок каждого правила А1(хоХ A2(x0), В1(УоХ В2(Уо).
2. Вывод: Находятся уровни отсечения для предпосылок каждого из правил с использованием операции минимум:
а1 = Л1 (хо)л Б1 (Уо )
98
а2 = А2 (х0) л В2 (у0) 2 гч о/ гч^о/,где л — операция логического минимума.
Затем находятся чёткие значения и /г из уравнений
а1 = С1(),
а2 = С2 (г)
3. Определяется чёткое значение переменной вывода, как взвешенное среднее и
г2: ^0 = "
В общем случае чёткое значение определяется по формуле ниже (дискретный вариант метода центра тяжести).
Для дискретного случая:
п
X х <^(х *)
г = _
^0 п
£^(х,)
1=1
где 20 — чёткое значение выходной переменной.
а1 +а2
Ф
Ф
Рис. 2. Алгоритм Машиаш
Рис. 3. Алгоритм Tsukamoto
Алгоритм Sugeno
В алгоритме Бищепо база знаний строится из правил в следующей форме:
Если х есть Л] и у есть Б], ТО
г1 = а1 х + Ь1 у
Если х есть Л2 и у есть Б2, ТО
г 2 = а2 х + Ь2 у
Этапы нечеткого вывода:
1. Фаззификация: находятся степени истинности для предпосылок каждого правила: A1(x0), A2(x0), B1(Уо), В2(Уо).
2. Вывод: Находятся уровни отсечения для предпосылок каждого из правил с использованием операции минимум:
а1 = Л1 (хо)л Б1 (уо ),
а2 = Л2 (хо )л Б2 (УО ).
Находятся индивидуальные выходы правил:
z *j = a1x + Ъ1y,
z
1
*2 = a2 X + Ъ2У ■
3. Определяется чёткое значение переменной вывода:
= а1 z *j +а2 z *2
а + а2
(Алгоритм Sugeno, см. рис. 4 на стр. 100.) Алгоритм Larsen
Вид базы знаний совпадает с видом базы знаний для алгоритма Mamdani.
1. Нечёткость: находятся степени истинности для предпосылок каждого правила: Ai(xo), Á2(Xo), Bj(yo), B2(yo).
2. Вывод: находятся уровни отсечения для предпосылок каждого из правил с использованием операции минимум:
а = Ai (xo )л Б1 (yo)
100/
а2 = А2 (х0 )л В2 (Уо )
2 ^2 л _
у2 4^0 I
где л — операция логического минимума.
В алгоритме Ьагееп нечёткое подмножество переменной вывода для каждого правила находится с использованием оператора умножения по формуле: С'(г )=(аС (г)),
С2 (г )=(агСг (г)).
3. Композиция: с использованием операции максимум (обозначается как « V »)
производится объединение найденных частных нёчетких подмножеств. Находится итоговое нёчеткое подмножество для переменной выхода с функцией принадлежности:
(г ) = С (г ) = С'(г )v С2(г ) =
= (С (г ))(С 2 (г)) (в общем случае
п
Му () = V(аiCi(г)).
^ 1=1
4. Приведение к чёткости также производится методом центра тяжести.
Рис. 4. Алгоритм 8и§епо
Выбор алгоритма нечёткого вывода
Применяемые в данной задаче характеристические функции не всегда являются монотонными (функции П и Л типов), что исключает
применение метода Тзикаш^о. Одной из основных причин использования нечёткой логики для механизма оценки является возможность задания требуемой зависимости на языке, близком к естественному. Наиболее
подходящие для этого базы знаний применяются в методах Mamdani и Larsen.
Для выбора наилучшего алгоритма нечёткого вывода были проведены сравнения результатов работы методов Mamdani, Sugeno, Larsen и метода MAUT. Поскольку метод MAUT является основным методом многокритериальной теории полезности, для реализации был выбран алгоритм, который дал оценки, наиболее близкие к оценкам метода MAUT. Алгоритмы тестировались на одинаковых наборах данных. Для сравнения использовался набор программных продуктов, включающий 8 интернет-браузеров, а
также условно наилучшую и наихудшую альтернативы.
Для каждого программного продукта были заданы экспертные оценки по критериям: доступность, гибкость, защищённость, изучаемость, эффективность, взаимодействие с программами, надёжность и простота использования. Для наилучшей и наихудшей альтернативы были заданы соответственно наиболее высокие и наиболее низкие оценки по всем критериям.
Сравнение методов было проведено для двух случаев: в первом случае для всех критериев был задан средний уровень важности.
102/
При этом оценки по каждому из критериев выхода. Полученные оценки представлены имеют одинаковое влияние на переменную в таб. 7.
Таблица 7
Оценки альтернатив при среднем уровне важности всех критериев, полученные с использованием алгоритмов MAUT, Mamdani, Sugeno, Larsen
ПО MAUT Нечёткий вывод (Mamdani) Нечёткий вывод (Sugeno) Нечёткий вывод (Larsen)
Наилучшая альтернатива 10,000 8,500 10,000 8,500
Opera 8,175 8,386 6,409 8,395
Mozilla Firefox 7,825 8,5 5,593 8,5
Netscape 7,700 8,5 5,055 8,5
SeaMonkey 7,150 7,985 6,061 8,009
Internet Explorer 6,900 7,790 6,295 7,938
Dr. Orca 6,725 8,125 5,285 8,125
K-Meleon 6,675 7,934 5,688 7,961
Maxthon 6,225 7,875 4,324 7,875
Наихудшая альтернатива 0,000 0,000 0,000 0,000
12
ш о
у
г
Рис. 6. Сравнение алгоритмов нечёткого вывода Mamdani, Sugeno, Larsen и метода MAUT при оценке альтернатив по критериям с одинаковым уровнем важности
Альтернативы
MAUT Mamdani Sugeno Larsen
Из рисунка 6 видно, что наиболее близки к оценкам по методу MAUT оценки алгоритмов Mamdani и Larsen. Для некоторых альтернатив (Opera, SeaMonkey, Internet Explorer, K-Meleon) метод Mamdani даёт более близкие оценки, чем метод Larsen.
ОБРАЗОВАТЕЛЬНЫЕ ТЕХНОЛОГИИ. № 4/2010 ..............
Во втором случае для критериев оценки Ь^а/ были заданы различные уровни важности, в качестве примера выбора уровней важности пользователем.
Были заданы следующие требуемые уровни критериев:
Доступность Средняя
Гибкость Высокая
Защищённость Очень высокая
Изучаемость Не имеет значения
Эффективность Высокая
Взаимодействие с программами Не имеет значения
Надёжность Средняя
Простота использования Не имеет значения
Таблица 8
Оценки альтернатив при различных уровнях важности всех критериев, полученные с использованием алгоритмов MAUT, Mamdani, Sugeno, Larsen
ПО MAUT Нечёткий вывод (Mamdani) Нечёткий вывод (Sugeno) Нечёткий вывод (Larsen)
Наилучшая альтернатива 10 8,5 10 8,5
Opera 8,2 7,92 6,082 7,947
Netscape 8,011 7,826 5,342 7,857
SeaMonkey 7,778 7,826 6,558 7,857
Mozilla Firefox 7,733 7,92 5,655 7,947
K-Meleon 7,111 6,549 6,168 7,732
Dr. Orca 7 7,37 4,962 7,414
Internet Explorer 6,933 5,614 7,099 5,659
Maxthon 5,667 5,404 4,032 5,439
Наихудшая альтернатива 0 2 0 2
Рис. 7 (стр. 104) также показывает, что наиболее близки к оценкам по методу MAUT оценки алгоритмов Mamdani и Larsen. В случае равных уровней важности критериев значение имеют только численные оценки альтернатив, заданные экспертами, поэтому
результаты работы алгоритмов нечёткого вывода зависят только от функций принадлежности лингвистических переменных. В случае присваивания критериям различных уровней важности на получаемые оценки также оказывают влияние правила вывода,
104/
X
о о
Сравнение алгоритмов оценки альтернатив
12
10
0
.V» иг ЛУ
У
✓
Альтернативы ^
MAUT Mamdani Sugeno Larsen
Рис. 7. Сравнение алгоритмов нечёткого вывода Mamdani, Sugeno, Larsen и метода MAUT при оценке альтернатив по критериям с различными уровнями важности
8
6
4
2
поэтому нечёткий вывод даёт более точные (близкие к методу MAUT) оценки.
Для реализации был выбран алгоритм Mamdani, так как он даёт оценки, наиболее близкие к оценкам метода MAUT.
Выводы
1. Предложенный метод выбора ПО основывается на комплексной оценке качественных характеристик. Реализованный подход к оценке качества ПО позволяет строить гибкую систему оценок в зависимости от целей
и приоритетов пользователей в каждом конкретном случае.
2. Разработанное приложение позволяет сравнивать оценки, полученные различными методами.
3. Алгоритм нечёткого вывода обеспечивает гибкость системы принятия решения за счёт возможности корректировки критериев оценки и правил вывода.
4. ЖеЬ-приложение даёт возможность не только обеспечить доступ к системе большого количества пользователей, но и позво-
ляет организовать взаимодействие экспертов обладающих необходимыми знаниями, и пользователей, нуждающихся в этих знаниях. Система является динамичной и позволяет добавлять и удалять оцениваемые программные продукты, расширяя список выбора для пользователей.
5. Разработанный подход к оценке является универсальным и может быть применён не только для оценки ПО, но и в любой предметной области.
