CC BY
80
3. Коджаспирова, Г.М. Педагогический словарь [текст] : Для студ. высш. и сред. пед. учеб. заведений. / Г.М. Коджаспирова,
А.Ю. Коджаспиров. - М. : Издательский центр «Академия», 2003. - 176 с.
4. Морозов, А.В. Креативная педагогика и психология [текст] / А.В. Морозов, Д.В. Чернилевский. - М. : Академический проект,
2004. - 560 с.
5. Рапацевич, Е.С. Педагогика. Современная энциклопедия [текст] / Под. общ. ред. А.П. Астахова. - Минск : Современная школа,
2010. - 720 с.
6. Сорокопуд, Ю.В. Педагогика высшей школы [текст]. - Ростов н/Д : Феникс, 2011. - 541 с.
7. Шимко, В.Т. Основы дизайна и средового проектирования [текст] : Учеб. пособие. - М.: Издательство «Архитектура - С», 2007.
- 160 с. : ил.
-------------------□ □----------------------
В даній статті розглянуто вибір єдиного варіанту системи з деякої множини варіантів систем з урахуванням сукупності показників якості на основі допоміжної суб'активно'ї інформації, отриманої від експертів
Ключові слова: IP-телефонія, оптимі-зація, методи, експерт, кодек
□------------------------------------□
В данной статье рассматривается выбор единственного варианта системы из некоторого множества вариантов систем с учетом совокупности показателей качества на основе дополнительной субъективной информации, полученной от экспертов Ключевые слова: IP-телефония, оптимизация, методы, эксперт, кодек
□------------------------------------□
In given article the choice of a unique variant of system from some set of variants of systems taking into account set of indicators of quality on the basis of the additional subjective information received from experts is considered
Keywords: an IP-telephony, optimisation, methods, the expert, the codec -------------------□ □----------------------
УДК 338.984:519.6
ВЫБОР ОПТИМАЛЬНЫХ РЕЧЕВЫХ КОДЕКОВ МЕТОДАМИ ЭКСПЕРТНОГО ОЦЕНИВАНИЯ
В.М. Безрук
Доктор технических наук, профессор, заведующий
кафедрой* Контактный тел.: 067-722-31-18 E-mail: bezruk@ kture.kharkov.ua Ю.В. Скорик Аспирантка* Контактный тел.: 066-570-71-57 E-mail: Skorik_Y@list.ru *Кафедра «Сети связи» Харьковский национальный университет радиоэлектроники пр. Ленина, 14, г. Харьков, Украина, 61166
1. Введение
Ранее процесс проектирования сложных систем сводился к выбору из небольшого количества вариантов систем и только тех, которые удовлетворяют заданным ограничениям на их тактико-технические характеристики. С усложнением систем и возрастанием их стоимости проектировщики начали сравнивать значительное число альтернативных вариантов построения системы и выбирать из них оптимальный вариант системы.
Выбор оптимальных проектных решений включает формирование множества допустимых вариантов, задание целевой функции (критерия оптимальности) и применение математических методов поиска оптимальных решений на множестве допустимых вариан-
тов. Требование учета совокупности противоречивых технико-экономических показателей проектных решений определяет необходимость применения формализованных методов многокритериальной оптимизации.
Однако на практике иногда не удается определить (оценить) показатели качества проектных решений в формализованном виде (в виде некоторых целевых функций), а затем применить строгие математические методы оптимизации.
В этих случаях используют методы экспертного оценивания для выбора оптимальных проектных решений [1].
Методы экспертного оценивания - это методы организации работы со специалистами - экспертами и обработки мнений экспертов, выраженных в количественной и/или качественной форме с целью под-
Е
готовки информации для принятия решений лицами, принимающими решения. Для проведения экспертизы создают рабочую группу (РГ), которая и организует по поручению ЛПР деятельность экспертов, объединенных в экспертную группу (ЭГ).
Организация опроса коллектива экспертов - одна из важнейших проблем, связанных с проведением экспертных оценок. Недооценка этой проблемы при проведении экспертизы ставит под сомнение ценность ее результатов и выражается в поспешном, непродуманном опросе экспертов. Низкое качество собранных таким образом мнений не может быть скомпенсировано последующим применением для обработки современных математических методов.
В данной статье рассмотрены методы экспертного оценивания на примере выбора оптимальных речевых кодеков с учетом совокупности показателей качества.
2. Методика принятия оптимальных проектных решений с учетом совокупности показателей качества
Понятие оптимальности связывается с выбором наилучших в установленном смысле вариантов системы. Задача выбора оптимальных вариантов систем с позиции системного анализа есть типичной задачей в области исследования операций, в частности, в теории выбора и принятия решений. В задаче выбора оптимальных решений рассматривается пара (X,ПО) , где X - множество допустимых вариантов системы, ПО - принцип оптимальности, который определяет понятие наилучших (оптимальных) вариантов. Решением указанной задачи выбора является подмножество оптимальных вариантов Х0 с X , полученное с использованием выбранного принципа оптимальности. Математическим выражением принципа оптимальности есть некоторая функция выбора С0(^) , которая сопоставляет с множеством допустимых вариантов X подмножество оптимальных вариантов системы Хо = Со (X) [1].
При выборе критерия оптимальности системы существуют ординалистический и кардиналистиче-ский подхода [1,2]. Ординалистический подход ап-пелирует к порядку (лучше - хуже) и основан на введении некоторых бинарных отношений на множестве допустимых альтернатив феФд . Решение ф(>) еФд называется оптимальным по отношению строгого пред-потчтения у , если не существует других решений феФд, для которых справедливо бинарное отношение ф у ф(>) . Множество всех оптимальных решений по отношению у обозначается через ор^Фд . Кар-диналистический подход к описанию предпочтений приписывает каждой альтернативе феФ д некоторое числовое значение функции Щ^) , определяемой полезность альтернативы ф. Каждая функция полезности определяет соответствующий порядок (или предпочтение) Я на множестве Фд ( (ф'Яф'') ) тогда и только тогда, когда и (ф') > Щф") . В этом случае говорят, что функция полезности и(^) является индикатором предпочтения Я.
Определенное свойство варианта системы х eX можно охарактеризовать показателем качества
- числом к = ф(х), которое является оценкой варианта по некоторой целевой функцией ф(х). При этом
имеет место отображение ф : X ^ Я1. На практике, как правило, система характеризуются не одним, а несколькими свойствами, что определяет необходимость характеризовать систему вектором показателей качества К = (к,...,кт). При этом варианты системы х оценивается по совокупности целевых (критериальных) функций ф(х) = (ф1 (х),..., фт (х)), а множество X отображается в критериальное пространство Ят, где каждому альтернативному варианту х eX отвечает свой вектор оценок К = ф(х) е Ят .
Существуют разные методы многокритериальной оптимизации выбора оптимальных систем, которые вкладывают в понятия оптимальности разное понимание [1,2]. Тем не менее большинство правил выбора наилучших решений имеет общую черту: выбор выполняется на основе информации о попарном (бинарном) сравнении вариантов систем. Такое сравнение может осуществляться на множестве допустимых вариантов систем. Однако чаще это удобно выполнять в критериальном пространстве V с Ят, поскольку здесь варианты систем сравниваются путем сравнения векторов показателей качества К , которые имеют количественный характер.
Существует неопределенность, связанная с отсутствием достаточной априорной информации для формализации расплывчатого представления заказчика про оптимальность системы, которая не позволяет четко сформулировать и формализовать глобальную цели функционирования системы. Известными есть только требования к отдельным свойствам (показателей качества) системы. Это и приводит к задачам векторной оптимизации, в которых возникает необходимость искать экстремум векторной целевой функции
Ф(х) = (ф1 М — Фт (х)) .
Лишь в случае нейтральных и согласованных между собой показателей качества решение оптимизационной задачи находится путем независимой оптимизации отдельных целевых функций х01 = ех^ {ф1 (х)}, 1 = 1, т .
xеX
При связанных между собой и конкурирующих показателях качества системы совпадение отдельных решений х01 = х02 =... = х0т является скорее случаем, чем правилом. В этом случае решением задачи х0 = а^ ех^{ф(х)} является согласованный оптимум,
xеX
которому отвечают наилучшие значения любого из показателей качества, которые могут быть достигнутые при фиксированных (но произвольных) значениях других показателей. Решением таких оптимизационных задач, как правило, есть не один вариант системы, а некоторое множество вариантов, которые называют Парето - оптимальными.
Согласованный оптимум определяется путем нахождения подмножества Парето - оптимальных оценок V0, недоминируемых по бинарному отношению строгого предпочтения > [1]
opt>V = {к(ф0)е V0|Ук(ф)е V:k(ф)>к(ф0)} . (1)
Правило выбора оценок, оптимальных по критерию Парето (1), означает, что оценка вектора (1) к(ф0) е V0 включается в подмножество Парето, если не
существует других оценок к(ф) , для которых было бы справедливо бинарное отношение к(ф)> к(ф°) .
Потенциально достижимые значения оценок показателей качества по критерию Парето представляют собой многомерные потенциальные характеристики системы. В критериальном пространстве совокупность Парето - оптимальных оценок образует Парето
- оптимальную поверхность и связанные с ней многомерные многомерные потенциальные характеристики системы и соответствующие диаграммы обмена показателей качества.
Нахождение Парето - оптимальных вариантов системы может производиться либо непосредственно согласно (1) путем перебора и сравнения всех допустимых вариантов системы Ф д, либо с использованием специальных методов, например, весового метода, метода рабочих характеристик [1,2].
Таким образом, поскольку сразу не удается выбрать глобальный критерий оптимальности в виде скалярной целевой функции, включающей совокупность показателей качества, приходится вводить совокупность целевых функций, связанных с соответствующими показателями качества. Это приводит к необходимости решения задач векторной (многокритериальной) оптимизации, в результате чего получают подмножество Парето - оптимальных вариантов системы.
Для дальнейшего выбора единственного варианта системы из полученного подмножества Парето - оптимальных вариантов необходимо привлекать дополнительную информацию от экспертов, которая дает возможность уточнить начальное нечеткое представление заказчика про оптимальность системы. С использованием такой субъективной информации появляется возможность определить некоторую конструктивную процедуру выбора единственного варианта системы из подмножества Парето - оптимальных вариантов системы.
При этом решается непростая задача “аппроксимации” функции выбора оптимального варианта системы некоторой другой функцией выбора (критерием оптимальности), которая может быть формализована с использованием строгих математических методов.
3. Особенности экспертного оценивания проектных решений
Рассмотрим основные особенности применения экспертного оценивания на примере выбора оптимальных речевых кодеков.
Можно выделить три основных типа задач, решаемых экспертными комиссиями:
1. Оценка имеющихся объектов.
Необходимо отметить, что получаемая в результате экспертизы оценка не обязательно должна носить скалярный характер, выражаться одним числом.
2. Построение объектов.
3. Построение объектов и их оценка.
Каждый эксперт выставляет оценки объектам, после чего производится обработка и анализ результатов экспертизы [3].
Прежде всего оценивается согласованность оценок разных экспертов. Если все оценки одинаковы, то проблема измерения решена; экспертная комиссия
свою задачу выполнила. К счастью, обычно не все оценки совпадают. Более того, иногда мнения сильно расходятся. Тогда в задачи анализа входит выявление точек зрения экспертов, особенно тех, кто дал крайние оценки. Это можно делать, заставляя экспертов объяснять свои оценки, но можно и формальными методами, на основе анализа их оценок.
Если полученные результаты не дают возможности принять решение, то экспертиза проводится повторно (с разъяснением имеющихся разногласий) до тех пор, пока организаторы не будут удовлетворены. Так работает, например, известный метод проведения экспертизы Дельфи [3]. Обычно, когда эксперты четко представляют цели экспертизы, для «сходимости» процедуры Дельфи достаточно трех туров).
Определить необходимый численный состав экспертной группы очень важно. При недостаточном числе экспертов результаты экспертизы не будут надежными. Многочисленную группу квалифицированных экспертов трудно сформировать и трудно организовать ее работу.
Численный состав экспертной группы вычисляется по формуле:
й = |>р,к-1/ «]2, (2)
где й - число экспертов; в - вариация (мера на-
дежности проведенной экспертизы); ^к-1- коэффициент Стьюдента; а - относительная ширина доверительного интервала.
Вариация определяется так:
Р = о/х, (3)
где о_- среднеквадратический разброс экспертных
оценок; х - среднее значение оценки.
Относительная ширина доверительного интервала вычисляется из соотношения:
а = Лх/х, (4)
где Лх - доверительный интервал оценок.
Как видно из (3) величина вариации определяется по результатам экспертизы, но для этого в свою очередь необходимо знать требуемый состав экспертной группы. Чтобы преодолеть возникшую логическую трудность предлагается следующий подход.
Рис. 1. Зависимость в в долях Лх/х от числа экспертов
Е
Для статистической обработки допускается лишь такие экспертные оценки, относительное отличие которых от среднего значения по абсолютной величине не превышает |Дх/х|. В пределах интервала ±Дх около х отдельные оценки могут располагаться различным образом, от чего будет зависеть величина в . Однако при типичном характере рассеяния отдельных оценок и строгом соблюдении правила
о привлечении к экспертизе только квалифицированных специалистов изменение вариации при изменении числа оценок будет не очень значительным. В качестве иллюстрации на рис. 1 приведены зависимости в в долях |Дх/х| от числа Ц. Кривая а построена в предположении, что половина всех оценок превышает среднее значение Дх , а половина оценок на столько же меньше х . Кривая б дает эту зависимость для случая, когда все оценки равномерно рассеяны в интервале от х-Дх до х + Дх. Кривая в построена для случая, когда оценки распределены симметрично относительно х по треугольному закону: чем меньше отклонение оценки от среднего значения, тем больше таких оценок.
Из графиков видно, что с увеличением Ц , во-первых, величина в , изменяется не очень существенно; во-вторых, величина в монотонно уменьшается с возрастанием к . Если на основании предыдущих экспертиз, зададимся некоторой величиной в , соответствующей небольшому к , а затем с помощью (2) вычислим Ц , то при найденном значении к доверительный интервал не превысит выбранной величины [6].
На основании опыта применения метода экспертных оценок для решения различных не формализуемых задач установлено, что результаты экспертизы можно считать удовлетворительными при в(0,3 и хорошими, если в(0,2 [7]. Исходя из этого, при определении численного состава экспертной группы априорное значение вариации следует выбирать в пределах
0,2 - 0,3.
Коэффициент Стьюдента -1 определяется по
таблицам. Выбрав доверительную вероятность р , для различных Ц находим соответствующие значения ^а-1. Затем для каждой пары Ц и ^а-1 из уравнения (2) находим в / а и для выбранной р будет получена зависимость в /а = ^Ц)2 , которую можно трактовать как Ц = F(в/а) (рис. 2).
Таким образом, вычислив соотношение в / а и задав доверительную вероятность р из графиков (рис. 2) находим численный состав экспертной группы Ц .
Рис. 2. Графики функции Ц = F(в/а) при различных значениях доверительной вероятности р
Распределение Стьюдента, использованное в формуле (2) при увеличении Ц сходится к нормальному распределению. Поэтому число экспертов приближенно можно определить с помощью выражения:
в / а^/гЩ), (5)
где7(Ц)- значение интеграла вероятности, которое определяется по таблицам. Отличие величины Ц , вычисляемой с помощью (5) от найденного по формуле (2) показано в табл. 1.
На следующем шаге проведения экспертизы вычисляются коэффициенты авторитета (степень компетентности эксперта) - это число, которое показывает, с каким весом включаются в статистическую обработку оценки данного эксперта. Важность правильного определения его величины имеет большое значение, поскольку он прямо влияет как на достоверность результатов экспертизы, так и имеет важное психологическое значение для экспертов.
Таблица 1
Относительная погрешность вычисления экспертной группы по формуле (5)
Число экспертов Доверительная вероятность ДЦ/Ц, %
10 0,8 7
10 0,9 10
15 0,8 5
15 0,9 7
20 0,8 4
20 0,9 5
Существует ряд способов определения коэффициентов авторитета как на основе статистики предыдущих экспертиз [6], так и непосредственно по результатам экспертизы, для которой требуется знание таких коэффициентов [5]. Однако в этих способах коэффициенты авторитета определяются непосредственно, как некоторые числа из интервала [0,1]. Но так как человеку проще дать сравнительную оценку двум качественным понятиям, чем приписать им меру [4], поэтому более рациональным способов определения таких коэффициентов является их вычисление посредством парного оценивания степени компетентности экспертов.
Каждый эксперт, в зависимости от процедуры экспертизы, может одновременно оценивать как все объекты, так и только часть их (например, ту, в которой он более компетентен). На практике широко применяются два крайних типа оценок: 1) когда эксперт сравнивает по предпочтительности все объекты одновременно, и 2) когда эксперт производит одновременное сравнение только двух объектов (парное сравнение)[3].
Одновременное оценивание объектов производится в виде их ранжирований или оценки в количественной или балльной шкале. Балльные оценки
- промежуточные между ранжированием и количественным измерением. Поэтому анализ балльных оценок можно производить «количественными» методами, идеализированно рассматривая эти оценки как количественные, и «качественными» методами,
идеализированно представляя их ранжированиями (т. е. в ранговой шкале). Лучше всего производить обработку балльных оценок дважды, методами обоих типов. Совпадение выводов, полученных на основе применения двух принципиально различных подходов, позволяет заключить, что эти выводы основаны на самом материале, а не на методах его обработки.
Балльные оценки обычно рассматриваются как количественные. Простейший способ получения групповой оценки - вычисление средних баллов
1 п
х. = -Ё Х!Р (6)
п1- 1
где х^ - оценка 1-го объекта 1-м экспертом.
Эта формула означает фактически, что усреднение оценок производится в предположении равноправии всех экспертов: ху входит в сумму с одинаковым для всех 1 весовым коэффициентом 1/п. Для отражения реального «неравенства» экспертов, возникающего из-за различий в компетентности, объективности и информированности, вводят весовые показатели компетентности qj(j еМ); тогда
х, =Ё11. (7)
1=1
Показатель компетентности должен отражать то, на сколько близки оценки эксперта к «истинным» значениям. Однако в тех случаях, когда оценивается столь неопределенная вещь, как «качество» объектов, а именно такие экспертизы и соответствуют рассматриваемому определению группового выбора, говорить об истинных значениях оценок не приходится. Тогда показатели qj вычисляются либо на основе само- и взаимооценок компетентности членов группы, либо из анализа оценок объектов, данных экспертами в данной экспертизе [3].
Очень часто оцениваемый показатель бывает весьма сложным для оценки. Для облегчения работы экспертам переходят к рассмотрению системы более простых показателей, каждый из которых выражает некоторую сторону, часть основного, сложного показателя.
Эксперты 1 е М дают оценки хк объекта 1 еАпо каждому признаку к отдельно. При этом фиксируются (обычно также экспертным путем) весовые коэффициенты Хк признаков, показывающие, насколько сильно к -й признак «выражает» измеряемый общий показатель. Например, если Xу -оценка весомости к -го признака 1 -м экспертом, полагают X к = ЁЁХ кх&
1 к
Тогда
х,=ЁЕхкх^. (8)
1к
Такие средние баллы ведут себя достаточно устойчиво относительно изменения состава экспертов.
Сравнительный анализ речевых кодеков балльным оцениванием, когда эксперт сравнивает по предпочтительности все объекты одновременно. Это данные о 23 речевых кодеков, описанные совокупностью 5-ти технико-экономическими показателями: скорость кодирования, оценка качества кодирования речи,
сложность реализации, размер кадра, суммарная задержка [8].
Таблица 2
Показатели качества речевых кодеков
№ Кодеки скорость кодирования, кбит/с оценка качества кодирования речи, MOS (1-5) сложность реализации, MIPS размер кадра, мс суммарная задержка, мс
1 G 711 64 3,83 11,95 0,125 60
2 G 721 32 4,1 7,2 0,125 30
3 G 722 48 3,83 11,95 0,125 31,5
4 G 722(a) 56 4,5 11,95 0,125 31,5
5 G722(b) 64 4,13 11,95 0,125 31,5
6 G 723.1(a) 5,3 3,6 16,5 30 37,5
7 G 723.1 6,4 3,9 16,9 30 37,5
8 G 726 24 3,7 9,6 0,125 30
9 G 726(a) 32 4,05 9,6 0,125 30
10 G726(b) 40 3,9 9,6 0,125 30
11 G 727 24 3,7 9,9 0,125 30
12 G 727(a) 32 4,05 9,9 0,125 30
13 G727(b) 40 3,9 9,9 0,125 30
14 G 728 16 4 25,5 0,625 30
15 G 729 8 4,05 22,5 10 35
16 G 729a 8 3,95 10,7 10 35
17 G 729b 8 4,05 23,2 10 35
18 G 729ab 8 3,95 11,5 10 35
19 G 729e 8 4,1 30 10 35
20 G 729e(a) 11,8 4,12 30 10 35
21 G 727(с) 16 4 9,9 0,125 30
22 G 728(a) 12,8 4,1 16 0,625 30
23 G 729d 6,4 4 20 10 35
Временная задержка увеличивается с увеличением размера кадра, а также с увеличением сложности алгоритма кодирования. При передаче речи допустимая задержка в одном направлении не может быть больше 250 мс.
Размер кадра влияет на качество воспроизводимой речи: чем длиннее кадр, тем более эффективно моделируется речь. С другой стороны, большие кадры увеличивают влияние задержки на обработку передаваемой информации. Размер кадра кодека определяется компромиссом между этими требованиями.
Сложность алгоритма кодирования связанна с необходимыми вычислениями в реальном времени. Сложность алгоритма определяет скорость обработки, измеряемую в миллионах инструкций в секунду (Millions of Instructions per second - MIPS). Сложность обработки влияет на физические размеры кодирующего, декодирующего или комбинированного устройства, а также на его стоимость и потребляемую мощность.
Оценка качества кодирования речи с использованием различных кодеков, которая производится с помощью характеристики MOS (Mean Opinion Score), это усредненное совокупное мнение по 5-бальной шкале.
Показатели качества связаны между собой и носят конкурирующий характер (табл. 2).
уз
Таблица 3
Выбор речевого кодека, оптимального по совокупности показателей качества с учетом мнения экспертов
№ Кодеки Эксперты Средняя оценка
1 2 3 4 5 6 7 8 9 10
1 С 711 3 3 4 3 2 2 3 4 4 4 3,2
2 С 721 9 10 9 10 9 10 9 8 10 9 9,3
3 С 722 6 7 5 6 6 7 6 5 7 5 6,0
4 С 722(а) 8 8 9 9 9 8 9 8 9 9 8,6
5 С 722(Ь) 10 9 10 10 10 10 10 10 10 10 9,9
6 С 723.1(а) 5 5 6 5 5 6 4 5 5 6 5,2
7 С 723.1 7 8 7 7 7 9 8 5 6 6 7,0
8 С 726 4 5 4 3 4 2 3 4 5 3 3,7
9 С 726(а) 6 5 7 6 7 7 5 6 6 6 6,1
10 С 726(Ь) 8 6 8 8 8 7 7 8 7 8 7,5
11 С 727 3 3 2 2 2 3 3 2 4 2 2,6
12 С 727(а) 5 6 5 5 6 6 7 5 5 5 5,5
13 С 727(Ь) 7 8 7 8 6 6 6 7 8 7 7,0
14 С 728 2 2 1 2 1 1 1 2 1 1 1,4
15 С 729 1 1 1 1 1 1 2 2 1 1 1,2
16 С 729а 3 2 3 3 2 4 3 3 1 2 2,6
17 С 729Ь 1 1 1 1 1 1 2 2 1 1 1,2
18 С 729аЬ 2 1 1 2 2 2 2 2 1 1 1,6
19 С 729е 1 1 1 1 2 1 2 2 1 2 1,4
20 С 729е(а) 1 1 1 1 2 1 2 2 1 2 1,4
21 С 727(с) 4 4 5 3 4 2 3 4 5 3,9
22 С 728(а) 2 2 2 3 2 3 2 2 1 4 2,3
23 С 729d 2 2 1 1 2 1 1 2 1 1 1,4
Из табл. 3 видно, что, согласно экспертному оцениванию, следует выбрать речевой кодек G 722(Ь).
Выводы
1. В данной статье рассмотрены теоретические и практические аспекты применения метода выбора единственного проектного решения с учетом совокупности показателей качества, при учете дополнительной информации, получаемой от экспертов.
2. Приведены иллюстрации применения метода выбора из 23 речевых кодеков серии «С» с учетом 5-ти показателей качества: скорость кодирования, оценка качества кодирования речи, сложность реализации, размер кадра, суммарная задержка.
3. Показано, что выбор оптимального речевого кодека зависит дополнительной информации получаемой от экспертов - опытных проектировщиков.
4. Результаты данной работы могут быть использованы при проектировании сетей 1Р-телефонии, в частности при выборе оптимального речевого кодека.
Литература
1. Березовский Б.А., Барышников Ю.М., Борзенко В.И., Кепнер Л.М. Многокритериальная оптимизация. Математические аспек-
ты. - М.: Наука, 1986.
2. Ногин В.Д., Протодьяконов И.О., Евлампиев И.И. Основы теории оптимизации. - М.: Высшая школа, 1986.
3. Миркин Б.Г. Проблема группового выбора - М; Наука, 1974 - 256с.
4. Панкова Л. А., Петровский А. М., Шнейдерман Н. В. Организация экспертизы и анализ экспертной информации - М; Наука,
1984 - 214с.
5. Литвак Б. Г. Экспертная информация: методы получения и анализа; М.; Радио и связь, 1982 - 184с.
6. Брахман Т. Р. Многокритериальность и выбор альтернативы в технике - М; Радио и связь, 1984 - 287с.
7. Мулен Э. Кооперативное принятие решений: аксиомы и модели - М; Мир, 1991 - 463с.
8. Семенов Ю.В. Проектирование сетей святи следующего поколения. - СПб.: БХВ-Петербург, 2005.
3
