CC BY
51Putivtseva N.P., Igrunova S. V., Beketova E. Yu., Capitan S.A.Implementation of the hyerarchical multicriteria procedure of the evaluation of experts' quality // Сетевой журнал «Научный результат». Серия «Информационные технологии». - Т.1, №1,2016.
УДК 004; 334.724 DOI 10.18413/2518-1092-2016-1-1-39-47
Путивцева Н. П. Игрунова С. В. Бекетова Е. Ю. Капитан С.А.
РАЗРАБОТКА ИЕРАРХИЧЕСКОИ МНОГОКРИТЕРИАЛЬНОЙ ПРОЦЕДУРЫ ОЦЕНКИ КАЧЕСТВА ЭКСПЕРТОВ
1) доцент кафедры прикладной информатики и информационных технологий, кандидат технических наук Белгородский государственный национальный исследовательский университет, ул. Победы д.85, г. Белгород,
308015, Россия. e-mail: putivzeva@bsu.edu.ru 2) доцент кафедры информационных систем, кандидат социологических наук, доцент. Белгородский государственный национальный исследовательский университет, ул. Победы д.85, г. Белгород,
308015, Россия. e-mail: igrunova@bsu.edu.ru
3) магистрант. Белгородский государственный национальный исследовательский университет, ул. Победы д.85,
г. Белгород, 308015, Россия. e-mail: 704250@bsu.edu.ru
4) магистрант. Белгородский государственный национальный исследовательский университет, ул. Победы д.85,
г. Белгород, 308015, Россия. e-mail: 710664@bsu.edu.ru
Аннотация
Очень часто требуется принятие решений в сложных ситуациях выбора из нескольких альтернатив по многим критериям, которые имеют неодинаковую значимость. Решение таких задач требует привлечения экспертов и проведения групповой экспертизы. Одним из важных и проблемных моментов проведения экспертизы является отбор высококвалифицированных экспертов. Решение данной проблемы требует применения адекватных обоснованных процедур оценки качества экспертов.
На сегодняшний день нет единого подхода к понятию качества эксперта и оценки процедуры. В статье приведено описание разработанной иерархической процедуры оценки качества привлекаемых экспертов, состоящей из способов формирования групповых экспертных суждений, включая правило учета весомостей, определяющих качество эксперта, при формировании групповых экспертных суждений, и оценивания частных показателей качества и интегрального уровня качества привлекаемых экспертов. Для оценки эксперта по каждому из частных свойств, составляющих понятие качества эксперта, реализуются соответствующие методики их определения.
Ключевые слова: качество эксперта; компетентность эксперта; иерархическая процедура; многокритериальное оценивание.
Putivtseva N.P. Igrunova S.V. Beketova E.Yu. Capitan S.A.
IMPLEMENTATION OF THE HYERARCHICAL MULTICRITERIA PROCEDURE OF THE EVALUATION OF EXPERTS' QUALITY
1) Candidate of Technical Sciences, Associate Professor. Department of Applied Informatics and Information Technologies,
Belgorod State National Research University, 85 Pobedy St., Belgorod, 308015, Russia. e-mail: putivzeva@bsu.edu.ru 2) Candidate of Sociological Sciences, Associate Professor. Department of Information Systems. Belgorod State National Research University, 85 Pobedy St., Belgorod, 308015, Russia. e-mail: igrunova@bsu.edu.ru
3) Master's Degree Studen. Belgorod State National Research University, 85 Pobedy St., Belgorod, 308015, Russia
e-mail: 704250@bsu.edu.ru
4) Master's Degree Student. Belgorod State National Research University, 85 Pobedy St., Belgorod, 308015, Russia
e-mail: 710664@bsu.edu.ru
Abstract
Very often, someone needs to make decisions in difficult situations of choice from several alternatives, using many criteria of different importance. Solving such problems requires the involvement of experts and a group expertise. One of the most important and challenging aspects
Putivtseva N.P., Igrunova S. V., Beketova E. Yu., Capitan S.A.Implementation of the hyerarchical multicriteria procedure of the evaluation of experts' quality // Сетевой журнал «Научный результат». Серия «Информационные технологии». - Т.1, №1,2016.
of the expertise is the selection of highly qualified experts. The solution of this problem requires the use of adequate justified procedures assessment of experts' quality.
Nowadays, there is no unified approach to the concept of expert's quality and the assessment procedure. The article describes the hierarchical assessment procedures of involved experts' quality that consists of the methods of formation of the group expert judgements, including the rule of the accounting of weights, determining the quality of an expert, in the formation of the group expert judgments and assessment of private indicators of quality and the integral level of quality for involved experts. For assessment of the expert with the use of each of the particular properties that make up the concept of the quality of expert, appropriate methods of their determination are implemented.
Keywords: quality of an expert; expert competency; hierarchical procedure; multi-criteria evaluation.
Введение
Анализ литературных источников по проблемам оценивания компетентности и качества экспертов позволил сделать вывод о том, что проблема оценки качества экспертов до сих пор еще не может считаться решенной, как считают авторы работы [1], возможно, это объясняется отсутствием системного подхода к ее решению. В научной литературе обычно приводятся только названия небольшого количества отдельных свойств, характеризующих эксперта, без их обоснования и без указания взаимосвязи между ними - например, объективность, компетентность,
беспристрастность. Для количественной оценки качества эксперта нужно, прежде всего, получить частные оценки отдельных свойств, от которых это качество зависит. Большинство же предложенных в научной литературе и используемых на практике методов предназначено для оценки не какого-то одного, а нескольких частных свойств [7].
Основная часть
Наиболее полная и иерархическая структура понятия «качество эксперта» предложена в работе [1], где представлены свойства эксперта в виде иерархической структуры, которая отражает их взаимосвязь.
Как показано в работе, качество эксперта определяется четырьмя группами свойств: компетентностью, заинтересованностью в результатах экспертизы, деловитостью и объективностью (беспристрастностью). Каждая из групп в свою очередь содержит в себе несколько свойств.
Авторы представляют качество в виде иерархии частных свойств, описывают методы вычисления частных свойств качества и получение комбинированных оценок как
взвешенной суммы. Представляется
целесообразным реализовать оценку качества с использованием многокритериального
оценивания. Из тех частных свойств, которые предлагается использовать в работе [2], мы взяли наиболее информативные и поддающиеся оценке методы, и сформулировали критерии для их сравнения при определении важности указанных критериев для оценки качества экспертов.
Предлагается следующая иерархия для оценивания качества экспертов (Рисунок 1).
Представленная иерархия предлагается экспертам, чтоб они осуществили парные сравнения подкритериев, то есть характеристик, позволяющих всесторонне оценивать качество эксперта с позиций, выбранных для этого критерия. Если кто-то из привлекаемых экспертов считает, что некоторые из представленных характеристик не представляют никакой дополнительной информации, позволяющей более адекватно оценить качество эксперта, они могут указать это, а также могут предложить свои характеристики, если таковые имеются [3, 4].
В результате обработки определенного уровня иерархии получаем весомости частных показателей качества экспертов. Для того чтобы сравнивать экспертов по каждому из критериев, необходимо выбрать, как рассчитать каждое частное свойство эксперта, каким образом скомплексировать «качество» каждого эксперта по каждому из указанных частных критериев, после чего вычислить «весомости» экспертов, и, в результате обработки иерархии получить интегральные весомости качества экспертов как интегральный показатель их профессионализма. Элементы МПС экспертов по каждому из частных свойств представляют собой отношение их весомостей, рассчитанных по каждому из частных свойств.
Putivtseva N.P., Igrunova S. V., Beketova E. Yu., Capitan S.A.Implementation of the hyerarchical multicriteria procedure of the evaluation of experts' quality // Сетевой журнал «Научный результат». Серия «Информационные технологии». - Т.1, №1,2016.
Рис. 1. Иерархия для оценивания качества экспертов Fig. 1. The hierarchy for the evaluation of experts' quality
Для каждого из частных свойств, составляющих понятие качества эксперта, имеется своя методика их определения.
Предлагается находить весомости частных показателей качества экспертов следующим образом [5].
Самооценка. Самооценка вычисляется по формуле:
п
Ксам у = £ М { ■ К, (1)
!=1
где Ксам ■ - самооценка у-го эксперта; М1 -весомость показателей информированности и
знакомства, определяемая в соответствии с данными табл. 1; К - оценка, зависящая от степени информированности и степени знакомства, определяемая в соответствии с данными табл. 1.
п
Поскольку £ М{ = 1,00, а 0 < К, < 10, то
;=1
0 < Ксам, < 10, поэтому делим полученный результат на максимально возможное значение КСам ] Для получения весомости в пределах от 0 до 1.
Putivtseva N.P., Igrunova S. V., Beketova E. Yu., Capitan S.A.Implementation of the hyerarchical multicriteria procedure of the evaluation of experts' quality // Сетевой журнал «Научный результат». Серия «Информационные технологии». - Т.1, №1,2016.
Определение коэффициента самооценки Determination of the coefficient of self-esteem
Таблица 1 Table 1
Факторы, влияющие иа самооценку эксперта Весомость показателей Mj Оценка в зависимости от степени информированности и знакомства
Ki= 10,0 K 1 1 5 Ki=2,0 Ki= 0
Источники информации - Читаю часто и регулярно Читаю часто, но не регулярно Читаю редко Не читаю
Отечественная литература по вопросам, связанным с объектом экспертизы 0,10
Зарубежная литература по вопросам, связанным с объектом экспертизы 0,20
Характер знакомства Степень знакомства
высокая средняя низкая отсутствует
Непосредственное знакомство с вопросами, связанными с объектом экспертизы за рубежом (симпозиумы, командировки и т.д.) 0,14
Взаимная оценка. При реализации взаимной оценки каждый эксперт дает количественную оценку всем остальным экспертам. Затем определяется средняя оценка каждого эксперта. Но подобная процедура является достаточно легкой для выполнения только при ограниченном количестве членов экспертной группы (N<15).
При N>=15 человек рекомендуется следующая процедура определения
взаимооценки. На специальном бланке каждый эксперт объединяет всех экспертов в три подгруппы в соответствии со своим представлением об их качестве: наиболее квалифицированные, средней квалификации и ниже средней квалификации. Число экспертов в подгруппе не должно превышать 6-8 человек. Затем он ранжирует экспертов каждой подгруппы. Ранг 1
получает самый
квалифицированный эксперт, ранг 2 - следующий по квалификации и т. д. Оценка дается с точностью до половины балла. Определяется средняя оценка каждого эксперта:
N\
ЦКр,
P=1
K es j
N
(2)
где Квз ■ - средняя взаимооценка ]-го эксперта;
Kpj - оценка, проставленная р-м экспертом >му; N - число экспертов, оценивающих у-го эксперта, причем N1 < N N - общая численность экспертной группы).
Оценка аргументированности и знакомства с объектами оценивания (вариант самооценки). Для оценки предлагается использовать следующую таблицу.
Таблица 2
Шкала оценки эксперта
Table 2
Количество баллов Характеристика эксперта
3 Вопрос не входит в сферу тесно связанного с его узкой специализацией направления (например, знакомство с проблемой по литературным источникам, по работе на другом предприятии и т.п.)
5 Вопрос входит в сферу тесно связанного с его узкой специализацией направления (прикладная дисциплина, смежная область практической деятельности)
8 В практическом решении данного вопроса эксперт участвует, но этот вопрос не входит в сферу его узкой специализации
10 Эксперт специализируется по данному вопросу, имеет по нему законченные теоретические или практические разработки (научные исследования, данный вопрос непосредственно относится к области его узкой служебной деятельности)
Putivtseva N.P., Igrunova S. V., Beketova E. Yu., Capitan S.A.Implementation of the hyerarchical multicriteria procedure of the evaluation of experts' quality // Сетевой журнал «Научный результат». Серия «Информационные технологии». - Т.1, №1,2016.
Предлагается для вычисления данного показателя делить выставленный балл на максимально возможное значение показателя, то есть 10, чтоб получить коэффициент в пределах от 0 до 1.
Оценка рабочей группой. Рабочей группой может оцениваться собранность, внимательность, заинтересованность в результатах экспертизы. Предлагаем оценивать эксперта по
документальным свидетельствам его
деятельности на основе следующей таблицы.
Для определения весового коэффициента предлагается найти суммы баллов, проставленные эксперту каждым членом рабочей группы, усреднить соответствующие значения, проставленные членами рабочей группы, после чего полученное значение разделить на максимально возможное значение данной характеристики.
Таблица 3
Оценка эксперта рабочей группой
Table 3
Evaluation of an expert by the working group
Субъективная оценка ho Субъективная оценка hc
к 0 g « с £ Ё s 1 к Ф м * 1 - ее PQ Уровень образования 1 Si - PQ Общий стаж работы 1 - — ш I 1 К га vc с- о V CL й с е- о с с 1 Si - PQ Количество публикаций по тематике экспертизы 1 ц № ш Количество экспертных заключений по тематике экспертизы 1 Si « PQ Степень участия в решении данной проблемы 1 ц « PQ
Руков одитель организации 10 Д.Э.Н. 6 Более 10 10 Более 10 10 Более 10 10 Более 7 10 Эксперт специализируется по данному вопросу 10
Заместитель руков о дителя 8 К.э.н. 4 От 10 до 5 8 От 10 до 5 8 От 9 до 7 8 От 6 до 4 7 Эксперт участвует б практическом решении данного вопроса;, но он не входит в сферу его узкой специализации 8
Руков одитель подразделения 6 Высшее образова ние 2 Менее 5 лет 6 Менее 5 лет б От 6 до 4 5 От 3 до 1 3 Вопрос входит в сферу тесно связанного с его узкой специализацией направления 6
Заместитель руков о дителя подразделения 4 От 3 до 1 2 0 0 Вопрос не входит в сферу тесно связанного с его узкой специализацией направления 3
Оценка по отклонению от среднего мнения экспертной группы. Для нахождения согласованного (среднего) мнения экспертов предлагается использовать медиану в качестве среднего мнения. Медиана есть такая матрица парных сравнений (МПС), сумма расстояний от которой до всех МПС, получаемых экспертами, является минимальной.
Ук
(3)
у* ^ min yik
Ук s=1 i,k=1
Для определения медианы вводится понятие расстояния (метрики) между матрицами парных сравнений экспертов:
dsi = Zyk - ylik\
(s, I = 1,2,..., d )
(4)
ik=1
Расстояние между матрицами парных сравнений определяется числом поразрядных несовпадений всех значений элементов матриц (метрика Хэмминга). Метод оценки качества
экспертов по отклонению от результирующей оценки объекта экспертной комиссией основан на расчете коэффициента отклонения К0.
d .
K01 = -f~ (5)
d max
где Koi - коэффициент отклонения суждений i -го эксперта, d0i - расстояние индивидуальной оценки i-ro эксперта от результирующей оценки, dmax ~ максимально возможное расстояние оценки эксперта от результирующей оценки.
Для расчета расстояний могут быть использованы различные формулы. Если оценки точечные, то
doi = O, - O^ (6)
где Oi - оценка i-ro эксперта, Orez -результирующая оценка экспертной комиссии.
Оценка профессиональной
компетентности. Для определения уровня
Putivtseva N.P., Igrunova S. V., Beketova E. Yu., Capitan S.A.Implementation of the hyerarchical multicriteria procedure of the evaluation of experts' quality // Сетевой журнал «Научный результат». Серия «Информационные технологии». - Т.1, №1,2016.
профессиональной компетенции эксперта предлагается провести тестовое испытание по известным данным об объекте экспертизы, либо об аналогичных объектах, если имеются результаты проведения другой экспертизы, участие в которой данный эксперт не принимал. Эксперту предлагается заполнить матрицы парных сравнений для оценки
предпочтительности показателей, для которых известен вектор их предпочтительности, полученный в результате проведения экспертизы. В результате обработки МПС эксперта вычисляется вектор весомостей показателей, отражающий их предпочтительность для данного эксперта. Этот вектор сравнивается с так называемым «эталоном», и на основе меры Питмена определяется уровень
профессиональной компетенции эксперта в области анализа инвестиционных проектов [6].
Для оценивания уровня профессиональной компетентности весомости объекта экспертизы по отдельных критериям предлагается
комплексировать по критериям с помощью свертки.
^ = V, ^ = 1, г = (7)
к=1 г=1
где цг - интегральные весомости объекта экспертизы, г - номер объекта экспертизы, к -номер критерия, К - количество критериев; N -
количество объектов экспертизы, я;, к = 1, к -весомости критериев, определяемые тестируемым экспертом, Ук - весомости объекта экспертизы по каждому из критериев сравнения.
Эталонные интегральные весомости объекта экспертизы уг также вычисляются комплексированием по критериям с помощью свертки.
Уг = 2Х-Ук, ^Угг = 1, г = (8)
Qr =
к=1
i=1
Як, к = 1, К - весомости критериев,
определяемые эталонными экспертами, Уг{ -полученные в результате обработки заполняемых экспертами МПС эталонные весомости объекта экспертизы по каждому из критериев сравнения.
Процедура вычисления оценки уровня профессиональной компетентности эксперта осуществляется следующим образом.
В качестве меры близости весомостей ответов тестируемого эксперта к весомостям эталонным возьмем следующую величину:
1É -Jzi ) 2 i=1
(9)
Градации предлагаются следующие: Qгe [0; 0.2] ^ высокий уровень профессиональной компетентности
Qгe (0.2; 0.5) средний уровень профессиональной компетентности
Qr> 0.5 низкий уровень профессиональной компетентности
Оценка воспроизводимости
г
К, =10(1 -р.)
где
р /=1É Wj-M ] j 2 i=1
(10)
(11)
М у и М у — значения г-го коэффициента весомости, назначенные у-м экспертом соответственно в первом и втором турах. Результаты можно считать воспроизводимыми, если выполняется условие
(12)
[M1 -М2 }<s = ta-SMi
где М1 и М2 - средние значения коэффициентов весомости, полученные соответственно в первом и втором турах. е -доверительный интервал; БМ - несмещенная
оценка средней квадратической ошибки определения М; ^ - значение критерия Стьюдента.
Оценка квалиметрической компетентности. Для определения квалиметрической компетенции эксперта ему предлагается для имеющихся 3-5 вариантов сценариев дальнейшего развития объекта экспертизы, для которых известны (рассчитаны) значения исходных показателей, спрогнозировать вероятности наступления каждого из сценариев. Сопоставление вероятностей эксперта с известными весомостями осуществляется также с использованием меры Питмена. Оценивается также умение работать с различными видами шкал - как с существующими, так и предлагать свои с вербальными градациями [2, 8].
Оценка объективности корректировки своих оценок (отсутствия конформизма).
Повышение степени объективности эксперта может достигаться в некоторых экспертизах с помощью учета конформизма и конъюнктурности
Putivtseva N.P., Igrunova S. V., Beketova E. Yu., Capitan S.A.Implementation of the hyerarchical multicriteria procedure of the evaluation of experts' quality // Сетевой журнал «Научный результат». Серия «Информационные технологии». - Т.1, №1,2016.
эксперта. Конъюнктурность эксперта проявляется в том, что эксперты, привлеченные для участия в экспертизе, прямо либо косвенно заинтересованы в ее результате.
В этом случае целесообразно проведение тестовых экспертиз с априори известным объективным результатом экспертизы. Если целью экспертизы является ранжирование экспертами альтернативных вариантов (объектов) по сравнительной предпочтительности, то при проведении тестовой экспертизы определяется объективное ранжирование альтернативных вариантов P0. Тогда для каждого эксперта может быть рассчитан коэффициент конъюнктурности Ки = d(Р0, р)/тахd(Р0, Р), i е £,...,т}, (13)
где Pi - результат ранжирования альтернативных вариантов г-ым экспертом.
Для оценки конформности предлагается следующее выражение
Ккон=С2—С1 (14)
где С2 - количество ошибок испытуемого при самостоятельном вынесении им суждения;
С1 - количество ошибок испытуемого при вынесении им суждения совместно с подставной группой.
полученные частные весомости приведенные к значениям из [0;1], используются в иерархии для интегральной оценки качества
Все экспертов, интервала получения экспертов.
Также вектор его частные
для каждого эксперта составляется частных весомостей, отражающих компетентности экспертов по
Усредненная МПС частных критериев качества экспертов The average pairwise comparison matrix of particular criteria of experts' quality
представленным выше аспектам качества, поэтому есть возможность помимо получения весомостей и отбора экспертов по их интегральной оценке качества (т.е. числу, отражающему «качество, вес» эксперта в долях единицы) подбирать экспертов в зависимости от сочетания их частных показателей качества, которые могут требоваться различные в зависимости от экспертизы и требований, предъявляемых организаторами экспертизы [9].
Рассмотрим пример расчета. Усредненная матрица парных сравнений частных критериев качества экспертов имеет вид:
Таблица 4 Table 4
Оценка качества эксперта Объективность & о - S -с S В л м 6 g = е ÏT п рс о ё с ►с С; V С Е—~ Й h m S OJ ¡Е —ч tj £ ffi Ш u S s — 1= (3 Рч PC С; C; Ë £ Ö É— pc ¡s: ïtï l §.§ g g g. ¡E м s — s 3 p G В О — Ч
Объективность 1 1 2 1 0,261627
Надежн ость ! достов ерн ость
метода 1 1 4 1/3 0,236406
Трудоемкость 1/2 0,25 1 1/4 0,092499
Влияние на результат
оценивания 1 3 4 1 0,409468
Таким образом, самыми важными оценивания качества экспертов являются Влияние
характеристиками при оценке важности методов на результат оценивания и Объективность.
Putivtseva N.P., Igrunova S. V., Beketova E. Yu., Capitan S.A.Implementation of the hyerarchical multicriteria procedure of the evaluation of experts' quality // Сетевой журнал «Научный результат». Серия «Информационные технологии». - Т.1, №1,2016.
Пример расчета частных показателей качества экспертов
Частные показатели качества экспертов Private indicators of experts' quality
Таблица 5 Table 5
ФИО эксперта Весомости частных показателен качества экспертов Интегральный показатель качества эксперта Рейтинг эксперта
Маш Мн М,рг Чг М«с Мм ^васлр М.6
Эксперт 1 0,58 0,85 0,78 0,91 0,68 0,93 0,88 0,83 0,77 0,92 1
Эксперт 2 0,69 0,8 0,85 0,89 0,71 0,88 0,81 0,8 0,84 0,9 2
Эксперт 3 0,64 0,75 0,7 0,81 0,78 0,82 0,76 0,76 0,9 0,86 3
Эксперт 4 0,71 0,71 0,8 0,71 0,63 0,77 0,9 0,73 0,88 0,84 4
Эксперт 5 0,53 0,75 0,7 0,84 0,81 0,86 0,8 0,87 0,79 0,82 5
Эксперт 6 0,59 0,7 0,71 0,81 0,74 0,73 0,85 0,69 0,7 0,79 6
Заключение
Разработана иерархическая процедура оценки качества привлекаемых экспертов. Процедура включает в себя способ формирования групповых экспертных суждений, включая правило учета весомостей, определяющих качество эксперта, при формировании групповых экспертных суждений, а также способ оценивания частных показателей качества и интегрального уровня качества привлекаемых экспертов. Для оценки эксперта по каждому из частных свойств, составляющих понятие качества эксперта, реализуются соответствующие методики их определения.
Список литературы
1. Azgaldov G.G., Kostin A. V. (2012) Increasing the Validity of Results of a National/International Competition: A Case Study / Europe Middle East Africa Members' Meeting, Barcelona (Spain), 26-28 January 2012.
2. Azgaldov G.G., Kostin A. V. (2012) Quality - as the most important object of quantitative analysis / Europe Middle East Africa Members' Meeting, Barcelona (Spain), 26-28 January 2012.
3. Vendrov, A.M., 2008. CASE technologies Modern methods and design tools of information systems. Moscow: Finance and statistics, pp: 176.
4. Saaty, Thomas; Alexander, Joyce (1989). Conflict Resolution: The Analytic Hierarchy Process. New York, New York: Praeger.
5. Putivzeva N.P., Igrunova S.V., Zaytseva T.V., Pusnaya O.P., Mamatov R.A., 2012. Software choice for support method of «360 degrees»: International Journal of Advanced Studies. Date Views 08.04.2015 http://journal-s .org/index.php/ij as/article/view/5/5 5-7-1-PB .pdf.
6. Zhilyakov E.G., Putivzeva N.P., Igrunova S.V. The Adaptive Determination Of The Relative Importances Of The Objects On The Basis Of The Qualitive Pair Comparisons. International Journal of Applied Engineering Research ISSN 0973-4562 Volume 10, Number 3 (2015) pp. 6521-6530 © Research India Publications http://www.ripublication.com/Volume/ ijaerv9n22.htm
7. Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок 2-е изд., перераб. и доп. - М.: Статистика, 1980. - 263 с.
8. Квалиметрия для всех: Учеб. пособие / Г.Г. Азгальдов, A.B. Костин, В.В. Садовов. — М.: ИнформЗнание, 2012. — 165 с.
9. Путивцева Н.П. Многокритериальный выбор инвестиционных проектов / Путивцева Н.П., Игрунова С.В., Нестерова Е.В., Зайцева Т.В., Пусная О.П. // Verlag: LAP LAMBERT Academic Publishing ist ein Imprint der / OmniScriptum GmbH & Co. KG Heinrich-Bocking-Str. 6-8, 66121 Saarbrucken, Deutschland/ Email: info@lap- publishing.com/ ISBN 978-3-659-76552-0. Copyright© 2015 OmniScriptum GmbH & Co. KG Alle Rechte vorbehalten / Все права защищены. Saarbrucken 2015. С. 89.
References
1. Azgaldov G.G., Kostin A. V. Increasing the Validity of Results of a National. International Competition: A Case Study. Europe Middle East Africa Members' Meeting, Barcelona (Spain), 26-28 January 2012.
2. Azgaldov G.G., Kostin A. V. Quality - as the most important object of quantitative analysis. Europe Middle East Africa Members' Meeting, Barcelona (Spain), 26-28 January 2012.
3. Vendrov A.M. CASE technologies Modern methods and design tools of information systems. Moscow: Finance and statistics, 2008. Pp: 176.
Putivtseva N.P., Igrunova S. V., Beketova E. Yu., Capitan S.A.Implementation of the hyerarchical multicriteria procedure of the evaluation of experts' quality // Сетевой журнал «Научный результат». Серия «Информационные технологии». - Т.1, №1,2016.
4. Saaty, Thomas; Alexander, Joyce. Conflict Resolution: The Analytic Hierarchy Process. New York, New York: Praeger. 1989.
5. Putivtseva N.P., Igrunova S.V., Zaytseva T.V., Pusnaya O.P., Mamatov R.A., 2012. Software choice for support method of «360 degrees»: International Journal of Advanced Studies. Date Views 08.04.2015 http://journal-s .org/index.php/ij as/article/view/5/5 5-7-1-PB .pdf.
6. Zhilyakov E.G., Putivtseva N.P., Igrunova S.V. The Adaptive Determination Of The Relative Importances Of The Objects On The Basis Of The Qualitive Pair Comparisons. International Journal of Applied Engineering Research ISSN 0973-4562 Volume 10, Number 3 (2015) pp. 6521-6530 © Research India Publications http://www.ripublication.com/Volume/ ijaerv9n22.htm
7. Beshelev S.D., Gurvich F.G. Mathematical and Statistical Methods of Expert Asseeements. 2nd edition, rev. and suppl. M.: Statistika, 1980. 263 p.
8. Qualimetry for Everyone: a study manual. Moscow: InformZnanie, 2012. 165 p.
9. Putivtseva N.P. Multicriteria Choice of Investment Projects. Verlag: LAP LAMBERT Academic Publishing ist ein Imprint der. OmniScriptum GmbH & Co. KG Heinrich-Bocking-Str. 6-8, 66121 Saarbrucken, Deutschland/ Email: info@lap- publishing.com/ ISBN 978-3-659-76552-0. Copyright© 2015 OmniScriptum GmbH & Co. KG Alle Rechte vorbehalten./ Vse prava zashhishheny. Saarbrucken 2015. P. 89.
