Определение параметров ранговой шкалы оценок многомерных объектов с неоднородными характеристиками Текст научной статьи по специальности «Математика»

УДК 517.9

ОПРЕДЕЛЕНИЕ ПАРАМЕТРОВ РАНГОВОЙ ШКАЛЫ ОЦЕНОК МНОГОМЕРНЫХ ОБЪЕКТОВ С НЕОДНОРОДНЫМИ ХАРАКТЕРИСТИКАМИ

© 2014г. С.А. Багрецов, Г.С. Костецкая

Багрецов Сергей Алексеевич - доктор технических наук, доктор экономических наук, профессор, заведующий лабораторией проектных исследований и разработок, Российская академия народного хозяйства и государственной службы при Президенте Российской Федерации, ул. Пушкинская, 70, г. Ростов н/Д, 344002.

Bagretsov Sergey Alekseevich -Doctor of Technical Science, Doctor of Economic Science, Professor, Head of the Laboratory of Design Researches and Development, Russian Presidential Academy of National Economy and Public Administration, Pushkinskaya St., 8a, Rostov-on-Don, 344002, Russia.

Костецкая Галина Сергеевна - кандидат физико-математических наук, доцент, кафедра дифференциальных и интегральных уравнений, Институт математики, механики и компьютерных наук имени И.И. Воровича Южного федерального университета, ул. Мильчакова, 8а, г. Ростов н/Д, 344090.

Kostetskaya Galina Sergeevna - Candidate of Physical and Mathematical Science, Associate Professor, Department of differential and Integral Equations, Vorovich Institute of Mathematics and Computer Science of the Southern Federal University, Milchakov St., 8a, Rostov-on-Don, 344090, Russia.

Решается задача определения коэффициентов линейной свертки нормированных параметров описания образов состояний объектов, обеспечивающих максимальную степень соответствия системе нечетких ранговых отношений объектов обучающей выборки. Предполагается, что параметры описания образов представляются числовыми или качественными показателями с вероятностным или нечетким распределением. В качестве критерия в задаче рассматривается модифицированный для интервальных мер критерий ранговой корреляции Спирмена.

Ключевые слова: нечеткие множества, функция принадлежности, ранговая шкала, коэффициенты корреляции.

We offer a solution for the problem of defining coefficients of linear convolution of normed parameters describing statuses of objects that ensure a maximum correspondence of objects from learning sample to the system offuzzy rank relations. It is supposed that parameters of objects' description are presented by index numbers and qualitative variables with a probability or fuzzy distribution. The problem deals with the Spearman's rank correlation coefficient modified for interval measures as the criterion.

Keywords: fuzzy sets, membership function, rank scale, correlation coefficients.

Ранговая шкала оценок объектов различной природы широко используется на практике. Например, в задачах определения места позиционирования предприятий на рынке производимой продукции, определения уровня их приоритетности при получении госзаказа, обоснования стратегии развития и т.п. Аналогичного типа задачи возникают и при определении рейтингов финансовых, учебных и других учреждений, промышленных предприятий и производимой ими продукции, туристических комплексов и оказываемых ими услуг и т.п. [1, 2]. В интеллектуальных системах информационной поддержки принятия решений задачи данного типа обеспечивают обоснование и выработку альтернатив принимаемых решений в соответствии с результатами

ситуационного анализа функционирования и целевыми приоритетами развития объекта управления [2]. В целом, сущность решения данных задач сводится к тому, чтобы определить такие параметры функции агрегирования значимых параметров ранжируемых объектов (ситуаций), при которых получаемые в итоге агрегирования характеристик объектов числовые значения функций оценок их состояний в максимальной степени соответствовали бы некоторой объективно заданной системе ранговых отношений объектов, характеристики и состояния которых известны специалистам и составляют основу формирования их знаний об отношениях объектов данной физической природы. Совокупность таких объектов, в пределах ранговых отношений

которых далее будет осуществляться ранжирование (т.е. определение рангов) новых исследуемых объектов, будем называть обучающей выборкой (ОВ). Таким образом, рассматриваемый класс задач определения параметров ранговой шкалы оценок следует рассматривать как задачи с нечетким внешним отношением предпочтения. Будем считать также, что в общем случае база знаний о ранговых отношениях объектов ОВ не имеет достаточно строгого статистического обоснования, т. е. определяется нечетко. Кроме этого, будем полагать, что объекты ранжирования характеризуются множеством разнородных признаков (параметров), которые, в свою очередь, также могут быть оценены нечетко.

Процедура формирования рассматриваемой шкалы ранговой оценки таких сложноструктури-руемых объектов при данном типе исходных данных будет сводиться к выполнению двух основных этапов.

На первом на основе определенных экспертами степеней взаимного предпочтения объектов из состава ОВ осуществляется их ранжирование. Так как указанные степени взаимных отношений предпочтений объектов ОВ отражают нечеткий характер предпочтений экспертов, то подобная ранжировка является нечеткой, т.е. на множестве рангов для каждого объекта из состава ОВ определяются функции принадлежности (параметры ранжирования).

На втором этапе на основе результатов нечеткой ранжировки производится расчет коэффициентов значимости параметров описания объектов, оценка состояния которых будет далее осуществляться в ранговой шкале. При этом необходимо принимать во внимание разнородный, многомерный и нечеткий характер их параметрического описания. Рассмотрим указанные этапы более подробно.

Этап 1. Для определения параметров ранжирования оцениваемых в дальнейшем объектов экспертам предъявляется ОВ в составе объектов, частные параметры описания которых известны и в полном объеме отражают их типологические особенности. Предполагается, что отбор указанных параметров осуществляется на основе отдельных исследований, обеспечивающих целостное представление образа описания объектов данного типа и в совокупности образующих его критериальное пространство признаков в ранговой шкале оценок. Экспертам предлагается оценить значения функций предпочтения ¡л[у и

Ц,у = 1, п), основываясь на чувстве уверенно-

сти предпочтения объекта i из состава ОВ перед объектом у, исходя из целевых задач ранговой оценки объектов данного типа. Предполагается, что справедливы равенства: цй = 0 и + л = 1.

Обозначим через Ip = {I*p,.../ *p } множество всех возможных сочетаний k одноименных объектов из множества N, образованного упорядоченным по степени предпочтения размещением i-го объекта ОВ М={1, n} в пределах всей шкалы рангов. Все сочетания Ip предполагаются различными между собой. Заметим, что при k = 0 Ip может быть и пустой последовательностью N.

В этом случае Ip = N..

Обозначим через ¡л(юц) степень уверенности (четкости) высказывания rnik экспертов о том, что по результатам оценки образа целостного описания параметров i-й объект из состава ОВ имеет ранг к (к = 1, n). В этом случае справедливо выражение [1, 3]

¡¡(а,к) = max(min((min ¡iiy), (min ¡¡п))), (1)

p=i,P

rJ

Г J

где Jp - сочетание объектов ОВ, определяемых множеством упорядоченных по степени предпочтения объектов из её состава в ранговой шкале оценок; I* = N \I*, ке {0, 1,..., и-1); Р = сП-1;

N ={1, 2,..., / -1, /+1, .„и).

Значения ц(м>цк) задают нечеткое подмножество Е конечного множества рангов объектов Л=(1, 2, ..., и) с функцией принадлежности (Я)=ы(^гк). С целью сравнения обучающих систем по рангам обычно выполняется нормировка вида

м°я (k) = - M(w'k)

(2)

max ) • k e R

В работе [3] доказывается свойство выпуклости функций (2) принадлежности нечетких подмножеств множества рангов, входящих в нечеткую ранжировку, полученную на основании формулы (1). Это обеспечивает доказательство однозначности нечеткого ранжирования [3]. При этом степень четкости ранжирования частного показателя (ЧП) в ОВ может быть определена по формуле fa = min {max p(wik)}, ke R.

Таким образом, на первом этапе на основе определенной экспертами (специалистами) матрицы системы относительных приоритетов объектов ОВ определены их функции принадлежности на множестве рангов (R). Именно они составляют основу базы знаний подсистемы ранговой оценки

объектов данного типа. Для определения параметров ранговой шкалы оценки изучаемых объектов (образов ситуаций) необходимо определить значимость отдельных параметров описания образов изучаемых объектов в системе их ранговых оценок. Данная задача решается на втором этапе формирования ранговой шкалы оценок.

Этап 2. В качестве интегральной оценки частных параметров описания образов состояния объектов оценки будем рассматривать аддитивную функцию вида

z= п(ХАт), (3)

где X = \Xj; ] = 1, т} - вектор нормированных и

масштабированных значений параметров описания образов объектов данного типа, включая их двойные (тройные и т.д.) эффекты взаимосвязи, подчеркивающие целостность их представления в описании оцениваемых образов; A={a1, a2, ... , am} - вектор весовых коэффициентов, определяющих значимость параметров описания образов в их идентификации; п - масштабный коэффициент, учитывающий размер ранговой шкалы (число объектов в ОВ, относительно которых будет вычисляться ранг оцениваемых объектов). В частном случае, когда параметры оцениваемых объектов нормированы относительно единицы, п= R. В целом параметры описания образов исследуемых объектов являются разнородными и разномасштабными. Поэтому, принимая во внимание их критериальный характер, для их нормировки и приведения к однородному виду можно воспользоваться методиками оценки мер близости между параметрами описания сложно-структурируемых объектов [4, 5]. Методики позволяют определять нормированные расстояния между образами, представляемыми распределенными числовыми и качественными величинами, строковыми образами, логическими конструкциями, образами, представленными упорядоченными списками элементов и т.д. Вместе с тем особенностью этих методик является то, что их применение требует определения базового объекта из состава ОВ, относительно которого будет осуществляться построение ранговой шкалы оценки новых объектов данного типа. В простейшем случае, когда параметры описания объектов представлены числовыми характеристиками, их нормировка может быть осуществлена относительно максимальных значений каждого параметра, т.е. фактически относительно некоторого идеального (возможно виртуального) объекта данной типологической группы.

Выражение (2) определяет вид секущей поверхности интегральной оценки параметров образов описания объектов данного типа, которая на основе выбора весовых коэффициентов обеспечивала бы максимальную степень соответствия численных значений (2) ранговых отношений полученным значениям (1) нечеткого ранжирования объектов ОВ.

Для решения этой задачи используем известный в теории размытых множеств принцип обобщения [4]. Введем сечение элементов матрицы М=\\^(шгк)Ц по любому значению степени достоверности а высказывания югк. Тогда для каждого объекта i = 1, n из состава ОВ может быть определен единственный сегмент АУг(а) во множестве его ранжировок R, определяющий границы изменения рангов объектов i = 1, n при уровне четкости определения, равном а, т.е.

min(aX Yi max (а)), где Y mm(aX Yi max (а) -границы (нижняя и верхняя) ранжировки значений г-го объекта, для которых справедливо неравенство fi(aik) > а,

Y, (а) =

к , если aik >а

0, в противном случае

Предполагается, что оценка параметров объектов ОВ экспертом является также нечёткой, и они, как правило, могут быть также определены интервалом [Х1- тт, Х1- тах]. Вектор А необходимо выбрать таким образом, чтобы определяемое интегральной оценкой упорядочение объектов из состава ОВ было бы максимально близко к их ранговому распределению, определённому на основе преобразования (1) отношений предпочтений экспертов к объектам ОВ.

Для оценки близости указанных выше параметров используем коэффициент ранговой корреляции Спирмена г(УУ) в его модификации, учитывающей интервальный характер ранговых оценок [6 - 8], т.е.

*а(УУ) = 1 -

G

Y m

-У

П1 (П1 — 1) i=1

Y m

Ла) — Yi max (а) +

min (а) — 1 i min

(а

))2

(4)

где Yimax (а) = У Xijmax aj ; Yimin(a) = У Xija j ;

<=13, (а); St (а) =

i=1

У J

если i i min (а) *

0;1 i min

(а) *

0; 1 i min

(а) *

i max

(а),

1 если Yi min (а) = Yi max (а);

0, если AY (а) = 0.

n

n

Модуль коэффициента Спирмена т(УУ) (4) следует максимизировать путем выбора соответствующих значений вектора А. Для окончательного решения задачи могут быть использованы градиентные методы. Например, метод локальных вариаций [9].

Обозначим через т0 соответствующее критическое значение коэффициента Спирмена [6, 7]. Если т(УУ) >т°, то это означает, что при данном значении четкости исходных параметров полученная интегральная оценка распределения рангов объектов ОВ статистически значима с достоверностью е . Следовательно, она может быть использована для оценки изучаемых объектов в ранговой шкале оценок. При этом ранговая шкала будет сохранять идентичность ранговых отношений объектов ОВ на уровне четкости, равном а.

Таким образом, для различных фиксированных значений четкости а на основе применения рассмотренного выше подхода могут быть определены значения весовых коэффициентов параметров описания образов оцениваемых объектов, позволяющие на основе применения формулы (3) рассчитать интегральную оценку положения исследуемого объекта в системе ранговых отношений объектов ОВ. Интегральная оценка в зависимости от степени четкости ее определения находится в соответствии с формулой (3) следующим образом:

Za = ^ aj (а) ■ Xj

j=i

(5)

В свою очередь, как это указывалось выше, результаты оценки частных параметров образов описания состояний оцениваемых объектов могут быть также представлены нечетко. Это может быть обусловлено в целом необходимостью применения качественных оценок параметров, наличием неточных данных, обусловленных неточностью измерительной аппаратуры или методик оценки, наличием в процедурах оценки неучтенных латентных факторов и т.д. Обозначим нечеткость измерения данных параметров через аг, т.е. аг = т1п{ах- : ] = 1,т} , где ау- чёткость

оценки у-го параметра. Тогда интегральная оценка будет иметь вид

Z (аг) =

^ x jüj (а), У а > а

j=1

(6)

Условие (6) определяет интервальное значение оценки частного показателя в случае нечетких измерений параметров.

Очевидно, что при ак =1 (т.е. при четком измерении параметров описания образов состояния объекта исследования), как это видно из (6), справедливыми оказываются оценки во всем диапазоне изменения четкости. Поэтому

m

Z(ar) = max ^ xjaj (а) при ar > max а .

а j=1

Из изложенного выше материала следует, что изменение состава параметров описания объектов, отношения к их значимости в результате, например, проведения дополнительных исследований могут приводить к необходимости перерасчета весовых коэффициентов параметров интегральной оценки ранговых отношений объектов ОВ.

Для проверки степени соответствия формы интегральной оценки объектов данного типа требованиям практики экспертам предлагается пересмотреть значения функций принадлежности ОВ, состав которой при необходимости введения новых параметров может быть изменен.

В соответствии с новыми отношениями предпочтения определяется новый уточненный коэффициент ранговой корреляции Спирмена

Ta(YY) = 1 -

G

<«2 -1)

i=1

*

max

(а) - У, m

:(а)2 +Y

*

min

(а) - Yi min (а

))

0, если a (а) = 0, Vj е {1, m}

где Утах,Ут1П - соответственно нижняя и верхняя границы ранжировки частных параметров 7-го объекта в ОВ, в отношении которых справедливо неравенство ц*(ю7к)>а; ц*(ю*7к) - степень достоверности высказывания ю7к, определенная по уточненным отношениям предпочтения. В том случае, если выполняется неравенство т« (УУ) > т0, для данного значения четкости оценки исходных параметров интегральная оценка статистически значима. Следовательно, пересчитывать ее нет необходимости. Если указанное условие не выполняется для всех «е [ат1|1 ,«тях], то требуется пересчитать коэффициенты интегральной оценки в соответствии с новыми требованиями, предъявляемыми к объектам оценки данного типа.

На рисунке представлена структурная схема расчета параметров ранговой шкалы оценок частных показателей при нечетком внешнем отношении предпочтения.

X

n

m

m

Матрица нечётких степеней предпочтения объекта г по отношению к объекту к из состава ОВ по оцениваемому показателю значимости

I ыи =1 т

I. Нечёткая ранжировка объектов ОВ B = {¡(crk): r,k = 1,m}, где /u(rnik) = max(min((min л), (min ¡л,)))

p=1,P reJp ' reJp '

Jp- сочетание объектов ОВ, определяемых множеством Nr ={1,2,.../-1,г + 1,...т}; Jp = Р = 1, Р; Р = Ск„-1; Nn■ - множество упорядоченных по степени предпочтения объектов из состава обу чающей выборки в шкале оценок

Уровни чёткости представления оценки

а j = а j-Y + Да,

j = 1,Ха

—►

Характеристики оцениваемых параметров из состава ОВ

{хг/т1п ' Хг/тях :

г = 1, т; I = 1, п}

||MCrk )\\r, k = 1, m

2. Расчёт интервалов нечёткой ранжировки объектов ОВ

AYr(a)={Yr min(a), Yr max (a)},

где Yr min(a), Yr max(a) - границы (нижняя и верхняя) ранжировки i-го объекта, для которых справедливо неравенство

Y (а) =

|k ,если coik > а

|0, в противном случае

min

(a)

, Yr max(a)}

3. Расчёт параметров шкалы

Е Wi max (а) - Yimax (а)2 + r=1 I

+

(y,max (а) - Y ,

max (а) (Yimin (а) - Yimin (а))

—^ min,

Yrmax Е xrjmax ai (а)Х,

где

i=1

n

Y rmin Е xrjmin ai (а)Х

Оптимальные параметры

шкалы оценок

A* = ja* (а)

i = 1, n; a е

{0,1}}

Оценка статистической достоверности

модели Z = Е a*xi по коэффициенту

i

ранговой корреляции Спирмена

та (YY) = 1----

Щ (Щ - 1)

Е to

max

(а) - Y max (а)2 + Y min (а) Y imin

(а))2

Вывод о статистической значимости модели оценки на данном уровне чёткости

Структурная схема формирования ранговой шкалы оценок многомерных объектов по экспертной информации

при нечётком внешнем отношении предпочтения

n

i=1

i=1

Рассмотрим пример формирования ранговой шкалы оценок на основе применения описанной выше методики. Допустим, что для решения финансово-экономических задач на достаточно продолжительный период развития хозяйствующему субъекту необходимо в режиме реального времени обеспечивать контроль рейтинга устойчивости его активов. Для этого на предприятии была реализована система непрерывного контроля рейтингового состояния активов предприятия, проанализирована в ретроспективе устойчивость активов наиболее значимых на рынке предприятий -конкурентов. Из всего их множества было выделено пять предприятий. На данный период времени, по решению руководства, они будут составлять основу ОВ. В качестве значимых параметров, характеризующих устойчивость активов предприятия, выделено три параметра, а именно показатели качества ссуд, активов, просроченных ссуд. Указанные параметры определяются переменными Х\, Х2, Х3 соответственно. Их нормированные значения в процессе экспертизы оцениваются экспертами в общем случае неточно и представляются в форме числовых интервалов.

Матрица О отношений предпочтения устойчивости активов хозяйствующих субъектов из состава ОВ и числовые значения определяющих устойчивость активов параметров X представлены ниже.

Q =

1 2 3 4 5

1 0 0,3 1 1 0,5

2 0,7 0 1 1 0,6

3 0 0 0 0,9 0,1

4 0 0 0,1 0 0

5 0,5 0,5 0,9 1 0

1 0,2 0,4 0,5 0,8 0,4 0,7

2 0,5 0,5 0,8 0,8 0,7 0,9

3 0,4 0,5 0,5 0,5 0,6 0,6

4 0,4 0,4 0,6 0,7 0,5 0,5

5 0,4 0,4 0,6 0,7 0,5 0,5

В результате применения алгоритма нечёткой ранжировки получена матрица Я рангов объектов из состава ОВ. Ранги

R

1 2 3 4 5

1 0 0 0,5 0,5 0,3

2 0 0 0,3 0,4 0,6

3 0,1 0,9 0,1 0 0

4 0,9 0,1 0 0 0

5 0 0,1 0,5 0,5 0,5

В соответствии с физическим смыслом элементов матрицы рангов можно сказать, что, например, для 1-го объекта финансово-хозяйственного рынка с четкостью 0,5 уровню его частных показателей соответствуют ранги в диапазоне 3 - 4.

Далее в соответствии с методикой построения нечеткой ранговой шкалы оценок находим коэффициенты интегрального показателя А, соответствующие различным значениям четкости (а). Результаты этих расчетов представлены в таблице. В этой же таблице приведены значения коэффициентов ранговой корреляции Спирмена, соответствующие полученной на данном уровне четкости размытых оценок рангов объектов ОВ. Числовые характеристики коэффициентов корреляции позволяют судить о статистической достоверности получаемой модели свертки оцениваемых экспертами частных параметров устойчивости активов хозяйствующих субъектов в формируемой шкале оценок.

Коэффициенты интегрального показателя и ранговой корреляции

Чёткость оценки Коэффициенты интегрального показателя Коэффициент ранговой корреляции

0,1 0,858 3,98 0,858 0,933

0,2 0,878 4,07 0,87 0,922

0,3 0,843 3,91 0,843 0,931

0,4 0,878 4,07 0,87 0,948

0,5 0,914 4,24 0,914 0,918

0,6 0,813 0,813 3,77 0,107

0,7 0,546 0,546 2,53 0,984

0,8 0,546 0,546 2,53 0,984

0,9 0,546 0,546 2,53 0,984

1,0 - - - -

Как видно из результатов расчетов, статистическая значимость модели формирования ранговых оценок устойчивости активов предприятия обеспечивается до уровня четкости а < 0,6. При уровне четкости а > 0,6 интегральный показатель становится статистически недостоверным в данном составе ОВ, так как объем выборки на этом уровне сечения становится меньше допустимого значения и0=4. Увеличение достоверности полученных данных в данном случае возможно путем увеличения состава ОВ или четкости оценок экспертами параметров состояния активов хозяйствующих субъектов из состава ОВ.

Допустим теперь, что необходимо по полученному интегральному показателю оценить в ранговой шкале оценок рейтинг состояния ус-

тойчивости активов предприятия по текущим оценкам их параметров, имеющих следующие значения: X1=0,6; X2=0,8; X3=0,3, при условии, что четкость их оценок на предприятии в силу разных обстоятельств равна 0,33. В соответствии с формулой (3) получим 2= 1,52-3,88. Следовательно, при данном уровне четкости оценок рейтинг активов предприятия определен в довольно широком диапазоне и соответствует рейтингу 2-го и 4-го предприятий из состава ОВ.

Таким образом, рассмотренная выше методика позволяет реализовать рейтинговую оценку состояния объектов различной физической природы, используя в качестве основы определенные по ОВ параметры ранговой шкалы, представляющие собой весовые коэффициенты значимости нормированных значений параметров описания образов состояний объектов. В целом такая система представляется как интеллектуальная система информационной поддержки принятия решений о ранговой оценке состояний объектов различной физической природы. Она является открытой для пополнения баз знаний, позволяет учитывать неопределённость исходных данных и оценок частных показателей. Кроме этого, система обеспечивает оперативный статистический контроль достоверности состава ОВ. Подобный подход даёт возможность строго регламентировать деятельность экспертных групп с учётом целевых задач развития объектов анализа.

Литература

1. Багрецов С.А., Кобяк М.В. Позиционирование гостиничных предприятий на рынке гостиничных услуг. СПб., 2009. 324 с.

2. Багрецов С.А., Бганба В.Р., Кубрава Б.С. Комплексная оценка устойчивости деятельности банков в условиях интеграции в мировую финансовую систему. СПб., 2012. 250 с.

3. Скофенко А.В. Применение нечеткой логики при ранжировании объектов методом парных сравнений // Кибернетика. 1983. № 3. С. 116-118.

4. Орловский С.А. Проблема принятия решения при нечетной исходной информации. М., 1981. 242 с.

5. Багрецов С.А., Львов В.М., Петров В.Е. Методы и средства обеспечения гомеостатичности индивидуальной деятельности оператора в человеко-машинных комплексах. СПб., 2012. 340 с.

Поступила в редакцию

6. Большее Л.Н., Смирнов Н.В. Таблицы математической статистики. М., 1983. 416 с.

7. Холлеидер М., Вульф Д.А. Непараметрические методы статистики : пер. с англ. М., 1983. 516 с.

8. Багрецов С.А., Тарасов А.В., Ачкасов Н.Б. Психолого-педагогический эксперимент: организация и методы обработки результатов / под ред. С.А. Багре-цова. СПб., 2008. 347 с.

9. Корн Г., Корн Т. Справочник по математике для научных работников и инженеров. М., 1970. 539 с.

References

1. Bagretsov S.A., Kobiak M.V. Pozitsionirovanie gostinichnykh predpriiatii na rynke gostinichnykh uslug [Positioning of hotel companies in the market of hotel services]. SPb., 2009. 324 s.

2. Bagretsov S.A., Bganba V.R., Kubrava B.S. Kompleksnaia otsenka ustoichivosti deiatel'nosti bankov v usloviiakh integratsii v mirovuiu finansovuiu sistemu [Comprehensive assessment of the sustainability of the bank in terms of integration into the global financial system]. SPb., 2012. 250 s.

3. Skofenko A.V. Primenenie nechetkoi logiki pri ranzhirovanii obiektov metodom parnykh sravnenii [The use of fuzzy logic in ranking sites by pairwise comparisons] // Kibernetika. 1983. № 3. S. 116 -118.

4. Orlovskii S.A. Problema priniatiia resheniia pri nechetnoi iskhodnoi informatsii [The problem of deciding if an odd source of information]. M., 1981. 242 s.

5. Bagretsov S.A., L'vov V.M., Petrov V.E. Metody i sredstva obespecheniia gomeostatichnosti individual'noi deiatel'nosti operatora v cheloveko-mashinnykh kompleksakh [Methods and tools to ensure homeostasis individual operator activity in man-machine systems]. SPb., 2012. 340 s.

6. Bol'shev L.N., Smirnov N.V. Tablitsy matematicheskoi statistiki [Tables of mathematical statistics]. M., 1983. 416 s.

7. Holleider M., Vul'f D.A. Neparametricheskie metody statistiki [Nonparametric statistical methods] : per. s angl. M., 1983. 516 s.

8. Bagretsov S.A., Tarasov A.V., Achkasov N.B. Psikhologo-pedagogicheskii eksperiment: organizatsiia i metody obrabotki rezul'tatov [Psycho-pedagogical experiment: organization and methods of processing the results] / pod red. S.A. Bagretsova. SPb., 2008. 347 s.

9. Korn G., Korn T. Spravochnik po matematike dlia nauchnykh rabotnikov i inzhenerov [Mathematical handbook for scientists and engineers]. M., 1970. 539 s.

20 октября 2014 г.