CC BY
47
МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ
УДК [614.23:616.71]:519.8
Г. А. Попов, Е. А. Попова, М. Г. Попова
АЛЬТЕРНАТИВНЫЙ ВАРИАНТ ОЦЕНКИ ЗНАЧИМОСТИ РЕЗУЛЬТАТОВ ЭКСПЕРТНОГО ОЦЕНИВАНИЯ В МЕТОДЕ СТРОГОГО РАНЖИРОВАНИЯ
Предлагается альтернативный вариант процедуры оценки степени согласованности мнений экспертов при обработке экспертных оценок, полученных на основе реализации метода строгого ранжирования. Существующие подходы (на основе коэффициента конкордации, проверки гипотез, вычисления коэффициента вариации) рассматривают экспертные оценки как независимые, одинаково распределенные случайные величины, что принципиально не соответствует сути экспертного оценивания, которое нацелено на выявление детерминированной составляющей в оцениваемых объектах или критериях. Новый подход к построению коэффициента значимости экспертного оценивания опирается на алгебраические методы теории постановок. В предлагаемом методе пара экспертных оценок представляется в виде подстановки, разлагается на транспозиции. Минимальное количество транспозиций в постановке и рассматривается как мера рассогласованности мнений экспертов. Приведена наглядная геометрическая интерпретация предлагаемого метода, а также процедура обоснования его корректности и нахождения подстановки, обеспечивающего максимальное значение оценки. Полученная величина нормируется ее максимальным значением для обеспечения изменения результата в промежутке от 0 до 1. Найдено максимальное значение коэффициента значимости для случая двух экспертов. Результаты исследования могут быть обобщены на случай, когда необходимо учитывать компетентность экспертов, а также уровень важности объектов.
Ключевые слова: экспертная процедура, метод строго ранжирования, оценка значимости результата, алгебраические подстановки, нормирование оценки расхождения.
Введение
Несмотря на широкое распространение различных методов экспертного оценивания, ряд важных вопросов, связанных с проведением экспертной процедуры и обработки результатов, в настоящее время решены не полностью. Среди них и вопрос об оценке значимости результатов экспертного оценивания, т. е. вопрос о том, насколько стабильны результаты оценивания (это связано с тем, насколько согласованы мнения экспертов по проблеме, рассматриваемой в экспертной процедуре) для того, чтобы на них можно было бы полагаться. Применительно к методам ранжирования для оценки значимости чаще всего используются следующие методы: 1) метод проверки гипотезы на основе критерия Пирсона; 2) коэффициент конкордации; 3) коэффициент вариации. Основной недостаток всех перечисленных подходов заключается в следующем [1]: экспертные оценки рассматриваются как реализации некоторых случайных величин и поэтому обрабатываются на основе методов математической статистики. Такое понимание оценки часто не вполне согласуется с реальной ситуацией, когда есть объективно правильное ранжирование объектов, которое, однако, никому из экспертов неизвестно, а конкретные экспертные оценки получаются в результате наложения на указанную, объективно правильную величину некоторой случайной величины, определяемой личным опытом каждого конкретного эксперта. При таком понимании оценки неправомерно считать оценки чисто случайными, получаемыми на основе реализаций независимых случайных величин [1], поскольку каждая оценка (как и каждый критерий) имеет свою, отличную от других, детерминированную составляющую. Кроме того, перечисленные выше методы оценки степени согласованности мнений экспертов имеют и свои специфические недостатки. Так, метод проверки гипотез Пирсона опирается на
предположение, что исходные случайные величины имеют нормальное распределение, что не соответствует реальному поведению экспертных оценок в методе ранжирования. Далее, в методе Пирсона для надежного заключения рекомендуется, чтобы объем выборки составлял не менее 20-30 наблюдений [2], т. е. необходимо привлечение не менее 20-30 экспертов, что реализовать практически невозможно. Основной недостаток коэффициента конкордации, как указано в [1], заключается в том, что степень согласованности оценивается степенью отклонения текущих оценок от случая, когда мнения экспертов совершенно не согласованы, случайны, в то время как наибольший практический интерес представляет как раз противоположная ситуация, т. е. ситуация, когда мнения экспертов полностью совпадают. В работах [1, 3] предлагается альтернативный вариант коэффициента конкордации - сравнение текущих оценок происходит с идеальным случаем, когда оценки всех экспертов полностью совпадают. Однако и в этом методе проверки значимости экспертные оценки рассматриваются как случайные величины. Наконец, оценка значимости на основе коэффициента вариации является достаточно грубым методом. Основное его достоинство - возможность использования даже при очень малых объемах выборки (т. е. при малом числе экспертов - 3-4 эксперта).
В данной работе предлагается метод оценки степени согласованности мнений экспертов по процедуре строгого ранжирования на основе использования алгебраических (невероятностных) методов. Исследований, опирающихся на указанный подход, в доступной литературе найти не удалось. Отметим, что использование алгебраических методов для анализа результатов экспертного оценивания достаточно эффективно [4].
I. Предварительные сведения
Основой оценки степени согласованности мнений экспертов является попарное оценивание согласованности мнений. В этом случае два ранжированных набора в совокупности представляют собой подстановку, т. е. один из ранжированных рядов получается из другого путем перестановки его элементов. В качестве меры рассогласованности мнений двух соответствующих экспертов можно принять величину, описывающую, насколько сложна эта подстановка. Рассмотрим указанный подход более детально.
Пусть даны два набора ранговых оценок - {а1,а2,..., ап} и {а', а'2,..., а'п} - некоторой упорядоченной совокупности из п критериев или объектов. Тогда можно сформировать подста-
сался в ви
бросив верхний ряд, наличие которого подразумевается по умолчанию, получаем следующую запись подстановки Р: Р = (/1,..., /п) . Именно последним представлением подстановки мы и будем пользоваться ниже.
Пусть Р = (/1,..., Iп) - подстановка чисел {1, 2, ..., п}. Тогда, как известно [5], любую подстановку можно разложить на простейшие подстановки, когда переставляются только два числа (/,у), т. е. Р может быть представлено в виде
причем такое представление единственно. Здесь допустимы элементарные подстановки, оставляющие элемент на месте, т. е. подстановки типа (к;к) с у = к . В дальнейшем простейшие подстановки указанного типа не учитываются. Отметим, что данное разложение минимально по количеству элементарных подстановок, входящих в него, т. к. при меньшем числе подстановок хотя бы один элемент не войдет в верхнюю строку.
Тогда ранговые оценки экспертов могут быть представлены в виде матрицы М:
новку P
P = (1; 71) (2; j2)•..,(n; jn),
(1)
a1 - ( a11 a12 ... а
M
а N V а N1 а N 2 ••• а Nn )
где ак - вектор оценок к-го эксперта; N - число экспертов.
Опишем возможную процедуру получения представления (1).
Вначале разобьем заданную подстановку на совокупность непересекающихся множеств следующим образом. Выбираем число /1(1) = 1. Пусть в подстановке /1(1) переходит на г® -е место (если г1(1) остается на месте, то полагаем г1(1) = 2). Число /'21 переходит на г3(1)-е место и т. д., пока при некотором к1 не получим = /1(1). Такое к1 обязательно найдется, т. к. число чисел конечно (равно п), и, следовательно, с некоторого момента они должны повториться. Далее число при I > 1 не может совпасть с 7'^, т. к. получим противоречие: два числа, и г®, переходят в ¡(р = /'к^ . Получаем первое упорядоченное множество вершин А1 =|/г(1), I = 1,к1|. Если к1 = п, то в это множество вошли все вершины. Если к1 < п, то имеется вершина /(2) £ А1. Из подобных вершин выбираем вершины с наименьшим номером. Повторяем аналогичную процедуру перебора вершин, начиная с /'1(2) . При этом ни одна из вершин /}2) не совпадает с вершинами из Аь т. к. в противном случае две вершины (г'}2! и ) переходят в '(2) = 'т . Получаем в результате второе множество - А2 ='(1), I = 1, к^С^ = ). Отметим, что А2 (как и А1) может состоять из 1-го элемента, если этот элемент остается на своем месте. Если А1 и А2 Ф {1, 2,..., п} (т. е. не все элементы просмотрены), то процедура повторяется до тех пор, пока не будут просмотрены все элементы. В результате все множество вершин разобьем на совокупности непересекающихся упорядоченных множеств Аь А2, ..., АМ.
Графически это можно изобразить в виде совокупности колец (рис. 1).
(М)
(М)
2
Рис. 1. Графическое представление разбиения подстановки на независимые группы
При этом
^ <^ <... < 1м) (2)
и в каждой АЬ номер г'1( Ь) - наименьший.
Верно и обратное утверждение: если имеется представление подстановки в виде независимых групп вида, приведенного на рис. 1, удовлетворяющих условиям (2) (назовем данное представление подстановки представлением (2)), то это представление однозначно задает подстановку. Таким образом, имеется взаимно однозначное соответствие между всеми подстановками и графическими представлениями (2).
Представление (2) позволяет дать следующее описание исходной подстановки с помощью простых перестановок, т. е. получить (1). В каждом кольце АЬ в (2) имеется наименьший
ЛЬ) ~
элемент, , который переставляется против часовой стрелки до тех пор, пока не займет место /'2Ь) , т. е. для АЬ получаем следующий упорядоченный набор перестановок: ((Ь), ), (), С!), (С), С 2 ), ., ((Ь), '2Ь)) . В результате происходят переходы в состояния по
цепочке ¿(Ь} ^ ¿2Ь \ ¿2Ь} ^ ¿3( Ь \ ..., ¿^} ^ ¿(Ь} . Таким образом, перестановка элементов, входящих
в множество А1, реализована. Выполнив указанную перестановку для всех Ь колец, получим следующее представление для подстановки Р:
Р = ((, ), (¿1), ¿«1 ) , (¿30), ¿20) ),.,
..., ((, ), (, ),•••, (, ¿2°), ••., (3)
..., (м), ¿кМ)), (), ¿М),..., (¿3м), ¿2м)).
Отметим характеристическое свойство, отделяющее одну группу от другой: в последовательности соседних перестановок одной группы правый элемент предыдущей перестановки совпадает с левым элементом последующей перестановки. Как только данное свойство нарушается, значит, начинается следующая группа. Очевидно, что представление (3) строится однозначно для каждого представления (2), а значит, и для исходной постановки Р.
Число перестановок в (3) равно (к -1) + (к2 -1) +... + (км -1) < п -М, т. к. к + к2 + ... + км не превосходит числа всех вершин графа (2), т. е. числа п, - в (3) не учитываются вершины, которые остались на месте при выполнении Р. Равенство достигается в случае, когда нет вершин, которые остаются на месте при выполнении перестановки Р. Максимальное значение числа перестановок равно п - 1 и достигается при М = 1 и отсутствии элементов, которые остаются на месте, минимальное значение равно 0 - для тожественной перестановки Р = (1, 2, 3, ..., п).
Из представления (3) можно получить представление (1), и наоборот. Из (3) представление (1) получается следующим образом. Переставляем все перестановки в (3) в порядке увеличения значений левого элемента каждой перестановки. Если в полученной последовательности нет элемента типа (к;ук) для некоторого к, то на к-е место добавляется элемент (к; к) (т. е.]к = к). Перестановка (п; уп) добавляется в конце, т. к. она не может быть получена из остальных перестановок (к; ук), к < п. Здесь]п есть тот элемент, которого нет в наборе |у2,..., уп -11. Для получения (3) из (1) выполняем следующие действия. Выбираем в (1) последовательность перестановКИ (при ф1): (1;у ), (у ), (у2;у ), ..., (д ; 1) . (у Ф у2,у Ф ..., Д Ф 1) . Полученная
совокупность перестановок и есть А\. Если у = 1 , то находим минимальное а такое, что у = 1; у2 = 2,..., уа -1 = а -1, но уа Ф а . Затем выбираются перестановки и формируется множество Л1 аналогично случаю у Ф1. После формирования А1 из оставшихся перестановок выбирается самая левая (т. е. с минимальным значением левого элемента) - значение, которое еще не просматривалось ранее, и полученная процедура повторяется до тех пор, пока не будут исчерпаны все элементы в (1). Так как представление (3) единственно, то представление (1) также единственно.
II. Формирование коэффициента расхождения в процедуре строгого ранжирования
Опишем процедуру оценки степени расхождения мнений экспертов по результатам их участия в экспертной процедуре оценки критериев (объектов) на основе метода строгого ранжирования.
Пусть даны результаты ранжирования критериев двумя экспертами: а1 = (а11,а12,..., а1п) и а1 = (а'ъа'2,. ., а'1и) . Тогда меру расхождения между данными оценками (обозначим ее а - а' |) можно оценивать минимальным числом перестановок, на основе выполнения которых можно перейти от набора ах к набору а' или, наоборот, от а' к ах - число перестановок
в обоих случаях совершенно одинаково. Рассматриваем подстановку Р = ] о^ 2, , п I и нахо-
а2, ..., ап ]
дим минимальное разложение вида (1) или (3) на основе процедуры, описанной в параграфе I. Тогда в качестве меры расхождения берется величина (см. формулу (1))
п
Д^ а1 )= |а1 - = ^ \г- . (4)
¿=1
В качестве меры расхождения по всей совокупности экспертных оценок, представленных матрицейM, предлагается взять среднее арифметическое всех попарных оценок, т. е. величину
о п__
A =-ХХА(а,, а /), (5)
N(N —1)tT£ К " У '
N (N -1)
где-^--число различных пар экспертов.
Оценка (5) имеет один известный недостаток - границы ее изменения зависят от числа экспертов N, что делает крайне затруднительным ее использование при сравнении двух результатов оценивания с разным числом экспертов. Поэтому, как это принято в теории экспертного оценивания, пронормируем меру А ее максимальным значением A max, т. е. будем рассматривать в качестве меры расхождения величину
w = -А-. (6)
А
max
Тогда величина w будет всегда (при любом числе экспертов) изменяться в интервале от 0 до 1. При этом значение w = 0 соответствует наибольшей степени согласованности мнений экспертов, а значение w = 1 - наименьшей степени согласованности мнений.
Для практического использования оценки (6) необходимо прежде всего вычислить значение Amax . Однако вычислить значение Amax пока не удалось. Одним из типовых способов вычисления его значения является нахождение значения на основе перебора всех возможных пар, что на практике вполне реализуемо ввиду относительно небольших значений числа экспертов N и числа критериев п.
III. Вычисление максимального значения абсолютной меры расхождения для случая двух экспертов
Найдем значение max А^ = max(A(ax, a1)), т. е. значение Amax для случая двух экспертов (N = 2).
Для нахождения A^ опишем процедуру преобразования подстановки, в результате реализации которой значение расхождения увеличивается, если текущее значение не является максимальным.
Рассмотрим две пары простейших подстановок: {(a, i); (b, j)} и {(а, j); (b, i)}. Пары отличаются тем, что вторые элементы в них переставлены местами. Выясним, каким свойствам должны удовлетворять эти пары, чтобы быть в составе подстановки, при которой достигается максимальное значение A^ . Сравним два выражения: тх = |a-i| + |b-j| и т2 = |а — j| + |b-i| .
Пусть для определенности a < b и i < j. Тогда возможны следующие пять случаев взаимного расположения чисел a, b, i, j (рис. 2):
1 -о-о-о-о--i < j< a < b
i < a < j < b
-•- i -•- j -•- a -•- b
i a j b
i a b j
a i b j
-•- -•- -•- -•-
i < a < b < j a < i < b < j a < b < i < j
3
4
b
Рис. 2. Возможные варианты взаимного расположения чисел в элементарных подстановках
В каждом из приведенных случаев значения модулей раскрываются, т. е. мы может избавиться от них. Сравним величины т и т2 в каждом из пяти случаев.
1. ij = a - i + b - j = a + b - i - j ; т2 = a - j + b - i = a + b - i - j . Отсюда заключаем, что в случае 1 всегда т1 = т2.
2. т1 = a -i + b -j = a + b -i -j ; т2 = j -a + b -i = b -a + b + j -i . Отсюда следует:
т2 - т1 = b -a + j -i - (a + b -i - j) = 2j - 2a > 0, т. е. т2 > т1, причем равенство достигается при a = j.
3. т1 = a-i + j-b = a-b-i + j ; т2 = b-a + j-i . Отсюда следует: т2 -т1 = = b - a + j - i - (a - b - i + j) = 2b - 2a > 0, т. е. т2 > т1, причем равенство достигается при a = b .
4. т1 = i -a + j -b = -a -b + i + j ; т2 = j -a + b -i = -a + b -i + j . Отсюда следует: т2 -т1 =-a + b -i + j - (-a -b + i + j) = 2b - 2i > 0, т. е. т2 > т1, причем равенство достигается при b = i.
5. т1 = i-a + j-b = -a-b + i + j; т2 = j-a + i-b = -a-b + i + j . Отсюда заключаем, что в случае 5 всегда т1 = т2.
Таким образом, во всех пяти случаях значение т2 не меньше значения т1, поэтому в качестве основы построения подстановки, при которой достигается максимальное значение A^^ , выберем взаимное расположение чисел a, b, i, j, соответствующее значению т2.
Выясним особенность этого взаимного расположения пары подстановок {(a, j); (b, i)}, соответствующих второму случаю, когда получается величина т2. Для этого взаимное расположение пар чисел в подстановке отобразим в виде следующей диаграммы (рис. 3):
Рис. 3. Взаимное расположение пар чисел (а,/) и (Ь, /) во всех пяти возможных случаях
Отсюда заключаем, что характерной особенностью во всех пяти возможных случаях является пересечение отрезков, отображающих пары (а, /) и (Ь, /), поэтому в подстановке, при которой
достигается максимальное значение Л^х, любые две пары (к, ¡к) и (т, т) должны пересекаться. Построим такую подстановку. Число 1 необходимо должно соединяться с числом п (т. е. быть в одной паре с 1; при этом ¡1 = п). В противном случае, т. е. если ¡1 < п, существует число к > 1 такое, что к соединено с п, т. е. ¡к = п. Но тогда пары (1, ¡1) и (к, п) не пересекаются (рис. 4).
Рис. 4. Отсутствие пересечений при альтернативном предположении
Аналогично обосновывается, что число 2 должно быть соединено с числом (п - 1). В общем случае число к должно быть соединено с числом п - к + 1. Таким образом, искомая подстановка Р может быть записана в виде (см. (1)): Р = (1; п -1) • (2; п - 2) •...• (п; 1). Ее представление в виде диаграммы соединений приведено на рис. 5.
Рис. 5. Диаграмма взаимосвязей для оптимальной подстановки Отсюда вытекает:
Л(£ = |1 - п| + |2 - (п - 1) + ... + |к - (п - к + 1) + ... + |п - 1 = 21п - 1| + 2|п - 3| + 2|п - 5 + ...
Для того чтобы вычислить последнюю сумму, рассмотрим два случая, когда п - четное число, т. е. п = 2т, и когда п - нечетное число, т. е. п = 2т + 1. При п = 2т получаем:
Л® = 2(2т + (2т -2) +... + 2) = 4 (т + (т -1) +... +1) = 4т("2+1 = п^ +. (7)
При n = 2m + 1 получаем
Ai2i = 2 ((2m +1) + (2m -1) + +1) = m = 2 [ П±1
n +1 V n -1 ^ n2 -1
(8)
Так как каждое слагаемое в (5) не превосходит A^ , то из (5) получаем оценку для A • A <A(2)
max max — max
Отметим, что в приведенных выше определениях величин A(a1, aj) и Amax (см. (4) и (5)) могут быть учтены также ценности оцениваемых объектов (важности критериев) и (или) компетентности экспертов, например в следующем виде:
n 2 n i \
A(1,a!) = a - aj| = n£ q, \i - j\ ; A =-n-ESPPA(, aj^
i=1 N(N-1)SSP,Pj ,=1 j*
i=1 j >i
где q, - ценность i-го оцениваемого объекта; pj - уровень компетентности j-го эксперта, причем
S q, = 1, S Pj = 1.
, j
Укажем также на необходимость выявления критических уровней предлагаемого критерия w оценки уровня значимости, что важно для интерпретации результатов оценки значимости и, как следствие, практического использования разработанной процедуры.
Заключение
В работе предложена новая процедура оценки уровня значимости результатов экспертного оценивания на основе метода строгого ранжирования. Основная особенность предложенной процедуры заключается в использовании алгебраических методов теории подстановок при формировании основного критерия. Сформулирован основной критерий оценки значимости, проведен анализ его содержания, приведена графическая интерпретация критерия и процедуры его оценки. Для случая двух экспертов получена формула для нахождения численного значения критерия.
Среди нерешенных вопросов укажем на необходимость получения эффективной процедуры нахождения значения критерия w в общем случае, а также распространения полученных результатов на случай использования методов нестрогого ранжирования.
СПИСОК ЛИТЕРАТУРЫ
1. Попов Г. А., Попова Е. А. Альтернативный вариант коэффициента конкордации // Вестн. Астра-хан. гос. техн. ун-та. Сер.: Управление, вычислительная техника и информатика. 2013. № 2. С. 158-167.
2. Гмурман В. Е. Теория вероятностей и математическая статистика. М.: Высш. шк., 2003. 480 с.
3. Попов Г. А., Попова Е. А. Асимптотическое поведение альтернативного варианта коэффициента конкордации // Вестн. Астрахан. гос. техн. ун-та. Сер.: Управление, вычислительная техника и информатика. 2014. № 1. С. 153-160.
4. Макаров И. М., Виноградская Т. М., Рубчинский А. А., Соколов В. В. Теория выбора и принятия решений. М.: Наука, 1982. 330 с.
5. Кострыкин А. И. Введение в алгебру. Основы алгебры. М.: МЦНМО, 2012. 272 с.
Статья поступила в редакцию 23.08.2016
ИНФОРМАЦИЯ ОБ АВТОРАХ
Попов Георгий Александрович - Россия, 414056, Астрахань; Астраханский государственный технический университет; д-р техн. наук, профессор; зав. кафедрой информационной безопасности; [email protected].
Попова Екатерина Александровна - Россия, 414056, Астрахань; Астраханский государственный технический университет; старший преподаватель кафедры информационной безопасности; [email protected].
Попова Марина Георгиевна — Россия, 414056, Астрахань; Астраханский государственный технический университет; студентка, специальность «Прикладная информатика в экономике»; [email protected].
G. A. Popov, E. A. Popova, M. G. Popova
ALTERNATIVE ASSESSMENT OF SIGNIFICANCE OF THE RESULTS OF EXPERT ASSESSMENT IN STRICT RANKING METHOD
Abstract. The paper presents an alternative embodiment of assessment of the coherence of the experts' opinions in processing the expert estimations obtained on the basis of strict implementation of the ranking method. The existing approaches (based on concordance coefficient, hypothesis testing,
calculation of the variation factor) consider the expert opinions as independent identically distributed random variables that fundamentally do not correspond to the essence of expert evaluation, which is aimed at identifying the deterministic component in the evaluated objects or criteria. A new approach to building up a significance factor of expert assessment is based on the algebraic methods of the framing theory. In the proposed method, a pair of expert assessments is presented in the form of substitution and is decomposed into transpositions. The minimum number of transpositions in the formulation is considered as a measure of the discordance of expert opinions. The paper provides a visual geometric interpretation of the proposed method and justification of its correctness and finding of substitution, providing the maximum assessment value. The obtained value is normalized by its maximum value for the changes in the result ranging from 0 to 1. The maximum significance coefficient for two experts is found. The results can be generalized in case, when it is necessary to take into account the competence of experts, as well as the level of the importance of the objects.
Key words: expert treatment, method of strict ranking, assessment of significant result, algebraic substitutions, rationing of assessment discordance.
1. Popov G. A., Popova E. A. Al'ternativnyi variant koeffitsienta konkordatsii [Alternative variant of concordance factor]. Vestnik Astrakhanskogo gosudarstvennogo tekhnicheskogo universiteta. Seriia: Upravlenie, vychislitel'naia tekhnika i informatika, 2013, no. 2, pp. 158-167.
2. Gmurman V. E. Teoriia veroiatnostei i matematicheskaia statistika [Theory of probabilities and mathematical statistics]. Moscow, Vysshaia shkola Publ., 2003. 480 p.
3. Popov G. A., Popova E. A. Asimptoticheskoe povedenie al'ternativnogo varianta koeffitsienta konkordatsii [Asymptotic behavior of the alternative variant of concordance factor]. Vestnik Astrakhanskogo gosudarstvennogo tekhnicheskogo universiteta. Seriia: Upravlenie, vychislitel'naia tekhnika i informatika, 2014, no. 1, pp. 153-160.
4. Makarov I. M., Vinogradskaia T. M., Rubchinskii A. A., Sokolov V. V. Teoriia vybora i priniatiia reshenii [Theory of choice and decision making]. Moscow, Nauka Publ., 1982. 330 p.
5. Kostrykin A. I. Vvedenie v algebru. Osnovy algebry [Introduction to algebra. The fundamentals of algebra]. Moscow, MTsNMO, 2012. 272 p.
Popov Georgiy Aleksandrovich — Russia, 414056, Astrakhan; Astrakhan State Technical University; Doctor of Technical Sciences, Professor; Head of the Department of the Information Security; [email protected].
Popova Ekaterina Aleksandrovna - Russia, 414056, Astrakhan; Astrakhan State Technical University; Senior Lecturer of the Department of the Information Security; [email protected].
Popova Marina Georgievna - Russia, 414056, Astrakhan; Astrakhan State Technical University; Student, Specialty "Applied Informatics in Economics"; [email protected].
REFERENCES
The article submitted to the editors 23.08.2016
INFORMATION ABOUT THE AUTHORS
