CC BY
112
УДК 378.14:51.77
И. М. Ажмухамедов, А. И. Ажмухамедов
ФОРМИРОВАНИЕ РЕЙТИНГОВОЙ ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАНИЯ НА ОСНОВЕ НЕЧЕТКОЙ ГРАФОВОЙ МОДЕЛИ
I. M. Azhmukhamedov, A. I. Azhmukhamedov
FORMATION OF A RATING MARK OF EDUCATION QUALITY ON THE BASIS OF A FUZZY GRAPH MODEL
Предложена методика расчета рейтинговой оценки качества образовательных услуг на основе построения нечеткой графовой модели с использованием экспертной информации, которая может быть полезна не только при определении уровня образовательных услуг, оказываемых высшими учебными заведениями, но и при постановке задачи эффективного управления учебным процессом.
Ключевые слова: уровень образовательных услуг, компетенции, нечеткая графовая модель, веса Фишберна, свертка векторного критерия.
A methodology for calculating a rating mark of the quality of educational services is proposed basing on a fuzzy graph model and using expert information that can be useful not only at the estimation of the level of the educational services provided by institutions of higher education, but also at the problem definition of the effective management of the educational process.
Key words: level of educational services, competence, fuzzy graph model, Fisbern weight, convolution of vector criterion.
Введение
Современное состояние проблем эффективности российского образования отражает усиливающееся противоречие между возрастающими требованиями общества к нравственности и интеллекту человека и фактическим уровнем образования и развития выпускников вузов. В этих условиях принципиальное значение приобретает поиск новых подходов к повышению эффективности организации и управления высшим образованием с ориентацией на его качественные аспекты.
В 2003 г. Россия присоединилась к Болонским соглашениям, официально закрепив свое участие подписанием Берлинского коммюнике Конференции министров [1]. В этой связи российское образование, как и образовательные системы других стран, претерпевает серьезные изменения: меняются приоритеты, структура и содержание образования, вводятся новые стандарты, формируется независимая система оценки результатов обучения и качества образования в целом [2].
В последнее время именно качество обучения и воспитания все более определяет уровень развития стран, становится стратегической областью, обеспечивающей их безопасность и потенциал за счет подготовки подрастающего поколения.
При этом качество образования рассматривается как комплексный показатель, синтезирующий все этапы становления личности, условия и результаты учебно-воспитательного процесса. Оно также является критерием эффективности деятельности образовательного учреждения, отражает соответствие реально достигнутых результатов нормативным требованиям, социальным и личностным ожиданиям. В то же время для профессионального образования все более значимой становится ориентация на запросы работодателя. Оценка качества образования в этом случае не только представляет собой самостоятельный интерес, но и рассматривается как ключ к решению назревших практических проблем в каждом отдельном образовательном учреждении и в экономике страны в целом [3].
На международном уровне волна внимания к данной проблеме обусловлена в первую очередь тем, что, согласно положениям Болонской декларации, европейские страны начали связывать взаимное признание документов об образовании с наличием систем независимой оценки его качества. Для продвижения в этом направлении национальные системы образования всех европейских стран, в том числе и России, в ближайшее время должны решить ряд общих проблем: распределить ответственность по обеспечению качества образования между государством и образовательными учреждениями; разработать национальные системы оценки качества обра-
зования, включая внутреннюю оценку в вузах (внутривузовские системы менеджмента качества) с привлечением студентов и публикацией результатов в печати; обеспечить разработку системы сопоставимых контрольно-оценочных материалов и процедур, их сертификацию, аккредитацию программ и образовательных учреждений, проведение сравнительных международных обследований в области оценки качества образования [4].
Постановка и решение задачи
Наиболее важными направлениями решения этих проблем для российского образования являются разработка набора критериев оценки эффективности образовательной деятельности и обоснование принципов оценивания качества образования на всех его уровнях [3].
Поскольку в данном случае мы имеем дело с совокупностью отдельных критериев, то соответствующая задача в ее математической постановке является многокритериальной.
При решении таких задач часто используются различные методы свертки критериев в один обобщенный (интегральный) критерий.
Наиболее простой метод построения интегрального критерия заключается в выделении одного из критериев в качестве основного, а все остальные критерии добавляются к ограничениям, в которых задается область допустимых значений вектора независимых переменных. Таким образом, задача с векторным критерием сводится к задаче принятия решения со скалярным аргументом.
Главный недостаток такого подхода заключается в том, что фактически поиск ведется лишь по одному критерию. Значения остальных критериев, если они удовлетворяют ограничениям, по существу не влияют на результаты поиска.
Поскольку оценка качества образования - задача комплексная, то попытка оценить ее уровень по одному какому-то параметру (например, имеющему стандартное количественное выражение) обречена на неудачу. Именно поэтому данный способ получения свертки при решении задач, связанных с оценкой качества образования, неприемлем.
Другими методами построения комплексного критерия являются аддитивная и мультипликативная свертки. Аддитивный критерий - простой, но в то же время, из-за возможности неограниченной компенсации значений одних критериев за счет других, нечувствительный к крайним значениям отдельных критериев.
Кроме того, комплексная оценка качества образования не может рассматриваться как простая сумма составляющих ее частей. Эти части взаимосвязаны и взаимозависимы, каждая часть критично значима. Следовательно, модели, в основе которых лежит предположение о линейном поведении системы (аддитивная свертка предполагает именно такую модель), при комплексной оценке качества образования обычно не могут адекватно отражать ситуацию. Поэтому аддитивная свертка для построения комплексного критерия, в большинстве случаев, также не подходит.
Значение же мультипликативного критерия, в отличие от аддитивного, резко уменьшается при малых значениях отдельных критериев, что позволяет лучше учесть их влияние.
Таким образом, для комплексной оценки качества образования наиболее целесообразным представляется применение мультипликативной свертки векторного критерия:
К = ПК?' ,
где К - частные критерии; « - некоторым образом определенные веса, приписываемые каждому частному критерию К,■.
Часто получение от лица, принимающего решение (ЛПР), надежной количественной информации бывает затруднительным. В таких случаях стремятся получить от ЛПР в основном только качественную информацию. Например, о том, какой из критериев наиболее или наименее значим, какой из критериев может быть ухудшен, а для каких ухудшение крайне нежелательно и т. д. В качестве такой процедуры получения информации может быть использован, например, алгоритм Беленсона - Капура [5].
Многие аспекты, касающиеся комплексной оценки качества образования, могут вообще не подлежать количественному измерению. Тогда при их оценивании прибегают к искусственным приемам. Например, каждому фактору сопоставляется количественная балльная шкала [6].
При этом необходимо предложить эксперту методику, по которой он должен назначить баллы. Однако проблема заключается в том, что многие понятия, связанные с оценкой качества образования, являются сугубо качественными, и предлагать измерять их количественно в большинстве случаев бесперспективно.
Другое дело, если сразу применять нечетко выраженные степени, например «Низкая», «Ниже среднего», «Средняя», «Выше среднего», «Высокая».
Тогда от эксперта не требуется количественной точности, а требуется как раз субъективная оценка на естественном языке. Затем лингвистическое описание может быть сопоставлено с количественной (например, балльной) шкалой носителя с помощью методов теории нечеткого гранулирования [7-8].
Необходимо создать методику комплексной оценки качества образования, основанную на качественных шкалах и отношениях предпочтения между факторами в структуре иерархии этих факторов. Оценки весов отдельных факторов « могут быть получены экспертным путем. Однако для эксперта в большинстве случаев затруднительно дать непосредственные численные оценки этим коэффициентам, поэтому предпочтительнее могут оказаться различные ранговые методы, при реализации которых требуется лишь упорядочить критерии.
Может быть использован, например, метод нестрогого ранжирования. В соответствии с этим методом эксперт производит нумерацию всех критериев по убыванию степени важности. Допускается, что эксперту не удастся различить между собой некоторые критерии. В этом случае при ранжировании он помещает их рядом в произвольном порядке. Затем проранжирован-ные критерии последовательно нумеруются. Оценка (ранг) критерия определяется его номером.
Если на одном месте находятся несколько неразличимых между собой критериев, то обычно оценка каждого из них принимается равной среднему арифметическому их новых номеров [9].
Однако представляется целесообразным несколько модифицировать такой метод оценки, приняв за ранг каждого из неразличимых критериев номер всей группы как целого объекта в упорядочении.
Например, пусть эксперт упорядочил критерии следующим образом:
К5, (Кз, К7, К), Кь (Кб, К8), К9, К4.
Критерии, не различимые между собой, объединены в круглые скобки. Тогда оценки для каждого из критериев, вычисленные в соответствии с описанной выше процедурой, равны:
«5 = 1; 53 = «7 = «2 = 2, « = 3; 56 = «8 = 4; «9 = 5; «4 = 6.
Применим нормирование по величине, равной сумме всех оценок:
К = £ 5,.
В нашем случае К = 29. Таким образом, после линейного преобразования в шкалу [0;1] по норме К получим: «5 = 1/29; «3 = «7 = «2 = 2/29, 51 = 3/29; 56 = «8 = 4/29; «9 = 5/29; «4 = 6/29.
Найденные предложенным способом оценки представляют собой обобщение системы весов Фишберна [10] для случая смешанного распределения предпочтений, когда наряду с предпочтениями в систему входят и отношения безразличия.
Полученный результат согласуется с хорошо известным в теории принятия решений фактом [5, 8, 10]: системе убывающего предпочтения альтернатив наилучшим образом отвечает система снижающихся по правилу арифметической прогрессии весов.
Влияние различных факторов на уровень комплексной оценки качества образования может быть представлено в виде ориентированного графа О, имеющего одну корневую вершину и не содержащего петель и горизонтальных ребер в пределах одного уровня иерархии:
О = <{Я};ТО>,
где {•?,} - множество факторов (вершин графа); {Ау} - множество дуг, соединяющих ,-ю и у-ю вершины; = К - корневая вершина, соответствующая комплексной оценке качества образова-
ния в целом.
Параметры, влияющие на оценку качества образования, представляют собой набор неупорядоченных факторов одного уровня иерархии. При этом дуги расположены так, что началу дуги соответствует вершина нижнего уровня иерархии (ранга), а концу дуги - вершина ранга, на единицу меньшего.
Следует заметить, что данный связный граф не является деревом, поскольку не выполняется требование отсутствия простых циклов. Это обусловлено тем, что факторы, находящиеся на нижнем уровне иерархии, могут одновременно оказывать влияние на несколько факторов более высокого уровня.
Для дальнейшего построения модели комплексной оценки качества образования на полученный граф необходимо наложить систему отношений предпочтения одних факторов другим по степени их влияния на заданный элемент следующего уровня иерархии:
E = ^і ( є) Fj\e є( »)], (1)
где Fi и Fj - факторы одного уровня иерархии; >— отношение предпочтения; ~ - отношение безразличия. Такая система может быть получена, например, изложенным выше способом нестрогого ранжирования.
Пример наложения системы отношений предпочтения типа (1) Е = (N1 > N2; N2 > N3 ~ N4; N4 ~ на фрагмент графа изображен на рис. 1.
Рис. 1. Пример системы отношений предпочтения на одном из уровней иерархии
Остается ввести в рассмотрение набор качественных оценок уровней каждого фактора в иерархии:
Ь = (Низкий (Н), Ниже среднего (НС), Средний (С), Выше среднего (ВС), Высокий (В)}. (2)
Тогда, в качестве математической модели комплексной оценки качества образования (ОКО), может быть принят кортеж
ОКО = <0, Ь, Е >
Опираясь на данную модель, можно построить показатель комплексной оценки качества образования на базе агрегирования значений со всех уровней иерархии факторов на основе качественных данных об уровнях факторов и их отношениях порядка на одном уровне иерархии, используя подход, аналогичный приведенному в [8].
Методика комплексной оценки качества образования
Чтобы оценить уровень качества образования количественно и качественно, необходимо произвести агрегирование данных, собранных в рамках иерархии 0. При этом агрегирование совершается по направлению дуг графа иерархии. Агрегированию должно подлежать не отдельное значение выбранной функции принадлежности в структуре лингвистической переменной «Уровень фактора», а вся функция принадлежности целиком [8].
Сформируем лингвистическую переменную «Уровень фактора» с терм-множеством значений Ь вида (2). В качестве семейства функций принадлежности может выступать стандартный пятиуровневый 01-классификатор [11], где функции принадлежности - трапециевидные нечеткие числа:
Н (0; 0; 0,15; 0,25); НС (0,15; 0,25; 0,35; 0,45); С (0,35; 0,45; 0,55; 0,65);
ВС (0,55; 0,65; 0,75; 0,85); В (0,75; 0,85; 1; 1). (3)
Стандартный классификатор осуществляет проекцию нечеткого лингвистического описания на 01-носитель, при этом делает это непротиворечивым способом, симметрично располагая узлы классификации (0,1; 0,3; 0,5; 0,7; 0,9) [12].
В этих узлах значение соответствующей функции принадлежности равно единице, а всех остальных функций - нулю. Неуверенность эксперта в классификации убывает (возрастает) линейно с удалением от узла (с приближением к узлу соответственно). При этом сумма функций принадлежности во всех точках носителя равна единице. Построенный классификатор есть разновидность так называемой «серой» шкалы Поспелова [13], представляющей собой полярную (оппозиционную) шкалу, в которой переход от свойства А+ к свойству А- происходит плавно, постепенно.
Подобные шкалы удовлетворяют условиям: а) взаимной компенсации между свойствами А+ и А- (чем в большей степени проявляется А+, тем в меньшей степени проявляется А-, и наоборот); б) наличия нейтральной точки А0, интерпретируемой как точка наибольшего противоречия, в которой оба свойства присутствуют в равной степени. В случае нашего нечеткого классификатора это абсциссы нейтральных точек: (0,2; 0,4; 0,6; 0,8). Таким образом, мы переходим от качественного описания уровня параметра к стандартному количественному виду соответствующей функции принадлежности (нечеткое трапециевидное число) [14].
Пусть по каждому показателю на выбранном подуровне (*) иерархии G известны лингвистические оценки L, а также определена система весов Фишберна S на основе приведенной выше системы предпочтений Е. Тогда показатель подуровня L*i характеризуется своей лингвистической оценкой, определяемой функцией принадлежности на 01-носителе.
В подобных случаях для агрегирования обычно применяется OWA-оператор Ягера [15], причем весами в свертке выступают упомянутые выше коэффициенты Фишберна.
Однако, как было показано выше, аддитивная свертка и осреднение для комплексной
оценки качества образования неприемлемы и необходимо использовать мультипликативную свертку для нахождения интегральных критериев:
П
m*(х )=Пт5 (х), (4)
i=1
где
Н (0; 0; 0,15; 0,25), если L* i = «Низкий»,
НС (0,15; 0,25; 0,35; 0,45), если L* i = «Ниже среднего», ц*г-(х) = < С (0,35; 0,45; 0,55; 0,65), если L*i = «Средний», (5)
ВС (0,55; 0,65; 0,75; 0,85), если L* i = «Выше среднего»,
В (0,75; 0,85; 1; 1), если L*i = «Высокий».
Полученную функцию вида (4) необходимо лингвистически распознать, чтобы выработать суждение о качественном уровне показателя на уровне (*). Для этого необходимо соотнести полученную функцию m* (х) и функции цг(х) вида (3). Если
(V х е [0, 1]) sup min (m*(x), М-г'(х)) = 0, (6)
то уровень показателя однозначно не распознается как уровень, которому отвечает i-я «эталон-
ная» функция принадлежности.
Стопроцентное распознавание наступает, если выполняется
(V х е [0, 1]) min (т*(х), |т(х)) = |т(х). (7)
Во всех промежуточных случаях необходимо задаться мерой уровня распознавания,
т. е. ввести так называемый индекс схожести (ИС) [16]. Для этого нужно определить понятие расстояния между двумя нечеткими числами A и B.
В качестве такой величины может выступать линейное (хемингово):
1
р( a, в)=J |m а (х)-тв (х)| ^х (8)
или квадратичное (евклидово) расстояние:
р(А,В) = _|У(та(х)-тв(х))2<^х . (9)
0
Для определения ИС необходимо вычислить расстояние в точках, в которых выполняется
т* (х) < т (х). (10)
С целью повышения информативности удобно перейти к относительному расстоянию:
р = р/М, (11)
где М - «мощность» эталонного нечеткого числа, равная площади фигуры, описываемой его функцией принадлежности. В нашем случае это площадь трапеции и М = (0,3 + 0,1) • 1/2 = 0,2.
Для того чтобы избежать лингвистического несоответствия (чем выше степень близости, тем больше должен быть ИС) и учитывая, что р( А, В) < 1, в качестве ИС можно принять величину
ИС = 1 -р(А,В). (12)
Тем самым ИС, изменяясь в диапазоне от 0 до 1, будет характеризовать близость найденной мультипликативной свертки к той или иной эталонной функции принадлежности вида (3).
Следует заметить, что при нахождении сверток значения некоторых показателей для сохранения лингвистического соответствия необходимо предварительно инвертировать.
Таким образом, пройдя последовательно снизу вверх по всем уровням иерархии О и применяя соотношения (1)-(12), мы не только можем путем комплексного агрегирования данных выработать суждение о качественном уровне показателя на каждой ступени иерархии (вплоть до К0 = К), но и оценить степень обоснованности данного суждения с помощью ИС.
Если кроме качественных значений показателей имеются и количественные данные, то простейшим способом для их совместного учета при комплексной оценке является загрубле-ние полученных количественных оценок до качественного их описания и последующий переход к изложенной выше модели оценки.
Расчетный пример применения метода
Дадим комплексную оценку качества образования по критериям «Качество специальных компетенций выпускника», «Качество естественнонаучных и гуманитарных компетенций выпускника» и «Качество воспитательной работы вуза».
Исходные данные для расчетов приведены в табл. 1.
Таблица 1
Факторы и их уровни
Шифр фактора Фактор Уровень фактора На какие факторы влияет
К Комплексная оценка качества образования * ----
Кі Качество специальных компетенций выпускника * К
К2 Качество естественнонаучных и гуманитарных компетенций выпускника * К
Кз Качество воспитательной работы вуза * К
иі Уровень выполнения лицензионных требований и нормативов * К К2, Кз
и Уровень выполнения требований ГОС * К1К2, Кз
из Уровень выполнения требований по государственной аккредитации * К1 Кг, Кз
N1 Уровень материально-технической базы вуза Средний и1
N2 Уровень востребованности выпускников Низкий и
N3 Уровень довузовской подготовки и отбора абитуриентов Высокий и
N4 Уровень воспитательной деятельности вуза Средний из
N5 Уровень социально-бытового обеспечения Средний и,
N6 Уровень внутривузовской системы контроля качества подготовки специалистов Низкий и
N7 Уровень информатизации вуза Средний из
N8 Качественный состав профессорско-преподавательского состава Высокий их, из
Знаком «*» обозначены факторы, уровень которых предстоит определить.
Пусть при этом существует следующая система отношения предпочтений факторов:
- для К : К \ К » Кз ^ (2/4; 1/4; 1/4);
- для К : С/1 » и \ из ^ (2/5; 2/5; 1/5);
- для К2 : и ^ из ^ (3/6; 2/6; 1/6);
- для Кз : и » Сз ^ и2 ^ (2/5; 2/5; 1/5);
- для С : N1 » N5 ^ ^ (2/5; 2/5; 1/5);
- для и2 : Nз » N6 ¡> N2 ^ (2/5; 2/5; 1/5);
- для Сз : N4 ^ N7 » N8 ^ (2/4; 1/4; 1/4).
В скобках указаны соответствующие системе предпочтений веса Фишберна, найденные описанным выше способом нестрогого ранжирования.
Необходимо оценить уровень качества образования.
Арифметические действия с нечеткими числами были произведены с использованием специальной программы [17], описание которой приведено в [18].
Результаты расчетов приведены в табл. 2 (в скобках рядом с уровнем фактора указано значение ИС с эталонной функцией принадлежности).
Таблица 2
Результаты расчетов
Показатель Фактор Уровень фактора
К Комплексная оценка качества образования Низкий (0.84)
К1 Качество специальных знаний выпускника Низкий (0,52)/Ниже среднего(0,48)
К2 Качество естественнонаучных и гуманитарных знаний выпускника Ниже среднего (0,49)/Низкий (0,47)
Кз Качество воспитательной работы вуза Ниже среднего (0,4з)/Низкий(0,40)
и, Уровень выполнения лицензионных требований и нормативов Средний (0,68)/Выше среднего (0,з2)
и Уровень выполнения требований ГОС Низкий (0,5з)/Ниже среднего(0,47)
из Уровень выполнения требований по государственной аккредитации Средний (0,60)/Выше среднего (0,40)
Видно, что, несмотря на близость показателей К2 и Кз к уровню «Ниже среднего», показатель качества образования К имеет значение «Низкий». Это обусловлено тем, что показатель Кь имеющий значение «Низкий», оказывает по оценкам экспертов большее влияние на оценку качества образования, чем К2 и Кз.
Выводы
Предложенный метод на основе экспертных суждений может быть применен для комплексной рейтинговой оценки качества образования. При этом элементы, характеризующие систему, образуют иерархию, а факторы одного подуровня иерархии состоят в отношениях предпочтения/безразличия друг к другу.
В качестве интегрированного критерия при комплексной оценке качества образования используется мультипликативная свертка.
Применение модифицированного метода нестрогого ранжирования позволяет определить веса Фишберна для факторов одного уровня иерархии и получить обобщение данных весов на случай предпочтения/безразличия факторов по отношению друг к другу.
Вычисление показателя уровня образовательных услуг может быть произведено на базе агрегирования значений со всех уровней иерархии на основе качественных данных о значениях факторов и их отношениях порядка на одном уровне иерархии.
СПИСОК ЛИТЕРАТУРЫ
1. Зона европейского высшего образования: Совместное заявление европейских министров образования, г. Болонья, 19 июня 1999 года // Будущее европейского образования: Болонский процесс (Сорбонна - Болонья - Саламанка - Прага) / сост. Е. В. Шевченко. - СПб., 2002.
2. О приоритетных направлениях развития образовательной системы Российской Федерации / Высшее образование сегодня. - 2005. - № 1. - С. 4-11.
3. Болотов В. А., Ефремова Н. Ф. Система оценки качества российского образования // Педагогика. -2006. - № 1. - С. 22-31.
4. О разработке и внедрении внутривузовской системы управления качеством образования в высших учебных заведениях (на примере Московского государственного института стали и сплавов (технологического университета)) // Решение коллегии Федерального агентства по образованию от 16.11.2004 № 3/1.
5. Попов Г. А. Экономическая кибернетика. - Астрахань: Изд-во «ЦНТЭП», 2002. - 96 с.
6. Трухаев Р. И. Модели принятия решений в условиях неопределенности. - М.: Наука, 1981. - 144 с.
7. Недосекин А. О. Вероятностные распределения с нечеткими параметрами // http://sedok.narod.ru/sc_group.
8. Недосекин А. О. Нечеткий финансовый менеджмент. - М.: Аудит и финансовый анализ, 2003. - 76 с.
9. Литвак Б. Г. Экспертная информация: методы получения и анализа. - М.: Радио и связь, 1982. - 92 с.
10. Фишберн П. Теория полезности для принятия решений. - М.: Наука, 1978. - 155 с.
11. Рыжов А. П. Элементы теории нечетких множеств и измерения нечеткости. - М.: Диалог-МГУ, 1998. - 102 с.
12. Kaufmann A., Gupta M. Introduction to Fuzzy Arithmetic: Theory and Applications. - Van Nostrand Reinhold, 1991. - 161 p.
13. Поспелов Д. С. «Серые» и/или «черно-белые» [шкалы] // Прикладная эргономика. Спец. вып. «Рефлексивные процессы». - 1994. - № 1. - С. 15-21.
14. Недосекин А. О. Нечеткие парные сравнения // Аудит и финансовый анализ. - 2003. - № 5. - С. 53.
15. YagerR. Families of OWA operators // Fuzzy Sets and Systems. - 1993. - 59. - P. 53-59.
16. Проталинский О. М. Применение методов искусственного интеллекта при автоматизации технологических процессов. - Астрахань: Изд-во АГТУ, 2004. - 184 с.
17. Вычисления с нечеткими числами // Свид-во о гос. регистрации программ для ЭВМ № 2011614482. заяв. № 2011612617; зарег. в реестре программ для ЭВМ 7 июня 2011 г.
18. Ажмухамедов И. М., Колесова Н. А. Программная реализация вычислений с нечеткими числами // Вестн. Астрахан. гос. техн. ун-та. Сер.: Управление, вычислительная техника и информатика. - 2011. -№ 2. - С. 68-73.
Статья поступила в редакцию 1.12.2011
ИНФОРМАЦИЯ ОБ АВТОРАХ
Ажмухамедов Искандар Маратович - Астраханский государственный технический университет; канд. техн. наук, доцент; доцент кафедры «Информационная безопасность»; [email protected].
Azhmukhamedov Iskandar Maratovich - Astrakhan State Technical University; Candidate of Technical Science, Assistant Professor; Assistant Professor of the Department "Information Security"; [email protected].
Ажмухамедов Альберт Искандарович - Астраханский филиал Московского государственного университета экономики, статистики и информатики; cтудент, специальность «Прикладная информатика в экономике»; [email protected].
Azhmukhamedov Albert Iskandarovich - Astrakhan Branch of Moscow State University of Economics, Statistics and Informatics; Student, Specialty "Applied Informatics in Economics"; [email protected].
