CC BY
81
УДК 004.94:378.14 ББК [32.965.9:74.58]:22.126
А. А. Большаков, И. В. Вешнева, Л. А. Мельников, Л. Г. Перова
ПРИМЕНЕНИЕ ТЕОРИИ НЕЧЕТКИХ МНОЖЕСТВ К ЗАДАЧАМ ОЦЕНКИ И УПРАВЛЕНИЯ ФОРМИРОВАНИЕМ КОМПЕТЕНЦИЙ: ОПИСАНИЕ ПРОБЛЕМЫ И ПОДХОД К ЕЕ РАЗРЕШЕНИЮ
A. A. Bolshakov, I. V. Veshneva, L. A. Melnikov, L. G. Perova
APPLICATION OF THE THEORY OF FUZZY SET TO THE ASSESSMENT TASKS AND MANAGEMENT OF COMPETENCE FORMATION: DESCRIPTION OF THE PROBLEM AND WAY OF ITS SOLUTION
Описана методика разработки модели системы управления процессом формирования компетенций, позволяющей принимать управленческие решения при реорганизации образовательной деятельности при переходе к компетентностному подходу федерального государственного стандарта высшего профессионального образования третьего поколения в аспекте Болонского процесса. Рассмотрен упрощенный пример оценки предметных компетенций. Получены результирующие распределения комбинаций нечетких множеств для последующей их обработки.
Ключевые слова: нечеткие множества, компетенции, качество, качество образования, система управления.
The method of elaborating of model of management system of competence formation is described.
This method allows taking management decisions during reorganization of educational activity at the transition to competence approach of Federal state educational standard of third generation in view of Bologna process. The simplified example of competence level marks is presented. The resulting distribution of fuzzy set combination is obtained for their further treatment.
Key words: fuzzy set, competences, quality, education quality, management system.
Введение
В современных экономических условиях, условиях создания инновационной системы России, результатом образовательного процесса становится формирование ключевых компетенций. Образованию отводится роль системы, формирующей предметные, социальные, психологические, морально-нравственные компетенции и тем самым способствующей развитию творческой личности.
В настоящее время происходит выработка общего понимания содержания квалификаций по уровням в терминах компетенций и результатов обучения, как механизма, содействующего реализации целей формирования общего европейского пространства высшего образования. Приведем несколько вариантов определения категорий и набора компетенций.
В [1] определен набор общих компетенций, которые разделены на три категории: инструментальные, межличностные и системные. Другой вариант набора компетенций [2, 3] включает в себя:
— общекультурные, универсальные компетенции (формируемые у специалистов вне зависимости от их профессиональной деятельности), личностные компетенции; компетенции, относящиеся к социальному взаимодействию; общенаучные компетенции;
— профессиональные компетенции (организационно-управленческие, общепрофессиональные).
Перечисленные виды компетенций возможно разделить на два типа - интегральные и дифференциальные [4]. Интегральные включают в себя общенаучные, инструментальные, личностные, дифференциальные определяются предъявляемыми требованиями, специфичными для каждой профессии.
Международное общество по инженерной педагогике (IGIP) разработало критерии, согласно которым лица, заканчивающие инженерно-педагогическое обучение, должны обладать, наряду с высокой технической профессиональной компетенцией, глубокой инженернопедагогической компетенцией.
Таким образом, компетенции включают не только когнитивные и операционнотехнологические составляющие, но и мотивационную, этическую, социальную стороны. Пони-
мание компетенции как многогранного синергического понятия, охватывающего знания, умения, навыки как элементы профессиональной квалификации, но и коммуникативные, рефлексивные, моральные способности, предполагает соответствующую систему оценки.
Критерии для оценки компетенций и системы оценки компетенций активно начали разрабатываться в зарубежных и отечественных компаниях службами по работе с персоналом. С этой целью строится модель компетенций [5] и предлагается использовать инструментальные методы оценки компетенций [6, 7] - интервью, «ассессмент-центр», метод «360 градусов», профессиональное тестирование, ролевые игры, с помощью которых оцениваются социальные, психологические компетенции, и метод кейсов (са8е-шеШоф для оценки профессиональных компетенций, предлагаются также системы автоматизированного оценивания [8]. Следовательно, процедура оценки компетенций требует значительных финансовых, человеческих, трудовых, временных ресурсов и затрат.
Формирование и комплексная оценка уровня освоения компетенций обучающихся образовательных учреждений проводятся в рамках выполнения задач учебного процесса в форме аттестации или с применением балльно-рейтинговой системы [9-12].
Для эффективного построения учебного процесса в вузе необходимо решить задачу проведения оценки компетенций на лекционных или семинарских занятиях, ориентированных на проявление и фиксацию компетенций, выполнив ряд условий для соблюдения объективности. Сформированная компетенция не может быть абстрактной, компетенция должна проявиться в реальном поведении человека в конкретной ситуации - только так она может быть зафиксирована и описана.
Управление сложной социальной системой, такой как образование, чрезвычайно сложно как в силу большого количества исследуемых параметров, так и в связи с ужесточением требований к оценке результатов образования, основывающейся на смене образовательной парадигмы и переходе к компетентностному подходу. Одним из оснований для этих изменений следует считать усилившийся в последние годы процесс обсуждения проблем необъективного выставления оценок, служащих формальным эквивалентом качества образования. Очевидна потребность в более адекватном оценивании. Изменение парадигмы с традиционной триады: знания -умения - навыки на компетентностную подразумевает значительное расширение оцениваемых характеристик. Однако встает очевидный вопрос: если мы не удовлетворены системой оценок знаний и зачастую считаем ее неадекватной реальности, то каким образом мы сможем оценить готовность применять эти знания на практике (если мы и знания-то затрудняемся оценить)? Сложность задачи обусловлена большим количеством оцениваемых параметров, их сложными взаимосвязями и перекрестностью, а также жесткими требованиями корректности обращения со средой управления - это же люди, а ошибки учителей часто мало заметны, но очень дорого обходятся как самим индивидуумам, так и всему обществу в целом.
Постановка задачи исследования
Мы предлагаем методику разработки модели системы управления процессом формирования компетенций, позволяющей принимать управленческие решения при реорганизации образовательной деятельности при переходе к компетентностному подходу ФГОС ВПО третьего поколения в аспекте Болонского процесса. В основу разрабатываемой модели управления процессом формирования компетенций положим перечень Ю1Р. В рамках инженернопедагогической компетенции (на основе принятого Перечня Ю1Р от 11.09.2005 г.) должны быть приобретены, в частности, следующие частные компетенции [13]:
— техническая, педагогическая, социальная, психологическая и нормативно-этическая компетенции;
— профессионально-дидактические компетенции;
— компетенции контроля;
— организационные (менеджмент) компетенции;
— коммуникативная компетенция и умение работать в команде;
— способность к рефлексии и саморазвитию.
Следует отметить, что при реализации эффективной системы оценки компетенций обязательно выполнение следующих требований максимальной стандартизация процедуры оценки -
оперативность и обеспечение обратной связи. Оценку компетенций необходимо проводить комплексно, не ограничиваясь определением только уровня знаний и навыков, только результативности или только предметные компетенции. Каждая составляющая позволяет выявить определенные характеристики обучающегося, а все вместе - определить состояние системы в целом и принять управленческое решение по всему процессу формирования компетенций.
Начнем с оценки отдельных составляющих системы - самих компетенций. Опишем методику, позволяющую снизить субъективность в оценке компетенций.
Наиболее важным отличием оценивания компетенций от традиционной триады знания -умения - навыки является установка, что компетенция должна проявляться в действии. Проявленная в действии компетенция должна быть замечена и записана как отдельное событие (прецедент). Важно отметить, что в любом действии человек проявляет множество компетенций, тогда при этом должно быть описано как содержание самого прецедента, так и все проявленные в нем компетенции.
При этом проявляется чрезвычайно сложная система оценивания компетенций. Во-первых, по некоторому формату должен быть описан прецедент, для обеспечения прозрачности всей системы. Во-вторых, кем-то (например, экспертом) и где-то (в некоторой базе прецедентов и компетенций) должны быть перечислены и зафиксированы все проявленные компетенции. В созданной базе вскоре возникнет большое количество как прецедентов, так и проявленных компетенций. Большинство компетенций перекрестно, и эти оценки нельзя ни складывать, ни усреднять.
Управление развитием компетенций на основе предметной модели
Для описания представляемой модели управления развитием компетенций рассмотрим упрощенный пример оценки предметных компетенций и их изменение при проведении семинара-тренинга по проектированию дерева проблем сотрудниками вузовской администрации.
Определим перечень событий:
— С1 - группа участников повела «мозговой штурм» и сформировала список проблем высшего образования;
— С2 - изучены принципы оценивания проблем по заданным критериям, правила их ранжирования;
— С3 - составлен ранжированный список проблем и проведена их систематизация;
— С4 - выстроены уровневые связи и ветви графа «Дерево проблем»;
— С5 - не найдены проблемы, образующие узлы связи ориентированного графа.
Для простоты и наглядности мы остановимся на инструментальном (или профессиональном, или техническом) первичном сокращенном наборе компетенций из перечня Ю1Р. Определим это набор следующим списком:
— К 1.1 - умение получать информацию об исследуемом объекте (организации);
— К 1.2 - способность проводить анализ внешних и внутренних источников потребностей в изменениях и прогнозирования требований к организации;
— К 1.3 - умение формулировать четкий образ желаемого результата;
— К1.4 - умение оценить результаты работы организации;
— К 1.5 - способность на основе сравнительного анализа желаемого и действительного результатов работы организации сформулировать перечень проблем;
— К 1.6 - умение выявить неблагоприятные условия и недостатки производственного процесса, приведшие к возникновению проблем;
— К 1.7 - практика: умение формулировать ранжированный по значимости перечень проблем с объяснением причин существования каждой из них.
Для оценки уровней компетенций определим уровни их формирования, по которым оценивалась каждая компетенция: познавательный (знает, воспроизводит, понимает), практический (умеет решать стандартные задачи), репродуктивный (умеет решать типовые задачи, выбирать методы из известных), продуктивный (умеет решать нестандартные задачи, требующие трансформации методов), исследовательский (способен решать исследовательские задачи, требующие инновационных подходов и методов).
Оценку уровней компетенций будем проводить, используя методы теории нечетких множеств (ТНМ), позволяющей использовать понятия нечеткой и лингвистической переменных. Применение ТНМ предоставит нам преимущества по сравнению с другими, например вероятностными, системами, поскольку дает такие возможности, как оперирование нечеткими входными данными (важно в аспекте перекрестности компетенций), возможность нечеткой формализации критериев оценки и сравнения: оперирование критериями «слабо», «очень», «возможно» и т. д. Однако наиболее значимой представляется возможность проведения качественного оценивания не только входных оценок компетенций, но и выходных результатов. Мы получаем возможность оперировать не только значениями оценок, но и степенью их достоверности и ее распределением.
Для каждого из них зададим функцию принадлежности в форме гауссова распределения, представленного на рис. 1. Описание данных уровней компетенций и соответствующие функции принадлежности приведены в табл. 1.
Таблица 1
Уровни компетенций и соответствующие функции принадлежности
Уровень (оценка) компетенции Пояснения Функция принадлежности
Познавательный (По) Знает (воспроизводит, понимает) & X и N С Г (* - 0,3)2 1 ч 2 • 0,082 )
Практический (Пк) Умеет решать стандартные задачи «с помощью» & X и N { (* - 0,4)2 ] ч 2 • 0,082 )
Репродуктивный (Р) Умеет решать типовые задачи, выбирать методы из известных тР = Ехр ^ - 0,5)2 ^ 2 • 0,162 )
Продуктивный (Пр) Умеет решать нестандартные задачи, требующие трансформации методов т р = Е р ( (* - 0,б)2 ^ ч 2 • 0,082 J
Исследовательский (И) Способен решать исследовательские задачи, требующие инновационных подходов и методов тИ = Ехр (* - 0,7)21 2 • 0,082 )
Рис. 1. Функции принадлежности
Таким образом, мы установили, что в упрощенной модели управления процессом формирования компетенций эксперт наблюдает за прецедентом и проводит оценку заявленного списка инструментальных компетенций по уровням. Кроме того, эксперт проводит оценку важности формирования заданных компетенций по пятибалльной шкале, в результате чего каждая компетенция приобретает отвечающий задаче проведения семинара весовой коэффициент. На основе весовых коэффициентов и выбранных по уровням формирования компетенций функций принадлежности мы формируем комбинацию нечетких множеств для конкретной оценки.
Оценка компетенций при проведении учебной игры по проблемно-
ориентированному анализу
Зададимся целью провести оценку изменения состояния набора компетенций в результате проведения семинара-тренинга. Для этого наблюдающий за прецедентом эксперт проведет оценивание на начальном этапе занятия, а затем на финальном. Для снижения уровня субъективизма должно быть выставлено достаточно большое количество оценок, уже определенное в условиях эксперимента. В нашей модели для каждого из участников представим еще одну оценку -самооценку. В табл. 2 представлены выставленные экспертом весовые коэффициенты, оценки эксперта одного из участников в начале и в конце семинара-тренинга, собственные оценки участника перед началом тренинга и после его завершения. Перед началом тренинга участники не были информированы об участии эксперта-наблюдателя и о необходимости последующей оценки компетенций. Разбор компетенций и их оценка были проведены с участниками сразу после завершения тренинга как его дополнение.
Таблица 2
Оценка компетенций экспертом и участником при проведении учебной игры по проблемно-ориентированному анализу
Базовая компетенция Весовые коэффициенты Оценка участника Оценка эксперта
До После До После
К1.1 0,136364 По Пк По Пк
К1.2 0,0454545 По Пк По Пк
К1.3 0,0909091 Пк Р По Пк
К1.4 0,136364 По Пк Пк Р
К1.5 0,181818 Пк Р По Пк
К1.6 0,181818 Р Пр По По
К1.7 0,227273 Пк пр По По
Из всех участников мы выбрали участника, мнение которого о его собственных компетенциях составило наибольшую разницу с мнением эксперта.
Сформируем комбинацию нечетких множеств для конкретной оценки. Выпуклая комбинация нечетких множеств (сумма) оценок эксперта инструментальных компетенций участника № 3 с заданными весовыми неотрицательными весовыми коэффициентами на начальных этапах занятия будет иметь следующий вид:
цДо = (0,136364 + 0,0454545 + 0,0909091 + 0,181818 + 0,181818 + 0,227273)- Ехр
( (к - 0,4)2 Л
2 Л
2 - 0,08
2
+
+ 0,136364 - Ехр
2 - 0,08
2
Аналогично формируются комбинации нечетких множеств оценки эксперта на финальных стадиях и оценок самого участника до и после проведения тренинга. Результаты представлены на рис. 2.
а
б
Рис. 2. Оценка участника № 3: а - участника оценивает эксперт; б - участник оценивает себя. Сплошная линия соответствует набору инструментальных компетенций на первом этапе учебной игры по проектированию дерева проблем, пунктирная - после окончания
Посмотрим, насколько изменится комбинация нечетких множеств результирующих оценок участника и эксперта при изменении случайным образом уровней оценок некоторых компетенций. В табл. 2 изменим оценки в выделенных ячейках в произвольном порядке. Например, повысим, понизим, повысим, понизим. Это означает, что компетенция К 1.1 в оценке участника перед семинаром получит оценку, соответствующую практическому уровню, а после К1.2 останется на познавательном уровне. Оценка эксперта компетенции К 1.3 в начале занятия изменится с познавательного до практического уровня, а для К 1.4 в конце тренинга понизится с репродуктивного до практического. Вид соответствующего распределения представлен на рис. 3, б.
а б
Рис. 3. Участник № 3 оценивает себя сам и совместно с экспертом при равных весах оценок 0,5. Сплошная линия соответствует набору инструментальных компетенций на первом этапе учебной игры проектирования дерева проблем, пунктирная - после окончания (а); форма функций принадлежности после изменения затененных серым цветом значений оценок компетенций в табл. 2 (б)
На основе полученных комбинаций сформируем результирующую оценку до и после проведения занятия. При этом каждую из них мы получим как суперпозицию оценок компетенций эксперта и участника с равными весовыми компетенциями. В проводимом эксперименте мы предположили, что при высокой квалификации участников тренинга их собственному мнению о себе в случае высокой мотивированности к обучению и проведению самого исследования по оценке компетенций целесообразно придать равный вес с оценками эксперта.
Для полученного распределения комбинаций нечетких множеств могут быть введены следующие характеристики: среднее значение, дисперсия, асимметрия и эксцесс, значения которых представлены в табл. 3. Средняя относительная погрешность «До» составляет 2,1 %, «После» - 1,7 %. Средняя погрешность всех оценок при этом составляет 1,9 % и во всех представленных случаях не превышает 4 %.
Таблица 3
Изменение характеристик комбинации нечетких множеств оценок уровней компетенций
и относительная погрешность
Характеристика До После До’ После’ Погрешность «До», % Погрешность «После», %
Среднее значение 0,396342 0,50796 0,407736 0,494368 2,8 2,7
Дисперсия 0,130565 0,206629 0,136809 0,205315 0,2 0,6
Асимметрия 3,66134 3,50015 3,60549 3,54575 1,5 1,3
Эксцесс 15,0539 13,1477 14,4622 13,4164 4,0 2,0
Наиболее высокая относительная погрешность соответствует эксцессу, показывающему, насколько ярко выражена вершина распределения в окрестности среднего значения распределения. Эксцесс зависит от центрального момента четвертого порядка, и из всех традиционно рассматриваемых характеристик случайной величины эксцесс является наиболее ярко выражающим характер распределения. Соответственно, самая высокая относительная погрешность при его вычислении представляется закономерной.
Применение числовых оценок, как, например, среднее значение, позволяет оценить повышение уровня оцениваемого набора компетенций. Нормировка изменения параметров позволяет получить результирующие оценки процесса изменения сформированных в процессе тренинга компетенций. Поскольку интервал изменения положения максимума ограничен пределами [0,3; 0,7], то легко перевести эту оценку в традиционные баллы. Например, введем четырехбалльную систему оценок: «неудовлетворительно» (максимум в пределах [0,3; 0,4]), «удовлетворительно» (максимум в пределах [0,4; 0,5]), «хорошо» (максимум в пределах [0,5; 0,6]), «отлично» (максимум в пределах [0,6; 0,7]). Тогда оценка уровня компетенций увеличится на один балл. Дисперсия характеризует разброс оценок формируемого набора компетенций. Асимметрия и эксцесс могут быть использованы для оценки качества процесса формирования компетенций. Таким образом, мы получим набор числовых характеристик, по которым можно выстроить систему принятия управленческих решений по процессу формирования компетенций в процессе образования.
Методика включает проведение комплексной оценки уровней заданных для фрагмента образовательного процесса компетенций, которые оцениваются экспертом и самим участникам. Введенные модератором представленного процесса веса компетенций получены исходя из целей проводимого блока практических занятий в форме тренинга. В предложенной методике возможно изменение списка проявляемых участниками компетенций, которые могут быть добавлены исходя из прецедента их проявления. Последнее заслуживает особого внимания, поскольку нельзя предусмотреть все возможные сценарии поведения участников информационного обмена в сложной социальной среде. Прецедент проявления компетенции, не заявленной как планируемый результат образования, позволяет добавить ее в перечень и, соответственно, открыть модель системы управления процессом формирования компетенций для обратной связи.
Заключение
Таким образом, нами рассмотрен упрощенный пример оценки предметных компетенций, что позволило продемонстрировать методику разработки и применения модели системы управления процессом формирования компетенций в короткой статье. В примере использованы данные, полученные в процессе проведения практического семинара-тренинга по проблемноориентированному анализу проблем современного российского образования с представителями профессорско-преподавательского состава нескольких вузов. Полученные результаты имеют низкую относительную погрешность при варьировании оценок в пределах абсолютной погрешности введенной шкалы лингвистических оценок, что позволяет предположить устойчивость получаемого решения к вносимым при измерении ошибкам. Для каждой из лингвистических оценок введены функции принадлежности ТНМ. Результирующее невыпуклое нечеткое множество получено как комбинация самооценок и экспертных оценок проявленных компетенций. Оценки взвешены в соответствии с введенными модератором весами формируемых компетенций до начала практических занятий и после. Представлены такие числовые характеристики распределения, как среднее значение, дисперсия, асимметрия и эксцесс и вычислены их относительные погрешности при варьировании значений оценок.
Применение теории нечетких множеств к задачам оценки и управления формированием компетенций позволяет получить результирующие распределения комбинаций нечетких множеств для последующей их обработки и распознавания текущего состояния исследуемой системы с целью принятия управленческого решения по совершенствованию как самих процессов образования при формировании заданных характеристик участников процесса образования -например, компетенций, так и по планированию результатов реформирования основной парадигмы результатов современного образования. Проблеме распознавания текущего состояния в задачах оценки и управления формированием компетенций мы посвятим следующую статью.
СПИСОК ЛИТЕРАТУРЫ
1. Зимняя И. А. Ключевые компетенции - новая парадигма результата современного образования // Высшее образование сегодня. - 2003. - № 5. - С. 34-42.
2. Байденко В. И. Компетентностный подход к проектированию государственных образовательных стандартов высшего профессионального образования (методологические и методические вопросы): метод. пособие. - М.: Исслед. центр проблем качества подготовки специалистов, 2005. - 114 с.
3. Караваева Е. В., Богословский В. А., Харитонов Д. В. Принципы оценивания уровня освоения компетенций по образовательным программам ВПО в соответствии с требованиями ФГОС нового поколения // Вест. Челяб. гос. ун-та. - 2009. - № 18. Философия. Социология. Культурология. - Вып. 12. - С. 155-162.
4. Козлова А. В., Михно О. С., Чмыхова Е. В. Классификация компетенций и возможности их измерения в вузе с информационно-телекоммуникационными образовательными технологиями / URLhttp://www.edit.muh.ru/content/mag/trudy/09_2008/07.pdf.
5. Оценка сотрудников по компетенциям / http://www.classs.ru/digest/management/management79.html.
6. Диагностика компетенций (как это делается) / http://metaver.ru/2010/06/11/diagnostic.
7. Сервер компетенций / http://cmp4.ru/projects.
8. Веб-система оценки профессиональных компетенций «PASS 5.0» (система оценки знаний сотрудников) / http://www.stikler.ru/solution/poll.
9. Комплексная система балльно-рейтинговой оценки знаний иностранных студентов / А. Ю. Беляева, И. В. Вешнева, А. Д. Левицкая и др. // Инновации в современном медицинском образовании. - Саратов, 2010. - С. 43-45.
10. Чобитько В. Г., Калашников А. И., Зарецкая И. В. Балльно-рейтинговая система оценки профессиональной компетенции студентов 4 курса лечебного факультета на кафедре эндокринологии // Инновации в современном медицинском образовании. - Саратов, 2010. - С. 32-36.
11. Черненков Ю. В., Гуменюк О. И., Раскина Е. Е. Балльно-рейтинговая система как инновационная технология оценки профессиональных компетенций студентов педиатрического факультета во время проведения профессиональной практики // Инновации в современном медицинском образовании. - Саратов, 2010. - С. 49-51.
12. Герасимова С. В., Павлов С. Н. Оценка экономических компетенций студентов медицинских специальностей с применением балльно-рейтинговой системы // Успехи современного естествознания. -2010. - № 3. - С. 60-61.
13. Критерии аккредитации IGIP инженерно-педагогического образования (Приложение 3) / http://www.madi.ru/igip_journal/34/9.html.
Статья поступила в редакцию 23.01.2012
ИНФОРМАЦИЯ ОБ АВТОРАХ
Большаков Александр Афанасьевич - Саратовский государственный технический университет им. Ю. А. Гагарина; д-р техн. наук, профессор; профессор кафедры «Системы искусственного интеллекта»; aabolshakov57@ gmail.com.
Bolshakov Alexander Afanasievich - Saratov State Technical University named after Yu. A. Gagarin; Doctor of Technical Sciences, Professor; Professor of the Department "Artificial Intelligence Systems"; aabolshakov57@ gmail.com.
Вешнева Ирина Владимировна - Саратовский государственный технический университет им. Ю. А. Гагарина; канд. физ.-мат. наук, доцент; докторант кафедры «Приборостроение»; [email protected].
Veshneva Irina Vladimirovna - Saratov State Technical University named after Yu. A. Gagarin; Candidate of Physical and Mathematical Sciences, Assistant Professor; Doctoral Candidate of the Department «Instrumentation Engineering»; [email protected].
Мельников Леонид Аркадьевич - Саратовский государственный технический университет им. Ю. А. Гагарина; д-р физ.-мат. наук, профессор; зав. кафедрой «Приборостроение»; [email protected].
Melnikov Leonid Arkadievich - Saratov State Technical University named after Yu. A. Gagarin, Doctor of Physical and Mathematical Sciences, Professor; Head of the Department «Instrumentation Engineering»; [email protected].
Перова Лариса Геннадьевна - Саратовский государственный технический университет им. Ю. А. Гагарина, аспирант кафедры «Системотехника»; [email protected].
Perova Larisa Gennadievna - Saratov State Technical University named after Yu. A. Gagarin, Postgraduate Student of the Department «System Engineering»; [email protected].
