Методика оценивания качества научно-исследовательских работ и инновационных проектов студентов на основе нечетких множеств Текст научной статьи по специальности «Науки об образовании»

УДК 004.9, 378.1

DOI 10.21685/2072-3059-2016-3-4

Т. В. Андреева, М. В. Кузнецова

МЕТОДИКА ОЦЕНИВАНИЯ КАЧЕСТВА НАУЧНО-ИССЛЕДОВАТЕЛЬСКИХ РАБОТ И ИННОВАЦИОННЫХ ПРОЕКТОВ СТУДЕНТОВ НА ОСНОВЕ НЕЧЕТКИХ МНОЖЕСТВ

Аннотация.

Актуальность и цели. Необходимость решения высшими учебными заведениями задач развития научно-исследовательской и инновационной деятельности студентов и формирования систем поиска и отбора талантливой молодежи, имеющей способности к научному творчеству и стремление работать в сфере образования, науки и инноваций, выдвигает в ряд актуальных вопросов создание способов и средств вовлечения студентов в научную и инновационную деятельность. Одним из эффективных способов стимулирования развития студенческой науки в вузах является создание системы научных мероприятий конкурсного характера, при этом наиболее важной задачей становится обеспечение объективной экспертной оценки научно-исследовательских работ и инновационных проектов, представленных студентами на вузовские научные конкурсы, выставки, олимпиады и конференции. Это и определило цель настоящего исследования - разработку методики оценки качества студенческих научных работ и инновационных проектов для совершенствования процедур экспертного оценивания.

Материалы и методы. Исследование проводилось на основе конкурсной документации и материалов студенческих научных мероприятий, проведенных в 2014-2015 гг. в Пензенском государственном технологическом университете. Для решения поставленной задачи использовались методы экспертного оценивания с применением аппарата теории нечетких множеств.

Результаты. Предложена универсальная иерархическая система критериев, позволяющая производить оценивание качества любых научно-исследовательских работ и инновационных проектов студентов, представленных на различные конкурсные мероприятия. Разработана методика оценки качества студенческих научных работ, отличающаяся применением нечетко-множественной модели, что позволяет усовершенствовать процедуры экспертного оценивания.

Выводы. Применение предлагаемой методики позволяет повысить объективность оценки научно-исследовательских работ и инновационных проектов студентов, обеспечить информационную поддержку процесса принятия решений при проведении конкурсных мероприятий научного и инновационного характера для студентов.

Ключевые слова: научно-исследовательская работа, инновационный проект, студент, качество, экспертная оценка, нечеткое множество.

T. V. Andreeva, M. V. Kuznetsova

QUALITY EVALUATION TECHNIQUE FOR STUDENTS' SCIENTIFIC RESEARCH AND INNOVATIVE PROJECTS BASED ON FUZZY SETS

Abstract.

Background. At the present time universities need to solve problems of developing the students' research and innovative activities and forming the search and selection system of talented youth having scientific creativity and the desire to work in education, science and innovations. This raises a number of topical issues regarding ways and means of involving students in scientific and innovative activities. One of the effective ways to activate the development of students' science at universities is to create a system of scientific events of competitive nature, the most important task is to provide objective expert evaluation of scientific research and innovative projects presented by students in university scientific competitions, exhibitions, competitions and conferences. These determine the objective of this study - to develop methods of quality assessment of student's scientific works and innovative projects for improvement of expert assessment procedures.

Materials and methods. The study was performed on the basis of contest data and materials of students' scientific competitions in 2014-2015 at Penza State Technological University. To solve this problem the authors applied methods of expert evaluation using the fuzzy set theory technique.

Results. A universal hierarchical system of criteria allowing to carry out quality evaluation of any students' scientific research and innovation projects presented at various competitive events has been proposed. The technique of quality evaluation of students' scientific works using a fuzzy set model that allows to improve procedures of expert estimation has been developed.

Conclusions. The proposed technique allows to increase the objectivity of students' research works and innovation projects evaluation, to provide the information support to decision making process in scientific and innovative competitive events for students.

Key words: research work, innovative project, student, quality, expert evaluation, fuzzy set.

Введение

Концепция Федеральной целевой программы «Научные и научно-педагогические кадры инновационной России» на 2014-2020 гг. [1] в качестве одной из основных целей обозначает «стимулирование притока талантливой молодежи и закрепление в сфере науки, образования и высоких технологий...». Для достижения указанной цели в рамках группы мероприятий «Популяризация среди молодежи научной и творческой деятельности, выявление талантливой молодежи» предусматриваются «организация и проведение всероссийских и международных молодежных научных конференций, олимпиад и конкурсов», «обеспечение развития системы научно-технического творчества молодежи».

Расширение масштабов вовлечения молодежи в научно-исследовательскую и инновационную деятельность достигается в вузе в числе прочего за счет создания системы конкурсных научных мероприятий для студентов. Организация вузовских студенческих научных конференций, конкурсов, выставок и олимпиад позволяет повысить эффективность научно-исследовательской и инновационной деятельности студентов вуза, осуществить отбор лучших студенческих научных и инновационных проектов для представления на конкурсных мероприятиях более высокого уровня - региональных, всероссийских и международных. При этом необходимо обеспечить максимальную объективность оценки качества научно-исследовательских работ (НИР) и ин-

новационных проектов (ИП) студентов. Решение проблемы оценивания НИР и ИП студентов предполагает формирование универсальной иерархической системы критериев качества, позволяющей производить оценку по различным аспектам, разработку математической модели, предоставляющей возможность описать слабоформализованные объекты оценки, а также методики определения интегрального показателя качества НИР и ИП с учетом много-критериальности данной задачи.

1. Система показателей качества НИР и ИП студентов

Оценивание качества НИР и ИП студентов имеет свои особенности, связанные прежде всего с многообразием видов и форм конкурсных мероприятий для студентов. Во-первых, большинство мероприятий имеют полидисциплинарный характер, т.е. на них принимаются работы по различным укрупненным направлениям знаний. Во-вторых, мероприятия различаются по видам, это может быть конференция (симпозиум, семинар), конкурс научно-исследовательских работ или инновационных проектов, выставка научно-технического творчества молодежи, олимпиада, конкурс грантов. В-третьих, номинации мероприятий также различны, это могут быть номинации на лучший доклад, лучшую НИР или ИП, лучшую выпускную квалификационную работу и т.п. В-четвертых, различаются форматы проведения: мероприятие может проводиться в один этап (заочный или очный) или в два этапа (и заочный, и очный). В этих условиях первоочередной задачей становится разработка универсальной системы показателей, характеризующей все аспекты качества НИР или ИП и позволяющей дать оценку любой студенческой работы.

Критерии оценки НИР и ИП студентов, как правило, определяются положением о конкурсном мероприятии. Ранее [2] на основе анализа конкурсной документации различных научных мероприятий для молодежи (в частности, требований положения об открытом конкурсе на лучшую научную работу студентов по естественным, техническим и гуманитарным наукам, положения о ежегодной всероссийской выставке научно-технического творчества молодежи «НТТМ», положения о программе «Участник молодежного научно-инновационного конкурса - У.М.Н.И.К.» и др.) была предложена универсальная оценочная система, характеризующая все аспекты качества НИР или ИП. Система включает пять основных показателей; каждый основной показатель в свою очередь характеризуется набором частных критериев качества (табл. 1).

Универсальная система критериев позволяет произвести оценивание любой студенческой работы посредством выбора председателем экспертного совета показателей оценки НИР или ИП в соответствии с конкурсной документацией конкретного студенческого мероприятия.

2. Методика оценки качества НИР и ИП студентов

Основу методики оценивания качества НИР и ИП студентов способен составить алгоритм нечетко-множественной классификации, предложенный А. О. Недосекиным [3], являющийся одним из самых гибких, достоверных и хорошо зарекомендовавшим себя при решении социально-экономических задач [4, 5]. В приложении к поставленной задаче методика включает этапы, описанные ниже.

Система Таблица 1 критериев качества НИР и ИП студентов

Основной показатель Частный критерий

1 2

Г]1 - уровень обоснования важности исследования

для решения реальных проблем

- качество формулировки цели и задач исследования,

Y1 - актуальность и обоснованность выводов по работе

Гз - качество выделения объекта, предмета и гипотезы

задачи исследования исследования

- уровень обоснования выбора методов и программы

исследования

- полнота литературного обзора

Г]2 - достоверность и обоснованность установленных

фактов, проведенных расчетов и полученных данных

- теоретическая и практическая значимость

Y2 - научная новизна, теоретический исследования

Гз2 - научная новизна решаемой задачи и полученных

и прикладной уровень выполненной работы результатов

2 Гд - глубина проработанности темы исследования

Гз2 - реализация результатов исследования

Г^2 - область применения и перспективы

исследования

з Г] - сравнение с существующими аналогами, выявление

конкурентных преимуществ

з Г2 - техническая значимость продукции

3 Y - инновационная составляющая з Гз - возможность коммерциализации проекта

з У4 - наличие плана реализации проекта

з Гз - состояние разработки

з У6 - исследование рынка

з Г7 - экономическая эффективность проекта

Г]4 - уровень публикаций по теме исследования

- патентная чистота исследования

Y4 - научная Гз4 - полученные награды по теме исследования

компетентность автора У4 - полнота обоснования авторской позиции

Гз4 - степень самостоятельности выполнения работы

Г^4 - личностные качества автора

Окончание табл. 1

1 2

У5 - качество представления результатов работы У15 - грамотность изложения

У2 - культура выступления

У35 - качество разработки презентации

У45 - качество иллюстративного материала

У55 - качество ответов на вопросы

1. Формирование системы показателей (Уг- } качества НИР и ИП.

На рис. 1 верхнему уровню соответствует интегральный показатель качества У0 , следующему уровню - основные показатели Ук, нижнему уровню -

■ик

частные критерии У .

Рис. 1. Иерархическая система оценки качества НИР и ИП студентов

2. Определение весовых коэффициентов показателей. Экспертами -членами жюри конкурсного мероприятия - производится ранжирование показателей (первый по значимости критерий имеет ранг 1). Вес аг- показателя У\ определяется по правилу Фишберна:

а, =

2(n - Г + 1)

(n + 1)n

где г - ранг / -го показателя; п - количество показателей.

При этом производится проверка согласованности экспертных оценок, для чего используется коэффициент множественной ранговой корреляции (конкордации):

W =

12S

2 3 m (n - n)

n f m i n m

где S = Z Z rij - n Z Zr

j=1^ i=1

j=1 i=1

сумма квадратов отклонений суммы рангов

Ту каждого показателя от их средней величины; т - количество экспертов.

При наличии одинаковых рангов в ранговой последовательности одного эксперта коэффициент конкордации рассчитывается по формуле

ж=--,

т I

т2(пЪ - п) - - гк)

7=1 к=1

где гк - число одинаковых значений в к -й группе (связке); I - число связок (групп с одинаковыми значениями) в ранговой последовательности 7 -го эксперта.

В зависимости от степени согласованности мнений экспертов коэффициент конкордации может принимать значения от 0 (при полном отсутствии совпадений мнений экспертов) до 1 (при полном совпадении всех ранговых последовательностей экспертов).

Для определения значимости коэффициента конкордации используется критерий Пирсона «хи-квадрат». Для проверки нулевой гипотезы ^0 : Ж = 0 (мнения экспертов не согласованы) при альтернативной : Ж = 1 (мнения

2

экспертов согласованы) вычисляется эмпирическое значение % = т(п - 1)Ж,

2

которое затем сравнивается с критическими %а (п -1), вычисленными для числа степеней свободы (п -1) и соответствующих уровней значимости а .

Коэффициент конкордации значимо отличается от нуля (р < 0,01), если эм-

2

пирическое значение попадает в критическую область %0 01(п -1) .

3. Определение лингвистических переменных и нечетких подмножеств. Полное множество уровней качества Е студенческого проекта разбивается на пять подмножеств вида: Е1 - подмножество «очень низкое качество»; Е2 - подмножество «низкое качество»; Ез - подмножество «среднее качество»; Е4 - подмножество «высокое качество»; Е5 - подмножество «очень высокое качество». Для произвольного показателя качества Г7 полное множество его значений Б{ разбивается на пять подмножеств: Бц - подмножество «очень низкий уровень»; Ву2 - подмножество «низкий уровень»; Б7з - подмножество «средний уровень»; Б74 - подмножество «высокий уровень»; Вуз - подмножество «очень высокий уровень».

Лингвистическая переменная «Уровень показателя Г» имеет терм-множество значений «Очень низкий», «Низкий», «Средний», «Высокий», «Очень высокий». Для описания подмножеств терм-множества вводится система из пяти функций принадлежности трапецеидального вида (рис. 2) на носителе и = [0; 1]:

) =

1, 0 < х < 0,15,

10(0,25-х), 0,15 < х < 0,25, |12(х) = 0, 0,25 < х < 1;

0, 0 < х < 0,15, 10(0,15 - х), 0,15 < х < 0,25,

1, 0,25 < х < 0,35, 10(0,45- х), 0,35 < х < 0,45, 0, 0,45 < х < 1;

Мх) =

0, 0 < х < 0,35, 10(х -0,35), 0,35 < х < 0,45,

1, 0,45 < х < 0,55, ц4(х) = 10(0,65 - х), 0,55 < х < 0,65,

0, 0,65 < х < 1;

0, 0 < х < 0,55, 10(х - 0,55), 0,55 < х < 0,65,

1, 0,65 < х < 0,75, 10(0,85 - х), 0,75 < х < 0,85, 0, 0,85 < х < 1;

Мх) =

0, 0 < х < 0,75, 10(х- 0,75), 0,75 < х < 0,85,

1, 0,85 < х < 1.

Рис. 2. Графики функций принадлежности

Вводится набор узловых точек аг- = {0,1;0,3;0,5;0,7; 0,9}, которые являются абсциссами максимумов соответствующих функций принадлежности и равномерно отстоят друг от друга на носителе и = [0; 1], а также симметричны относительно узла 0,5.

4. Классификация значений показателей и уровня показателей. Каждому частному показателю ставится в соответствие вербально-числовая шкала, например шкала Харрингтона (табл. 2), с помощью которой эксперт осуществляет субъективную оценку значения данного параметра.

Производится классификация текущих значений у частных показателей Ук как критерий разбиения полного множества их значений на подмножества вида В (табл. 3).

Таблица 2

Вербально-числовая шкала Харрингтона

Лингвистическая оценка уровня Числовые значения

Очень высокий 0,8-1,0

Высокий 0,64-0,8

Средний 0,37-0,64

Низкий 0,2-0,37

Очень низкий 0,0-0,2

Таблица 3

Классификация значений показателей

Показатель Критерий разбиения по подмножествам

Bi 1 Bi 2 Bi 3 Bi 4 Bi5

Y1k 0,0 < y1 < 0,2 0,2 < y1 < 0,37 0,37 < y1 < 0,64 0,64 < y1 < 0,8 0,8 < y1 < 1,0

Y2k 0,0<y2 <0,2 0,2 < y2 < 0,37 0,37 < y2 < 0,64 0,64 < y2 < 0,8 0,8<y2 < 1,0

Yk 1n 0,0 < yn < 0,2 0,2 < yn < 0,37 0,37 < yn < 0,64 0,64 < yn < 0,8 0,8<yn < 1,0

Производится классификация текущих значений уу по критерию табл. 3. Результатом проведенной классификации является табл. 4, где ку = 1, если Ъ(у_1) < уг- < Ъу , и ку = 0 в противном случае.

Таблица 4

Классификация уровня показателей

Показатель Значение к

M yi) M yi) M yi) ^4 (yi) M yi)

Y1k кц( y1) ^12( У1) ^13( У1) ^14( У1) ^15( У1)

Y2k ^21( y2) ^22( У2) ^23( У2) ^24(У2) ^25(У2)

Yk 1n ^n!( УП ) ^n2(УП) ^n3(УП) ^n4(УП) ^n5(Уп)

5. Определение значений основных и интегрального показателей.

Значение каждого из основных показателей Ук определяется по формуле

пк 5

двойной свертки: У = ^ а^ ^ ст уку (уу), где а у - узловые точки стандарт-

У=1 у=1

ного классификатора; а^ - вес частного критерия в свертке. Количественное

значение интегрального показателя определяется по формуле

N 5

У0 = ^ ак ^ сту^ку(Ук), где ^ку(Ук) - значение функции принадлежности

к=1 у=1

j -го качественного уровня относительно текущего значения k -го основного показателя; ak - вес основного показателя.

3. Применение методики оценки качества НИР и ИП студентов

Этапы предложенной методики проиллюстрируем на примере оценки конкретного студенческого ИП, представленного на конкурс грантов по программе «Участник молодежного научно-инновационного конкурса -У.М.Н.И.К.».

1. В качестве системы показателей оценивания взята универсальная система, представленная в табл. 1. При этом конкретному ИП студента экспертами дана следующая (усредненная) оценка качества: г/ - низкое, Y^, Y31 -

1 1 2 2 2 2 2 среднее, Y4 - низкое, Y5 - высокое; Y[ - низкое, Y2 , Y3 , Y4 , Y5 - сред-

2 3 3 3 3 3

нее, Yg - высокое; Y1 - очень высокое, Y2 - среднее, Y3 , Y4 , Y5 - высокое, Yg3, Y73 - очень высокое; Y\ - среднее, Y24 - высокое, Y34 - среднее, Y4 - низкое, Y54 - высокое, Yg4 - очень высокое; Y[5 - высокое, Y^5 - очень

высокое, Y35 - высокое, Y45 - среднее, Y55 - высокое.

2. В результате определения весовых коэффициентов основных показателей десятью экспертами получены следующие значения: a1 = 0,2; a2 = 0,267; a3 = 0,333; a4 = 0,133; аз = 0,067. Весовые коэффициенты частных критериев представлены в табл. 5.

Таблица 5

Показатель Вес Значение X

M я) м я) М я) М у i) М yi)

1 2 3 4 5 6 7

Y1 0,333 0 1 0 0 0

0,267 0 0 1 0 0

Y31 0,133 0 0 1 0 0

Y41 0,2 0 1 0 0 0

Y51 0,067 0 0 0 1 0

Yi2 0,19 0 1 0 0 0

y22 0,143 0 0 1 0 0

Y32 0,095 0 0 1 0 0

Y42 0,048 0 0 1 0 0

Y52 0,238 0 0 1 0 0

Y62 0,286 0 0 0 1 0

Yi3 0,214 0 0 0 0 1

Y23 0,143 0 0 1 0 0

Окончание табл. 5

1 2 3 4 5 6 7

Y33 0,179 0 0 0 1 0

Y43 0,036 0 0 0 1 0

Y53 0,071 0 0 0 1 0

Y3 0,107 0 0 0 0 1

Y73 0,25 0 0 0 0 1

Y14 0,238 0 0 1 0 0

Y24 0,286 0 0 0 1 0

Y34 0,095 0 0 1 0 0

Y44 0,048 0 1 0 0 0

Y54 0,143 0 0 0 1 0

Y4 0,19 0 0 0 0 1

y5 0,267 0 0 0 1 0

Y25 0,2 0 0 0 0 1

Y35 0,133 0 0 0 1 0

Y45 0,067 0 0 1 0 0

Y55 0,333 0 0 0 1 0

3. Этап полностью соответствует описанному в методике.

4. Результаты проведенной фаззификации представлены в табл. 5.

5. В результате определения значений основных показателей получим

У1 = 0,407 ; У2 = 0,519 ; У3 = 0,786; У4 = 0,652 ; У5 = 0,727 ; значение интегрального показателя - У0 = 0,613. Осуществив процесс дефаззификации, т.е. распознав полученный интегральный показатель с помощью используемого пятиуровневого классификатора на [0;1] -носителе, получаем

У0 = (0;0;0,366;0,634;0).

Таким образом, качество рассматриваемого студенческого ИП в целом оценено экспертами как «среднее» на 36,6 % и как «высокое» - на 63,4 %.

Заключение

Предложенная методика оценки качества студенческих научных работ позволяет производить оценивание качества практически любых студенческих научных работ, представленных на различные конкурсные мероприятия. Применение рассмотренной методики дает возможность усовершенствовать процедуры экспертного оценивания, повысить объективность оценки НИР и ИП, обеспечить информационную поддержку процесса принятия решений при проведении конкурсных мероприятий научного и инновационного ха-

рактера для студентов. Разработанные иерархическая система критериев и методика оценки качества студенческих научных работ с применением нечетко-множественной модели использованы при создании системы информационного сопровождения научно-исследовательской и инновационной деятельности студентов в Пензенском государственном технологическом университете [6].

Список литературы

1. Концепция Федеральной целевой программы «Научные и научно-педагогические кадры инновационной России» на 2014-2020 годы [Электронный ресурс]. - URL: http://www.fcpk.ru/Attachment.aspx?Id=2895.

2. Андреева, Т. В. Экспертное оценивание качества научно-исследовательских работ и инновационных проектов студентов / Т. В. Андреева // XXI век: итоги прошлого и проблемы настоящего плюс. - 2013. - № 10 (14). - С. 76-82.

3. Недосекин, А. О. Методологические основы моделирования финансовой деятельности с использованием нечетко-множественных описаний : дис. ... д-ра экон. наук : 08.00.13 / Недосекин А. О. - СПб., 2003. - 280 с.

4. Костенко, С. А. Сравнительный анализ существующих технологий оценки эффективности предприятий / С. А. Костенко // Вопросы современной науки и практики. Университет им. В. И. Вернадского. - 2012. - № 4 (42). - С. 241-248.

5. Штырова, И. А. Мониторинг качества вузовского дополнительного образования на основе интегрированных показателей : дис. ... канд. техн. наук : 05.13.10 / Штырова И. А. - Астрахань, 2014. - 120 с.

6. Андреева, Т. В. Информационная система для организации научно-исследовательской и инновационной деятельности студентов вуза / Т. В. Андреева // Современные информационные технологии : сб. тр. междунар. науч.-техн. конф. -Вып. 19. - Пенза : Изд-во ПГТУ, 2014. - С. 220-225.

References

1. Kontseptsiya Federal'noy tselevoy programmy «Nauchnye i nauchno-pedagogicheskie kadry innovatsionnoy Rossii» na 2014-2020 gody [Elektronnyy resurs] [The conception of the Federal target-oriented program "Scientific and pedagogical manpower of innovative Russia" for 2014-2020 (Online resource)]. Available at: http://www.fcpk.ru/ Attachment.aspx?Id=2895.

2. Andreeva T. V. XXI vek: itogi proshlogo i problemy nastoyashchego plyus [XXI century: results of the past and problems of the future plus]. 2013, no. 10 (14), pp. 76-82.

3. Nedosekin A. O. Metodologicheskie osnovy modelirovaniya finansovoy deyatel'nosti s ispol'zovaniem nechetko-mnozhestvennykh opisaniy: dis. d-ra ekon. nauk: 08.00.13 [Methodological foundations of financial activity simulation using fuzzy-set descriptions: dissertation to apply for the degree of the doctor of economic sciences]. Saint-Petersburg, 2003, 280 p.

4. Kostenko S. A. Voprosy sovremennoy nauki i praktiki. Universitet im. V. I. Vernad-skogo [Problems of contemporary science and practice. University named after V.I. Vernadsky]. 2012, no. 4 (42), pp. 241-248.

5. Shtyrova I. A. Monitoring kachestva vuzovskogo dopolnitel'nogo obrazovaniya na os-nove integrirovannykh pokazateley: dis. kand. tekhn. nauk: 05.13.10 [University additional education quality monitoring on the basis of integrated indexes: dissertation to apply for the degree of the candidate of engineering sciences]. Astrakhan, 2014, 120 p.

6. Andreeva T. V. Sovremennye informatsionnye tekhnologii: sb. tr. mezhdunar. nauch.-tekhn. konf. [Modern information technologies: proceedings of the International scientific and technical conference]. Issue 19. Penza: Izd-vo PGTU, 2014, pp. 220-225.

Андреева Татьяна Владимировна

начальник отдела подготовки научных кадров, Пензенский государственный технологический университет (Россия, г. Пенза, проезд Байдукова, 1а)

E-mail: atv@pgta.ru

Кузнецова Марина Владимировна

кандидат технических наук, доцент, кафедра информационно-вычислительных систем, начальник научно-инновационного управления, Пензенский государственный университет (Россия, г. Пенза, ул. Красная, 40)

E-mail: kmvnio@yandex.ru

УДК 004.9, 378.1 Андреева, Т. В.

Методика оценивания качества научно-исследовательских работ и инновационных проектов студентов на основе нечетких множеств /

Т. В. Андреева, М. В. Кузнецова // Известия высших учебных заведений. Поволжский регион. Технические науки. - 2016. - № 3 (39). - С. 41-52. Б01 10.21685/2072-3059-2016-3-4

Andreeva Tat'yana Vladimirovna Head of the scientific personnel training unit, Penza State Technological University (1a Baydukova lane, Penza, Russia)

Kuznetsova Marina Vladimirovna Candidate of engineering sciences, associate professor, sub-department of data-processing systems, head of the innovation and research division, Penza State University (40 Krasnaya street, Penza, Russia)