CC BY
21
УДК 378.2
DOI: 10.25559/SITITO.14.201804.781-792
МЕТОДИКА РАЗРАБОТКИ ПОДСИСТЕМЫ ОЦЕНИВАНИЯ УРОВНЯ СФОРМИРОВАННОСТИ КОМПЕТЕНЦИЙ ОБУЧАЮЩИХСЯ В ОБЩЕОБРАЗОВАТЕЛЬНЫХ ОРГАНИЗАЦИЯХ ВЫСШЕГО ОБРАЗОВАНИЯ
А.Г. Волков1, С.А. Тюрин2, Г.Н. Гудов3
1 Финансовый университет при Правительстве Российской Федерации, г. Москва, Россия
2 Институт проблем управления имени В.А. Трапезникова РАН, г. Москва, Россия
3 Российский государственный гуманитарный университет, г. Москва, Россия
THE METHOD OF DEVELOPING AN INTELLIGENT AUTOMATED SUBSYSTEM FOR ASSESSING THE LEVEL OF COMPETENCE FORMATION
Andrey G. Volkov1, Sergey A. Tyurin2, Gennadiy N. Gudov3
1 Financial University under the Government of the Russian Federation, Moscow, Russia
2 V.A. Trapeznikov Institute of Control Sciences, Russian Academy of Sciences, Moscow, Russia
3 Russian State University for the Humanities, Moscow, Russia
Волков А.Г., Тюрин С.А., Гудов Г.Н., 2018
Ключевые слова
Аннотация
Компетенция; компетентностный подход; когнитивные карты; когнитивное моделирование; интеллектуальная система; достоверность.
В работе рассмотрен вопрос оценки достоверности уровня сформированности компетенций на основе нечетких продукционных когнитивных карт. Одной из актуальных задач в области информатизации образования остается автоматизация процесса оценивания уровня сформированности компетенций обучающихся. Однако организация процесса измерения и оценки уровня сформированности компетенций, требующая, согласно п.8.1 раздела VIII «Оценка качества освоения основных образовательных программ» Федерального государственного стандарта высшего образования, применения информационных технологий, в настоящее время решается не в полном объеме. Это обусловлено, в том числе, отсутствием рекомендаций по расширению функциональности существующих информационных систем, использующихся в образовательных организациях высшего образования в части мониторинга образовательного процесса ОО ВО в условиях изменения среды функционирования. Для решения задач мониторинга процесса формирования компетенций целесообразной будет разработка подсистемы оценки уровня сформированности компетенций в составе информационной системы образовательной организации. В докладе предлагается методика разработки подсистемы оценивания уровня сформированности компетенций, позволяющая создать информационно-математическое обеспечение такой подсистемы на основе моделей компетенций, алгоритмов их структурной и параметрической идентификации и баз правил логического вывода, формирующих оценку уровня сформированности компетенции. Это обеспечит получение требуемой по показателю достоверности оценки уровня сформированности компетенций.
|Об авторах:|
Волков Андрей Геннадьевич, кандидат технических наук, доцент, департамент анализа данных, принятия решений и финансовых технологий, Финансовый университет при Правительстве Российской Федерации (125993, Россия, г. Москва, Ленинградский пр., д. 49), ORCID: http://orcid.org/0000-0002-2970-1578, volkov-ag@mail.ru
Тюрин Сергей Анатольевич, аспирант, Институт проблем управления им. В.А. Трапезникова РАН (117997, Россия, г. Москва, ул. Профсоюзная, д. 65), ORCID: http://orcid.org/0000-0002-5340-5752, sarge-tyrin@mail.ru
Гудов Геннадий Николаевич, доцент, старший преподаватель, кафедра комплексной защиты информации, факультет информационных систем и безопасности, Институт информационных наук и технологий безопасности, Российский государственный гуманитарный университет (125993, Россия, ГСП-3, г. Москва, Миусская площадь, д. 6), ORCID: http://orcid.org/0000-0003-4826-7081, goodov4747@mail.ru
Modern Information Technologies and IT-Education
' Keywords Abstract
i
Competence; competence In the article the question of an estimation of reliability of level of formation of the competences on the
approach; cognitive maps; basis of indistinct production cognitive maps is considered. The paper considers the issue of assessing the
cognitive modeling; intellectual reliability of competence level based on fuzzy production cognitive maps. The automation of the process system; reliability. of assessing students' competence level remains one of the urgent tasks in the field of informatization of
education. However, the organization process of measuring and assessing the competence level, which demands the usage of information technologies, is currently not fully determined. This is due, inter alia, to the lack of recommendations for expanding the functionality of the existing informational systems used in higher education institutions for monitoring their educational process in the context of changes in the functioning environment. To monitor the forming of competencies, it is important to develop a subsystem for assessing the competence level as a part of the information system of educational organization. In modeling the process of assessing the level of development of students' competencies, weakly structured non-formalized information is used, therefore, it is advisable to use cognitive technologies when building models. The analysis of existing methods for formalizing knowledge and experience of experts allowed to determine that when developing a subsystem for assessing the level of competence formation, it is advisable to combine (hybridization) technologies that use, depending on the type of tasks, the positive properties of production, fuzzy and neural network models that complement the methods of classical expert assessment. However, the insufficiency of the methodological substantiation of the development of models and algorithms of the subsystem for assessing the level of competence development significantly reduces the reliability of the estimates obtained. The report proposes a methodology for developing a subsystem for assessing the level of competence formation, which allows creating information-mathematical support for such subsystems based on competence models, algorithms for their structural and parametric identification, and databases that help to assess the competence level. This method describes a system of competence level assessment based on reliability criterion. Thus, the proposed methodology for developing a cognitive subsystem improves the accuracy of assesing the level of competence development based on the creation of its information and mathematical software using fuzzy production cognitive competence models, neuro-fuzzy algorithms and the fuzzy Mamdani fuzzy inference rule base for their structural and parametric identification. At the end of the work, it is also proposed to consider a number of sources devoted to the formation of students' competences in subject areas [4-34], which will be considered in the further works of the authors.
Введение
В настоящее время практически во всех образовательных организациях высшего образования введены в эксплуатацию и используются информационные системы, обеспечивающие управление образовательным процессом, без которых эффективность и оперативность работы структурных подразделений существенно снижается.
Одной из актуальных задач в области информатизации образования остается автоматизация процесса оценивания уровня сформированности компетенций обучающихся. Однако организация процесса измерения и оценки уровня сформированности компетенций, требующая, согласно п.8.1 раздела VIII «Оценка качества освоения основных образовательных программ» Федерального государственного стандарта высшего образования, применения информационных технологий, в настоящее время решается не в полном объеме.
Это обусловлено, в том числе, отсутствием рекомендаций по расширению функциональности существующих информационных систем, использующихся в образовательных организациях высшего образования в части мониторинга образовательного процесса ОО ВО в условиях изменения среды функционирования. Для решения задач мониторинга процесса формирования компетенций целесообразной будет разработка подсистемы оценки уровня сформированности
компетенций в составе информационной системы образовательной организации.
Отметим, что при моделировании процесса оценивания уровня сформированности компетенций обучающихся используются слабоструктурированная неформализованная информация, поэтому при построении моделей целесообразно использование когнитивных технологий.
Анализ существующих методов формализации знаний и опыта экспертов позволил определить, что при разработке подсистемы оценки уровня сформированности компетенций целесообразно сочетание (гибридизация) технологий, использующих в зависимости от типа решаемых задач положительные свойства продукционных, нечетких и нейросетевых моделей, дополняющих методы классического экспертного оценивания. Однако недостаточность методического обоснования разработки моделей и алгоритмов подсистемы оценки уровня сформированности компетенций существенно снижает достоверность получаемых оценок.
В докладе предлагается методика разработки подсистемы оценивания уровня сформированности компетенций, позволяющая создать информационно-математическое обеспечение такой подсистемы на основе моделей компетенций, алгоритмов их структурной и параметрической идентификации и баз правил логического вывода, формирующих оценку уровня сформированности
Современные информационные технологии и ИТ-образование
IT education: methodology, methodological support
компетенции. Это обеспечит получение требуемой по показателю достоверности оценки уровня сформированности компетенций.
Основные этапы методики разработки подсистемы оценивания уровня сформированности компетенций
Этап 1. Формирование групп нечетких продукционных когнитивных моделей (НПКМ) компетенций {в(К^)} и алгоритмов их формирования по видам компетенций на основе компетентностной модели специалиста.
Для построения модели компетенции целесообразно выбрать способ получения информации, метод обработки экспертных оценок с учетом способа их получения, реализацию методов сбора и обработки информации в разрабатываемой подсистеме.
Для обеспечения качества формирования компетенций и возможности его контроля на различных этапах учебные дисциплины должны образовывать связанную структуру. Известные когнитивные модели компетенций [3] реализованы на основе нечетких когнитивных карт Коско [1], устойчивость которых обеспечивается введением дисконцептов для компенсации отрицательного влияния концептов, однако в обучении отрицательное влияние дисциплин практически не проявляется. Кроме того, такие модели не всегда позволяют их использовать в системах логического вывода. Поэтому последовательное или параллельное изучение дисциплин, формирующих компетенцию, формализуем в виде структуры нечеткой продукционной когнитивной модели компетенции, в графе которой каждый путь представляет собой правило вывода продукционного типа, что позволяет достаточно просто автоматизировать процесс определения уровня сформированности компетенции. Отметим, что в случае описания множества компетенций обобщенная модель может быть представлена в виде нечетких многослойных продукционных когнитивных карт.
Для формирования таких моделей (концептов К и начальных весов продукций W, отражающих связи между ними) используем сочетание методов мозговой атаки (штурма) и анкетный опрос [3].
Процедура формирования множества дисциплин и их связей включает следующие шаги:
формирование групп экспертов и оценка ценности их мнений;
расчет матриц связей (инциденций) основных дисциплин (концептов);
расчет матриц связей (инциденций) дисциплин, косвенно влияющих на основные дисциплины (концептов);
При реализации метода мозгового штурма вырабатывается коллективное решение экспертов о множестве дисциплин, формирующих компетенцию.
В группу экспертов необходимо привлекать следующие категории экспертов:
ведущих представителей профессорско-
преподавательского состава (ППС), реализующих подготовку специалистов по конкретному направлению (специальности);
выпускниковподаннойспециальности,зарекомендовавших себя и высоко оцениваемых с профессиональной точки зрения работодателями;
представителей министерства образования,
контролирующих образовательную деятельность.
Состав группы может корректироваться в зависимости от профиля образовательной организации.
Очевидно, что после обработки в подсистеме оценки уровня сформированности компетенций суждения экспертов о множестве концептов и весов связей между ними в модели в общем случае будут не согласованны. Поэтому целесообразно обобщение индивидуальных оценок и их согласование путем формирования шкалы измерения ценности мнений экспертов. Полученные на основании такой шкалы значения могут быть использованы в качестве весовых коэффициентов экспертных оценок при формировании структуры модели и весов связей между ее компонентами на втором этапе процедуры оценивания.
Процедура опроса экспертов
Процедура опроса экспертов для формирования структуры нечетких продукционных когнитивных моделей и структурной идентификации модели в пошаговой форме имеет следующий вид [3]:
1. Эксперты на основе компетентностной модели федерального государственного стандарта высшего образования с использованием метода коллективного опроса создают перечень дисциплин D, непосредственно влияющих на формирование каждой компетенции. Таким образом, формирование базы данных компетенций каждого направления (специальности) подготовки происходит посредством коллективного опроса.
Матрицы связей Р (инцидентности), определяющие зависимость компетенций от дисциплин D, прямо влияющих на формирование компетенции и формирующие структуру модели компетенции, имеют следующий вид (1) и могут быть реализованы в виде реляционных таблиц баз данных подсистемы оценки уровня сформированности компетенций.
P =
PD1K1 PDK2
PD2K1 PD2K2 Pdk PDnK2
PDKm
PD2Km
PDnKm
(1)
где Di - дисциплина, прямо влияющая на компетенцию, К -компетенция (концепт).
Матрица W и соответствующая ей база данных содержат информацию о перечне дисциплин D, непосредственно формирующих каждую компетенцию компетентностной модели ФГОС.
W =
wdk wDK2
w,
DKm
w
wn
D2 K D2 K2
w
WDK WDK - WDKm
(2)
Modern Information Technologies and IT-Education
7ЯЛ ИТ-образование: методология, А.Г. Волков,
методическое обеспечение С.А. Тюрин, ГН. Гудов
причем
11, если Di формирует К. и, иначе
I = 1, п, ] = 1, т
(3)
п - количество изучаемых дисциплин, т - количество формируемых компетенций. 2. Для выявления связей между основными дисциплинами D НПКМ и дисциплинами d, косвенно влияющими на них, сформируем матрицу V.
V =
Vd^Dl Vd^D2 Vd2D Vd2D2
VdlD VdlD2
rd, Dk
(4)
причем
1, если ds формирует Dt 0, иначе
дисциплины для формирования компетенции (дисциплины). При этом наиболее важной дисциплине присваивается ранг 1, а наименее - ранг г (г - количество оцениваемых дисциплин). В результате упорядочения дисциплин в подсистеме оценки уровня сформированности компетенции формируется ранжированный ряд, который в виде структуры данных представляется как отсортированный массив весов продукций для основных и косвенных дисциплин.
После процедуры нестрогого ранжирования необходима проверка согласованности мнений экспертов. Критерием согласованности является значение коэффициента конкордации (RR) [3], используемое в правиле принятия решения. В зависимости от требований к уровню согласованности
ЯЯ е[0,5;0,7].
Расчет коэффициента конкордации проводится на основе последовательного определения среднего ранга дисциплин и вариации рангов относительно среднего [5]:
12$
=1 т\е - к) - Т
I=1
(6)
(5)
5 = 1, I, t = 1, k, I — число дисциплин
Матрица V достаточно просто реализуется операцией декартового произведения при организации связей между соответствующими таблицами базы данных разрабатываемой подсистемы.
Таким образом, результатом процедуры является предварительная настройка НПКМ компетенции, характеризующая ее структуру и содержащая информацию о том, какие дисциплины прямо, а какие косвенно формируют компетенцию.
В подсистеме оценки уровня сформированности компетенций такая структура может быть реализована через иерархию таблиц реляционной базы данных. Отметим, однако, что структура модели компетенции не содержит весов связей (продукций) между ее концептами (дисциплинами). Поэтому для окончательного формирования моделей компетенций целесообразно проведение параметрической идентификации.
Этап 2. Нейронечеткая параметрическая идентификация модели {в(К*, в каждой группе на основе комплексирования алгоритмов экспертного оценивания весов продукционных правил и их нейронечеткой оптимизации с учетом ограничений постановки задачи.
На втором этапе методики используем нейронечеткий алгоритм настройки весов НПКМ компетенции, который состоит из следующих шагов:
1. Нестрогое упорядочение массива дисциплин модели каждой компетенции.
Объектами ранжирования являются дисциплины, прямо и косвенно влияющие на компетенцию в НПКМ. В качестве основания ранжирования выберем степень важности
где Т. = — У (V3 -1 ) (7)
' 12 7 7
Для реализации расчета коэффициента конкордации результаты промежуточных расчетов целесообразно представлять в табличном виде и реализовывать их в отношениях реляционной БД.
В случае согласованности мнений экспертов для вычисления весов продукционных правил НПКМ, целесообразно использовать правило Фишберна:
П .
2(N - п +1) (N +1) N
(9)
Использование правила Фишберна в нейронечетком алгоритме позволяет вычислить весовые коэффициенты влияния дисциплин(продукций)наформирование компетенций. Полученные веса продукций могут быть представлены в виде матриц весовых коэффициентов продукций в НПКМ компетенции:
R =
(10)
где <<Eqn0011.eps>>- вес влияния основной дисциплины Di на компетенцию К,
Q =
Чал
(11)
где qdD - вес влияния косвенной дисциплины ds на дисциплину Dt.
2. В случае несогласованности экспертных оценок традиционно меняют состав экспертной группы, однако в условиях реализации образовательной деятельности
Современные информационные технологии и ИТ-образование
образовательных организаций высшего образования это, зачастую, затруднено. Поэтому целесообразно использовать когнитивные технологии, например, нейронечеткий подход, обеспечивающий получение согласованной оценки весов продукционных правил.
Выбор того или иного вида нейронечеткой модели обуславливается целесообразностью расчета выходного веса продукционного правила в соответствии с типом модели. Основные этапы построения нейронечетких моделей указаны в [2], но формирование обучающей выборки, ее репрезентативность и объем существенным образом влияют на достоверность получаемых оценок весов продукционных правил.
Таблица обучения, используемая в нейронечетком алгоритме определения согласованных оценок продукций, разбивается на две части, в одной из которых содержатся результаты опроса экспертов в виде значений степеней близости в диапазоне интервала [0;1] различных значений веса продукции, в другой части тестовая выборка. При этом обязательным условием является то, что значения 1, 0,9 и 0,8 должны иметь по три числовых показателя из матрицы весов НПКМ. В результате такого формирования обучающей выборки создается неизбыточное нечеткое отношение, содержащее число правил, определяемое по выражению: N = 3*m, где m - количество экспертов. Согласование (настройка) весов достигается применением одного из методов оптимизации при обучении нейронечеткой модели.
Таким образом, на втором этапе методики использование комплексирования традиционных методов экспертного оценивания и нейронечетких методов обеспечивает повышение достоверности экспертных оценок по определению весов продукций НПКМ.
Этап 3. В качестве объекта в подсистеме оценивания уровня сформированности компетенций выступает обучающийся, получение адекватной модели которого затруднено. Поэтому одним из важных этапов разработки такой подсистемы является формализация знаний, умений и навыков обучающегося, а также его морально-психологических особенностей.
Результат формализации может быть представлен в виде модели обучающегося вида: Мобуч=<Е^к,РД,>, в которой на основе разработанных шкал определяется состав входного вектора и диапазоны значений параметров, характеризующих образовательный уровень (E), навыки, соответствующие специальности (SS), личностные качества обучающихся (PP) и уровень возмущающих воздействий (J).
Обучающийся может соответствовать заданным требованиям как полностью, так и не в полной мере или вообще не соответствовать, причем вероятностные характеристики параметров обучаемого получить достаточно сложно. Кроме того, некоторые параметры обучаемого (например, оценка его социально-психологических качеств, стремление к самостоятельной работе и т.п.) сложно формализовать в «сильных» (количественной или интервальной) шкалах. Поэтому диапазоны параметров задаются экспертами. Полученную от экспертов эвристическую информацию необходимо представить в форме, удобной для обработки и анализа. Для формализации эвристической информации целесообразно использовать порядковые шкалы, позволяющие установить порядковые соотношения между значениями параметров и
судить об отношениях «лучше - хуже» между ними.
С учетом требований нормативно-правовых актов, морально-психологических характеристик обучающегося, особенностей функциональных обязанностей специалистов экспертно выбраны следующие элементы оценки уровня сформированности компетенции, определяющие на основе порядковых шкал множество значений векторов в модели обучающегося.
Для оценки образовательного уровня обучающегося (Е) целесообразно использовать 100-балльную рейтинговую шкалу, в которой диапазонам баллов могут быть поставлены в соответствие следующие термы нечеткой переменной: ON (ОН) - уровень «очень низкий»», [0; 50]; N (Н) - уровень «низкий»», [50; 70]; S - уровень «средний»», [70; 85]; V - уровень «высокий»», [85; 100].
Характеристика специалиста (PP) состоит из нечеткой множественной оценки:
морально-психологических качеств (MPQ - Moral psychological qualities англ.): Weak- уровень «слабый»», [0,1; 0,3], Average - уровень «средний»», [0,3; 0,7], High - уровень «высокий»», [0,7; 0,9], Very high - уровень «очень высокий»», [0,9; 1];
времени становления в должности (TBO - Time of becoming in office англ.), заданной следующими множествами: от 0 до 30 дней - tall «высокая», от 31 до 40 дней - sufficient «достаточная», от 41 до 60 дней - low «низкая»;
соответствия занимаемой должности (CP - Compliance Position англ.), заданного множествами: Corresponds - уровень «не соответствует»», [0; 0,3], Limited - уровень «соответствует с ограничениями», [0,3; 0,7], Not corresponds - уровень «соответствует», [0,7; 1];
Для оценки уровня сформированности навыков специалиста (SS - Specialist skills) используем временные характеристики выполнения нормативов [6]: Excellent - оценка «отлично», [0; 60], Decently - оценка «хорошо», [61; 65], Satisfactorily - оценка «удовлетворительно», [66; 70], Not satisfactorily - оценка «неудовлетворительно», [>71].
В качестве показателя объема материала, изученного обучающимся и сохранившегося в памяти по истечении времени, используется показатель затухания памяти (MM) [4], который аппроксимируется функцией:
к
MM =-, (12)
lg t+C
где К=1,84, а С=1,25, а t - время в минутах.
Предложенный вид модели обучающегося удобно представить в виде таблицы «Модели обучающихся» в базе данных подсистемы оценивания уровня сформированности компетенций.
Этап 4. Выбор рационального по показателю достоверности алгоритма уровня оценивания сформированности компетенций на основе моделей обучающихся и настроенной модели компетенций. Такой алгоритм может быть представлен в виде: нечеткого отношения, нейросетевых операторов оценивания и/ или их комбинаций. Выбор вида экстремального алгоритма во многом обусловлен объемом статистических данных, заданных таблицей обучения.
В подсистеме оценивания уровня сформированности компетенций из-за недостаточности статистических данных (например, на начальных этапах оценивания уровня сформиро-
Modern Information Technologies and IT-Education
ванности компетенций) наиболее целесообразно построение рационального алгоритма на основе нечетких продукционных моделей (НПМ), имеющих возможности по дообучению.
Синтез рационального алгоритма заключается в разработке такой базы правил и оптимизации ее параметров с учетом весов НПКМ компетенции. Построение нечеткой продукционной модели включает следующие этапы:
1. Выбор способа нечеткого вывода заключений об уровне сформированности компетенций.
2. Синтез базы нечетких продукционных правил.
3. Определение процедуры введения нечеткости.
4. Выбор способа агрегирования степеней истинности предпосылок по каждому из нечетких продукционных правил.
5. Определение процедуры активизации заключений каждого из нечетких продукционных правил.
6. Выбор способа аккумулирования активизированных заключений всех нечетких продукционных правил для выходной переменной.
7. Выбор метода приведения к четкости.
8. Параметрическая оптимизация базы нечетких правил и получение рационального алгоритма.
В качестве способа нечеткого вывода целесообразно использовать один из прямых способов нечеткого вывода, состоящий из трех этапов:
1. Задание нечеткой импликации в варианте Т-импликации в соответствии с моделью нечеткого вывода Мамдани (13).
И (х у) = тт&л (хХ Ив (У)} (13)
2. Задание нечеткого условия (факта) типа «хч есть а4», где хч - фактическое значение входного вектора, характеризующего обучающегося в соответствии с моделью; а4 - нечеткое множество, определяемое значением хч и соответствующей ему функцией принадлежности ^ , е[0;1].
3. Формирование вывода «у4 есть Ь», где у4 - полученное значение переменной, а Ь - нечеткое множество уровней сформированности компетенций с функцией принадлежности
ив е[0;1].
Каждое такое правило может быть представлено в виде:
в = А^ = А«(А к В), (14)
где «•» - операция композиции (свертки) нечетких правил в нечеткую оценку уровня сформированности компетенций, а R - нечеткое отношение, представляющее собой нечеткое подмножество декартового произведения XxY полного множества предпосылок X и заключений Y с функцией принадлежности
^К (X У).
В качестве операции композиции (свертки) выберем (тах-тт) композиции вида:
Ив (у) = таМтп[Нл-(х)'Ик(х,у)]}, (15)
хеХ
При формировании простых нечетких высказываний в предпосылках и заключениях необходимо задать функции принадлежности соответствующих нечетких множеств. Целесообразно использование косвенных методов определения значений функции принадлежности, в частности, метода парных сравнений.
При формировании составных нечетких высказываний в базе правил используются нечеткие логические операции «И», «ИЛИ», относящиеся к разным компонентам вектора, характе-
ризующего обучающегося.
Структура базы нечетких продукционных правил подсистемы оценивания уровня сформированности компетенций может быть представлена структурой MISO (Multi Inputs - Single Output, много входов - один выход).
Важным этапов синтеза рационального алгоритма оценивания уровня сформированности компетенций является создание базы нечетких продукционных правил, которая должна удовлетворять требованиям непрерывности, непротиворечивости и полноты.
Процедура введения нечеткости основана на получении значений функции принадлежности заданных нечетких множеств порядковой шкалы для всех компонентов входного вектора характеристик обучающегося.
С точки зрения последующей оптимизации базы правил следует выбирать нелинейные функции принадлежности, задаваемые минимальным числом параметров. Поэтому в подсистеме оценивания уровня сформированности компетенций используются функция принадлежности гауссового типа, а также s- и z-функций для задания нечетких множеств на границах интервалов значений вектора характеристик обучающегося.
При агрегировании степени истинности предпосылок правил целесообразно использование операции min-конъюнкции.
Активизация заключений правил выполняется на основе операции композиции (свертки), модифицированной для нечеткой продукции из базы правил, между определенным на предыдущем этапе агрегированным значением степеней истинности предпосылок этого правила и соответствующей функции принадлежности /Л B (y) его заключения об уровне сформи-рованности компетенции.
Наиболее простым с точки зрения реализации в подсистеме является использование min-активизации:
¡в(у) = min{«,-, ¡Лв-{у)} (16)
Одним из способов оптимизации базы правил является введение весовых коэффициентов, характеризующих степень влияния правила на нечеткий вывод об уровне сформирован-ности компетенции. Такой способ является альтернативой параметрической идентификации базы правил при нейронечетком моделировании подсистемы.
После получения активизированных заключений для выходной переменной каждого правила выполняется процедура их аккумулирования на основе операции max-дизъюнкции.
Следующим этапом разработки алгоритма выступает выбор метода приведения к четкости, заключающийся в дефаззи-фикации аккумулированных правил и получении четкого значения уровня сформированности компетенций.
В случае решения задачи аппроксимации функции сфор-мированности компетенции это четкое значение соотносится с интервалами следующей шкалы: «начальный», [0,1; 03), «базовый», [0,3; 0,5), «продвинутый», [0,5; 0,7), «высокий», [0,7; 0,9], «весьма высокий», (0,9; 1].
Отметим, что наряду с обозначенным выше подходом алгоритм может быть построен как нечеткий классификатор. При этом вычисление четкого значения не реализуется, а значение функции принадлежности к классу, соответствующему тому или иному уровню сформированности компетенции, определяет достоверность полученной оценки.
При накоплении достаточного объема статистических данных по оцениванию уровня сформированности компетен-
Современные информационные технологии и ИТ-образование
ций, предлагаемый алгоритм может быть уточнен в результате оптимизации параметров функций принадлежности, входных значений вектора обучающегося и выходных значений уровня сформированности компетенций. Кроме того, начальная база продукционных правил может быть дополнена новыми зависимостями.
Этап 5. Верификация алгоритма на основе тестовой выборки Т .
тест
Тестовая выборка представляет собой множество векторов характеристик обучающихся, неиспользованных при настройке базы правил подсистемы оценивания уровня сформирован-ности компетенций, дополненное известными решениями об уровне сформированности компетенций обучающихся.
Достоверность (^ ) оценки уровня сформированности компетенций на этапе верификации может быть представлена как функция вероятности ошибки:
. (17)
Я = 1-Р„„. = 1-:
N
где N - число обучающихся, уровень компетенции которых рассчитан подсистемой неправильно;
N - общий объем тестовой выборки Т .
тест
Если рассчитанная достоверность по тестовой выборке не удовлетворяет требованиям (меньше 95%), то необходимо провести повторно этапы структурной и/или параметрической идентификации модели компетенции и оптимизировать созданную базу правил, реализующую алгоритм оценки уровня сформированности компетенции.
Общую компетентность специалиста можно рассчитать, исходя из известных выражений [4] теории вероятностей для зависимых (в случае взаимного влияния компетенций друг на
друга) и независимых (в случае отсутствия взаимного влияния) величин.
Этап 6. Статистическое оценивание результатов работы предложенной подсистемы для обучающихся, описания которых не вошли в обучающую и тестовую выборку, может проводиться классическими методами оценки параметров распределения по выборке из генеральной совокупности. При этом алгоритмы расчета достоверности получаемых результатов зависят от объема выборки и оцениваемого параметра.
Для малых выборок (п<30) и оценки математического ожидания уровня сформированности компетенции для каждого интервала шкалы следует использовать левостороннее распределение Стьюдента при заданном значении доверительного интервала. Доверительная вероятность при этом рассчитывается для одной и той же группы оцениваемых обучающихся, но для разных методик оценки уровня сформированности компетенций. Затем полученные величины доверительных вероятностей сравниваются, и делается вывод о достижении цели разработки системы.
В проведенном экспериментальном исследовании для группы обучающихся по направлению подготовки 09.00.00 «Информатика и вычислительная техника» в составе 20 человек уровень компетенции каждого их них оценивался по традиционной методике с использованием фонда оценочных средств государственной итоговой аттестации (междисциплинарного экзамена и выпускной квалификационной работы) и с помощью разработанной когнитивной подсистемы оценивания уровня сформированности компетенций. Полученные результаты представлены в таблице 1.
Таблица 1. Результаты оценивания экспериментальной группы по компетенции ПК-32 Table 1. The evaluation results of the experimental group on the competence of PC-32
Оценка с помо1 си цью разработанной стемы Оценка с помощ мет ью традиционной одики (опенка талон работодателя)
Уровень сформ-ти К Терм Уровень сформ-ти К Терм Уровень сформ-ти К Терм
Обучающийся 1 0,97 «весьма высокий» 0,91 «весьма высокий» 0,99 «весьма высокий»
Обучающийся 2 0,9 «высокий» 0,2 «высокий» 0,9 «высокий»
Обучающийся 3 0,77 «высокий» 0,7 «высокий» 0,9 «высокий»
Обучающийся 4 0,7 «высокий» 0,6 «продвинутый» 0,7 «высокий»
Обучающийся 5 0,54 «продвинутый» 0,51 «продвинутый» 0,6 «продвинутый»
Обучающийся 6 0,6 «продвинутый» 0,6 «продвинутый» 0,5 «продвинутый»
Обучающийся 7 0,4 «базовый» 0,7 «высокий» 0,4 «базовый»
Обучающийся 8 0,8 «высокий» 0,8 «высокий» 0,9 «высокий»
Обучающийся 9 0,9 «высокий» 0,9 «высокий» 0,8 «высокий»
Обучающийся 10 0,9 «высокий» 0,9 «высокий» 0,7 «высокий»
Обучающийся 11 0,6 «продвинутый» 0,1 «начальный» 0,6 «продвинутый»
Обучающийся 12 0,2 «начальный» 0,2 «начальный» 0,5 «продвинутый»
Обучающийся 13 0,3 «базовый» 0,3 «базовый» 0,4 «базовый»
Обучающийся 14 0,87 «высокий» 0,78 «высокий» 0,9 «высокий»
Обучающийся 15 0,78 «высокий» 0,75 «высокий» 0,8 «высокий»
Обучающийся 16 0,62 «продвинутый» 0,6 «продвинутый» 0,7 «продвинутый»
Обучающийся 17 0,67 «продвинутый» 0,54 «продвинутый» 0,7 «продвинутый»
Обучающийся 18 0,7 «высокий» 0,7 «высокий» 0,7 «высокий»
Обучающийся 19 0,7 «высокий» 0,45 «базовый» 0,4 «базовый»
Обучающийся 20 0,31 «базовый» 0,34 «базовый» 0,4 «базовый»
Проведем оценивание для группы обучающихся с уровнем компетенции «высокий», представленной в таблице 2.
Modern Information Technologies and IT-Education
Таблица 2. Результаты оценивания для Table 2. The Evaluation results for
группы обучающихся с уровнем компетенции «высокий» a group of students with a "high" level of competence
Оценка с помощью разработанной системы Оценка с помощью традиционной методики Эталон (оценка работодателя)
Уровень сформ-ти К Терм Уровень сформ-ти К Терм Уровень сформ-ти К Терм
Обучающийся 2 0,9 «высокий» 0,2 «высокий» 0,9 «высокий»
Обучающийся 3 0,77 «высокий» 0,7 «высокий» 0,9 «высокий»
Обучающийся 4 0,7 «высокий» 0,6 «продвинутый» 0,7 «высокий»
Обучающийся 8 0,8 «высокий» 0,8 «высокий» 0,9 «высокий»
Обучающийся 9 0,9 «высокий» 0,9 «высокий» 0,8 «высокий»
Обучающийся 10 0,9 «высокий» 0,9 «высокий» 0,7 «высокий»
Обучающийся 14 0,87 «высокий» 0,78 «высокий» 0,9 «высокий»
Обучающийся 15 0,78 «высокий» 0,75 «высокий» 0,8 «высокий»
Обучающийся 18 0,7 «высокий» 0,7 «высокий» 0,7 «высокий»
Величины доверительных вероятностей для доверительного интервала 0,1 составили соответственно 0,997 и 0,843, что позволяет сделать вывод, что прирост достоверности составил 15,4%. Для других уровней компетенции также наблюдается прирост достоверности.
Заключение
Таким образом, предлагаемая методика разработки когнитивной подсистемы позволяет повысить достоверность оценки уровня сформированности компетенций на основе создания ее информационно-математического обеспечения с использованием нечетких продукционных когнитивных моделей компетенции, применением нейронечетких алгоритмов их структурной и параметрической идентификации и нечеткой базы правил модели нечеткого вывода Мамдани.
В завершении работы также предлагается рассмотреть ряд источников посвященных формированию компетенций обучающихся в предметных областях [4-34], которые будут рассмотрены в дальнейших работах авторского коллектива.
Список использованных источников
[1] Kosko B. Fuzzy cognitive maps // International Journal of Man-Machine Studies. 1986. Vol. 24, issue 1. Pp. 65-75. DOI: 10.1016/S0020-7373(86)80040-2
[2] Борисов В.В., Круглое В.В., Федулов А.С. Нечеткие модели и сети. М.: Горячая линия - Телеком, 2007. 284 с.
[3] Сибикина И.В. Оценка влияния дисциплин на формирование компетенции обучаемого // Фундаментальные и прикладные исследования университетов, интеграция в региональный инновационный комплекс. 13-15 октября 2010 года. Астрахань: Изд-во АГТУ 2010. Т. 1. С. 253-255.
[4] Уральское В.А., Атясоеа Е.В., Череякоеа А.М. Исследование когнитивных способностей операторов сложных технических систем на основе использования учебно-тренировочных средств // Нейрокомпьютеры и их применение. 2017. С. 231-232. URL: https://elibrary.ru/item. asp?id=28850386 (дата обращения: 20.08.2018).
[5] Лобанов И.А., Рожнов А.В. Оценивание эффективности проблемно-ориентированнной системы управления на ранних стадиях жизненного цикла комплекса ЛА с использованием модели FREE DISPOSAL HULL // Фунда-
ментальные проблемы системной безопасности и устойчивости. Елец: ЕГУ им. И.А. Бунина, 2014. С. 377-379. URL: https://elibrary.ru/item.asp?id=21706659 (дата обращения: 20.08.2018).
[6] Легович Ю.С., Рожнов А.В., Лобанов И.А., Чернявский Д.В. Управление развитием в аспекте системной интеграции на предпроектном этапе жизненного цикла проблемно-ориентированных систем // Имитационное моделирование. Теория и практика» (ИММ0Д-2015). М.: ИПУ РАН, 2015. Т. 2. С. 163-167. URL: https://elibrary.ru/item. asp?id=25420605 (дата обращения: 20.08.2018).
[7] Рожнов А.В. О виртуальном молодёжном научном круглом столе на страницах научно-технического журнала «Нейрокомпьютеры: разработка, применение» // Нейрокомпьютеры и их применение. 2016. С. 19-21. URL: https://elibrary.ru/item.asp?id=25673788 (дата обращения: 20.08.2018).
[8] Рожнов А.В., Лобанов И.А. Разработка предложений по системной интеграции задач в единой технологии мониторинга чрезвычайных ситуаций // Управление развитием крупномасштабных систем MLSD'2016. М.: ИПУ РАН, 2016. Т. II. С. 306-310. URL: https://elibrary.ru/item. asp?id=28816273 (дата обращения: 20.08.2018).
[9] Гудов Г.Н., Рожнов А.В., Лобанов И.А., Купач О.С. Методический подход к описанию сложных эволюционирующих систем при реализации угроз безопасности информации // Проблемы управления безопасностью сложных систем. М.: РГГУ 2013. С. 61-65. URL: https://elibrary.ru/item. asp?id=22429501 (дата обращения: 20.08.2018).
[10] Рожнов А.В., Карпов В.В. Разработка предложений по созданию единых технологий с перспективными источниками энергии в космической отрасли // Управление развитием крупномасштабных систем MLSD'2016. М.: ИПУ РАН, 2016. Том II. С. 150-154. URL: https://elibrary.ru/item. asp?id=28813658 (дата обращения: 20.08.2018).
[11] Антиох Г.М., Рожнов А.В. Исследование задач интегрированной системы моделирования и анализа эффективности среды функционирования в развитии идеи Joint Warfare System // Системы проектирования, технологической подготовки производства и управления этапами жизненного цикла промышленного продукта (CAD/CAM/PDM-2014). М.: ООО «Аналитик», 2014. С. 101-103. URL: https://elibrary. ru/item.asp?id=23223499 (дата обращения: 20.08.2018).
Современные информационные технологии и ИТ-образование
IT education: methodology, methodological support
[12] Легович Ю.С., Миодушевский П.В., Рожнов А.В. Системная интеграция и ускоренное макетирование смешанной ро-бототехнической группировки на предпроектной стадии жизненного цикла // Системы проектирования, технологической подготовки производства и управления этапами жизненного цикла промышленного продукта (CAD/ [21] CAM/PDM-2016). М.: ООО «Аналитик», 2016. С. 199-202
URL: https://elibrary.ru/item.asp?id=27645837 (дата обращения: 20.08.2018).
[13] Купач О.С., Рожнов А.В., Гудов Г.Н. Диверсификация технологии анализа среды функционирования в прикладных сервисах геоинформационных интеллектных систем // Шестая всероссийская мультиконференция по [22] проблемам управления. Ростов-на-Дону: ЮФУ 2013. Т.
4 (УРиСС-2013). С. 59-62. URL: https://elibrary.ru/item. asp?id=34857409 (дата обращения: 20.08.2018).
[14] Легович Ю.С., Рожнов А.В., Руженцев О.И. Интеллектуальные права и их защита при разработке прорывных технологий и компонентов гибридных интеллектуальных и интеллектуализированных систем // Нейрокомпьютеры
и их применение. М.: ФГБОУ ВО МГППУ 2017. С. 49-50. [23] URL: https://elibrary.ru/item.asp?id=28850272 (дата обращения: 20.08.2018).
[15] Рожнов А.В. Обобщённое представление криптоприми-тива «Sponge» в приложениях «Smarto-технологий // Нейрокомпьютеры и их применение. М.: МГППУ 2016.
С. 24-26. URL: https://elibrary.ru/item.asp?id=25671019 [24] (дата обращения: 20.08.2018).
[16] Рожнов А.В., Лобанов И.А. Стратифицированная модель единого информационно-управляющего поля для формализации особенностей переключения режимов управления смешанными группами пилотируемых и беспилотных летательных аппаратов // Устойчивость и колебания нелинейных систем управления (конференция Пятницкого). М.: ИПУ РАН, 2016. С. 304-307. URL: https://elibrary. [25] ru/item.asp?id=28299646 (дата обращения: 20.08.2018).
[17] Сигов А.С., Нечаев В.В., Рожнов А.В., Лобанов И.А. Методы интеграции и биоинспирированные модели для формирования компонентов виртуальной семантической среды // Депонированные научные работы ВИНИТИ
РАН. 2017. 31-В2017. С. 1-25. URL: https://elibrary.ru/item. [26] asp?id=29338172 (дата обращения: 20.08.2018).
[18] Сигов А.С., Нечаев В.В., Рожнов А.В., Лобанов И.А. Построение версий информационной инфраструктуры с опережением возникновения информационных потребностей управления // Десятая всероссийская мультиконфе-ренция по проблемам управления (МКПУ-2017). Ростов-на-Дону: ЮФУ 2017. Т. 2. Робототехника и мехатро-ника (РиМ-2017). С. 112-115. URL: https://elibrary.ru/item. [27] asp?id=29979716 (дата обращения: 20.08.2018).
[19] Рожнов А.В., Цыпелев В.В. Особенности формирования единой технологии летательного аппарата с учётом положений Режима контроля за ракетной технологией // Системы проектирования, технологической подготовки производства и управления этапами жизненного цикла промышленного продукта (CAD/CAM/PDM-2016). М.: [28] ООО «Аналитик», 2016. С. 396-398. URL: https://elibrary. ru/item.asp?id=27645896 (дата обращения: 20.08.2018).
[20] Гудов Г.Н., Рожнов А.В., Лобанов И.А. О новых средствах контрфактического прогнозирования и сопредельном
потенциале информационно-аналитического обеспечения сложных систем // Проблемы прогнозирования чрезвычайных ситуаций. М.: ФКУ Центр «Антистихия» МЧС России, 2017. С. 263-268. URL: https://elibrary.ru/ item.asp?id=32714929 (дата обращения: 20.08.2018). Лепешкин О.М., Рожнов А.В. Обоснование условий формирования обратной связи проблемно-ориентированной системы управления в среде радикалов // Распределенные компьютерные и коммуникационные сети: управление, вычисление, связь (DCCN-2013). М.: Техносфера, 2013. С. 230-232. URL: https://elibrary.ru/item. asp?id=21767350 (дата обращения: 20.08.2018). Лобанов И.А., Рожнов А.В., Лепешкин О.М. К вопросу моделирования интеллектуального управления в распределенных информационных системах с использованием среды схем радикалов // Распределенные компьютерные и коммуникационные сети: управление, вычисление, связь (DCCN-2013). М.: Техносфера, 2013. С. 206-209. URL: https://elibrary.ru/item.asp?id=21767368 (дата обращения: 20.08.2018).
Оганджанян С.Б., Рожнов А.В., Гудова Л.Р. Актуализация и особенности понимания в русскоязычной целевой аудитории общей дефиниции «искусственный интеллект» // Нейрокомпьютеры и их применение. М.: МГППУ 2017. С. 232-233. URL: https://elibrary.ru/item.asp?id=28850387 (дата обращения: 20.08.2018).
Лобанов И.А., Рожнов А.В. Интеграция и управление контентом проблемно-ориентированной системы на ранней стадии жизненного цикла // Системы проектирования, технологической подготовки производства и управления этапами жизненного цикла промышленного продукта (CAD/CAM/PDM-2013). М.: ООО «Аналитик», 2013. С. 320-322. URL: https://elibrary.ru/item.asp?id=22576658 (дата обращения: 20.08.2018).
Прокопенков А.А., Рожнов А.В., Карпов В.В. Управление сложными системами и конвергентные когнитивно-информационные технологии (введение) // Нейрокомпьютеры и их применение. М.: МГППУ 2017. С. 268-270. URL: https://elibrary.ru/item.asp?id=28850411 (дата обращения: 20.08.2018).
Рожнов А.В., Лычёв А.В. Исследование поведения социо-технических объектов в динамике с применением сети ситуационных центров // Десятая всероссийская муль-тиконференция по проблемам управления МКПУ-2017. Ростов-на Дону: ЮФУ 2017. Т. 1. Модели, методы и технологии интеллектуального управления (ИУ-2017). С. 210212. URL: https://elibrary.ru/item.asp?id=29913606 (дата обращения: 20.08.2018).
Abrosimov V., Ryvkin S., Goncharenko V., Rozhnov A., Lobanov I. Identikit of modifiable vehicles at Virtual Semantic Environment // Proceedings of 2017 International Conference on Optimization of Electrical and Electronic Equipment (OPTIM) & 2017 Intl Aegean Conference on Electrical Machines and Power Electronics (ACEMP). Brasov, 2017. Pp. 905-910. DOI: 10.1109/0PTIM.2017.7975085 Рожнов А.В., Скорик Н.А. Информационно-аналитическое обеспечение предпроектных исследований и системная интеграция: проблемные вопросы формирования задела и внедрения единых технологий // Системы проектирования, технологической подготовки производства и
Modern Information Technologies and IT-Education
управления этапами жизненного цикла промышленного продукта (CAD/CAM/PDM-2017). М.: ИПУ РАН, 2017. С. 296-300. URL: https://elibrary.ru/item.asp?id=32807232 (дата обращения: 20.08.2018).
[29] Рожнов А.В., Лобанов И.А., Скорик Н.А., Цыпелев В.В. О нечёткой стратегии интеграции компонентов в интересах накопления опыта эволюционного моделирования проблемно-ориентированной системы управления на начальных этапах жизненного цикла // Системы проектирования, технологической подготовки производства и управления этапами жизненного цикла промышленного продукта (CAD/CAM/PDM-2015). М.: ООО «Аналитик», 2015. С. 345-348. URL: https://elibrary.ru/item. asp?id=25421572 (дата обращения: 20.08.2018).
[30] Рожнов А.В., Лобанов И.А. Интеллектуализация средств ухода от конфликтов при переключении режимов управления ЛА с применением языкового формализма «схем радикалов» в предметной области «Smart Intelligent Aircraft Structure» // Материалы XI Международной конференции по Неравновесным процессам в соплах и струях (NPNJ'2016). М.: МАИ, 2016. С. 439-441. URL: https://elibrary. ru/item.asp?id=27460403 (дата обращения: 20.08.2018).
[31] Ryvkin S., Rozhnov A., Lychev A., Lobanov I., Fateeva Y Multiaspect modeling of infrastructure solutions at energy landscape as virtual semantic environment // Proceedings of 2017 International Conference on Optimization of Electrical and Electronic Equipment (OPTIM) & 2017 Intl Aegean Conference on Electrical Machines and Power Electronics (ACEMP). Brasov, 2017. Pp. 935-940. DOI: 10.1109/ OPTIM.2017.7975090
[32] Гудов Г.Н., Рожнов А.В., Лобанов И.А. Анализ практик «посткибератак» в критических сегментах инфраструктуры электроэнергетики // Проблемы управления безопасностью сложных систем. М.: РГГУ 2017. С. 401-405. URL: https://elibrary.ru/item.asp?id=32245162 (дата обращения: 20.08.2018).
[33] Рожнов А.В., Лобанов И.А. К вопросу формализованного описания общего семантического поля смешанных робототехнических группировок // Управление развитием крупномасштабных систем (MLSD'2017). М.: ИПУ РАН, 2017. Т. 2. С. 368-371. URL: https://elibrary.ru/item. asp?id=32598843 (дата обращения: 20.08.2018).
[34] Rozhnov A.V., Lobanov I.A. Investigation of the joint semantic environment for heterogeneous robotics // Proceedings of 2017 Tenth International Conference Management of Large-Scale System Development (MLSD). Moscow, 2017. Pp. 1-5. DOI: 10.1109/MLSD.2017.8109678
Поступила 20.08.2018; принята в печать 10.10.2018; опубликована онлайн 10.12.2018.
References
[1] Kosko B. Fuzzy cognitive maps. International Journal of Man-Machine Studies. 1986; 24(1):65-75. DOI: 10.1016/ S0020-7373(86)80040-2
[2] Borisov V.V. Nechetkiye modeli i seti. M.: Goryachaya Liniya -Telekom, 2007. 284 S. (In Russian)
[3] Sibikina I.V. Ocenka vliyaniya disciplin na formirovanie kom-petencii obuchaemogo. Fundamental'nye i prikladnye issledo-
vaniya universitetov, integraciya v regional'nyj innovacionnyj kompleks. Astrakhan: Izd-vo AGTU, 2010. Vol. 1, pp. 253-255. (In Russian)
[4] Ural'skov V.A., Atyasova E.V., Chervyakova A.M. Issledovanie kognitivnyh sposobnostej operatorov slozhnyh tekhnicheskih sistem na osnove ispol'zovaniya uchebno-trenirovochnyh sredstv. Neurocomputers and their applications. 2016, pp. 231232. Available at: https://elibrary.ru/item.asp?id=28850386 (accessed 20.08.2018). (In Russian)
[5] Lobanov I.A., Rozhnov A.V. Ocenivanie ehffektivnosti prob-lemno-orientirovannnoj sistemy upravleniya na rannih stadi-yah zhiznennogo cikla kompleksa LA s ispol'zovaniem modeli FREE DISPOSAL HULL. Fundamental'nye problemy sistemnoj bezopasnosti i ustojchivosti. Yelets: YelSU, 2014, pp. 377-379. Available at: https://elibrary.ru/item.asp?id=21706659 (accessed 20.08.2018). (In Russian)
[6] Legovich Y.S., Rozhnov A.V., Lobanov I.A., Chernyavskij D.V. Upravlenie razvitiem v aspekte sistemnoj integracii na pred-proektnom ehtape zhiznennogo cikla problemno-orientiro-vannyh system. Imitacionnoe modelirovanie. Teoriya i praktika (IMM0D-2015). M.: IPU RAN, 2015. Vol. 2, pp. 163-167. Available at: https://elibrary.ru/item.asp?id=25420605 (accessed 20.08.2018). (In Russian)
[7] Rozhnov A.V. O virtual'nom molodyozhnom nauchnom kru-glom stole na stranicah nauchno-tekhnicheskogo zhurnala «Nejrokomp'yutery: razrabotka, primenenie». Neurocomputers and their applications. 2016, pp. 19-21. Available at: https://elibrary.ru/item.asp?id=25673788 (accessed 20.08.2018). (In Russian)
[8] Rozhnov A.V., Lobanov I.A. The system integration proposals development at advanced technology emergency monitoring. Upravlenie razvitiem krupnomasshtabnyh sistem MLSD'2016. M.: IPU RAN, 2016. Vol. II, pp. 306-310. Available at: https:// elibrary.ru/item.asp?id=28816273 (accessed 20.08.2018). (In Russian)
[9] Gudov G.N., Rozhnov A.V., Lobanov I.A., Kupach O.S. Metodi-cheskij podhod k opisaniyu slozhnyh ehvolyucioniruyushchih sistem pri realizacii ugroz bezopasnosti informacii. Problemy upravleniya bezopasnost'yu slozhnyh sistem. M.: RGGU,
2013, pp. 61-65. Available at: https://elibrary.ru/item.as-p?id=22429501 (accessed 20.08.2018). (In Russian)
[10] Rozhnov A.V., Karpov V.V. Advanced space technologies proposals development with promising energy. Upravlenie razvitiem krupnomasshtabnyh sistem MLSD'2016. M.: IPU RAN, 2016, Vol. II, pp. 150-154. Available at: https://elibrary.ru/ item.asp?id=28813658 (accessed 20.08.2018). (In Russian)
[11] Antioh G.M., Rozhnov A.V. Issledovanie zadach integrirovan-noj sistemy modelirovaniya i analiza ehffektivnosti sredy funkcionirovaniya v razvitii idei Joint Warfare System. Sistemy proektirovaniya, tekhnologicheskoj podgotovki proizvod-stva i upravleniya ehtapami zhiznennogo cikla promyshlen-nogo produkta (CAD/CAM/PDM-2014). M.: OOO „Analitik",
2014, pp. 101-103. Available at: https://elibrary.ru/item.as-p?id=23223499 (accessed 20.08.2018). (In Russian)
[12] Legovich Y.S., Miodushevskij P.V., Rozhnov A.V. Sistemnaya integraciya i uskorennoe maketirovanie smeshannoj robototekh-nicheskoj gruppirovki na predproektnoj stadii zhiznennogo cikla. Sistemy proektirovaniya, tekhnologicheskoj podgotovki proizvodstva i upravleniya ehtapami zhiznennogo cikla pro-myshlennogo produkta (CAD/CAM/PDM-2016). M.: OOO „Anal-
Современные информационные технологии и ИТ-образование
IT education: methodology, methodological support
itik", 2016, pp. 199-202. Available at: https://elibrary.ru/item. asp?id=27645837 (accessed 20.08.2018). (In Russian)
[13] Kupach O.S., Rozhnov A.V., Gudov G.N. Diversifikaciya tekh-nologii analiza sredy funkcionirovaniya v prikladnyh servi-
sah geoinformacionnyh intellektnyh sistem. 6-j Vserossijskoj [22] mul'tikonferencii po problemam upravleniya. Rostov-on-Don: SFedU, 2013, Vol. 4 (URiSS-2013), pp. 59-62. Available at: https://elibrary.ru/item.asp?id=34857409 (accessed 20.08.2018). (In Russian)
[14] Legovich Y.S., Rozhnov A.V., Ruzhencev O.I. Intellektual'nye prava i ih zashchita pri razrabotke proryvnyh tekhnologij i komponentov gibridnyh intellektual'nyh i intellektuali-zirovannyh sistem. Neurocomputers and their applications. [23] 2017, pp. 49-50. Available at: https://elibrary.ru/item.as-p?id=28850272 (accessed 20.08.2018). (In Russian)
[15] Rozhnov A.V. Obobshchyonnoe predstavlenie kriptoprimi-tiva «Sponge» v prilozheniyah «Smart»-tekhnologij. Neurocomputers and their applications. 2016, pp. 24-26. Available
at: https://elibrary.ru/item.asp?id=25671019 (accessed [24] 20.08.2018). (In Russian)
[16] Rozhnov A.V., Lobanov I.A. Stratificirovannaya model' edinogo informacionno-upravlyayushchego polya dlya formalizacii os-obennostej pereklyucheniya rezhimov upravleniya smeshan-nymi gruppami pilotiruemyh i bespilotnyh letatel'nyh appa-ratov. Ustojchivost' i kolebaniya nelinejnyh sistem upravleniya (konferenciya Pyatnickogo). M.: IPU RAN, 2016, pp. 304-307. [25] Available at: https://elibrary.ru/item.asp?id=28299646 (accessed 20.08.2018). (In Russian)
[17] Sigov A.S., Nechaev V.V., Rozhnov A.V., Lobanov I.A. Metody in-tegracii i bioinspirirovannye modeli dlya formirovaniya komponentov virtual'noj semanticheskoj sredy. Deponirovannye [26] nauchnye raboty VINITIRAN. 2017. 31-V2017, pp. 1-25. Available at: https://elibrary.ru/item.asp?id=29338172 (accessed 20.08.2018). (In Russian)
[18] Sigov A.S., Nechaev V.V., Rozhnov A.V., Lobanov I.A. Postro-enie versij informacionnoj infrastruktury s operezheniem vozniknoveniya informacionnyh potrebnostej upravleniya. [27] 10-j Vserossijskay mul'tikonferenciay po problemam upravleniya (MKPU-2017). Rostov-on-Don: SFedU, 2017. Vol. 2 (RiM-2017), pp. 112-115. Available at: https://elibrary.ru/item. asp?id=29979716 (accessed 20.08.2018). (In Russian)
[19] Rozhnov A.V., Cypelev V.V. Osobennosti formirovaniya edinoj tekhnologii letatel'nogo apparata s uchyotom polozhenij Re-zhima kontrolya za raketnoj tekhnologiej. Sistemy proektiro- [28] vaniya, tekhnologicheskoj podgotovki proizvodstva i upravleniya ehtapami zhiznennogo cikla promyshlennogo produkta (CAD/CAM/PDM-2016). M.: OOO „Analitik", 2016, pp. 396398. Available at: https://elibrary.ru/item.asp?id=27645896 (accessed 20.08.2018). (In Russian)
[20] Gudov G.N., Rozhnov A.V., Lobanov I.A. O novyh sredstvah kontrfakticheskogo prognozirovaniya i sopredel'nom potenciale informacionno-analiticheskogo obespecheniya slozhnyh [29] sistem. Problemy prognozirovaniya chrezvychajnyh situacij.
M.: FKU Centr «Antistihiya» MCHS Rossii, 2017, pp. 263-268. Available at: https://elibrary.ru/item.asp?id=32714929 (accessed 20.08.2018). (In Russian)
[21] Lepeshkin O.M., Rozhnov A.V. The substantiation of the reasons of formation of back coupling of problem-oriented control system in environment of radicals. Proccedings of the 17-th International Conference «Distributed Computer and
Communication Networks: Control, Computation, Communications» (DCCN-2013). M.: TECHNOSPHERA, 2013, pp. 230-232. Available at: https://elibrary.ru/item.asp?id=21767350 (accessed 20.08.2018). (In Russian)
Lobanov I.A., Rozhnov A.V., Lepeshkin O.M. To a question of simulation of intellectual control in the distributed information systems with use of the environment of diagrams of radicals. Proccedings of the 17-th International Conference «Distributed Computer and Communication Networks: Control, Computation, Communications» (DCCN-2013). M.: TECHNOSPHERA, 2013, pp. 206-209. Available at: https://elibrary.ru/ item.asp?id=21767368 (accessed 20.08.2018). (In Russian) Ogandzhanyan S.B., Rozhnov A.V., Gudova L.R. Aktualizaciya i osobennosti ponimaniya v russkoyazychnoj celevoj audi-torii obshchej definicii «iskusstvennyj intellekt». Neurocomputers and their applications. 2017, pp. 232-233. Available at: https://elibrary.ru/item.asp?id=28850387 (accessed 20.08.2018). (In Russian)
Lobanov I.A., Rozhnov A.V. Integraciya i upravlenie kontentom problemno-orientirovannoj sistemy na rannej stadii zhiznennogo cikla. Sistemy proektirovaniya, tekhnologicheskoj podgotovki proizvodstva i upravleniya ehtapami zhiznennogo cikla promyshlennogo produkta (CAD/CAM/PDM-2013). M.: OOO „Analitik", 2013, pp. 320-322. Available at: https://elibrary.ru/ item.asp?id=22576658 (accessed 20.08.2018). (In Russian) Prokopenkov A.A., Rozhnov A.V., Karpov V.V. Upravlenie slozhnymi sistemami i konvergentnye kognitivno-informa-cionnye tekhnologii (vvedenie). Neurocomputers and their applications. 2017, pp. 268-270. Available at: https://elibrary.ru/ item.asp?id=28850411 (accessed 20.08.2018). (In Russian) Rozhnov A.V., Lychyov A.V. Issledovanie povedeniya sociotekh-nicheskih ob"ektov v dinamike s primeneniem seti situacionnyh centrov. 10-ay Vserossijskay mul'tikonferenciay po problemam upravleniya (MKPU-2017). Rostov-on-Don: SFedU, 2017. Vol. 1 (IU-2017), pp. 210-212. Available at: https://elibrary.ru/item. asp?id=29913606 (accessed 20.08.2018). (In Russian) Abrosimov V., Ryvkin S., Goncharenko V., Rozhnov A., Lobanov I. Identikit of modifiable vehicles at Virtual Semantic Environment. Proceedings of 2017 International Conference on Optimization of Electrical and Electronic Equipment (OPTIM) & 2017 Intl Aegean Conference on Electrical Machines and Power Electronics (ACEMP). Brasov, 2017, pp. 905-910. DOI: 10.1109/OPTIM.2017.7975085
Rozhnov A.V., Skorik N.A. Informacionno-analiticheskoe obe-spechenie predproektnyh issledovanij i sistemnaya integraciya: problemnye voprosy formirovaniya zadela i vnedreniya edinyh tekhnologij. Sistemy proektirovaniya, tekhnologicheskoj podgotovki proizvodstva i upravleniya ehtapami zhiznennogo cikla promyshlennogo produkta (CAD/CAM/PDM-2017). M.: IPU RAN, 2017, pp. 296-300. Available at: https://elibrary.ru/ item.asp?id=32807232 (accessed 20.08.2018). (In Russian) Rozhnov A.V., Lobanov I.A., Skorik N.A., Cypelev V.V. O nechy-otkoj strategii integracii komponentov v interesah nakopleni-ya opyta ehvolyucionnogo modelirovaniya problemno-ori-entirovannoj sistemy upravleniya na nachal'nyh ehtapah zhiznennogo cikla. Sistemy proektirovaniya, tekhnologicheskoj podgotovki proizvodstva i upravleniya ehtapami zhiznennogo cikla promyshlennogo produkta (CAD/CAM/PDM-2015). M.: OOO "Analitik", 2015, pp. 345-348. Available at: https://eli-brary.ru/item.asp?id=25421572 (accessed 20.08.2018). (In
Modern Information Technologies and IT-Education
Russian)
[30] Rozhnov A.V., Lobanov I.A. Intellektualizaciya sredstv uhoda ot konfliktov pri pereklyuchenii rezhimov upravleniya LA s primeneniem yazykovogo formalizma «skhem radikalov» v predmetnoj oblasti «Smart Intelligent Aircraft Structure». Ma-terialy XI Mezhdunarodnoj konferencii po Neravnovesnym pro-cessam v soplah istruyah (NPNJ'2016). M.: MAI, 2016, pp. 439441. Available at: https://elibrary.ru/item.asp?id=27460403 (accessed 20.08.2018). (In Russian)
[31] Ryvkin S., Rozhnov A., Lychev A., Lobanov I., Fateeva Y. Mul-tiaspect modeling of infrastructure solutions at energy landscape as virtual semantic environment. Proceedings of 2017 International Conference on Optimization of Electrical and Electronic Equipment (OPTIM) & 2017 Intl Aegean Conference on Electrical Machines and Power Electronics (ACEMP). Brasov, 2017, pp. 935-940. DOI: 10.1109/OPTIM.2017.7975090
[32] Gudov G.N., Rozhnov A.V., Lobanov I.A. Analiz praktik «post-kiberatak» v kriticheskih segmentah infrastruktury ehlektro-ehnergetiki. Problemy upravleniya bezopasnost'yu slozhnyh sistem. M.: RGGU, 2017, pp. 401-405. Available at: https:// elibrary.ru/item.asp?id=32245l62 (accessed 20.08.2018). (In Russian)
[33] Rozhnov A.V., Lobanov I.A. K voprosu formalizovannogo opisaniya obshchego semanticheskogo polya smeshannyh robototekhnicheskih gruppirovok. Upravlenie razvitiem krupnomasshtabnyh sistem (MLSD'2017). M.: IPU RAN, 2017. Vol. 2, pp. 368-371. Available at: https://elibrary.ru/item.as-p?id=32598843 (accessed 20.08.2018). (In Russian)
[34] Rozhnov A.V., Lobanov I.A. Investigation of the joint semantic environment for heterogeneous robotics. Proceedings of 2017 Tenth International Conference Management of Large-Scale System Development (MLSD). Moscow, 2017, pp. 1-5. DOI: 10.1109/MLSD.2017.8109678
Submitted 20.08.2018; revised 10.10.2018; published online 10.12.2018.
bout the authors:
Andrey G. Volkov, Candidate of Technical Sciences, Associate Professor, Financial University under the Government of the Russian Federation (49 Leningradsky Av., Moscow 125993, Russia), ORCID: http://orcid.org/0000-0002-2970-1578, volkov-ag@mail.ru
Sergey A. Tyurin, postgraduate student, V.A. Trapeznikov Institute of Control Sciences, Russian Academy of Sciences (65 Profsoyuznaya Str., Moscow 117997, Russia), ORCID: http://orcid.org/0000-0002-5340-5752, sarge-tyrin@mail.ru
Gennadiy N. Gudov, Associate Professor, Senior Lecturer, Russian State University for the Humanities (6 Miusskaya pl., GSP-3, Moscow 125993, Russia), ORCID: http://orcid.org/0000-0003-4826-7081, goodov4747@mail.ru
This is an Open Access article distributed under the terms ofthe Creative Commons Attribution License (http://creativecommons.org/licenses/by/4.0), which permits unrestricted reuse, distribution, and reproduction in any medium provided the original work is properly cited.
Современные информационные технологии и ИТ-образование
