CC BY
21
СИСТЕМНЫЙ АНАЛИЗ И УПРАВЛЕНИЕ
УДК 004.94
АСПЕКТЫ ИНТЕЛЛЕКТУАЛИЗАЦИИ ИНФОРМАЦИОННОЙ СИСТЕМЫ АНАЛИЗА КОМПЕТЕНТНОСТНОГО ПОРТРЕТА УЧАСТНИКА ПРОЦЕССА
ОБУЧЕНИЯ
ASPECTS OF INTELLECTUALIZATION OF INFORMATION SYSTEM FOR MONITORING THE FORMATION OF PROFESSIONAL AND GENERAL CULTURAL
COMPETENCE
И.В. Вешнева, В.Б. Байбурин, А.А. Большаков I.V. Veshneva, V.B. Baiburin, A.A. Bolshakov
ФГБОУВО "Саратовский национальный исследовательский университет им. Н.Г. Чернышевского", Россия,
410012, г. Саратов, ул. Астраханская, 83
Saratov State University, 83 Astrakhanskaya Street, Saratov, 410012, Russia СГТУ имени Гагарина Ю.А., Россия, 410054, Саратов, ул. Политехническая, 77 Yuri Gagarin State Technical University of Saratov (SSTU), 77 Politechnicheskaya street, Saratov, 410054, Russia
Санкт-Петербургский технологический институт (технический университет), Россия,
Санкт-Петербург, Московский пр., 26
St. Petersburg State Technological Institute (technical university), 26 Moscow avenue,
St. Petersburg, 190013, Russia
e-mail: veshnevaiv@mail.ru, baiburinvb@rambler.ru, aabolshakov57@gmail.com
Аннотация. Предложена архитектура интеллектуальной системы мониторинга процесса формирования профессиональных и общекультурных компетенций. Проведено обсуждение аспектов интеллектуализации. Вычисления основаны на комплексных статусных функциях, используемых для лингвистических оценок.
Resume. The architecture of intelligent monitoring system of the formation of professional and general cultural competence is proposed. The aspects of intellectualization are discussed. The calculations are based on complex status functions used for language assessment.
Ключевые слова: нечеткие множества, статусные функции, компетенции, качество, качество образования, информационная система мониторинга.
Keywords: fuzzy sets, status functions, competence, quality, quality of education, information monitoring system.
Введение
Федеральный закон «Об информации, информационных технологиях и о защите информации» определяет информационную систему (ИС) как «совокупность содержащейся в БД информации и обеспечивающих ее обработку ИТ и технических средств» [1]. Это определение является достаточно широким, однако оно выделяет базовую роль накопленных в ИС данных. Операционное представление данных содержится в основе интеллектуализации ИС, возможное по следующим направлениям:
- развитие интеллектуальных коммуникативных возможностей ИС, включающих средства приближения к естественному языку;
- адаптация к решению сложных, слабо формализуемых задач, подразумевающих способность структурировать операционное представление данных, которые в этом случае характеризуются не только количественным, но и качественным отображением.
- формирование способностей к самообучению и развитию, как, например, системы, основанные на прецедентах.
Введенные в работах [2, 3] комплексные статусные функции (СФ) являются операционным представлением данных, которое может быть использовано при создании ИС по всем трем перечисленным аспектам. Во-первых, лингвистический ввод и вывод подразумевают возможности приближения к естественному языку и проведение лингвистического моделирования компетентностного портрета участника процесса обучения (КПУ ПО). Во-вторых, включение латентной характеристики обучаемого в виде мнимой части СФ обеспечивает большие возможности для понимания и моделирования качественной природы мониторинга процесса формирования профессиональных и общекультурных компетенций. В-третьих, в основе идеи формирования СФ содержатся данные, полученные в результате некоторого прецедента. Система включает также возможности формирования внутренних прецедентов, в которых может быть принято решение об изменении способа представления данных.
Задача формирования систем оценивания и мониторинга процесса формирования компетенции в системе обучения [4-6] является обязательным требованием.
Постановка задачи
Для образовательного процесса формируются списки компетенций, которые являются перекрестными, как в рамках одной дисциплины, так и междисциплинарном контексте. Оценки по перекрестным компетенциям, полученные в рамках изучения одной дисциплины, влияют на оценки по определенной компетенции, оценивание которой осуществляется при изучении другой дисциплины. Наборы компетенций могут быть оценены не только преподавателем (экспертом, руководителем практики и т.п.), а также, собственно, участником процесса обучения (студентом, учеником, практикантом), и, кроме этого, сторонними заинтересованными участниками. Эти группы оценок задают измерения в пространстве состояний исследуемого субъекта. Оценка измеряемых на основе тестов общих знаний, соответствующих заданной компетенции и личностной (мотивационной части) позволяет сформировать комплексную статусную функцию, описывающую КПУ ПО [3].
В настоящее время паспорта компетенций принято формировать ориентировочно в виде, представленном в табл. 1.
Таблица 1 Table 1
Примерная матрица профессионально-предметной компетенции ППК-1: Обладать готовностью реализовывать образовательные программы по предмету информатика и ИКТ в соответствии с требованиями образовательных стандартов (воспроизводится частично) Exemplary matrix vocational subject competence PPC-1: Have the willingness to implement educational programs on the subject of computer science and ICT in line with the requirements of
educational standards (reproduced in part)
Этап (уровень) освоения компетенции Планируемые Критерии оценивания результатов обучения
результаты обучения 3 4 5
Знать: - архитектуру компьютера, недостаточно знает - программы цикла дисциплин информатика и ИКТ хорошо знает - программы цикла дисциплин информатика и ИКТ, критически осмысляет - образовательные стандарты,
Первый этап (Базовый уровень) (ППК-1) -I Уметь - применять образовательн ые технологии, умеет с помощью преподавателя - применять образовательные стандарты, хорошо умеет - применять современные средства оценивания результатов обучения, умеет самостоятельно формулировать выводы, комментировать - теорию и методику обучения информатике,
Слабо разбирается - методическими разработками по предмету информатика и ИКТ. Уверенно применяет - в учебных ситуациях - навыки применять образовательные технологии, свободно владеет - навыками применять образовательные технологии,
Второй этап
Каждая компетенция формируется по многим компонентам при изучении нескольких дисциплин, причем компетенции, как и их компоненты, перекрестны. В существующей системе оценивания по дисциплинам отсутствует возможности последовательно формировать паспорт
компетенции. При этом, СФ позволяют создать алгоритмы, учитывающие сложность и перекрестность формирования компетенций.
Рассмотрим пример формирования профессионально прикладной компетенции: «Обладать готовностью реализовывать образовательные программы по предмету информатика и ИКТ» в соответствии с требованиями образовательных стандартов.
Компетенция формируется в течение 4 лет подготовки по направлению «Педагогическое образование» Профиль: «Информатика и ИКТ». Например, на 1 курсе в рамках дисциплины «Архитектура компьютера», на 2-ом «Технические и аудиовизуальные средства» и другие (рис. 1).
В рамках подготовки по дисциплинам проведем формирование СФ. Тогда получим итоговое распределение, включающее оценки компонент этой компетенции по всем предметам (рис. 2).
Рис. 1. Схема формирования ППК-1 (Обладать готовностью реализовывать образовательные программы по предмету информатика и ИКТ в соответствии с требованиями образовательных стандартов) по предметам
в течение 4 лет обучения
Fig. 1. The scheme of formation of PPC-1 (To have the willingness to implement educational programs in computer science and ICT subject in accordance with the requirements of educational standards) in studied subjects within
4 years of education
Важно заметить, что вычисление средней оценки по предметам не позволяет учесть их взаимодействие. Кроме этого, можно вычислять прогностические оценки на различных этапах процесса обучения. Из оценок на основе СФ возможно создание системы мониторинга изменения профессиональных компетенций в течение всей жизни. В экспериментах использованы различные системы оценивания и проведено их сравнение.
Выявлено, что при преподавании дисциплин в отраслях знаний, в которых изменения происходят очень медленно и методология отточена десятками лет, оценки на основе СФ близки к оценкам квалифицированных экспертов. Например, «Русский язык». В отраслях, которым свойственны высокие скорости изменений, например, «Информационные технологии» оценки на основе СФ могут существенно отличаться от экспертных. Приближение к оценкам на основе СФ можно достигнуть только, привлекая группу экспертов.
Рис. 2. Вид СФ по результатам оценивания по предметам и итоговый вид СФ, соответствующей компетенции Fig. 2. View of the SF on the results of evaluation of studied subjects and the final form of the corresponding the
competence SF
Структурная схема информационной системы
Данные вводятся в систему через специальный интерфейс информационной технологии сбора данных, где на основе имеющейся базы моделей наборов базисных СФ формируются СФ для проведения оценки текущего состояния. Оценка уровня сформированности компетенций проводится с использованием метода статусных функций, описанного в [2]. Эти функции включают две группы оценок: полученные в результате традиционных форм контроля знаний и латентной личностно-психологической оценки.
Будем исходить из феноменологических позиций, и представим при проектировании модели приоритетным некоторое событие, или прецедент [7]. Тогда схематически проектируемую структуру экспертной системы, основанной на математической модели оценки профессиональных и общекультурных компетенций методом СФ можно изобразить следующим сценарием (рис. 3). При этом система, сопоставляя описания конкретных прецедентов с прототипными событиями, создает серию единичных событий, на базе которого проектируется гипотеза о сценарии управления системой.
Рассмотрим задачу оценки уровней компетенций. Она является актуальной, т.к. участие России в Болонской конвенции требует ускорения процессов закономерной реорганизации образовательной деятельности при переходе к компетентностному подходу ФГОС ВПО III-го поколения. Важным отличием оценивания компетенций от традиционной триады знания -умения - навыки является установка, что компетенция должна проявляться в действии. Проявленная в действии компетенция должна быть замечена и записана, как отдельное событие (прецедент). Важно отметить, что в любом действии человек проявляет множество компетенций, тогда при этом должно быть описано содержание как прецедента, так и всех проявленных в нем компетенции.
При этом получается чрезвычайно сложная система оценки компетенций. Во-первых, по некоторому формату должен быть сформулирован прецедент для обеспечения прозрачности системы. Во-вторых, должны быть представлены прецеденты, перечислены и зафиксированы проявленные компетенции. В созданной базе далее возникнет большое количество, как прецедентов, так и проявленных компетенций. Многообразие компетенций и их качественная природа, не позволяют применять к ним обычные арифметические действия. Кроме этого, система обладает не только заявленным перечнем формируемых и развиваемых компетенций, но и возможностью фиксации возникших незапланированных прецедентов и проявленных в них компетенций.
Рис. 3. Структурная схема ИС мониторинга компетенций Fig. 3. Structural scheme of IS competencies monitoring
При проектировании ИС ППР используются следующие этапы лингвистического моделирования и правила принятия решений, являющиеся обобщением лингвистического моделирования в менеджменте [8].
1 этап. Формирование лингвистических входных и выходных переменных. Лингвистической переменной в нашем случае могут являться традиционные оценки «плохо», «посредственно», «хорошо», «отлично», как это использовано в примерах обработки журналов учета успеваемости. В примере с тестированием менеджеров для возможных состояний компетенций введены специальные термы, как, например, для оценки состояния компетенции «Анализ ситуации» такие: «Иногда удается хорошо проанализировать этапы процесса и необходимые ресурсы для его реализации»; «Заблаговременно думает об этапах процесса, анализирует, что нужно для выполнения задания», «Действует интуитивно, предпочитает принимать решения максимально быстро». Каждый из этих качественных термов, описывающий состояние лингвистической переменной представляется в виде базисной СФ. Кроме этого, для оценки компетенций вводится двойная лингвистическая оценка, для действительной, явно оцениваемой части и для скрытой личностной составляющей. Личностная оценка представляется подобной фазе колебания и вносится в показатель экспоненты. В результате на этом этапе получены комплексные СФ. Квадрат модуля СФ полностью соответствует классической терминологии теории нечетких множеств. Из этой возможности двойственной трактовки СФ следуют два основные из возможных аспекта настройки системы. Во-первых, это традиционная для систем нечеткой логики настройка с использованием квадрата модуля СФ. Во-вторых, это использование глубокого смысла, заключенного в наборе комплексных СФ.
Для учебного процесса формируются списки компетенций, которые являются перекрестными, как в рамках одной дисциплины, так и в междисциплинарном контексте. Оценки по перекрестным компетенциям, полученные в рамках изучения одной дисциплины, влияют на оценки по определенной компетенции, оценивание которой происходит при изучении другой дисциплины. Группы оценок задают измерения в пространстве состояний исследуемого субъекта. Оценка измеряемых с использованием тестов общих знаний, соответствующих определенной компетенции и личностной (мотивационной части) позволяет сформировать комплексную статусную функцию, описывающую состояние исследуемого субъекта.
Данные вводятся в систему через специальный интерфейс информационной технологии сбора данных, где на основе имеющейся базы моделей наборов элементарных статусных функций формируются статусные функции для проведения оценки текущего состояния.
2 этап. Формирование иерархичных взаимосвязанных структур. Количество оцениваемых в ИС показателей может оказаться очень большим, поэтому закономерно система придет к неразличимости характеристик возникающей на выходе СФ. Например, когда для оценок компетенций менеджеров использованы 27 оценок, итоговая СФ получена в виде центрированного гауссова распределения и оказалась не чувствительна к изменению значений этих оценок. Для того, чтобы избежать «проклятия размерности» и не получить вместо оцениваемого распределения закон больших чисел, необходимо структурировать входные данные в иерархические структуры. Форма иерархических групп может быть задана первоначальными условиями. Формирование иерархических взаимосвязанных структур компетенций представлено на рис. 3.
В случае оценок компетенций задача формирования иерархичности структур не всегда обязательна, однако на этапе настройки, должно быть выявлено наличие чувствительности к оценкам и при ее отсутствии может быть использована иерархическая структура. Кроме этого, при
проведении комплексных многоаспектных оценок по предметам иерархичность может быть сформирована на основе учебного плана дисциплин.
3 этап. Формирование структуры зависимости "вход-выход" в виде системы продукционных правил:
ЕСЛИ <входы>, ТО <выход>.
В эти правила вкладывается опыт эксперта, на первом этапе, затем в процессе отладки и настройки системы эти правила должны быть подвергнуты корректировке. В эти правила заключается понимание причинно-следственных связей, которые используются для формирования правил управления, которые предоставляются на выходе в качестве рекомендаций ЛПР.
Вид СФ в промежуточные временные этапы формирования компетенций ППК 1 представлен на рис. 2.
Эти правила не изменяются при малом изменении условий на входах ИС. В действительности, такие правила являются первичной настройкой экспертной системы. В нашем случае возможно изменение СФ на входе системы и лингвистическая интерпретация характеристик СФ на выходе. На этом этапе также следует выделить два аспекта по СФ и по квадрату модуля СФ, интерпретируемой как ФП.
4 этап. Формирование итерационной настройки ИС. После проведенной настройки экспертной системы наступает циклическое самодиагностирование и «тонкая» настройка ИС, что обеспечивает ее интеллектуализацию.
В вычислительном блоке экспертной части интеллектуальной системы проводится вычисление характеристик модели объекта. Использование комплексных статусных функций, используемых в предлагаемом методе, позволяет проводить исследование как с применением классических алгоритмов теории нечетких множеств, так и на основе исследования пространственно-временной динамики модели. В первом случае вычисляется квадрат модуля амплитуды статусной функции, при этом полученная плотность вероятности статусной функции используется как обычная функция принадлежности, применяемая для решения управленческих задач на основе теории нечетких множеств. В этом случае возможна тонкая настройка системы по направлениям:
• коррекция весовых коэффициентов элементарных статусных функций, по которым проводится оценка отдельных компетенций;
• коррекция продукционных правил, предлагаемых лицу, принимающему решения при мониторинге процесса обучения;
• пересмотр способов группировки групп компетенций и систематизация входных данных.
В этом случае проводятся оценки обучающихся по различным направлениям подготовки.
Выявлено, что в областях быстро изменяющихся знаний, таких как информационные технологии, обязательно требуется проведение интеллектуализации ИС в несколько этапов. В традиционно в медленно изменяющихся областях, как, например, лингвистика, коррекция проводится минимально.
Во втором случае при обучении преподавателей, менеджеров и др. требуется введение сложных оценок. При этом возможно проведение интеллектуализации системы по нетривиальным направлениям:
• трансформация базы моделей (на основе вычисления пространственно-временных корреляций в форме мод Карунена-Лоэва) и переключения ИС на использование данных мод в качестве функций принадлежности;
• исследование временной динамики объекта на основе уравнения непрерывности и формирования системы уравнений, подобных модели мировой динамики Форрестера, однако на базе комплексных статусных функций, позволяющих углубить анализ;
• формирование уравнений в частных производных и их анализ методами нелинейной динамики;
• анализ пространственно-распределенных структур с помощью теории особенностей.
Пример. Анализ результатов эксперимента методами теории катастроф
Остановимся на 3-м пути интеллектуализации. Покажем пример применения теории катастроф для описания кинетики нулевых значений кривых действительной и мнимой части КПУ ПО. Два аспекта оценок набора компетенций, полученные в результате самооценки и оценки экспертом. Эти две оценки задали два измерения в пространстве состояний исследуемого субъекта. В результате сформировано поле, соответствующее набору заданных компетенций исследуемого участника. Изменение КПУ ПО отслеживалось в течение двух месяцев. Пример распределения оценок опытного менеджера по результатам 4 измерений в течение 2 месяцев (рис. 4).
Применение теории особенностей к анализу данных эксперимента позволяет выявить возникновение особой точки в структуре поля. Через 2 недели после возникновения особой точки в структуре поля в настоящем эксперименте исследуемый участник ушел из компании. Выявленный прецедент позволяет предположить, что возникновение особой точки в КПУ ПО предшествует резким реакциям участника на воздействие системы. Применение соответствующих методов анализа позволяет предвидеть и управлять сложными состояниями КПУ ПО.
Рис. 4. Распределение оценок для опытного менеджера М, полученное по результатам четырех тестирований
с интервалом две недели
Fig. 4. The distribution of ratings for an experienced manager of M obtained by the results of four tests with two-week
intervals
Выводы
В работе проведено обсуждение аспектов интеллектуализации системы мониторинга процесса формирования профессиональных и общекультурных компетенций. В проектируемой системе проводится оценка состояния компетенций формированием комплексных СФ. Возможности интеллектуализации информационной системы мониторинга процесса формирования профессиональных и общекультурных компетенций и поддержки принятия управленческих решений имеют два основных аспекта. Первый основан на вычислении квадрата модуля статусной функции и применения тонкой настройки системы традиционными методами теории нечетких множеств. Кроме этого, возможен анализ результатов обучения по вычислению интегральных моментов, таких как математическое ожидание, ширина распределения, асимметрия и эксцесс. Возможность анализа состояний в различные моменты времени позволяет также вычислять передаточную функцию, выражающую связь между различными моментами измерений, которые рассматриваются как вход и выход линейной стационарной системы. Вычисляя передаточную функцию для линейных процессов обучения, по набору входных данных можно прогнозировать результат на выходе. Сравнение таких характеристик позволит формировать выводы по оценке эффективности отдельных процессов.
Вторым основным аспектом интеллектуализации системы и проведения коррекции поставленных задач, проведенных процессов и примененных для анализа системы моделей является возможность формирования динамической модели нелинейной сложной социально-экономической системы. В настоящем исследовании представляются компетенции, формируемые в процессе обучения. При этом система может быть дополнена уравнениями объекта в частных производных на основе СФ, частично подобных модели мировой динамики Форрестера. Тогда становится возможными исследование динамики управляемого объекта при изменении управляющих переменных с применение методов нелинейной динамики.
Анализ поля КПУ ПО методами теории особенностей может быть использован в третьем аспекте интеллектуализации ИС. Вычисление определенности функции применяется в одном из предложенных аспектов интеллектуализации системы.
Список литературы References
1. Федеральный закон Российской Федерации от 27 июля 2006 г. N 149-ФЗ Об информации, информационных технологиях и о защите информации [Электронный ресурс] - Режим доступа: http: //www.rg.ru/ 2006/07/29/informacia-dok.html
Federal Law of 27 July 2006 N 149-FZ On information, information technologies and information protection [electronic resource] - Access mode: http: //www.rg.ru/2006/07/29/informacia-dok .html
2. Большаков А.А., Вешнева И.В., Мельников Л.А., Перова Л.Г. 2014. Новые методы математического моделирования динамики и управления формированием компетенций в процессе обучения в вузе: монография. М.: Горячая линия - Телеком. 250.
Bolshakov A.A., Veshneva I.V., Melnikov L.A., Perova L.G. 2014. New methods of mathematical modeling of dynamics and control of competence formation in university. "Hot line- Telecom" Moscow. 250.
3. Veshneva I., Melnikov L. 2012. The method of the students' competence rating: knowledge, abilities, skills and personal characteristics. Social and Natural Sciences Journal. 5: 1-6. http: //general.journals.cz/documents/Vol5 / veshneva.pdf.
4. Veshneva I., Singatulin R., Bolshakov A., Chistyakova T., Melnikov L. 2015. Model of formation of the feedback channel within ergatic systems for monitoring of quality of processes of formation of personnel competences / International Journal for Quality Research, vol. 9, num. 3:495-512.
5. Удахина С.В. Формирование модели качества обучения для виртуального университета, 2013. Научные ведомости БелГУ. Сер. История. Политология. Экономика. Информатика. 2(165): 225-230.
Udahina S.V. Formirovanie modeli kachestva obuchenija dlja virtual'nogo universiteta, 2013. Nauchnye ve-domosti BelGU. Ser. Istorija. Politologija. Jekonomika. Informatika. [Developing a model of quality of training for the virtual university. Belgorod State University Scientific Bulletin. History Political science Economics Information technologies] 2(165): 225-230.
6. Ломакин В.В., Асадуллаев Р.Г. Организация интеллектуального управления индивидуальными образовательными траекториями, 2013. Научные ведомости БелГУ. Сер. История. Политология. Экономика. Информатика. 2(165): 167-173.
Lomakin V.V., Asadullaev R.G. Organizacija intellektual'nogo upravlenija individual'nymi obrazovatel'nymi traektorijami, 2013. Nauchnye vedomosti belgu. Ser. Istorija. Politologija. Jekonomika. Informatika. [Organization of individual educational trajectories intellectual control. Belgorod State University Scientific Bulletin. History Political science Economics Information technologies] 2(165): 167-173.
7. Метавер: истории об образовании будущего [Электронный ресурс]. Режим доступа: http://metaver.ru/
Metaver: history of education of the future [electronic resource]. Access: http://metaver.ru/
8. Заде Л.А. 1976. Понятие лингвистической переменной и его применение к принятию приближенных решений М.: Мир, 320.
Zadeh L.A. 1976. The concept of linguistic variable and its application to the adoption of the approximate solutions. Moscow, Mir, 320.
