CC BY
23УДК 004.91
DOI 10.52684/2312-3702-2021-38-4-96-101
АВТОМАТИЗИРОВАННАЯ СИСТЕМА ОЦЕНКИ ЭФФЕКТИВНОСТИ ОБРАЗОВАТЕЛЬНЫХ ТЕХНОЛОГИЙ П. Н. Садчиков, В. В. Соболева
Астраханский государственный архитектурно-строительный университет, г. Астрахань, Россия
В статье представлены основные возможности программного комплекса, позволяющего произвести оценку каждой из образовательных технологий под обучение конкретной дисциплины, внедрить в учебный процесс наиболее эффективную из них и тем самым повысить качество подготовки студентов. Алгоритм оценки эффективности, реализованный в программе, строится на сравнительном анализе уровня знаний студентов по дисциплине до и после внедрения в учебный процесс выделенной образовательной технологии. Рассмотрены функции, обеспечивающие согласованность состава, структуры и способов организации данных в экспертной системе. Зафиксированы права доступа всех категорий пользователей. В статье приведена демонстрация результатов педагогического эксперимента по внедрению рекомендованной образовательной технологии на занятиях студентов специальности «Прикладная геодезия» по дисциплине физика, который показал целесообразность применения разработанной методики и автоматизации ее реализации.
Ключевые слова: образовательная технология, показатель эффективности, экспертная оценка, программный комплекс, функции автоматизированной системы.
AUTOMATED SYSTEM FOR EVALUATING THE EFFICIENCY OF EDUCATIONAL TECHNOLOGIES P. N. Sadchikov, V. V. Soboleva
Astrakhan State University of Architecture and Construction, Astrakhan, Russia
The article presents the main capabilities of the software package, which makes it possible to assess each of the educational technologies for teaching a specific discipline, to introduce the most effective of them into the educational process and thereby improve the quality of student training. The algorithm for evaluating the effectiveness, implemented in the program, is based on a comparative analysis of the level of knowledge of students in the discipline before and after the introduction of the selected educational technology into the educational process. The functions that ensure consistency of the composition, structure and methods of organizing data in the expert system are considered. The access rights of all categories of users are fixed. The article presents a demonstration of the results of a pedagogical experiment on the implementation of the recommended educational technology in the classroom of students of the specialty "Applied Geodesy" in the discipline of physics, which showed the feasibility of using the developed methodology and automating its implementation. Keywords: educational technology, performance indicator, expert evaluation, software complex, functions of automated system.
Введение
Эффективность образовательного процесса определяется его качеством в целом, а также его составных частей. Поэтому понятие «эффективность образовательных технологий» тесно связано с понятием «качество образования» и показывает отношение полученных результатов к затратам времени, финансовых и других ресурсов для их достижения [1].
В современной практике высшего образования часто используется общая система оценивания успеваемости и достижений студентов на основе балльно-рейтинговой системы, в которую заносятся все оценки (баллы), получаемые студентами по каждому модулю каждой дисциплины в течение всего семестра. Для проведения такой оценки дисциплина делится на модули, и по каждому из них происходит оценивание. [2-5] Этот процесс автоматизируется посредством внедрения систем, которые все более широко используются при управлении вузом.
Таким образом, необходимо разработать автоматизированную систему, которая позволила бы улучшить качество обучения с помощью внедрения эффективных образовательных технологий, а также повысить мотивацию в процессе освоения дисциплины и осуществить контроль результатов обучения студентов.
Целью данного исследования является совершенствование учебного процесса в высших
учебных заведениях за счет подбора наиболее эффективных образовательных технологий. Для достижения данной цели авторами статьи разработана экспертная система, назначением которой является:
1) подбор наиболее эффективных образовательных технологий;
2) подбор методов и средств обучения при изучении конкретной дисциплины;
3) повышение качества обучения на основе экспертной оценки эффективности образовательных технологий [6].
Описание программного комплекса по оценке эффективности образовательных технологий
Состав, структура и способы организации данных в экспертной системе должны обеспечить выполнение следующих функций:
1) ввод справочников по образовательным технологиям и дисциплинам учебного плана по имеющимся направлениям подготовки учебного заведения;
2) ввод данных о составе группы студентов;
3) проведение и обработку результатов двухуровневой экспертной оценки образовательных технологий;
4) формирование рекомендаций по использованию образовательных технологий;
Научно-технический журнал
5) предоставление оценки эффективности применения образовательных технологий в количественном выражении;
6) формирование отчетов:
а) отчет по результатам входного и итогового контроля знаний студентов (результаты тестирования по контрольным точкам);
б) отчет с перечнем рекомендуемых образовательных технологий на основе наибольших значений комплексного показателя, полученного по результатам двухуровневой экспертной оценки;
в) отчет эффективности рекомендованных образовательных технологий, на основе сравнительного статистического анализа данных полученных по итогам тестирования студентов до и после их реализации по циклу дисциплин [7].
Нефункциональными требованиями к экспертной системе являются:
Практичность
• удобный ввод и просмотр информации;
• наличие дружественного интерфейса, имеющего систему подсказок и сообщений с максимально ограниченным объемом входной информации.
Надежность
• защита данных обеспечивается совокупностью аппаратных и программных средств системы, а также организационными мероприятиями;
• актуальность и достоверность данных в системе;
• регламентация информационных связей между задачами.
Производительность
• обеспечение высокой производительности работы системы;
Пользователь
Учебный отдел 4 &кспзрт]
Преподаватели С ■ Студент
• оперативное получение выходных данных;
Обслуживание и сопровождение
• минимизация затрат на поддержку и сопровождение системы;
• достоверность и актуальность данных должна достигаться посредством своевременного ее обновления в необходимой форме.
• эксплуатацию системы должен осуществлять специально подготовленный персонал [8].
В системе ввод первичных документов выполняется с использованием различных справочников. Справочник не только описывает предмет, но также играет важную роль при структуризации информации в базе данных.
Входной информацией для экспертной системы являются:
1) нормативно-справочная информация по образовательным технологиям и дисциплинам учебного плана по имеющимся направлениям подготовки учебного заведения;
2) результаты оценки знаний студентов;
3) экспертные оценки образовательных технологий [9, 10].
Выходными данными в разработанной системе являются отчеты двух видов:
• результаты текущего контроля, промежуточной и итоговой аттестации;
• перечень рекомендуемых образовательных технологий для изучения дисциплины с указанием соответствующих средств и методов обучения.
Разработанная авторами статьи автоматизированная система (рис. 1) реализует решение задачи по оценке эффективности образовательных технологий (рис. 2) на основе сравнительного анализа уровня знаний студентов по дисциплине до и после ее внедрения в учебный процесс.
Рис. 1. Информационное окно программы
ОБРАЗОВАТЕЛЬНЫЕ ТЕХНОЛОГИИ
' Традиционные образовательные технологии
лекция
практическое занятие лабораторная работа Технологии развития личности проблемное обучение развивающее обучение проблемно-развивающее обучение игровая технология ТРИ 3-техн ол огня эвристическое обучение проектное обучение обучение в сотрудничестве технология педагогических мастерских опережающее обучение
индивидуально-дифференцированное обучение - Л и ч н остн о-ори енти рован н ы е технологии кей с-техн ол огня "п ортфол и о" деятельное обучение Технологии с помощью технических средств о&учени. информационные и компьютерные технологии программированное обучение дистанционное обучение Предметно-ориентированные технологии модульное обучение разноуровневое обучение концентрированное обучение
С
J
Рис. 2. Дерево проекта «Образовательные технологии»
Программный комплекс позволяет определить изменение уровня освоения студентом компетенций при реализации нетрадиционных образовательных технологий в ходе изучения конкретной дисциплины. Выбор технологии строится на анализе данных оценки экспертов. Эффект от ее использования определяется на основе сравнения результатов входного и итогового тестирований [11-13].
Автоматизированная система содержит 21 модуль, каждый из которых активизируется либо в виде диалогового окна проекта, либо в виде фрейма внутри основного окна программы.
С информационной системой работают следующие категории пользователей:
• учебный отдел;
• эксперт;
• преподаватель;
Г^ ОЦЕНКА ЭФФЕКТИВНОСТИ ОБРАЗОВАТЕЛЬНЫХ ТЕХНОЛОГИЙ
• студент.
Пользователь «Учебный отдел» имеет доступ к изменению информации, представленной в справочниках по наименованию факультетов, направлений подготовки, перечню компетенций, номерам и спискам групп студентов. Программа БЕЕТ обеспечивает последовательный ввод и редактирование исходных данных через использование визуальных компонентов модальных форм, вызываемых посредством опций верхнего контекстного меню. «Учебный отдел» заполняет перечень дисциплин по каждому соответствующему направлению подготовки, перечень компетенций, используемые в вузе образовательные технологии, показатели, методы и средства обучения. Начальным этапом при работе с программой пользователя «Учебный отдел» является формирование базы данных, представленной в виде древообразной структуры, на конце которой располагается студент. Данная структура лежит в основе организации процесса обучения и контроля над ним. Для каждой специальности в зависимости от формы обучения формируется либо дополняется список групп. Имеется возможность автоматического изменения номера группы при ее переходе с курса на курс с сохранением списка студентов и всех данных по ним. Это становится возможным благодаря выпадающему по запросу контекстному меню с возможностью определения масок изменения нумерации групп. Раздел «Администрирование» главного верхнего меню программы (рис. 3) позволяет воссоздать местоположение конкретного студента в общей структуре управления и контроля над учебным процессом.
Другим пользователем системы является «Эксперт». После внесения своих личных данных, ограниченных только Ф.И.О., наименованием места работы и должностью, эксперт может ознакомиться с компетенциями, которыми должен обладать выпускник конкретного направления подготовки (рис. 3).
' -___ ЫжЬееГ
Администрирование Циклы Контроль знаний Уровень компетенции Образовательные технологии Анализ Справка Выход ОБРАЗОВАТЕЛЬНЫЕ ТЕХНОЛОГИИ
Данные об эксперте
Фамилия Иванов Имя Иван
I Традиционные образовательь
; - практическое лабораторная работа | ■ Технологии развития |— проблемное обучение развивающее обучение
- проблемно-развивающее обучение ;••■• игровая технология 1 ТРИ 3-техн ол огня
эвристическое обучение
- проектное обучение !•••• обучение в сотрудничестве | -технология педагогических мастерских
опережающее обучение 1 индивидуально-дифференцированное обучение I - Личностно-ориентированные
"порт фолио" деятельное обучение ' Технологии с помощью технических средств обуче :•••• информационные и компьютерные технологии г- программированное обучение 1 ■дистанционное обучение | - Предметно-ориентированные' !•••• модульное обучение 1 разноуровневое обучение концентрированное oбyчe^
■ВИВ
Отчество Иванович Место работы эксперта:
ООО "Адептик ПЛЮС", технический директор
Исходная информация для проведения с
Дисциплина: Технологии программировани •»
:пециал ьн ость: И нФормационные системы и технологии в строительстве и архитектуре) » Список компетенций, соотнесенных с учебным планом дисциплины
Код Содержание компетенции ОПК-1 Способен применять естественнонаучные и общеинженерные знании'—' ОПК-3 Способен решать стандартные задачи профессиональной деятельное
Приступить к оценке
Рис. 3. Окна «Данные об эксперте» программного комплекса "БЕЕТ"
Предварительно до проведения оценки эксперт имеет возможность ознакомиться с каждой из образовательных технологий, представленных в дереве проекта, ее методами и средствами, с помощью которых она может быть реализована в рамках учебного процесса (рис. 3). Данные методы и средства должны направить дальнейший выбор эксперта на определение наиболее адаптированной из них под конкретную дисциплину учебного плана. Он проставляет баллы от 0 до 9 в предоставленной ему таблице в зависимости от предполагаемой эффективности соответствующей технологии в процессе обучения.
Данной опцией программного комплекса может воспользоваться любой из назначенных специалистов в указанной области знаний, получивший логин и пароль для входа в систему. Результаты эксперта остаются строго конфиденциальными и неизвестны другим лицам, участвующим в оценке. Эксперт выбирает конкретную дисциплину, проводит сравнение образовательных технологий по выделенным показателям и ранжирует их.
Третьим пользователем системы является «Преподаватель» - лицо, непосредственно проводящее занятия со студентами по данной дисциплине. Он обладает наиболее полной информацией, представленной в автоматизированной системе. Именно он принимает решение об использовании той или иной образовательной технологии на своих занятиях в рамках дисциплины учебного цикла. Кроме того, что он может обратиться ко всем справочникам, не изменяя данных в них, ему открыты результаты как предварительного (рис. 4), так и основного этапа проведенных экспертиз оценки образовательных технологий. Ему доступна информация о специалистах, проводивших экспертизу. «Преподаватель» может предложить свои кандидатуры для пополнения списка экспертов.
Поскольку в ходе экспертизы фиксируется не одна, а сразу три технологии набравшие наибольшее значение комплексного показателя, то содержащаяся в таблице информация включает несколько ключевых выводов по каждой из дисциплин, на занятиях по которым они были использованы.
Преподаватель, как лицо принимающее решение, имеет возможность организовать входное и итоговое тестирования студентов, сформировать отчет по эффективности образовательной технологии и при необходимости рекомендовать повторную экспертную оценку. Он имеет право ввода новых данных по показателям образовательных технологий, выбора группы студентов, направления подготовки.
Приняв решение об использовании конкретной образовательной технологии, основываясь на результатах экспертизы значений комплексного показателя, «Преподаватель» открывает доступ к программе пользователю «Студент». Цель дан-
ного действия - проведение входного тестирования по дисциплине, чтобы зафиксировать результаты о знаниях, умениях и навыках студента до начала использования выбранной образовательной технологии. Результаты прохождения данного теста в дальнейшем будут служить отправной точкой для оценки эффективности реализации данной технологии.
Первый шаг экспертизы
Представлены результаты оценки значимости показателей эффективности методов и средств обучения. Данные напучены пс итогам спроса мненииэкпергов, являющихся потенциальными работодателями Будущих выпускников учебного заведения
Список экспертов
№ Ф.И.О.
1 ЖОЛОЙОВД.А.
2 Лампадов С.А.
3 Сокольский В.М.
Место работы '
ООО »Адептик Плюс*-, Руковод'—' ЗАО »Астраханское цифровое 1 ООО »Системы, технологии ис.
Сводная таблица результатов предварительной экспертизы
Показатели Эксперт N-6 Весовой показатель
повышение мотивации обучения 0 [1.0973782771535581
повышение скорости усвоения уч« 0 0.0823370037453183
повышение активности обучающи В 0.108814232208738
наличие тесной обратной связи в 0,0873782771535581
наличие благоприятных условий д 1 0,0788518853832584
возможность использования paз^ Б 0,0936329588014981
повышение интереса к будущей п 1 0.119850187265918
применение методов и способов 7 0.116104868813858
возможность использования СОВ{ В 0,146067415730337
развитие языковых, коммуникатк 3 0,0538250836323588
□
Следующий шаг экспертизы
Рис. 4. Фрейм окна «Предварительная экспертиза» программного комплекса «БЕЕТ»
Студенты имеют ограниченный доступ, а именно участвуют только в прохождение входного и итогового тестирования. Для осуществления контроля над начальным уровнем подготовки студента необходима информация об уровне усвоения школьных дисциплин и дисциплин, изученных им на младших курсах.
Поскольку ранее было отмечено, что рейтинговая или стобалльная шкала самая гибкая шкала, то результаты тестирования желательно, чтобы были представлены в стобалльной шкале, а затем они посредством логистического алгоритма преобразуются либо в пятибалльную, либо в шестибалльную систему оценок. По каждой дисциплине, входящей в цикл, должна быть получена оценка: результат тестирования. То есть любая выполненная работа по освоению цикла, должна быть количественно оценена для получения средневзвешенной оценки по циклу [14].
Основываясь на данных рейтинговой шкалы, имеется возможность определения уровня компетенции студента по соответствующей специальности/направлению. Поскольку средневзвешенная оценка характеризует изученность определенного цикла основной образовательной программы бакалавриата, то для анализа количественной связи рассматриваются компетенции, описывающие представленный цикл. Список компетенций пополняется только в том случае, когда средневзвешенная оценка студента по циклу превышает ее нижнюю границу,
выраженную в баллах, причем перечисляются все компетенции, расположенные ниже.
Алгоритм, реализованный в программе, позволяет определить и промежуточный уровень сформированности компетенции студента. При этом в расчетах учитывается число зачетных единиц только по уже полностью изученным дисциплинам каждого из циклов. Однако, этот список компетенций будущего бакалавра нельзя считать итоговым, поскольку он может претерпевать значительные изменения по мере изучения оставшихся дисциплин как в одну, так и в другую сторону.
При этом индивидуальный уровень компетенции представляется автоматизированными средствами в виде списка, который позволяет раскрыть с большей подробностью и с необходимой детализацией квалификационную характеристику выпускника.
Для оценки предложенной методики был проведен педагогический эксперимент по дисциплине «физика». В педагогическом эксперименте участвовали студенты 1 и 2 курса специальности «Прикладная геодезия». Как видно из диаграммы (рис. 5) по оценкам экспертов в качестве образовательных технологий были выбраны технологии деятельностного подхода и
проблемного обучения. Данный подход предполагает возможность использования разноуровневых дидактических материалов с учетом индивидуальных особенностей студентов; повышение интереса к будущей профессиональной деятельности; применение методов и способов решения профессиональных задач. Оценка эффективности образовательных технологий осуществлялась по результатам тестовых заданий, объединенных в четыре группы:
1) выявление физических процессов, протекающих на объекте профессиональной деятельности;
2) нахождение значений физических величин, характеризующих строительные объекты на основе теоретического и экспериментального исследований;
3) составление математических уравнений, описывающих физические процессы и явления;
4) установление физических законов для решения задач профессиональной деятельности [15].
Выделение группы и разработка тестовых заданий производилась исходя из компетенций, формируемых при изучении курса физики.
Диаграмма результатов правильно выполненных заданий при использовании в рамках учебного процесса традиционной и деятельностной технологий представлены на рисунках 5 и 6.
3 4 5 5 7
Показателе оценим образанателькых технологий
у Технология развития личности (гроблемнае обучение] ■ Личностно-орнентарованное обучение (деяггельностная технология) Рис. 5. Сравнительная диаграмма результатов экспертов по оценке показателей образовательных технологии
Сравнительная диаграмма результатов I обучения
£
120К 100К 80К 50К 40К 20% О%
■I >1 -I .1
группы тесто зык задании
■ Текиэлогня разбитая личности <г_робледное обучение] . .Личностнс-сриенткрованное обучение (деятельностиая технология) Рис.6. Сравнительная диаграмма результатов обучения студентов по выбранным образовательных технологиям
Итоги эксперимента демонстрируют, что технология деятельностного подхода оказалась более эффективной по сравнению с проблемным обучением по всем группам предлагаемым студентам тестовых заданий.
Заключение
Таким образом, разработанный авторами статьи программный комплекс позволяет осуществить оценку выбранной образовательной технологии при изучении конкретной дисциплины,
внедрить в учебный процесс наиболее эффективную технологию и тем самым повысить качество подготовки студентов в вузе. Предлагаемый переход на компетентностное описание качества подготовки выпускника несет определенную смысловую преемственность и законченность, согласуясь с требованиями, предъявляемыми к высшему образованию.
Список литературы
1. Клюев А.В. Сущность, отношения и возможности совместного использования понятий «Результативность» и «Эффективность» - Вестник УрФУ. Серия экономика и управление. 2017, Том 16, № 4.- С. 532-555
2. Пальтов А.Е. Инновационные образовательные технологии: Учебное пособие. - Владим. Гос. ун-т им. А.Г. Столетовых.
- Владимир : Изд-во ВлГУ, 2018. - 119 с
3. Современные технологии обучения в вузе (опыт НИУ ВШЭ в Санкт-Петербурге). Методическое пособие. Под редакцией М. А. Малышевой/-Отдел оперативной полиграфии НИУ ВШЭ - Санкт-Петербург, 2011. - 134 c
4. Соболева В.В. Интерактивный учебно-методический комплекс по физике как средство формирования профессиональных компетенций бакалавра-строителя//Потенциал интеллектуально одаренной молодежи - развитию науки и образования. Материалы IX Международного научного форума молодых ученых, инноваторов, студентов и школьников. Под общей редакцией Т.В. Золиной. 2020. С. 450-454.
5. Современные образовательные технологии в учебном процессе вуза [Текст]: методическое пособие / авт.-сост. Н. Э. Касаткина, Т. К. Градусова, Т. А. Жукова, Е. А. Кагакина, О. М. Колупаева, Г. Г. Солодова, И. В. Тимонина; отв. ред. Н. Э. Касаткина.
- Кемерово: ГОУ «КРИРПО», 2011. - 237 с.
6. Соболева В.В., Шикульский М.И. Методика автоматизированного подбора образовательных технологий для оптимизации учебного процесса в вузе. - Инженерно-строительный вестник Прикаспия. 2021. № 1 (35). С.81-85.
7. Маглинец Ю.А. Анализ требований к информационным системам: конспект лекций. - СФУ: Красноярск, 2007. - 100 с.
8. Шикина В. Е. Техническая документация информационных систем: учебное пособие / В.Е. Шикина. - Ульяновск: УлГТУ, 2018 - 92 с.
9. Кравченко Г. М., Болотина А.Б., Андреев П.А. Принятие управленческих решений с использованием метода анализа иерархий: Учебно-методическое пособие для практических занятий. - М.: РУТ (МИИТ), 2018 - 31с.
10. Цибизова Т.Ю., Карпунин А.А. Применение метода анализа иерархий в оценке качества процессов управления // Современные проблемы науки и образования. - 2015. - № 2-1.; URL: http://science-education.ru/ru/article/view?id=20847.
11. Садчиков П.Н. Методологические принципы построения математической модели. - Инженерно-строительный вестник Прикаспия. 2014. № 3 (9). С. 51-53.
12. Саати Т. Принятие решений. Метод анализа иерархий / Т. Саати -М.: Радио и связь, 1993 - 167 с.
13. Карпачев А.А., Бакланов Е.Н., Стародубцев П.А. Процесс формирования компетенций в учебных планах и программах третьего поколения//Интернет-журнал «Науковедение». 2014. №6(25)/ URL: http://naukovedeme.ru/mdex.php7p4ssue-6-14
14. Тесленко В. И. Методика анализа и оценка результатов тестирования//Вестник КГПУ им. В.П. Астафьева. 2006. №1. URL: https://cyberleninka.ru/article/n/metodika-analiza-i-otsenka-rezultatov-testirovaniyа.
15. Соболева В.В., Смирнов В.В Разработка комплекса заданий по физике для формирования проектировочной деятельности бакалавров-строителей // Образование в цифровую эпоху: проблемы и перспективы. сборник трудов Международной научно-практической конференции. 2019. С. 154-157.
© П. Н. Садчиков, В. В. Соболева
Ссылка для цитирования:
Садчиков П. Н., Соболева В. В. Автоматизированная система оценки эффективности образовательных технологий / / Инженерно-строительный вестник Прикаспия : научно-технический журнал / Астраханский государственный архитектурно-строительный университет. Астрахань : ГАОУ АО ВО «АГАСУ», 2021. № 3 (37). С. 96-101.
УДК 004.415.2
DOI 10.52684/2312-3702-2021-38-4-101-106
МОДЕЛЬ WEB-ПРИЛОЖЕНИЯ «индивидуальный план работы преподавателя» О. Д. Окладникова, С. В. Окладникова
Астраханский государственный университет, г. Астрахань, Россия
С переходом вузов на эффективные контракты до настоящего времени в образовательных организациях актуальной остается задача по эффективному управлению кадровым потенциалом. Разработанные модели оценки результативности и эффективности работы преподавательского состава легли в основу критериальной оценки их деятельности. Основным документом, в котором определяется объем и содержание работы ППС является индивидуальный план работы. В статье авторы обосновывают актуальность задачи по автоматизации процесса формирования и согласования индивидуального плана работы преподавателя вуза, рассматривают функциональные особенности данного процесса и основные требования к информационной системе, описывают архитектуру и технологические преимущества ее реализации в виде клиент-серверного Web-приложения.
Ключевые слова: индивидуальный план работы преподавателя, цифровая трансформация, бизнес-процесс, архитектура Web-приложения, USE CASE DIAGRAM UML, Angular, фреймворк.
