Научная статья на тему 'К задаче разработки интегрированной системы управления формализованной оценкой знаний'

К задаче разработки интегрированной системы управления формализованной оценкой знаний Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
120
23
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
ФОРМАЛИЗОВАННАЯ ОЦЕНКА ЗНАНИЙ / THE FORMALIZED ASSESSMENT OF KNOWLEDGE / ИНФОРМАТИЗАЦИЯ ОБРАЗОВАНИЯ / EDUCATION INFORMATIZATION / КОНТРОЛЬ РЕЗУЛЬТАТОВ ОБУЧЕНИЯ / КОНТРОЛЬНО-ИЗМЕРИТЕЛЬНЫЕ МАТЕРИАЛЫ / CONTROL AND MEASURING MATERIALS / CONTROL OF RESULTS OF TRAINING

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Григорьев Сергей Георгиевич, Кузнецов Александр Андреевич, Сабитов Рустэм Адиевич, Смирнова Гульнара Сергеевна, Сабитов Шамиль Рустэмович

В работе дан анализ сложившейся в настоящее время системы организации и проведения оценки знаний. Сформулированы концепция и постановка задачи разработки интегрированной системы управления формализованной оценки знаний. Концепция включает в себя целый комплекс мероприятий, направленных как на непрерывное совершенствование системы, так и на ее структурные изменения.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Григорьев Сергей Георгиевич, Кузнецов Александр Андреевич, Сабитов Рустэм Адиевич, Смирнова Гульнара Сергеевна, Сабитов Шамиль Рустэмович

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

On the problem of development of the integrated system managements of the formalized assessment of knowledge

In work the analysis of the system which have developed now of the organization and carrying out an assessment of knowledge is given. The concept and problem definition of development of the integrated control system of the formalized assessment of knowledge are formulated. The concept includes the whole complex of the actions directed as on continuous improvement of system, and its structural changes.

Текст научной работы на тему «К задаче разработки интегрированной системы управления формализованной оценкой знаний»

ДИДАКТИЧЕСКИЕ АСПЕКТЫ

ИНФОРМАТИЗАЦИИ ОБРАЗОВАНИЯ

К ЗАДАЧЕ РАЗРАБОТКИ ИНТЕГРИРОВАННОЙ СИСТЕМЫ УПРАВЛЕНИЯ ФОРМАЛИЗОВАННОЙ ОЦЕНКОЙ ЗНАНИЙ

С.Г. Григорьев

Кафедра информатики и прикладной математики Московский городской педагогический университет Шереметьевская ул., 29, Москва, Россия, 127521

А.А. Кузнецов

Российская академия образования ул. Погодинская, 8, Москва, Россия, 119121

Р.А. Сабитов, Г.С. Смирнова, Ш.Р. Сабитов, Н.Ю. Елизарова

Кафедра динамики процессов и управления Казанский национальный исследовательский технический университет им. А.Н. Туполева ул. К. Маркса, 10, Казань, Россия, 420111

В работе дан анализ сложившейся в настоящее время системы организации и проведения оценки знаний. Сформулированы концепция и постановка задачи разработки интегрированной системы управления формализованной оценки знаний. Концепция включает в себя целый комплекс мероприятий, направленных как на непрерывное совершенствование системы, так и на ее структурные изменения.

Ключевые слова: формализованная оценка знаний, информатизация образования, контроль результатов обучения, контрольно-измерительные материалы.

Потребности современной экономики определяют увеличение спроса на высококвалифицированных специалистов, особенно в высокотехнологичных областях знаний. На предприятиях различных отраслей экономики имеется недостаток хорошо подготовленных инженеров, конструкторов, технологов, программистов. В сложившейся ситуации необходимо непрерывно проводить объективный анализ процесса обучения, который будет определять направления дальнейшего развития образовательных технологий.

Процесс обучения, как известно, осуществляется в несколько этапов: изучение учебного материала, контроль результатов изучения с последующей их фиксацией. Вне зависимости от содержания учебных предметов, методов их изучения, форм организации учебного процесса контроль полученных знаний подводит итог работы, оценивает косвенно или прямо результаты учебной деятельности. Безусловно, эта оценка должна быть максимально объективной, исключающей различные субъективные факторы.

В данной работе проводится анализ сложившейся системы оценки знаний и формируются возможные концептуальные предложения по развитию системы контроля знаний на различных уровнях образования с использованием современных методов и технологий интеграции и интеллектуализации обучения, основанных на парадигме формализованной оценки знаний.

Современные системы оценки знаний и необходимость их совершенствования. Контроль результатов обучения, как правило, ограничивается итоговой оценкой, которая фиксируется в различных документах и служит мерой учебной активности, знаний, интеллекта и способностей обучаемого. В России оценки выставляются по пятибалльной шкале, однако в последнее время все чаще используется и более подробная стобалльная шкала. Это в любом случае достаточно субъективная оценка учебных достижений обучаемого, основанная на результатах экзаменов, зачетов и других контрольных мероприятий. Подобный подход остается актуальным и в настоящее время.

Вместе с тем во многих странах используется различные схемы и методики контроля и оценки знаний, относящиеся к так называемым формализованным экзаменам и предлагающие испытуемым набор систематизированных задач, тестов, упражнений. При этом следует отметить наличие опыта использования формализованных технологий для различных уровней образования как средства промежуточного, итогового и входного контроля знаний учащихся, студентов, слушателей курсов, претендентов на звания и должности. Обзор, оценка, сравнение различных подходов в Германии, Китае, Сингапуре, США, Франции, Швейцарии и других странах приведены в обзоре [1]. Особо необходимо отметить, что в Российской Федерации используются Государственная итоговая аттестация (ГИА) и Единый государственный экзамен (ЕГЭ). Они тоже относятся к категории формализованных экзаменов. ГИА и ЕГЭ адаптированы на государственном и региональном уровнях, их результаты используются для оценки знаний школьников и определяют возможность поступления в высшие учебные заведения.

Сложившаяся на протяжении более чем десяти лет система организации и проведения ЕГЭ внесла определенные изменения в процесс обучения школьников и вместе с тем позволила создать объективно равные возможности для всех поступающих в высшие учебные заведения.

С другой стороны, не все применяемые технологии и способы оценки знаний получают одобрение и однозначную оценку. «Единый государственный экзамен вскрыл очень многие проблемы, которые десятилетиями копились в нашей системе образования. ЕГЭ, по существу, открыл эту сферу для общества. И большое

число нарушений, которые фиксируются, говорят только об этом. Раньше мы просто о них не знали. ЕГЭ сделал эту информацию доступной каждому», — сказал глава Министерства образования и науки Российской Федерации Дмитрий Ливанов [2]. По его словам, повышение информационной прозрачности, усиление общественного контроля за проведением ЕГЭ — это одно из магистральных направлений возглавляемого им министерства.

К сожалению, выяснилось (и эта тенденция характерна для многих развитых стран), что реализация заложенных в сложившуюся систему организации и проведения ЕГЭ методов и алгоритмов не вполне способствует качественному отбору подготовленной молодежи, особенно по сложным техническим и инженерным специальностям. Это может привести к негативным последствиям для страны и общества в целом уже в ближайшее время. В настоящее время содержание заданий ЕГЭ и их структура, а также сложившаяся система организации и проведения экзамена вызывают серьезную критику, что, в свою очередь, не способствует объективной оценке знаний выпускников школ, развитию должной мотивации молодежи к образованию, не позволяет в полной мере противостоять различным формам протекционизма (в том числе региональному протекционизму) и коррупции.

Методологические особенности генерации системы оценки знаний. В первую очередь необходимо сформировать концепцию развития системы оценки знаний, определить системные базовые подходы и понятные широкому кругу лиц алгоритмы, на основе которых предлагается осуществлять развитие системы организации и проведения формализованного экзамена, обосновать использование современных информационных технологий и методов интеллектуального анализа данных.

Необходимо также принять в качестве аксиомы, что конструктивное развитие системы организации и проведения экзамена возможно только при условии постоянного совершенствования содержания контрольно-измерительных материалов (КИМ) экзамена, их систематизации по всем разделам учебных предметов, по которым проводится экзамены, с учетом актуальных междисциплинарных связей и приведения его в соответствие с современными требованиями.

При разработке любой концепции, а особенно в области, затрагивающей интересы практически каждого члена общества, возникает необходимость пересмотра сложившихся стереотипов и системы ценностей (например, входной и выходной контроль знаний (хотя это разные дидактические задачи), тестирование (которое скорее относится к ограниченному контролю знаний, нежели просто к контролю), концентрация занятий в выпускных классах на изучение только материалов экзаменов в ущерб программам других учебных курсов).

Очень важным является переход, например, от «ручного» создания вариантов заданий экзамена на основе закрытой базы данных КИМ экзамена к разработке алгоритмов генерации вариантов заданий экзамена из обширной база данных КИМ. Безусловно, проблема создания и оценки КИМ является нетривиальной. Она должна быть предметом отдельного подробного исследования. В порядке замечания можно отметить, что это соответствует общему тренду развития цивилизации: от монотонного труда к машинной обработке данных.

Сложной и важной проблемой при формировании большого количества заданий (индивидуально для всех сдающих ЕГЭ) является обеспечение более или менее равнозначного уровня сложности (трудности) каждого варианта содержания экзамена. Однако можно предположить, что даже при определенном разбросе уровня сложности каждого из заданий экзамена характеристики суммарной сложности заданий будут достаточно близки. Это нивелирование произойдет за счет того, что сложность одних заданий будет компенсироваться менее сложным содержанием других.

Авторами был разработан прототип системы стохастической генерации вариантов заданий экзамена — «ЕГЭ-Randomaizer». В настоящее время прототип работает с базами данных КИМ по математике и русскому языку. КИМ могут представлять собой как тестовые задания, так и задачи, вопросы, упражнения. «ЕГЭ-Randomaizer» позволяет формировать и редактировать список экзаменуемых, условия формирования варианта экзамена из набора КИМ, а также генерировать варианты задания, составлять визуальную модель покрытия набора КИМ задачами из сгенерированного варианта экзамена для одного или группы экзаменуемых.

На рис. 1—9 приводятся фрагменты работы программы прототипа системы «ЕГЭ-Randomaizer».

Рис. 1. Форма для работы представителя ГЭК, выбор тестируемого из списка выпускников

Рис. 2. Форма визуальной оценки распределения КИМ в задании для тестируемого «Демо1»

Рис. 3. Форма визуальной оценки распределения КИМ в задании для тестируемого «Демо2»

Рис. 4. Форма визуальной оценки распределения КИМ в задании для группы тестируемых «Демо3»

Рис. 5. Форма вкладки панели администрирования в общем меню

Рис. 6. Форма панели администрирования — добавление данных об учениках

Рис. 7. Форма панели администрирования — редактирование данных об учениках

Ответ:

Abdraktimanova Alina Rafaelevna паспорт № 8005 452613, учзаведение №12 Математика, 9 класс ГИД 2014 А. Задача 4: В параллелограмме АВСО точка К — середина стороны АВ . Известно, что КС=КО. Докажите, что данный параллелограмм — прямоугольник Ответ:

Часть 1 А. Задача 1: Известно, что графжи функций у= х 2 +р и у=-2х-2 имеют ровно одну общую точку. Определите координаты этой точки. Постройте графики заданных функций в одной системе координат. Ответ: А. Задача 5: Постройте график функции у= х2 -6[ х |-2х и определите, при каких значениях с прямая у=с имеет с графиком роено три общие точки. Ответ:

А. Задача 2: При каких отрицательных значениях к прямая у=кх-4 имеет с параболой у= х 2 +3х ровно одну общую точку? Найдите координаты этой точки и построите данные графики в одной системе координат. Ответ: В. Задача 6: Найдите значение выражения 15- [ 1 5)2-в-15. Ответ:

А. Задача 3: Девятиклассники Петя, Катя, Ваня, Даша и Наташа бросили жребий, кому начинать игру. Найдите вероятность того, что жребий начинать игру Кате не выпадет. В. Задача 7: Найдите значение выражения 18- [ 1 9)2 -20-1 9. Ответ:

Рис. 8. Сгенерированный вариант экзамена в формате *.pdf

Рис. 9. Два варианта задания сгенерированные последовательно системой «ЕГЭ-Randomaizer» для одного человека с одним номером паспорта

На каждом задании приведены фамилиия, имя и отчество экзаменуемого, номер паспорта или номер СНИЛС, а также QR-код с этой же информацией. Все это позволяет полностью идентифицировать экзаменуемого и предложенный ему вариант задания. Набор КИМ в каждом варианте, генерируемом прототипом системы, является уникальным. Например, два варианта задания для одного и того же человека — разные (рис. 9).

Весьма важной является проблема качественной и объективной проверки работ. Поскольку предполагается, что база данных КИМ по любому предмету будет открытой не только для проверяющих результаты экзамена, в целях исключения возможности использования заранее подготовленных решений может быть предложено следующее:

— доступ к индексам задач из базы ответов может быть обеспечен с помощью специального ключа доступа, обеспечивающий временные проблемы по считыванию ответов;

— база данных КИМ экзамена постоянно изменяется, изменяются и задачи, и их решение;

— разработка системы автоматизации решения задач.

Предлагаемый подход позволяет создавать абсолютно уникальный набор КИМ в каждом варианте задания, что делает бессмысленной злоупотребления и торговлю вариантами экзамена, а также необходимость дорогостоящей защиты информации о вариантах экзамена [3].

ЛИТЕРАТУРА

[1] URL: http://ege.edu.ru/main/news/index.php?id_4=18870

[2] URL: http://lib.nspu.ru/umkb5c6b45ec18d10cd/t5/ch3.html

[3] URL: http://itar-tass.com/obschestvo/1205382

ON THE PROBLEM OF DEVELOPMENT OF THE INTEGRATED SYSTEM MANAGEMENTS OF THE FORMALIZED ASSESSMENT OF KNOWLEDGE

S.G. Grigoryev

Chair of informatics and applied mathematics Moscow city pedagogical university Sheremetyevskaya str., 29, Moscow, Russia, 127521

A.A. Kuznetsov

Russian Academy of Education Pogodinskaya str., 8, Moscow, Russia, 119121

R.A. Sabitov, G.S. Smirnova, Sh.R. Sabitov, N.Yu. Yelizarova

Chair of dynamics of processes and management The Kazan national research technical university of A.N. Tupolev K. Marx str., 10, Kazan, Russia, 420111

In work the analysis of the system which have developed now of the organization and carrying out an assessment of knowledge is given. The concept and problem definition of development of the integrated control system of the formalized assessment of knowledge are formulated. The concept includes the whole complex of the actions directed as on continuous improvement of system, and its structural changes.

Key words: the formalized assessment of knowledge, education informatization, control of results of training, control and measuring materials.

i Надоели баннеры? Вы всегда можете отключить рекламу.