CC BY
47
УДК 371 ББК 74.028
ЭЛЕМЕНТЫ МОДЕЛИ ПРОЦЕССА ОЦЕНИВАНИЯ РЕЗУЛЬТАТОВ ОБУЧЕНИЯ
ELEMENTS OF MODEL OF EVALUATING THE EDUCATION RESULTS
В. Д. Лобашев
Дилемма совмещения морально-качественных и количественных критериев определения уровня обу-ченности составляет одно из непреодолимых системных затруднений образовательного процесса. В статье рассматривается вариант построения количественной модели оценивания, в качестве практического аппарата предлагается начальный анализ структуры упорядоченных множеств.
Ключевые слова: оценка, отметка, критерии, полезность, мажоранта, маршрут обучения.
Оценивание результатов обучения представляет собой слабоструктурируемую задачу. Предварительное описание моделирования процессов, происходящих в этот период, можно представить в следующем виде.
Содержание учебного предмета определяется образовательным стандартом и конкретизируется для каждой изучаемой дисциплины учебным планом. Можно предположить, что полный, сформированный на основе учебного плана набор учебных элементов выбранной дисциплины 5(1) (где / = {1, ..., п} - общее число дисциплин учебного плана), содержащий в себе все основные (по мнению преподавателя) понятия, определения, ассоциации и т. д., являющиеся содержанием и наполняющие учебные элементы указанного множества (выражение для краткости записывается в виде 5(к) = {5(1), ..., 5(/)}), обеспечит в конечном итоге высококачественное изучение заданной области образовательного пространства. В дальнейшем методически совершенный контроль индексированного множества учебных элементов позволит с высокой степенью достоверности определить уровень обученности в заданной области образовательного пространства.
Активно функционирующая в настоящее время классно-урочная система, отражая существующие на практике требования к организации процесса обучения, подразделяет всю генеральную совокупность учебных элементов конкретной дисциплины 5(/), последовательно предъявляемых в учебном процессе, на пересекающиеся подмножества О, Е и Г, содержание которых педагогическая система (стандарт) трактует как соответствие по уровню необходимой Г - «удовлетворительно», достаточной Е - «хорошо» и гарантированно избыточной по уровню О -«отлично» профессиональной подготовки или иначе - сте-
V. D. Lobashev
Dilemma of combining morally-qualitative and quantitative criteria of determining proficiency level is one of insurmountable system obstacles of educational process. This article studies an option of building a quantitative evaluation model. The initial analysis of a structure of ordered sets is proposed as a practical apparatus.
Keywords: grade, mark, criteria, utility, majorant, educational route.
пени обученности специалиста. Усвоение этих элементов и подтверждение факта владения соответствующими результатами контрольных проверок, получаемых путем активной демонстрации приобретенных и развитых на их базе умений и навыков, должно гарантировать профессиональную подготовку специалиста к работе в условиях рыночной экономики на уровне требований социального заказа. Причем множество Г априори соответствует требованиям образовательных стандартов подготовки выпускников (специалистов), множество Е обеспечивается (с известной долей избыточности) штатным ординарным исполнением процесса обучения. Однако множество О уже предполагает неукоснительное выполнение требований:
1) консультаций и дополнительных знаний (внеклассная работа);
2) активного, ориентированного в направлении именно данного учебного курса самообразования;
3) активно-заинтересованной позиций обучаемого и преподавателей.
Рассматриваемые множества могут быть отражены как вложенные и дополняющие блоки, разделы тезауруса специалиста. Программа обучения должна выделить так называемые «ряды компетенции», определяющие, согласно квалификационным требованиям, минимальный базисный уровень обученности. Но при этом начальный объем ряда «ознакомления», трактуемый как наиболее широкий и полный профессиональный тезаурус знаний (но не умений и навыков) специалиста, не должен быть менее по информационной насыщенности, чем знания, сообщаемые профессионалу в данной профессии.
В таком случае, по условию задачи, достижение заданного равновзвешенного исходного положения, удовлетворяющего, в первую очередь, требованиям социума и га-
рантирующее некоторое превышение минимального уровня обученности в отношении специалиста высшей квалификации, можно зафиксировать нижней пороговой границей - отметкой «4». Она определяет факт владения обучаемым совокупным подмножеством учебных знаний Е{е[к]}, состоящее из к числа учебных элементов вида (содержания) е. Тогда подмножества ОМ/]} и Щ/]} оцениваются баллами «5» и «3», где соответственно: с1 и ( - виды элементов, а / и / - их количества, причем на практике принимается по качеству с1[т] > е[т] > Ат] и по количеству / > к > /. Это означает, что для получения более высокого балла в общем случае обучаемому необходимо продемонстрировать знания (умения, навыки) большего числа учебных элементов при их большей относительной трудности [1].
Как показали итоги формирующего эксперимента, выполненного в Карельской педагогической академии в 2002-2009 гг. (исследования проводились со студентами выпускных кафедр на 4-х и 5-х курсах), в учебном процессе эти множества определяются физиологическими нормами (пределами интенсивности) учебного труда, и чаще всего функциональные мощности этих множеств ограничиваются следующими модальными величинами восприятия учебной информации: понятий - 1-2 за занятие; определений - 3-4, дескрипторов и описаний - не более 8-10. Средние параметры учебных предметов изучаемых в вузе: число изучаемых дисциплин 8-10 в течение года, в совокупности их средняя информативность - 30-40 понятий в семестр, 100-120 определений, до 300-320 терминов, дескрипторов. Указанные числовые пределы являются определяющими темпоральными параметрами функционирования создаваемой модели учебного процесса.
С точки зрения технологии оценивания иной (не накопительный) подход вряд ли приемлем при нынешнем уровне квалификации самого преподавательского корпуса. Однако перспективного внимания, например, заслуживает отрицательное квантирование учебных элементов на нормирующие классы, соответствующие определенным отметкам, и их последующая идентификация с многоуровневыми качественно-количественными показателями и оценками, что по организации соответствует выполнению встречно-обменного процесса расширения содержания качественных и количественных критериев оценивания. Простейший алгоритм технологии отрицательного квантирования состоит в последовательном определении точек перехода «знания-незнания» первоначально основообразующих, базовых понятий (и после получения любого ответа - исключения их из дальнейшего анализа). Затем определяются экстремальные точки формирования-осмысления более сложных определений, терминов, которые также в последующем не участвуют более в определении уровня обученности проверяемого в данном единичном такте оценивания; окончание проверки соответствует либо набору определенного числа положительных баллов, либо достижения предельного числа отрицательных ответов, либо превышения возможных попыток испытаний. Рассмотренная технология, основанная на одной из базисных формул расчета надеж-
ности систем - теории Байеса, имеет большое число разновидностей [2].
Попытки искусственно обогатить оценку различными факторами в многочисленных рейтинговых системах в настоящее время, к сожалению, не удались, по крайней мере, оказались несостоятельны. Позволяя приблизиться к многофакторному оцениванию, подобные системы вынуждают преподавателя отойти от массово применяемой минимально энергетически нагруженной процедуры волюнтаристического оценивания. Показательно, что большинство учебных заведений не следует на практике требованиям принятия экзамена комиссией; по-прежнему аттестация производится отдельно по каждой дисциплине самими преподавателями. Даже педагогические поручения часто не содержат соответствующих показателей (участия в совместных аттестациях). Фактически в современных вузах и других учебных заведениях преподаватели преимущественно оценивают сами себя.
Финальный уровень обученности, предполагающий полное выполнение требований образовательного стандарта, может быть зафиксирован как усвоение и владение знаниями, умениями, навыками, определяемыми множеством Е, тогда как проявленные обучаемым при контроле знания на уровне множества Г будет соответствовать ситуации неустойчивой обученности. Это положение соответствует совершенно неприемлемому, но утвержденному образовательным стандартом положению минимального уровня обученности половины выпускников учебного заведения; фактически этим стандартом устанавливается принимаемый социумом как допустимый для учебного заведения уровень обученности, оцениваемый в баллах как 2,5, что принципиально неприемлемо в условиях профессионального образования. Множество О, как показывает практика, опосредовано характеризует повышенную квалификационную характеристику.
Следуя основному правилу критериального оценивания - фиксации по отношению к каждому учащемуся в процессе оценивания только отклонений от исходного уровня номинального балла (в существующей системе оценивания это положение фактически закрепляется на уровне информационно-эмоционально уравновешенной отметки «4»), необходимо получить и зафиксировать в виде конечного результата следующие показатели:
1. Логически строго и корректно сформулированные темы и вопросы, выявляющие пробелы знаний по аттестуемому предмету.
2. Фиксируемый уровень «незнания»; в каждом конкретном случае он достаточно случаен, однако искомое соответствие между выявляемыми проблемами и мерами по их устранению вполне эффективно разрешается процедурами:
а) выявление связности, надежности приобретенных теоретических знаний (тесты дополнительности, комбинаторики и др.);
б) поиск и регистрация «звена» разрыва в логике каждого ответа (анализ результатов тестирования, заполнение диагностических матриц, самоконтроль и др.);
в) вынесение окончательных количественных характеристик оценки, в соответствии с ранее принятыми критериями;
г) построение векторных матриц, выделяющих и характеризующих тенденции, а также многомерных матриц, описывающих аргументы функций, определяющих, в конечном итоге, виды и степень зависимости исследуемых показателей от большинства поддающихся влиянию педагогической системы отдельных факторов и общих комплексных отклонений;
д) ранжированная способность учащегося переносить, трансформировать знания из одной области (учебной дисциплины) в другую;
е) уровень общей эрудиции (интеллекта) и широту общих профессиональных знаний, умений в разрезе и с учетом сообщенной в процессе обучения и приобретенной в качестве итога самообразования (самообучения) информации по данной дисциплине (разделу, теме);
ж) способность к абстракции на базе как полученной в реальном времени, так и ранее либо параллельно приобретенной информации (здесь применимы специфический контроль и оценка самостоятельных, расчетных, курсовых работ по заранее заданным и предварительно оцененным блокам, проблемам, вопросам);
з) количественные характеристики заполненных матриц оценок, формируемых из отметок, полученных на различных этапах обучения, с последующим заполнением так называемых «матриц наследия»; такие матрицы фактически исполняют роль математических дополнений к общей технологии «портфолио»; они обеспечивают построение корректируемого на основе комплексной информации графа «портфолио», фиксацией и составлением на основании многомерных оценок (при проведении исследования одновременно рассматривается до семи осей-характеристик) маршрута продвижения обучаемого по графу «Учебный предмет». При этом также производится анализ отклонений зафиксированного маршрута от ранее запроектированного; последняя процедура предполагает функциональный анализ следующих характеристик графа:
• функций вершины: подлежат первоочередному исследованию:
- аргументы - время изучения, объем, практический выход и др.;
- тело функции - отражение процессов и характеристик отдельных либо целой совокупности занятий;
• функций дуги: особое внимание уделяется исследованию рядов передаваемых и трансформируемых в процессе этой передачи учебных сообщений, вырабатываемых оценок и параметров их корреляции во времени, а также, в зависимости от значений внутренних характеристик самого процесса передачи, вид оценочных критериев, мера их некоррелированности и др.;
• теневой матрицы весов ответов и отказов от ответов на вопросы, которая должна исчерпывающе полно характеризовать мотивацию действий и результаты анализа психологического портрета обучаемого; эта матрица фактически является матрицей дополнительности и наи-
более объемно и эффективно используется при синерге-тическом подходе к организации учебного процесса;
• процедур коррекции и корректировки индивидуального маршрута обучения, с целью достижения достаточного уровня эвентуальности (поиска, разработки и дальнейшего учета наилучшего сочетания всех анализируемых величин, факторов, параметров) выбранного варианта маршрута; столь же тщательно должен быть выполнен анализ «следа» этих процедур, что позволит оценить каждый шаг и его последствия и последействия в различных сочетаниях процедур, при различных интен-сивностях действий коррекции и т. д.
Иначе говоря, в процессе создания модели контрольно-оценочной деятельности необходимо построить ряды оценок и частот употребления для каждого изучаемого элемента, понятия, определения, дескриптора, присутствующих в контрольных вопросах в виде единичных конкретных обращений либо в составе некоторых комплексных, проблемных вопросов, задач. В конечном итоге их последовательность и сочетания определяют возможный вариант ответа, поступающий от проверяемого при заданных, известных обстоятельствах проведения контроля. Затем по известному алгоритму строится матрица отклонений, получаемых ответов и вариантов, служащих соответствующими эталонами. Накапливаемый массив в дальнейшем будет являться прообразом суммарной диагностической матрицы оценок (отметок). Являясь одним из основных элементов модели, непрерывно дополняемая и совершенствуемая на основе результатов оптимизации матрицы следов и теневой матрицы, она занимает центральное место в управлении процессами функционирования модели и их коррекции и одновременно определяет решающие условия, алгоритмы и правила планирования всех характеристик деятельности, процедур и функций оценивания, работу которых имитирует создаваемая модель [3].
Одно из назначений модели процесса оценивания -разработка принципов создания компонентов и в целом технологии оценивания, разработка стратегии совершенствования комплексной контрольно-оценивающей функции, наполнение содержанием процедур и функций контроля, оказание помощи преподавателю в построении количественно-качественных характеристик факторов оценивания, определение условий их наиболее эффективного применения. Преподавателями преимущественно анализируются условия, достаточно точно фиксируемые в реальном учебном процессе:
• время протекания отдельных этапов учебного процесса в различных методах обучения (индивидуальных, бригадных, коллективных и т. д.), что позволяет определить и сравнить нормативные и фактические затраты как со стороны обучаемого, так и самого педагога;
• объем и глубина преобразования базы знаний обучаемых и учет ведущих причин, вызывающих такие преобразования; достаточно явно в развитии и усложнении организации и содержании процесса обучения последовательно проявляются этапы формирования структурированных баз данных, динамических структур, знаний,
умений, навыков и т. д.; преобразуемые знания создаются на основе воспринимаемой информации в различно организованных зонах деятельности индивида: репликатив-ного усвоения, ближайшего развития, ближайшего саморазвития, влияния групповой организации деятельности, сотрудничества с обучающим, где на финальной стадии обучения выполняются учебно-практические действия в равном участии и ответственности с обучающим, в этой ситуации ученик уже может достигнуть уровня учителя;
• предрасположенность обучаемых к различным способам и приемам (системам) контроля, что особенно важно в модульном обучении в связи с необходимостью обязательного применения в одном и том же учебном элементе (модуле) различных форм, методов, видов контроля;
• действенность воспитательного аспекта функции контроля;
• надежность и перепроверяемость оценочно-контролирующей функции - информационную наполняемость каждого этапа обучения, примененные виды, формы, процедуры, приемы контроля, ряды отметок, выставляемых проверяемым, меры и алгоритмы коррекции учебного процесса в соответствии с получаемыми результатами. Далее получаемые данные накапливаются и систематизируются применительно к различным группам, профессиям, программам обучения и т. д., при этом учитываются различные виды, типы, формы занятий, особенности ситуаций индивидуального и коллективного обучения.
В этом анализе функциональная и процессуальная педагогические составляющие диагностики обеспечивают высокую эффективность функции обратной связи. При этом требования образовательного стандарта задают исходный минимальный объем вектор-пространства существования и проявления целевой функции учебного процесса. В свою очередь эта функция определяет пределы возможной коррекции подчиненного ей подсистемного функционала, осуществляющего оценку влияния результатов деятельности модели на подготовку учащегося.
Естественное присутствие неуправляемых, но оказывающих значимое влияние (конкомитантных) факторов придает модели учебного процесса и результатам ее деятельности стохастический характер и, как следствие, требует от создавших ее пользователей непрерывного проведения эксперимента (преимущественно формирующего характера) с целью набора как можно большего количества фактического материала.
В процессе своей реализации эта модель в каждой конкретной педагогической ситуации обеспечивает нахождение максимума полезности на представленном для выполнения исследования локальном минимуме потерь, определяемом детерминантами (предельно сжатыми характеристиками) вектор-функций образовательных усилий данного варианта маршрута обучения. Причем число аргументов вектор-функций, вызывающих либо единичное воздействие, либо отражающие некоторую их совокупность и численность самих векторов образовательных усилий, не ограничиваются, но жестко лимитируются возможностями предоставленного учебного времени и способностями об-
учаемых. Объем и конфигурация локального минимума потерь определяется, как правило, в раздельности для внешних и внутренних условий деятельности модели, в качестве основных отмечаются следующие показатели:
• общее число ограничивающих процесс факторов, а также общие затраты на выполнение учебного процесса (наиболее полно задается образовательными программами);
• предельные затраты на каждый показатель отдельного фактора (например, время проведения экзамена, зачета, минимальная и максимальная наполненность учебных групп, норма разбивки на подгруппы, нормы обеспечения практических занятий и т. п.);
Наиболее благоприятное решение принимается из числа возможных педагогических действий, применение которых целесообразно для достижения целей обучения. На практике значительно чаще из множества разрабатываемых вариантов действий выделяются так называемые мажоранты, характеризующие некоторые надмаксимальные [эквидистантные] значения на ограниченном (в интересах реальности управления процессом обучения) образовательном пространстве - то есть принимается решение не хуже лучшего из представленных к рассмотрению в результате исследования результатов функционирования модели в изучаемых обстоятельствах процесса обучения. Затем, последовательно пошагово и поэлементно вычисляются частные мажоранты дополняющих максимумов обученности различных категорий участников экспериментальных исследований. Модель позволяет определить показатели:
• максимально высокой обученности среди участников учебной группы;
• максимального разрыва между высоко, средне и минимально обученными членами группы;
• необходимых затрат (например, дополнительных занятий) для достижения минимально необходимого уровня обученности большинством учащихся, чей уровень обученности оказался ниже критического и чье дальнейшее успешное обучение не гарантируется.
Фактически, исходя из условий выдвинутой подзадачи, решаемой в данном случае моделью, именно последний показатель раскрывает утилитарное назначение «дополняющих максимумов»: наибольшее значение этих величин определяет наименее обученного ученика и, как следствие, выясняются наивысшие затраты процесса обучения. Подобное исследование проводится для членов контрольных групп, выделяемых на каждом этапе процесса обучения в различных учебных областях. Учет ограничений, заявленных в барьерной функции, определяющей параметры перехода от одной оценки к другой, и в первую очередь разграничения между компетентностью, обученностью и профессионализмом, позволяет построить маршрут достижения оптимального искомого максимума [обученности] уже в целом на пространстве учебного раздела, темы, дисциплины. Сложности многофакторного реального учебного процесса значительно сужают области решения этой задачи фактически до определения супремума (определяемого как наибольшее значение
из всех выделенных на данный период исследования мажорант) текущего момента процесса обучения. К про-блемности и большому объему исследовательской работы надо быть готовым. Разочарование недостижением цели не объясняет возможного срыва у преподавателя либо прекращение им проводимого исследования. Конструктивный выход может быть только один - начать сначала и, обращаясь к нравственным критериям педагогики, вести поиск оптимума маршрута обучения, используя иные варианты решения возникших проблем.
В настоящее время верификация представлений о моральных критериях обучения отданы педагогической системой на откуп преподавателю. Эти нормы, как отмечалось ранее, выражены только одним, счетно-дискретным критерием - баллом. Правомерность такого решения определяет практика. Однако известно: мораль - категория достаточно сложно приложимая к учебному процессу (ведь признанная позиция педагога [4]: наличие скрытости собственных знаний, высокий профессионализм сказочника, просвещенная ложь и уж в лучшем случае - интеллектуальный диктат). Теория созидающего союза «субъект -субъект» признается почти всеми педагогическими школами, но одновременно в любых процессах обучения присутствует разность потенциалов в знаниях и функционирует механизм передачи их от знающего учителя к не всегда даже желающему их приобретать ученику. Социум в настоящее время отказывается принять парадигму принуждения обучения. И, как следствие, обучаемый сам для себя решает вопрос: морально ли быть «недоученным» на фоне общественных оценок его деятельности и позиции. Объективная модель системы оценивания позволит приблизиться к разрешению и этой проблемы.
СПИСОК ИСТОЧНИКОВ И ЛИТЕРАТУРЫ
1. Рогинов О. В. Методы оценки эффективности учебного процесса на основе математического аппарата нечеткой логики // Школьные технологии. 2010. № 4. С. 173-176.
2. Сигорский В. П. Математический аппарат инженера. Киев: Техтка, 1977. 765 с.
3. Лобашев В. Д., Лобашев И. В. Педагогическая квалиметрия результатов обучения // Стандарты и мониторинг в образовании. 2005. № 2. С. 12-16.
4. Холодная М. А. Психология интеллекта: парадоксы исследования. Томск: Изд-во Том. ун-та; М.: Барс, 1997. 392 с.
REFERENCES
1. Roginov O. V. Methods of educational process evaluation on the basis of mathematical apparatus of fuzzy logic [Metody otsenki effektivnosti uchebno-go protsessa na osnove matematicheskogo appara-ta nechetkoy logiki]. Shkolnye tekhnologii (School technologies), 2010, no 4, pp. 173-176.
2. Sigorskiy V. P. Matematicheskiy apparat inzhen-era (Mathematical apparatus of an engineer). Kiev: Tekhnika, 1977. 765 p.
3. Lobashev V. D., Lobashev I. V. Pedagogical quali-metry of education results [Pedagogicheskaya kvalimetriya rezultatov obucheniya]. Standarty i monitoring v obrazovanii (Standards and monitoring in the education), 2005, no. 2, pp. 12-16.
4. Kholodnaya M. A. Psikhologiya intellekta: para-doksy issledovaniya (Psychology of the intelligence: paradoxes of research). Tomsk: Izd-vo Tom. un-ta; Moscow: Bars, 1997. 392 p.
УДК 37.02 ББК 74.202
ДИДАКТИЧЕСКАЯ КОНТРОЛЬНО-ОЦЕНОЧНАЯ СИСТЕМА ПОВЫШЕНИЯ ЭФФЕКТИВНОСТИ ОБУЧЕНИЯ УЧАЩИХСЯ 5-6-Х КЛАССОВ
DIDACTIC CONTROL AND EVALUATION SYSTEM FOR INCREASING THE EFFECTIVENESS OF TEACHING PUPILS OF THE 5-6TH FORMS
В. Л. Юновидова, Р. Г. Ахмадуллина
Статья посвящена повышению эффективности, сохранности и надежности обучения учащихся 5-6-х классов, так как из-за нарушения преемственности в обучении выпускников начальной школы в 5-х классах происходит понижение качества обу-
V. L. Yunovidova, R. G. Akhmadullina
This article focuses on increasing effectiveness, safety and reliability of teaching pupils of the 5-6th forms, because the quality of education decreases due to solution of continuity in the teaching process at primary and middle school. The elaborated didactic control and
