CC BY
23
Намчук В.П.
«Проблемы диагностики начального уровня обученности студентов...»
ПшгогичЕШЕ У
ПРОБЛЕМЫ ДИАГНОСТИКИ НАЧАЛЬНОГО УРОВНЯ ОБУЧЕННОСТИ СТУДЕНТОВ В ПСИХОЛОГО-ПЕДАГОГИЧЕСКИХ ИССЛЕДОВАНИЯХ
В.П. Намчук
PROBLEMS OF DIAGNOSING STARTING EDUCATION LEVEL OF STUDENTS IN PSYCHOLOGICAL-PEDAGOGICAL RESEARCH
Namchuk V.P.
On the basis of measuring general theory, the analysis of papers concerning pedagogccal diagnosing, the research held in Stavropol State Universtty the problems of diagnosing starting education level of students, the algorithm of actions for heterogeneous category-oriented tests are being viewed in the article.
ННа основе общей теории измерений, анализа публикаций по вопросам педагогической диагностики, исследований, проводимым в Ставропольском государственном университете, рассматриваются вопросы/ организации диагностики начального уровня обученности студентов, алгоритм действий при разработке гетерогенным критериально-ориентированным тестов.
В практике осуществления непрерывного образования молодежи, для обеспечения преемственности в деятельности общеобразовательных учреждений и вуза одно из главных мест отводится психолого-педагогической диагностике.
Общая теория измерений предполагает решение двух основных проблем. Первая из них касается справедливости приписывания числовых значений объектам и явлениям, вторая - выяснению того, в каком смысле можно говорить о единственности этих значений. Во втором случае проблема, по сути, состоит в определении типа шкалы, при помощи которой производится измерение. Шкала выступает в качестве основы для измерения.
Наиболее распространенная в психолого-педагогических исследованиях классификация шкал, предложенная С.С. Стивен-сом в 1951 г. Он различает шкалы наименований, порядка, интервалов и отношений, дает каждой из них характеристику и указывает границы применения статистических методов в каждом случае.
Анализ публикаций по вопросам педагогической диагностики позволяет сделать вывод, что практически во всех отечественных исследованиях в области образовательной тестологии рассматривается традиционный подход к созданию гомогенных тестов.
При диагностике уровня обученности необходимо быстро и качественно собрать и обработать информацию об уровне подготовленности студентов, необходимую для
29/2002
Вестник Ставропольского государственного университета
сопоставления учебных достижений отдельных студентов с требованиями образовательного стандарта; выявления студентов, достигших определенного уровня обученно-сти; определения пробелов в обучении; организации дифференцированного обучения студентов; корректировки образовательных программ с учетом реального уровня знаний студентов по предшествующим дисциплинам.
Тесты учебных достижений являются наиболее эффективным и оперативным инструментом, позволяющим решить поставленные задачи, однако при диагностике уровня обученности они чаще получаются гетерогенными, состоящими из критериально-ориентированных субтестов. Технология конструирования таких гетерогенных тестов в отечественной педагогике еще недостаточно разработана.
К числу современных математических моделей, которые применяются для разработки тестов, можно отнести модели педагогических измерений, развивающиеся в рамках теории постатейного отклика (IRT) . Это дает возможность создавать программы адаптивного обучения, способные оценивать вероятность овладения обучаемым учебных материалов различного уровня трудности.
Одним из перспективных направлений решения этой проблемы является использование экспертного подхода, базирующегося на методологии педагогической экспертизы (B.C. Черепанов, A.A. Мирошниченко), которая основана на методологии квалиметрии (Г.Г. Азгальдов, А.И. Субетто), методологии педагогического исследования (А.И. Пискунов, Г.В. Воробьев) и ГОСТах по экспертным методам оценки качества продукции.
В научном плане возникает проблема разработки более совершенных способов диагностики уровней обученности в рамках определенной модели измерения.
В практическом плане возникает задача создания квалиметрической технологии конструирования гетерогенных критериаль-
1 В русскоязычной литературе - ТМППТ (теория моделирования и параметризации педагогических тестов).
но-ориентированных тестов для диагностики уровней обученности.
При этом необходимо:
• провести сравнительное теоретическое исследование существующих методик диагностики уровней обученности студентов;
• сформулировать концептуальные основы диагностики уровня обученности;
• обосновать содержательную модель данного уровня обученности и разработать методику отбора диагностического материала учебных дисциплин;
• эксперементально апробировать предложенный алгоритм конструирования гетерогенных критериально-ориентированных тестов.
Проверка результатов обучения, которая состоит в выявлении уровня освоения знаний студентами, их соответствия образовательному стандарту, дидактикой трактуется как педагогическая диагностика.
В результате теоретического анализа сделан вывод, что наиболее эффективным инструментом для целей диагностики уровней обученности студентов являются гетерогенные критериально-ориентированные тесты.
Для определения содержательной основы тестов перспективно использование учебных тезаурусов, разработанных на основе метода групповых экспертных оценок (ГЭО). Для корректного отображения содержательной основы в тестовых заданиях необходимо в зависимости от целей диагностики обосновать модель измерения, адекватную объекту диагностики. Обзор исследований (В.И. Михеев, 1987; Л.В, Макарова, 1992; Б.У. Родионов, 1995 и др.) позволяет считать, что, используя различные сочетания градаций объема знаний, иерархий уровней умений и ступеней абстракции можно обосновать содержательную модель начального уровня обученности. Учет таксономии учебных целей (Б. Влюм, 19561994; Д. Толлингерова, 1994) позволит конструировать задания различной когнитивной сложности с заранее заданными параметрами.
Для реализации принципов непрерывности и управляемости образовательным
Намчук В.П.
«Проблемы диагностики начального уровня обученности студентов...»
процессом при системно-деятельностном подходе к обучению предлагается установить следующую иерархию начальных уровней обученности (НУО):
• входной НУО - для студентов первого курса, приступающих к изучению фундаментальных естественнонаучных дисциплин;
• базовый НУО - для диагностики уровня обученности студентов, приступающих к изучению общепрофессиональных дисциплин;
• специализированный НУО - для диагностики начального уровня обученности студентов, приступающих к изучению специальных дисциплин;
• переходный НУО - характеризующий начальное состояние уровня обученности студентов после каждого образовательного уровня при многоступенчатом образовании;
• профессиональный НУО - для выпускников вуза, приступающих к профессиональной деятельности.
Основные цели диагностики НУО заключаются в определении степени овладения студентами учебным материалом предшествующих дисциплин относительно полного объема знаний, умений и навыков, необходимых для успешного изучения последующей дисциплины, выявлении пробелов в предшествующем обучении; подтверждении успешных результатов обучения; планировании последующих этапов технологии учебного процесса, выборе его оптимального варианта. Тесты, соответствующие поставленным целям диагностики НУО, получаются гетерогенными с критериально-ориентированной направленностью.
Субтесты, создаваемые по отдельным предшествующим дисциплинам, должны соответствовать модели диагностики, адекватной изучаемым сторонам объекта измерения - НУО.
Операционализация основных качеств, характеризующих начальный уровень обученности (объем знаний, уровень умений и навыков) требует их конкретизации путем выделения понятийных признаков и перехода к системе эмпирических признаков, под-
дающихся непосредственному учету и измерению.
При измерении полноты знаний предлагается рассматривать две градации: «базовые знания» (Б), которые необходимы для изучения, предшествующих дисциплин, и «программные знания» (П), используемые при изучении последующих дисциплин, но в пределах программы предшествующей дисциплины («базовые знания» входят в состав «программных»). Для классификаций понятийных признаков, характеризующих виды деятельности в когнитивной области, при диагностике НУО предлагается рассматривать три уровня умений:
• уровень узнавания и представления (УП), предполагающий знание понятийно-терминологического аппарата учебной дисциплины: узнавание, распознавание, классификацию учебных дескрипторов тезауруса дисциплины на уровне представления;
• уровень репродуктивного воспроизведения (РВ), предусматривающий репродуктивное воспроизведение учебных дескрипторов «по памяти» (по готовому алгоритму);
• уровень продуктивного воспроизведения (ПВ), предполагающий умение обучаемого аналитически мыслить, трансформировать знания из одного раздела дисциплины в другой, использовать междисциплинарные связи, дополнять известные алгоритмы.
Для оценки конкретности и абстрактности знаний, входящих в НУО, могут служить три степени абстракции: «феноменологическая ступень» (А1), предусматривающая описательное изложение явлений, констатацию свойств и качеств объектов; «предсказательная ступень» (А2), предполагающая элементарное объяснение свойств объектов и закономерностей явлений; «прогностическая ступень» (АЗ), предусматривающая объяснение явлений с созданием их количественной теории, моделированием основных процессов, аналитическим представлением их законов и свойств.
Для оценки эмпирических признаков, характеризующих объем знаний, уровень умений и ступень абстракции, могут быть введены весовые коэффициенты, значение которых определяется экспертным путем.
29/2002
Вестник Ставропольского государственного университета
По данным коэффициентам определяется рейтинг тестовых заданий. Такие качества знаний, как прочность, осознанность, оперативность, характеризующие внешние критерии сформированности навыка определяются при обработке результатов тестирования введением коэффициента автоматизма навыка (отношение времени, необходимого для решения ТЗ репрезентативной экспертной группы, ко времени, затраченному на выполнение задания студентом) и коэффициента безошибочности действия (отношение числа правильно выполненных ТЗ к общему числу заданий).
В основу методики отбора диагностируемого материала положена информационно-семантическая модель обучения, Для определения содержательной области диагностики НУО из тезауруса изучаемой дисциплины отбираются те дескрипторы, для овладения которыми необходимы знания и умения, полученные при изучении предшествующих дисциплин, т.е. которые должны содержаться в понятийно-психологическом тезаурусе обучаемого. Отобранные дескрипторы изучаемой и предшествующих дисциплин сводятся в анкету открытого типа, которая направляется на экспертизу для установления уровней изложения дескрипторов предшествующих дисциплин.
При математической обработке заполненных анкет определяется частотный и весовой коэффициент каждого дескриптора, позволяющие провести их ранжирование.
Анализ вопросов разработки и оценки качества тестов позволил нам предложить следующий алгоритм действий при разработке гетерогенного теста для диагностики НУО.
1. Этап подготовительного планирования.
2. Определение содержательной области диагностики НУО на базе учебных тезаурусов с использованием метода ГЭО.
3. Формирование модели измерения
НУО.
4. Составление планов и спецификаций субтестов.
5. Разработка тестовых заданий различных уровней сложности, соответствующих спецификации и отображающих содержательную область диагностики НУО.
6. Анализ тестовых заданий методом ГЭО для выявления дефектов и определения уровней их сложности.
7. Согласование с экспертами композиционного построения гетерогенного теста и формирование субтестов (к тесту должен прилагаться эталон правильных ответов на каждое тестовое задание).
8. Установление экспертным путем критериальных баллов (стандартов усвоения учебного материала) для каждого уровня сложности.
9. Проведение тестирования и обработка его результатов.
10.Анализ качества тестовых заданий математическими методами: расчет показателей трудности, различающей способности: оценка надежности и валидности тестовых заданий и теста в целом.
11. При необходимости проводится корректировка теста и повторение пунктов 7-10.
12.Интерпретация результатов тестирования.
Организация диагностики НУО, включающая в себя этапы: отбора диагностируемого материала, конструирования теста; проведения тестирования и обработки результатов; использования результатов диагностики для организации эффективного обучения - обеспечивает выполнение системы общедидактических принципов педагогического контроля.
Об авторе
Намчук Виктор Петрович, доктор педагогических наук, доцент, профессор кафедры педагогики и педагогических технологий, декан по довузовской подготовке СГУ. Сфера научных интересов - исследование проблем подготовки педагогических кадров, управление общеобразовательными процессами в общеобразовательной и профессиональной школе. Автор более 40 научных, учебных и учебно-методических работ.
