CC BY
37
УДК 371.6 ББК Ч26-268.4
ГСНТИ 14.29.29
Код ВАК 13.00.03
О. В. Сапронова
Россия, Москва
ИСПОЛЬЗОВАНИЕ КОМПЬЮТЕРНЫХ ТЕСТОВЫХ КОМПЛЕКСОВ ДЛЯ ИЗМЕРЕНИЯ ДИАГНОСТИЧЕСКОЙ КОМПЕТЕНЦИИ СТУДЕНТОВ ПО ДИСЦИПЛИНЕ «ДИЗАРТРИЯ»
Аннотация. Рассматриваются проблемы использования компьютерных тестовых комплексов для измерений диагностической компетенции студентов по дисциплине «дизартрия». Статистические параметры результатов тестирования могут являться основой для определения значимых характеристик диагностической компетенции студентов в обозначенной области логопедии. В работе использованы методы корреляционного анализа. Показано, что процедура верификации выявляет соответствие тестового комплекса поставленной задаче определения уровня диагностической компетенции по дисциплине «дизартрия».
Ключевые слова: дизартрия; диагностическая компетенция; верификация тестового комплекса; дефицит педагогических измерений; дисбаланс теории и практики.
Сведения об авторе: Сапронова Ольга Васильевна.
Место работы: старший преподаватель, негосударственное образовательное частное учреждение высшего профессионального образования «Московский социально-гуманитарный институт».
Контактная информация:
На современном этапе новые ФГОС ВПО предъявляют особые требования к качеству и содержанию образования, к новым критериям оценки качества знаний студентов. В силу этого современная система высшего образования
O.V. Sapronova
Russia, Moscow
APPLICATION OF COMPUTER TEST COMPLEX FOR MEASURING DIAGNOSTIC COMPETENCE OF STUDENTS OF THE DISCIPLINE «DYSARTHRIA»
Abstract. The problems of computer-based test systems for the measurement of diagnostic competence of students in discipline "dysarthria" are discussed. Statistical parameters of the test results can be the basis for determining the significant characteristics of the diagnostic competence of students in the designated area of speech therapy. We used the method of correlation analysis. The studies show that the procedure identifies compliance verification test suite for the task to determine the level of diagnostic competence in “Dysarthria”.
Key words: dysarthria; diagnostic competence; verification of testcomplex; lack of educational measurement; imbalance of theory and practice.
About the author: Sapronova Olga Vasilievna.
Place of employment: Senior Lecturer, Private Educational Establishment of Higher Vocational Education “Moscow Social Humanitarian Institute”.
e-mail: [email protected]
должна гибко реагировать на данные запросы и потребности общества, создавая оптимальные возможности для профессиональной подготовки специалистов. Одной из важнейших составляющих модернизации учебного процесса являет-
ся разработка объективных технологий контроля и оценки качества обучения [6]. В основу модернизации системы профессионального образования положен компетентно-стный подход, целевой установкой которого является формирование у будущего специалиста компетенций как интегративных показателей усвоения профессиональных навыков (И. И. Зимняя, Т. М. Сорокина, И. М. Яковлева). На Форуме педагогических вузов России «Новый учитель для новой школы: теория, опыт и перспективы модернизации педагогического образования в России» многократно затрагивалась проблема формирования различных профессиональных компетенций будущего педагога. Было отмечено, что существует определенный дефицит в области педагогических измерений формирующихся компетенций, практически отсутствует инструментарий подобных измерений, недостаточно внимание исследователей к этой проблеме [5].
Профессионально значимые компетенции учителя-логопеда на сегодняшний день исследованы рядом авторов (Н. А. Бессмертная, С. А. Игнатьева, Е. В. Колтакова,
Н. Г. Петелина, Р. М. Султанова). В профессиограмме учителя-логопеда диагностическая компетенция определена как необходимая для профессиональной компетентности по профилю «логопедия». Вместе с тем обозначены определенные проблемы диагностической компетенции в логопедии. Выявлен дефицит сформированности профессиональных компетенций в виде пробелов в
практических умениях (в том числе и в диагностической компетенции). Изучение структуры профессиональной компетентности учителей-логопедов показало, что существует дисбаланс между теоретической и практической подготовкой специалистов [3].
Уровень сформированности диагностических умений, соответствующих профессиональному пониманию сути логопедического обследования того или иного речевого дефекта, проявляется при прохождении студенческой практики или в момент начала самостоятельной профессиональной деятельности специалиста. Во время практических занятий студенты знакомятся с диагностической процедурой, но по своей сути это не исследовательская деятельность, а констатационная (студентам предъявляются примеры уже распознанных речевых нарушений, причем в процессе логопедического воздействия часть информативных для речевого диагноза симптомов может быть частично или полностью скорректирована). Кроме того, на практических занятиях не всегда можно познакомиться с редкими случаями речевой и неречевой симптоматики, студенты-практиканты зачастую ограничены в самостоятельности, иногда нет возможности синтезировать сведения от разных специалистов об изучаемом объекте и т.д. Как правило, студенты и молодые специалисты признаются, что в практической деятельности они недостаточно умеют применить знания по предмету и диагностическому исследованию
речевой патологии, «увидеть диагноз», дифференцировать сходные симптомы. При этом уровень теоретической компетенции данного контингента в большинстве случаев соответствует достаточно высоким показателям. Возникает противоречие между наличием теоретических знаний у студентов и их практической применимостью в профессии (т.е. не всегда даже качественное обучение актуализируется в профессиональные умения, соответствующие современным требованиям к подготовке специалистов высшей школы).
Проблема определения уровня диагностической компетенции студентов возникает в процессе изучения предметов, непосредственно касающихся профессиональной деятельности логопеда. Для ее решения используются различные формы и методы выявления знаний студентов (контрольные и курсовые работы, семинары, экзамены, дипломные работы). С помощью перечисленных традиционных форм и методов контроля выявляется теоретическая составляющая диагностической компетенции студента, внимание к выявлению навыков владения практической стороной вопроса в настоящее время недостаточно, поэтому возникает задача разработки новых форм педагогических измерений в области логопедии.
В настоящее время эффективность педагогических процессов в образовании тесно связана с его компьютеризацией. Внедрение современных компьютерных технологий не отрицает классические тра-
диционные средства обучения, а гармонично дополняет их, обеспечивая высокую эффективность учебного процесса. Для решения поставленных задач необходима разработка специальных средств обучения, адаптированных к компьютерным технологиям: компьютерных обучающих программ, систем интерактивного взаимодействия, многоуровневых информационных систем, тренажеров, демонстрационных материалов и систем контроля качества обучения, компьютерных тестовых комплексов.
Т. А. Метельская отмечает, что высокая технологичность компьютерного тестирования позволяет эффективно организовать контроль знаний студентов на всех этапах обучения [4]. Технологии выявления диагностической компетенции по дизартрии также связаны с компьютеризацией. Для определения уровня теоретических знаний и практических умений по данной компетенции возникла необходимость разработки компьютерных тестовых комплексов, затрагивающих теоретические и практические проблемы изучения раздела «дизартрия».
Актуальность затронутой проблемы заключается в дефиците педагогических измерений диагностической компетенции в логопедии, отсутствии инструментария подобных измерений с целью выявления уровня диагностической компетенции студентов непосредственно в процессе обучения. В связи с этим возникает научная проблема поисков методов выявления и методологического инстру-
ментария исследования данной проблемы. Цель исследования -теоретическое обоснование, разработка и экспериментальная реализация технологии измерения и инструментария для определения диагностической компетенции по дизартрии для применения в учебном процессе в высшем учебном заведении. Проблема исследования - создание адекватного инструментария для измерения уровня диагностической компетенции по дизартрии. Обоснованием необходимости создания инновационного инструмента для изучения диагностической компетенции по дизартрии у студентов профиля «логопедия» является отсутствие в настоящее время технологий выявления сформированности практических умений студентов по диагностической процедуре непосредственно в период обучения.
Тестирование как метод контроля уровня знаний студентов по различным предметам учебного плана (клиническим основам, специальным логопедическим, педагогическим и т.д.) успешно используется на дефектологическом факультете
МСГИ с 2006 года. Тесты, созданные коллективом преподавателей МСГИ, успешно выявляют уровень теоретико-методологической подготовки студентов по различным предметам учебного цикла профиля «логопедия». Проблема определения сфор-мированности в процессе обучения диагностических навыков и умений будущего учителя-логопеда и выбора методов определения диагностиче-
ской компетенции до настоящего времени оставалась открытой.
Для определения диагностической компетенции студентов по специальным профессиональным предметам (ОНР-ФФН-ЗПР, афазия, дисграфия, дизартрия и др.) разработаны инновационные формы контроля - тестирование с использованием видеоматериалов.
Появление иного взгляда на структуру и содержание тестового комплекса с использованием дидактического видеоматериала научно обосновано предыдущей практикой применения тестов в диагностической процедуре и контролирования знаний студентов методом тестирования (В. В. Борисова, О. В. Матвеева, Т. А. Метельская, О. Г. Нал-бандян, Е. В. Оганесян).
Для решения проблемы выявления у будущих учителей-лого-педов наличия профессиональных навыков практической диагностики дизартрии на кафедре специального дефектологического образования МСГИ разработан специальный тест с использованием мультимедийных технологий. Тест построен из различных видеозаписей обследования речи детей старшего дошкольного возраста с дизартрическими расстройствами и комплекса вопросов с возможными вариантами ответов.
Структурно тестовый комплекс для выявления диагностической компетенции по дизартрии состоит из шести видеосюжетов и пятидесяти одного вопроса с набором возможных вариантов ответов. Видеосюжеты показывают детей с речевой патологией, которые выполняют раз-
личные задания или отвечают на вопросы. Задачей студента является увидеть комплекс речевой и неречевой дизартрической симптоматики, теоретические представления о которой учащиеся имеют после изучения предмета и практических занятий.
Содержательная сторона тестового комплекса заключается в следующем. В процессе показа видеосюжета студенты наблюдают крупный план лица исследуемого ребенка. Голос логопеда за кадром тестирует ребенка традиционным в логопедии способом. Например, для выявления уровня сформированности фонематического слуха, ребенок отраженно повторяет серию слоговых рядов. При этом дизартрические расстройства у данного ребенка видны в мимической и артикуляционной мускулатуре, слышны в качестве голоса, интонаций, способе фонационно-речевого дыхания и т.д. Задачей студента является увидеть эти проявления на экране и выбрать правильные варианты ответов на вопросы теста. Для решения этой задачи должны быть актуализированы ранее полученные теоретические знания по различным предметам и практические навыки по диагностике дизартрии. Ответив на вопросы теста, студенты проявляют знания в области абсолютной диагностики дизартрии, т. к. видеосюжеты не содержат примеров другой речевой патологии (все примеры показывают различную степень дизартрических рас-
стройств).
Процедура тестирования включает в себя предварительное изучение заданий, просмотр предложен-
ного видеосюжета и выбор вариантов ответов, соответствующих представленному видеосюжету. Вопросы и варианты ответов одинаковы для всех видеосюжетов, однако для различных видеосюжетов в зависимости от степени представленных диз-артрических расстройств речи верными являются различные варианты ответов. Содержание заданий теста затрагивает различные аспекты изучения дизартрической патологии речи: этиологию, патогенез, симптоматику, виды дизартрии; механизмы нарушений речи, других ВПФ и моторики при дизартрии; структуру дефекта, а также клиническую и психолого-педагогичес-кую диагностику различных проявлений дизартрических расстройств. Также круг вопросов освящает клинические основы логопедии (невропатологию, нейрофизиологию, анатомию и физиологию речи, высшую нервную деятельность), пройденные специальные предметы (введение в специальность, основы логопедии, дислалию, дизартрию), смежные психолого-педагогические дисциплины (психологию, специальную педагогику).
В эксперименте приняли участие студенты второго курса филиалов МСГИ в Москве, Апрелевке, Каменске-Шахтинском, Нефтеюганске, студенты старших курсов и практикующие логопеды городов Москва и Каменск-Шахтинский. Участвующие в тестировании студенты прослушали теоретические курсы основ логопедии, введения в специальность, дислалии, дизартрии, психологии, невропатологии,
нейрофизиологии, анатомии высшей нервной деятельности и посещали соответствующие этим дисциплинам практические занятия.
Исследуя проблему применения компьютерного тестирования в высшей школе, В. В. Борисова отмечает: «Чтобы определить приме -нимость комплекса тестовых заданий для оценки знаний, необходимо провести его детальную верификацию, то есть определить значимые параметры комплекса. При этом к наиболее важным параметрам комплекса следует отнести такие как динамический диапазон трудности заданий, адекватность, устойчивость, надежность и, конечно, валидность» [1]. Автор указывает, что комплекс тестовых заданий должен обладать высокой степенью валидности. Это значит, что результаты тестирования должны отражать именно те качества, умения и навыки студента, которые необходимы для дальнейшего прогресса в обучении и характеризуют студента как будущего специалиста. Степень валидности теста определяется не только содержанием комплекса заданий, но и методикой обработки и анализа полученных результатов. Верификация тестового комплекса с использованием дидактических видеоматериалов для выявления диагностической компетенции студентов по дизартрии проводилась по универсальной технологии на основе корреляционного анализа результатов тестирования [2].
На первом этапе, согласно вышеупомянутой методике, проводилась верификация видеосюжетов
методом корреляционного анализа по следующим параметрам: различности видеосюжетов; адекватности сюжетов поставленной задаче; соответствия уровня трудности содержания сюжета уровню подготовленности студентов.
Результаты анализа показали, что верные варианты ответов для различных видеосюжетов слабо коррелируют между собой (коэффициент корреляции низкий - 0,30,4). Это свидетельствует о том, что видеосюжеты не повторяют друг друга и в них широко представлены различные варианты дизартриче-ских расстройств речи. Вместе с тем, результаты студентов по различным видеосюжетам хорошо коррелируют между собой (0,75-0,8). Столь высокая степень корреляции означает, что результаты студентов слабо зависят от того, какой вариант видеосюжета был представлен, и результаты определяются уровнем знаний студента. Это свидетельствует об адекватности видеосюжетов между собой, они равнозначно выполняют задачу определить уровень знаний студентов.
Кроме того, усредненные результаты одного студента по различным видеосюжетам показывают высокую степень достоверности определения уровня диагностических умений исследуемого контингента. Заметим, что степень трудности видеосюжетов оказалась в диапазоне 0,36-0,42. Таким образом, примерно одинаковая степень трудности видеосюжетов и высокая степень корреляции результатов студентов по различным видеосюжетам
свидетельствуют об адекватности представленных видеосюжетов для определения уровня диагностических умений студентов. Для получения достоверных результатов достаточно тестирования студентов по любым трем видеосюжетам.
Также возникает вопрос, насколько трудность тестовых заданий соответствует поставленной задаче и пригодна для студентов. Для решения этого вопроса в тестировании используют эталонный прибор (в нашем случае его нет) или эталонный объект (в нашем случае это тот, кто предположительно точно обладает высокой степенью владения диагностическими умениями и отвечает за свои профессиональные действия). Для того, чтобы определить соответствие целей данного теста задаче определения диагностической компетенции по дизартрии, тест был предложен специалистам. Эталонным объектом тестирования стали учителя-логопеды г. Каменск-Шахтинского и г. Москвы, имеющие стаж работы по специальности более десяти лет. Тестирование подтвердило высокий уровень знаний специалистов с опытом работы. Верхняя оценка видеотеста по проверке специалистов выявила абсолютный положительный результат (практически равный 1). Степень успешной решаемости тестовых заданий у этой категории исследуемых почти 100 %, что подтверждает соответствие трудности сюжетов комплекса поставленной задаче.
На следующем этапе проводилась верификация вопросов теста с применением методики корреляци-
онного анализа [2]. Корреляционный анализ содержания вопросов проводился по обозначенным параметрам: степень трудности вопроса относительно содержания теста; адекватность вопроса содержанию тестового комплекса; фундаментальность содержания вопросов для курса дизартрии.
Анализ качества вопросов по степени трудности показал следующее: независимо от положительных результатов тестирования знания не актуализируются. В разряд трудных попали вопросы из областей смежных клинических дисциплин (невропатологии, нейропсихологии, ор-тодонтии, клиники интеллектуальных нарушений), смежных педагогических дисциплин (психологии, возрастной психологии), логопедии (введение в специальность, дисла-лия). Решаемость этих вопросов по корреляционному анализу в общей массе студентов близка к 0 (от 0,2 до 0,3). Количество трудных вопросов составило 35 % от общей массы вопросов. Количество легких вопросов составило 15 % от общего количества, их решаемость близка к 1. В этот разряд попали вопросы с ответом «не обследуется» и вопросы с очевидно явным ответом. Основная часть этих вопросов по содержанию относится к знаниям по логопедии, что свидетельствует о погружении в специальность студентов разных интеллектуальных уровней и является положительным результатом. Большинство студентов ответили на трудные вопросы с низкими показателями, на легкие вопросы - с показателями близкими к 1. Соответст-
венно, с показателями ответов близкими к 0 оказалось 35 % вопросов, близкими к 1 - 15 % вопросов, от
0,5 до 0,8 - 50 % вопросов (эти вопросы являются фундаментальными для выявления знаний по курсу дизартрии).
На следующем этапе было необходимо выяснить, как каждый вопрос адекватен в целом всем вопросам теста. Корреляционный анализ адекватности вопросов содержанию тестового комплекса показал наличие положительной корреляции большинства вопросов. Коэффициентом адекватности здесь считается коэффициент корреляции между ответами студентов на данный конкретный вопрос и ответами студентов на все вопросы. Распределение коэффициентов адекватности показывает, что не все вопросы равнозначны по этому параметру, есть вопросы с высоким коэффициентом адекватности (до 0,88), есть слабые вопросы с низким коэффициентом (от 0 до 0,2), есть вопросы с отрицательными значениями (от 0 до -0,4). Следует вывод о том, что первый тест еще должен быть модифицирован, т.е. согласно принципам выявления адекватности можно легкие вопросы усложнить, трудные вопросы упростить, тем самым выровнять инструментарий определения уровня знаний по трудности.
По результатам проведенного эксперимента и его корреляционного анализа следует вывод: данный тест цельный, единый, соответствует
уровню знаний студентов второго курса по разделу «дизартрия» и может являться инструментом для оп-
ределения профессионально-диаг-
ностических знаний студентов.
Итак, компьютерный тестовый комплекс по измерению уровня диагностической компетенции по разделу «дизартрия» успешно прошел необходимую процедуру верификации и является адекватным, валидным и пригодным инструментом для подобных педагогических измерений.
Литература
1. Борисова, В. В., Матвеева, О. В.,
Метельская, Т. А. Определение
характеристик тестовых заданий методами корреляционного анализа / В. В. Борисова, О. В. Матвеева, Т. А. Метельская, // Инновационные методы и средства оценки качества образования : мат-лы конф. МГУП. - М., 2006.
2. Борисова, В. В., Матвеева, О. В.,
Метельская, Т. А., Налбан-
дян, О. Г., Оганесян, Е. В. Применение корреляционного анализа в проблеме верификации тестовых заданий / В. В. Борисова, О. В. Матвеева, Т. А. Метельская, О. Г. Налбандян, Е. В. Оганесян // Новые технологии в образовании, науке и экономике: тр. XII меж-дунар. симпозиума (Шарджа, ОАЭ, январь-февраль 2006 г.). -М., 2006.
3.Колтакова, Е. В. Проектирование содержания повышения квалификации учителя-логопеда на основе профессиографического подхода : дисс. ... канд. пед. наук / Е. В. Колтакова. - М., 2009.
4. Метельская, Т. А. Формирование валидных комплексов тестовых за-
даний / Т. А. Метельская // Экономический вестник Ростовского гос. университета. - №4. - 2006 г.
5. Соколова, И. И. Взаимодействие науки и образования в модерниза-ционных процессах / И. И. Соколова // Мат-лы Форума педаго-
гич. вузов России, ГОУ ВПО МГПУ. - М., 2011.
6. Федеральный государственный образовательный стандарт высшего профессионального образования.
[Электронный ресурс] - Режим доступа: http://www.edu.ru/
