CC BY
34
перед обучением средняя мера трудности равна 0,8, то после занятий она понижается до 0,3, то есть почти в три раза. Таким образом, тестирование четко фиксирует результат обучения.
Важной характеристикой теста является его надежность, характеризующая повторяемость результатов. Оценка надежности дает значение 0,7, что является вполне приемлемым.
И, наконец, важнейшей характеристикой теста является его валидность, то есть уверенность в том. что тест измеряет именно ту характеристик)’, которую планировалось измерят!, при его создании. Понятно, что умение практически выполнить команду и описать этот процесс словами не одно и то же. 11оэтому оценка валидности для теста на проверку приобретенных навыков очень важна. Для определения валидности можно сравнить результаты тестирования и экспертной оценки В данном случае экспертная оценка очень точна, так как определить однозначно, умеет студент выполнить команду или нет, несложно при очной проверке. Если принять валидность экспертной оценки за I, то коэффициент корреляции результатов тестирования с экспертной оценкой будет характеризовать валидность теста.
Определим теперь корреляционную свял, между столбцами матрицы результатов тестирования, содержащими суммарный балл студента, полученный в результате тестирования, и суммарный экспертный балл. ' )та связь должна быть сильной, так как тестовый балл студента, показавшего хорошую подготовку эксперт)', должен быть выше, чем у студента с плохой подготовкой. Однако расчет коэффициента корреляции дает очень низкое значение-0,14.
Анализ результатов показывает, что тест очень неоднороден, характеристики заданий различаются очень сильно. 'Гак. мера трудности колеблется от 0,1 до 0.8; значения валидности отдельных заданий низки для отдельных заданий. Разница между характеристиками заданий различных типов невелика.
Следует отметить, что мера трудности большинства заданий оказалась явно заниженной: 0,1-0,3, тогда как тестологи считают оптимальным значение 0,5 [2, 3|. Из анализа данных можно предположить, что неоднородность характеристик теста связана с неоднородностью заданий. Поэтому когда усреднение производится по большой выборке (100 студентов), то характеристики более качественных заданий теста выявляются, что появилось в достаточно высоком коэффициенте корреляции меду мерой трудиоста заданий и экспертными оценками. Если же усреднение происходит по небольшому количеству заданий (25) при расчете ва-
лидности, то эти характеристики теряются в шуме от «плохих» заданий.
Чтобы проверить эту гипотезу, была составлена таблица измерений, из которой были убраны самые «плохие» задания, то есть задания с минимальными значениями валидности и меры грудное™. После этого были вновь рассчитаны коэффициенты корреляции заданий.
Валидность заданий значительно выросла. Валидность всего теста составила 0,6 для «улучшенного теста» против 0,14 для исходного. Таким образом, валидность «улучшенного» теста значительно выше, чем у исходного, то есть «улучшенный» тест лучше моделирует экспертную проверку навыков.
На основе проведенных исследований можно сделать следующие выводы.
1. Возможна разработка компьютерных тестов на проверку приобретенных навыков с достаточно высокими значениями валидности.
2. Необходимо тщательно проверят!, характеристики педагогического теста, в частности, полезно рассмотреть матрицу коэффициентов корреляции между тестовыми заданиями, суммарными баллами испытуемых и экспертными оценками. Анализ полученных данных позволит исключить «плохие» задания.
3. Для того чтобы создать качественный тест, необходимо заменить «плохие» задания на более качественные. Иногда для этого необходимо изменить форму задания |4|. После обновления теста следует вновь провести изучение его характерис тик.
Таким образом, для создания тестов с высокими значениями валидности автор предлагает метод последовательного приближения к «идеальной» модели. Вначале создается тест на основе априорных знаний, затем проводится эксперимент по тестированию и экспертным оценкам, статистический анализ результатов эксперимента, «улучшение» заданий, новый эксперимент и так далее. Применение качествен! плх тестов должно повышать эффективность учебного процесса.
ЛИТЕРАТУРА
I Апанисоо RC. Научные основы тестового контроля шаннн М Исследовательский центр. 1994. 135 с
2. Ааанесоо B.C. Композиция тестовых заданий М. Адепт. 1998 217с
3. Клайн П Справочное руководство по конструированию тестов Киев. 1994.
4 Зубец И.П., Ильин А.А. Изучение некоторых свойств компьютерных тестов /. Актуальные проблемы информатики и информационных технологий: Материалы IV-ой Тамбовской мсжвутовской научной конференции Сентябрь. 2000. Тамбов. 2000 С. 22-23
СИСТЕМА ДЕСКРИПТОРОВ КАК ОСНОВА ПОСТРОЕНИЯ ОБУЧАЮЩЕЙ ПОСЛЕДОВАТЕЛЬНОСТИ © А.Г1. Хнорон
Формирование обучающей последовательности, основанное на предварительном построении ее элементов в упорядоченную иерархическую систему, не отвечает, в настоящее время, всем критериям, которые предъявляются стремительным развитием науч-
но-технического прогресса и темпом общественной жизни в целом.
В государственном образовательном стандарте даются наименования дисциплин и их основные разделы, которые в дальнейшем, при создании рабочих программ,
экспертами разбиваются на темы. Таким образом, теш является минимальной составляющей при построении учебного процесса.
Любые операции с составляющими учебного процесса возможны при условии четко определенных критериев. Здесь возникает наибольшее количество вопросов по поводу того, какими свойствами наделить темы, чтобы затем компьютер смог их логически грамотно выстроить в иерархическую последовательность.
Тема, взятая сама по себе, представляет «черный ящик», допускающий лишь интуитивное описание, не отражающее в полной мере его содержательную составляющую. Поэтому назрела необходимость пересмотреть структуру темы в пользу ее дробления на более мелкие составляющие.
Практически любая тема учебного курса включает набор терминов, определений, аксиом, формул, методов и т. п., несущих основную смысловую нагрузку и необходимых для ее раскрытия. По аналогии с энцик-лопедической терминологией, назовем данные составляющие статьями. Статьи объективны и независимы от личного мнения автора темы или курса. Необходимая совокупность статей помещена в среду авторских представлений и умозаключений, логично связывающих самостоятельные статьи в законченную форму называемую темой. Полный набор статей, используемых при построении учебного курса, можно назвать тезаурусом данного курса. Качество курса напрямую зависит от качества тезауруса, поэтому требования к формированию тезауруса должны был. чрезвычайно высоки. В нем не должно бьггь, например, терминов, выражающих одно и то же понятие, т. е. синонимов -это привело бы к пропускам и потерям информации при построении курса. Кроме этого, должны быть за-
фиксированы некоторые отношения между' терминами (род - вид, часть - целое и другие), служащие целям повышения точности и полноты наполнения темы и курса в целом.
Для автоматизированного формирования обучающей последовательности, каждая статья должна быть описана на формальном языке, понятном машине. То есть, каждая статья должна иметь набор дескрипторов, уникально и полностью описывающих статью. Совокупность дескрипторов, включенных в тему', образует поисковый образ темы.
Тема должна включать не только дескрипторы понятий на выходе (результат изучения темы) - {В}, но также, насколько это возможно, должны быть определены дескрипторы, отражающие понятия на входе {А}, составляющие базовый минимум знаний для данной темы. Этот шаг совершенно необходим, так как он определяет направление движения в поле знаний - от А к В. Определение понятий на входе имеет свои особенности. Так, они должны вноситься только после того, как все выходные понятия {В} для всех тем курса уже указаны, и только из этого списка.
После этого формирование последовательности уже можно поручип. машине. ЭВМ с присущей ей быстротой просматривает массивы {А} и сравнивает их с {В}. Цель такого сравнения - выявить дескрипторы, принадлежащие одновременно {А} и {В}, т. е. найти пересечение множеств дескрипторов {А} и {В}. Чем больше зона пересечения, тем прочнее связь между темами. Минимальная величина зоны пересечения оговаривается принятым критерием смыслового соответствия. Изменяя его, можно варьирован, степень конкретизации и информационную полноту курса в зависимости от нужд учебного процесса
ПРОБЛЕМЫ И МЕТОДЫ НЕЙРОКОМПЫОТИНГА © А.П. Зубакон
Большой объем, разнообразие и противоречивость информации, подлежащей обработке, приводят к необходимости поиска физических систем, способных эту обработку выполнить. Решение этой задачи непосредственно связано с новыми информационными технологиями, важное место среди которых занимают методы распознавания и классификации образов. Нейронные сети - эффективный !!. видимо, наилучший метод для решения задач распознавания образов в ситуациях, когда в экспериментальных данных отсутствуют некоторые информационные фрагменты, а имеющаяся информация существенно зашумлена Аппаратный параллелизм, допускаемый при реализации нейросистем, обеспечивает обрабо тку недоступных традиционными методами объемов информации в реальном масштабе времени.
Нейрокомпькггинг в современный момент переживает период бурного роста. Развитие теории и приложений нейронных сетей идет в разных направлениях предлагаются новые архитектуры нейронных сетей, идут поиски новых нелинейных элементов, которые могли бы реализовывать коллективное поведение в
ансамбле нейронов, находятся новые области приложения нейронных сетей в системах обрабо тки изображений, распознавания образов и речи, робототехники и др. Значительное место в данных исследованиях іра-дициоино занимает математическое моделирование.
Исторически первой работой, заложившей теоретический фундамент для создания искусственных моделей нейронов и нейронных сетей, принято считать опубликованную в 1943 г. статью Уоррена С Мак-Каллока и Вальтера Пітгтса «Логическое исчисление идей, относящихся к нервной активности». Главный принцип теории Маккалока и Питтса заключается в гам, что произвольные явления, относящиеся к высшей нервной деятельности, могут бьгп. проанализирована и поняты, как некоторая активность в сети, состоящей из логических элементов, принимающих только два состояния (0 или 1). При этом для всякого лошческого выражения, удовлетворяющего указанным авторами условиям, может бьгп. найдена сеть логических элементов, имеющая описываемое этим выражением поведение
В модели формального нейрона Маккалока и Питтса не предполагаются временные задержки вход-
