CC BY
64УДК 371.26
Е.А. Ерёмин
ЭКСПЕРИМЕНТАЛЬНАЯ ОЦЕНКА УСВОЕНИЯ СТУДЕНТАМИ ОСНОВНЫХ ПОНЯТИЙ УЧЕБНОГО КУРСА
Введение
В современной системе образования проблеме объективного оценивания знаний уделяется много внимания. Одной из причин такого внимания является потребность в компьютерных технологиях, эквивалентных классическим, всесторонне опробованным на практике методам (опрос, собеседование, контрольная работа, сочинение и др.). Мощным стимулом обсуждения обозначенной проблемы являются также многолетние попытки создать независящую от субъективности учителей систему оценки знаний выпускников российской школы. К сожалению, как показывает опыт, имеющиеся результаты пока не слишком убедительные и до подлинно объективного контроля знаний еще очень далеко.
Возможно, одной из наиболее принципиальных трудностей при компьютерной оценке знаний является отсутствие четких формальных критериев, что именно и как нужно проверять. Как лучше действовать: использовать большое количество простых вопросов или несколько сложных (комплексных); выяснять ли как-то причины ошибочных ответов или довольствоваться лишь критерием «правильно/неправильно»; как учитывать полноту или неполноту ответа и, наконец, может, вообще не стоит задавать вопросы, а просто дать учащемуся решить задачу (выполнить некоторое задание)? Должна ли оценка знаний, выставленная компьютером, совпадать с (субъективной) оценкой учителя и какой из них в случае несовпадения верить? Можно ли как-то количественно оценить уровень сложности вопроса, не прибегая к оценке эксперта? Чтобы быть уверенным в объективности разрешения этих и подобных им многочисленных проблем оценивания, нужны не только общетеоретические рассуждения специалистов, но и тщательная экспериментальная проверка выдвигаемых критериев оценки.
Вовсе не претендуя на открытие абсолютного рецепта, автор публикации хотел бы привлечь внимание к еще одному из довольно важных критериев подлинного качества знаний - их взаимосвязи и целостности. Сошлемся для примера на недавнюю публикацию [4]. В ней незнание отдельных терминов или действий названо «незнанием первого рода», а отсутствие связей между понятиями - «незнанием второго рода», т.е. недостатком более высокого уровня. «Мало быть практиком и уметь решать прикладные задачи, будь это программирование или решение математических, физических или химических
© Еремин Е.А., 2012
задач. Надо хорошо представлять логическую структуру понятийного базиса. Без глубокого представления взаимосвязи понятий невозможно как эффективно излагать предмет, так и контролировать знания по нему» [4].
Считая целостность системы знаний по изучаемому курсу важной характеристикой (еще раз подчеркнём, не главной и не единственной!), автор в 2008 году разработал специальную экспериментальную методику фиксации связей между понятиями изученного курса. Сама методика описана в [2], а результаты ее применения в 2009-2010 годах опубликованы в [3]. Заметим, что в указанных публикациях результаты анализировались именно с позиций целостности знаний. В то же время, на эти результаты можно взглянуть и под другим углом зрения. В частности, рассмотреть вопрос, какие из связей между понятиями студенты называли наиболее часто, а какие, напротив, «не заметили». В данной работе из полученных ранее экспериментальных данных извлечена и проанализирована именно эта информация. В результате удалось увидеть, какие вопросы изученного курса были усвоены студентами глубже, а знание каких оставляет желать лучшего. Проделанный анализ позволяет «сместить акценты» при изучении исследуемого курса в будущем.
Описание эксперимента
Исследовались знания студентов физического факультета ПГГПУ, полученные в результате изучения курса «Архитектура ЭВМ». Каждому студенту предъявлялся достаточно широкий перечень базовых понятий, которые с точки зрения преподавателя, грамотный студент должен знать. Задача студента заключалась в том, чтобы указать наличие взаимосвязей между понятиями и вид этих связей (часть/целое, класс/подкласс и т.п.). Процесс фиксации ответов студентов выполнялся с помощью специальной компьютерной программы. Когда работа заканчивалась, набранные результаты сохранялись на диске в виде текстового файла, предназначенного для дальнейшего анализа. Сначала содержимое полученных файлов просматривалось преподавателем, и связи, которые явно были указаны ошибочно, из файла удалялись. Вся дальнейшая обработка файлов велась уже в автоматическом режиме.
В ходе эксперимента студенты дважды выполняли задание: в начале изучения курса и после его завершения (входной и выходной контроль). В экспериментах, проведенных в 2009-2010 годах, приняли участие в общей сложности 46 студентов из четырех академических групп. Две из них обучаются по специальности «Физика и информатика» и изучают архитектуру ЭВМ на третьем курсе, а две другие - по специальности «Информационные технологии в образовании», где исследуемая дисциплина согласно учебному плану изучается на втором курсе. Таким образом, ради большей достоверности результатов была сделана попытка разнообразить выборку тестируемых студентов. Принимались также все возможные меры для того, чтобы результаты исследования были максимально объективными. В частности, большое внимание уделялось борьбе со сдачей чужих файлов или использованием их фрагментов.
Детали проведения экспериментов подробно изложены в публикации [2]. Отметим здесь только одну важную деталь, которая существенна для правильной интерпретации обсуждаемых в данной работе результатов. Поскольку студентам не рассказывалось ранее о типах связей между понятиями, им предлагалось перед началом опроса ознакомиться со специальной таблицей, в которую были сведены упоминаемые типы связей с многочисленными примерами на каждый. Результаты экспериментов показали, что этого
было недостаточно и студенты плохо различали типы связей. Часто они путали даже классические (часть/целое и класс/подкласс) [1], не говоря уже об остальных видах связей. Поэтому в конце концов было принято решение пренебречь ошибками в этой части задания и просто фиксировать факт наличия связи. Тем не менее важным для нас является тот факт, что в таблице студентам были даны готовые образцы правильных связей, так что, формально говоря, их можно было включить в свой ответ, даже если студент впервые увидел такие связи. По-видимому, многие студенты догадались использовать эти примеры: в частности, очень многие указали, что ОЗУ бывает статического и динамического типов, хотя на лекциях этот материал практически не затрагивался. В дальнейшем нам придется учитывать данную особенность задания и при анализе результатов более осторожно подходить к тем парам понятий, которые были включены в таблицу в качестве примеров.
Обработка результатов эксперимента
Подчеркнем еще раз, что в данной работе анализировались результаты экспериментов, уже проведенных ранее. В качестве объекта изучения служили файлы ответов студентов, полученные в предыдущие годы. Обозначим пару файлов с результатами первого студента student1_d.txt и student1_p.txt, где символ d в имени означает проверку ДО изучения курса, а р - ПОСЛЕ (см рис. 1). Для остальных студентов имена файлов будут отличаться только номером.
Анализ производился в два этапа двумя специально написанными компьютерными программами по следующим правилам.
Первая программа попарно сравнивала между собой данные входного и выходного тестирования для каждого из студентов. Она считывала пару файлов для одного студента, разделяла имеющиеся там связи на три группы (есть только в первом файле, только во втором или есть в обоих) и добавляла данные каждой группы в свой результирующий файл: 1.txt, 2.txt и 3.txt. Особо подчеркнем, что в этих файлах накапливались связи, названные всеми студентами.
Итак, в первый файл заносились все связи, которые студент указал до изучения курса, но почему-то забыл назвать после. С теоретической точки зрения таких связей быть не должно, ибо за время изучения курса испытуемый не должен «поглупеть»; тем не менее на практике таких связей было достаточно. Данные результаты можно несколько условно назвать «неустойчивыми предварительными знаниями», так как они иногда вспоминаются, а иногда нет.
Во втором файле накапливались связи, которые присутствуют в обоих ответах - как до, так и после изучения курса. По аналогии можно применить термин «устойчивые предварительные знания».
Наконец третий файл содержал связи, которые не были обнаружены при входном тестировании, но появились при выходном. Их можно интерпретировать как «приобретенные знания»: они зафиксированы после обучения и, хочется предполагать, в результате обучения.
Здесь обязательно следует вспомнить об описанном выше эффекте, благодаря которому картина продемонстрированных студентом связей может быть «смазана», так как в ходе инструктажа студентам выдавался набор примеров, которые можно было включить в свой ответ.
Рис. 1. Схема компьютерной обработки результатов эксперимента
Очень важно подчеркнуть, что сравнение результатов тестирования до и после изучения курса проводилось программой очень аккуратно. В частности, компьютер справедливо считал, что связь «компьютер - часть/целое - процессор» и «зеркальная» ей «процессор - часть/целое - компьютер» одинаковы. В самом деле, порядок указания целого и части не является общепринятым, так что студент был вправе использовать любой из вариантов. Более того, как уже отмечалось выше, студенты постоянно путали типы связей, так что при обработке ошибки этого типа игнорировались. Поэтому связи, которые отличались только типом, например, «компьютер - часть/целое - процессор» и «компьютер - класс/подкласс - процессор» также признавались программой совпадающими.
В итоге после обработки результатов всех студентов в файлах 1.txt, 2.txt и 3.txt содержался полный список названных связей. Далее эти итоговые файлы, в которых были накоплены связи, обрабатывались другой программой. Она по очереди читала файлы 1.1x1, 2.txt и 3.txt и подсчитывала, сколько раз в обрабатываемом файле встречается каждая связь. Затем связи упорядочивались по частоте повторения, причем те, что встречались менее определенного количества раз, отбрасывались. Окончательные результаты сводились в единый файл max.txt, который и подвергался содержательному неформальному анализу.
Первоначально обработка была выполнена по отдельным академическим группам студентов, но результаты выглядели довольно бессистемно. Количество студентов в группах (12, 8, 17 и 9 соответственно) слишком мало, чтобы в отдельной группе проявились какие-то статистические закономерности. Поэтому результаты всех студентов были объединены и рассматривались совместно.
Обсуждение результатов
Переходим к обсуждению полученных результатов. Как следует из описанной процедуры обработки, они представляют собой перечень связей с указанием, сколько раз каждую из них назвали студенты. Причем перечень делится на три части:
• связи, названные только при входном опросе («неустойчивые предварительные знания»);
• связи, названные при обоих опросах («устойчивые предварительные знания»);
• связи, названные только при выходном опросе («приобретенные знания»).
Результаты для каждой из трех частей сведены в табл. 1-3, приведенные ниже. Заметим, что звездочка возле порядкового номера в самом первом столбце всех таблиц означает, что эта связь входила в набор примеров, о котором говорилось выше. Из таблиц видно, что количество строк «со звездочкой» составляет 43%, 56% и 36% соответственно, причем в последней таблице они в основном группируются в конце, где число связей минимально. Таким образом, на результаты выходного тестирования эффект «готовых примеров» повлиял значительно меньше.
Таблица 1
№ п/п Термин 1 Термин 2 Количество связей
1* тактовая частота процессор 9
2* разрядность процессор 9
3* АЛУ арифметическая операция 9
4* АЛУ логическая операция 9
5 адрес ячейка памяти 9
6* дискретность бит 9
7* конструкция варианты конструкции 9
8 системный блок основная («материнская») плата 9
9 логическая операция элемент НЕ 9
10 логическая операция элемент И 9
11 логическая операция элемент ИЛИ 8
12 логическая операция элемент исключающее ИЛИ 8
13* разрядность ячейка памяти 8
14* операционная система аппаратная часть 8
15* ROM BЮS начальная загрузка 8
16 ROM BЮS загрузка ПО 8
17 компьютер процессор 8
18 память ячейка памяти 8
19* взаимодействие блоков шина 8
20 внешняя память носитель информации 8
Окончание табл. 1
21 бит Байт 8
22* системный блок внешние разъемы 8
23 система счисления восьмеричная система счисления 8
24 система счисления двоичная система счисления 7
25 система счисления шестнадцатеричная система счисления 7
26 процессор УУ 7
27 процессор регистр 7
28 процессор кэш-память 7
2 * память внешняя память 7
30 компьютер системный блок 7
31* внешние разъемы устройства вывода 7
32* утилиты системное ПО 7
* со 3 кодирование данных помехоустойчивость 7
34 кодирование чисел двоичное кодирование 7
35 алгебра логики логическая операция 7
Таблица 2
№ п/п Термин 1 Термин 2 Количество связей
1 бит байт 23
2* ОЗУ статическое ОЗУ 19
3* ОЗУ динамическое ОЗУ 17
4 система счисления двоичная система счисления 16
5* разрядность процессор 15
6* ROM BЮS начальная загрузка 15
7* процессор основная («материнская») плата 14
8* АЛУ логическая операция 14
9* АЛУ арифметическая операция 14
10* программный интерфейс аппаратный интерфейс 13
11* кодирование данных помехоустойчивость 13
12* утилиты системное ПО 13
13* взаимодействие блоков шина 9
14* основной алгоритм счетчик адреса команд 8
15* память внешняя память 8
16 память кэш-память 8
17 компьютер системный блок 8
18* контроллер слот расширения 8
19 логические элементы элемент НЕ 8
20 логические элементы элемент И 7
21 логические элементы элемент ИЛИ 7
22 алгебра логики логическая операция 7
23* разрядность ячейка памяти 7
Окончание табл. 2
24 байт измерение информации 7
25 ROM BIOS загрузка ПО 7
26 устройства ввода контроллер 7
27 устройства вывода контроллер 7
Таблица 3
№ п/п Термин 1 Термин 2 Количество связей
1 методы адресации косвенная адресация 15
2 методы адресации регистровая адресация 13
3 переход безусловный переход 13
4 алгебра логики логическая операция 9
5 алгебра логики логическое действие 9
6 логическая операция элемент ИЛИ 9
7 логическая операция элемент И 8
8 логическая операция элемент НЕ 8
9 логическая операция элемент исключающее ИЛИ 8
10 алгебра логики логические элементы 8
11 алгебра логики логические узлы 8
12 алгебра логики логическая схема 8
13 компьютер процессор 8
14* процессор основная ("материнская") плата 8
15 контроллер основная ("материнская") плата 8
16* контроллер устройства ввода 8
17* разрядность процессор 8
18* память ОЗУ 8
19* ОЗУ статическое ОЗУ 8
20 адрес ячейка памяти 8
21 шина адрес 8
22 внешние разъемы порт 8
23 измерение информации бит 8
24 система счисления двоичная система счисления 8
25 система счисления шестнадцатеричная система счисления 8
26* кодирование данных двоичная система счисления 7
2 * программный интерфейс аппаратный интерфейс 7
28* операционная система аппаратная часть 7
2 VO * процессор система команд 7
30* процессор машинное слово 7
31* дискретность бит 7
32* ROM BЮS начальная загрузка 7
33 язык высокого уровня системы программирования 7
Первое, что бросается в глаза в таблицах 1-3 - это некоторая несистематичность в ответах студентов. Например, в табл. 1 логические элементы И и НЕ упоминаются по 9 раз, а совершенно аналогичные элементы ИЛИ и ИСКЛЮЧАЮЩЕЕ ИЛИ - по 8 (см. строки 9-12). В таблице 3 (строки 6-9) картина похожа, а в таблице 2 видна еще большая «несимметрия» для этих понятий (строки 19-21). Совершенно аналогично в качестве систем счисления в строках 23-25 таблицы 1 перечислены восьмеричная система (названа 8 раз), двоичная и шестнадцатеричная (по 7 раз). В строках 24-25 табл. 3 мы видим только двоичную и шестнадцатеричную систему, а в табл. 2 - и вовсе только двоичную (строка 4).
Еще более странно видеть в табл. 3 упоминание о статическом ОЗУ (строка 19) без динамического, хотя это «парные» термины, которые изучаются вместе. Аналогично в той же таблице в строке 3 «с большим отрывом лидирует» безусловный переход (он упомянут 13 раз), зато парный с ним условный переход был назван всего 3 раза и в итоговую таблицу вообще не попал.
Таким образом, даже после довольно беглого просмотра данных мы видим, что продемонстрированные студентами знания несистематичны и при составлении ответа они вспоминают лишь отдельные (а не все) связанные термины. Это не очень хороший результат.
Если теперь более внимательно просмотреть приведенные таблицы и сопоставить их с содержанием изучаемого в курсе «Архитектура ЭВМ» материала, то можно сделать и другие, более полезные для практики, выводы. Часть из них положительно характеризуют усвоение терминов курса, но есть и неприятные для преподавателя выводы.
Начнем с положительных моментов. Здесь прежде всего стоит отметить большое количество терминов, связанных с математической логикой и логическими элементами: строки 9-12 и 35 в табл. 1, строки 19-22 в табл. 2 и все строки с 4 по 12 в табл. 3. Наличие такого большого количества ассоциаций говорит о сформировавшихся у студентов межпредметных связях.
Аналогичная устойчивая картина имеет место и для ассоциаций с другим важным математическим понятием - «система счисления» (помимо строк, уже указанных про системы счисления выше, необходимо добавить еще строки 34 табл. 2 и 26 табл. 3, где говорится о роли двоичного кодирования).
Кроме того, в предварительных результатах очень многие студенты продемонстрировали знание связи между понятиями «бит» и «байт» (строка 21 в табл. 1 - указана в ответах 8 раз, и строка 1 в табл. 2 - назвали 23 студента из 46). Можно предположить, что эта фундаментальная связь между названными единицами измерения информации уходит корнями в школьный курс информатики.
Многие студенты отметили, что они видят связь между компьютером и его главным узлом - процессором (строка 17 табл. 1 и строка 13 табл. 3). К сожалению, остальным узлам - памяти и устройствам ввода и вывода, повезло гораздо меньше.
Интересно также отдельно проанализировать табл. 3, которую мы интерпретируем как знания, приобретенные студентом в ходе изучения курса. Здесь четко прослеживаются высокие результаты по теме «Адресация памяти» (строки 1-2, 20-21). Это неудивительно, учитывая, что эти знания неоднократно требовались при выполнении лабораторных работ. Еще одна тематика, которая «всплыла вверх» по частоте связей - это команды процессора (строки 3 и 29), что также соответствует тому вниманию, которое уделялось этой теме в курсе.
Наконец, положительным моментом явилось наличие в табл. 3 нетривиальной связи про языки высокого уровня (строка 33). Этим подтверждается полезность лабораторной работы, посвященной установлению у студентов важной мировоззренческой связи между языком высокого уровня Паскаль и системой команд процессора.
Итак, анализ оказывает, что многие важные понятия курса усвоены, а заложенные в преподавание курса цели во многом достигнуты. Тем не менее все не так благополучно -видны и недостатки. Это те связи, которые также важны для понимания курса, но не попали в итоговые таблицы.
Первый отчетливый недостаток - среди часто называемых связей не видно базовых принципов устройства ЭВМ. Дело в том, что наилучший результат для пары терминов (базовый принцип - принцип хранимой программы) - всего 6 повторений, что ниже порога включения в таблицу. Остальные принципы упоминаются еще реже - всего 3-5 раз. Полученную картину можно объяснить недостаточным вниманием студентов к лекционному курсу: материал, который не закрепляется на лабораторных работах, теряется.
Еще один «стратегический» недостаток в ответах студентов - восприятие компьютера главным образом с позиций его конструктивного устройства (см. строки 7-8, 22 и 30-31 табл. 1, строки 7, 17-18 табл. 2 и строки 14-15, 22 табл. 3). Напротив, функциональные блоки компьютера (процессор, память и устройства ввода/вывода), как уже отмечалось ранее, упоминаются существенно реже. Такие результаты не могут не вызывать беспокойства, тем более что в лекциях эти идеи неоднократно подчеркивались. Специально показывалось, что конструктивное устройство компьютера зависит от производителя и быстро меняется со временем, в то время как перечень функциональных узлов компьютера предложен еще на заре развития вычислительной техники и с тех пор не изменился. Видимо, на лекциях надо подчеркивать эти идеи еще более настойчиво.
Последний факт, который настораживает при анализе результатов, это то, что десятичная система представления чисел не называется в качестве системы счисления наряду с остальными. Есть опасение, что студенты связывают понятие системы счисления исключительно с компьютером (двоичная, восьмеричная и шестнадцатеричная системы) и не видят применения этого понятия в повседневной жизни. У студентов, обучающихся по специальности «Физика и информатика» ситуация, вполне возможно, будет откорректирована в читающемся позднее курсе «Теоретические основы информатики», где есть специальный раздел «Системы счисления». Студенты специальности «Информационные технологии в образовании» в этом плане находятся в худшем положении.
Заключение
Подводя итоги анализа взаимосвязей понятий, можно сказать, что анализ этот позволяет сформулировать вполне конкретные выводы по качеству усвоения студентами базовых понятий курса. На их основе преподаватель получает возможность при изучении курса в последующие годы скорректировать материал занятий так, чтобы зафиксировать достигнутые положительные результаты и устранить недостатки, замеченные в усвоении курса.
В качестве яркого примера приведем зафиксированный весьма тонкий недостаток в усвоении материала, заключающийся в плохом понимании роли десятичной системы счисления. Традиционные средства контроля не позволяли заметить этот недочет в знаниях студентов.
Описанная в статье методика контроля знаний студентов достаточно проста и эффективна, так что может быть рекомендована для использования другим преподавателям.
Список литературы
1. Буч Г. Объектно-ориентированный анализ и проектирование с примерами приложений на C++. -М.: Бином; СПб.: Невский проспект, 2000. - 560 с.
2. Еремин Е.А. О компьютерной методике изучения целостности системы базовых понятий, сформировавшейся у студентов в результате освоения курса // Human Aspects of Artificial Intelligence, серия «Information Science & Computing». - 2009. - N 12, vol. 3. FOI ITHEA, Sofia. - P.47-54.
3. Еремин Е.А. Экспериментальное изучение целостности знаний студентов // International Journal «Information Technologies & Knowledge». - 2011. - Vol.5, Number 3. - P.285-299.
4. Попов С.В. О знании, незнании, иллюзии и мониторинге // Информатика и образование. - 2010. -N 6. - С.48-54.
