CC BY
55
lljjll ! Ill ! i 1 2 3 Ell.....11111111 ■ 11 Инструментарий
36 Уровни сложности заданий единого государственного экзамена по информатике и ИКТ Лещинер Вячеслав кандидат педагогических наук, ФГБНУ «ФИПИ», рпапьппвич руководитель федеральной комиссии по разработ-Рпапьдпвич ке КИМ для ГИА по информатике и ИКТ, kim@fipi.ru Ключевые слова: КИМ ЕГЭ по информатике и ИКТ, уровни сложности заданий, содержательная и операциональная сложности, дифференциация обучающихся. Единый государственный экзамен представляет собой форму объективной оценки качества образования лиц, освоивших образовательные программы среднего общего образования. Особенностью этого метода контроля является использование заданий стандартизированной формы, собранных в единое целое — контрольно-измерительный материал (КИМ). КИМ ЕГЭ — это измерительный инструмент, призванный дать оценку качества образования (уровня подготовки) по учебному предмету, пригодную для ранжирования экзаменуемых. От величины тестового балла ЕГЭ зависит спектр возможностей выпускников по продолжению образования, поэтому очень важно, чтобы КИМ ЕГЭ был адекватным, надежным и валидным инструментом оценки. Спектр выпускников, сдающих ЕГЭ, очень широк. Для русского языка и математики он совпадает с генеральной совокупностью выпускников, для предметов по выбору он уже, но, тем не менее, не ограничивается наиболее подготовленными и мотивированными выпускниками. Иначе невозможно было бы объяснить значительную долю выпускников, ежегодно не набирающих минимального балла, необходимого для использования результатов ЕГЭ при поступлении в вуз. КИМ должен содержать как задания, позволяющие четко определить учащихся, освоивших необходимый минимум содержания образования, так и задания, позволяющие дифференцировать выпускников с более высоким уровнем подготовки. Плюс к этому, Федеральный компонент государственных стандартов среднего общего образования, на основе которого разрабатываются КИМ ЕГЭ, предусматривает возможность изучения большинства учебных предметов на двух уровнях. По некоторым предметам, в частности по информатике, содержание базового и профильного уровней образования очень существенно различается, что вполне оправдано, поскольку принципиально различаются цели изучения информатики и ИКТ на профильном и на базовом уровнях изучения предмета. В профильных классах — это ориентация на работу в ИТ-индустрии, участие в разработке программного обеспечения, а на базовом уровне — это квалифицированное применение ИКТ в профессиональной деятельности вне сферы ИТ-индустрии и в повседневной жизни. Естественно, что в случае информатики разработчики ЕГЭ ориентируются на профильный уровень изучения предмета, так как контин-
гент сдающих ЕГЭ по информатике и ИКТ преимущественно состоит из абитуриентов профильных специальностей высшего образования, но, тем не менее, КИМ должен содержать и необходимый минимум заданий базового уровня.
Таким образом, в варианте КИМ должны присутствовать задания, опирающиеся на содержание как базового, так и профильного уровня. Профильные задания, безусловно, покажутся выпускнику базового класса сложными, так как это содержание не изучалось. Естественно, формируется модель двух уровней сложности заданий, соответствующих двум уровням изучения предмета: задания базового уровня для всех и профильного уровня — для выпускников профильных классов. Строго говоря, пересечение базового и профильного содержания не эквивалентно базовому, то есть в базовом курсе есть темы и разделы, которым в профильном курсе не уделяется большого внимания, но для целей диагностики освоения необходимого минимума образования вполне можно обойтись инвариантным содержанием обоих уровней стандарта. Не входящее в инвариант содержание профильного уровня будет представлено более сложными, чем базовые, заданиями.
Итак, один аспект дифференциации сложности заданий КИМ ЕГЭ — содержательный. К базовому и профильному (его принято называть повышенным) уровням сложности можно добавить третий содержательный уровень — высокий — ориентируясь на тех выпускников, кто занимался предметом дополнительно к основной образовательной программе: в кружках, семинарах, школах юных программистов, в других программах дополнительного образования детей. Однако сложность задания далеко не всегда связана с отнесением его содержания к тому или иному уровню изучения предмета. Существуют еще, по крайней мере, два других аспекта, влияющих на результат выполнения задания: операциональная сложность и новизна задания.
Операциональная сложность, естественно, связана со сложностью тех операций, которые необходимо произвести для получения верного ответа на задание. Часто это в чистом виде количество мыслительных операций. Скажем, в КИМ ЕГЭ по информатике все годы существования экзамена есть задание, почти не изменившееся по содержанию. В КИМ ЕГЭ 2016 года оно стоит под № 13 (см. пример 1).
Пример 1
При регистрации в компьютерной системе каждому пользователю выдаётся пароль, состоящий из 15 символов и содержащий только символы из 12-символьного набора: А, В, С, D, Е, F, G, H, K, L, M, N. В базе данных для хранения сведений о каждом пользователе отведено одинаковое и минимально возможное целое число байт. При этом используют посимвольное кодирование паролей, все символы кодируют одинаковым и минимально возможным количеством бит. Кроме собственно пароля, для каждого пользователя в системе хранятся дополнительные сведения, для чего выделено целое число байт; это число одно и то же для всех пользователей.
Для хранения сведений о 20 пользователях потребовалось 400 байт. Сколько байт выделено для хранения дополнительных сведений об одном пользователе? В ответе запишите только целое число — количество байт.
Это задание относится авторами к повышенному уровню сложности и год от года имеет более-менее стабильный процент выполнения: около 45% — соответствующий повышенному уровню. Оно требует последовательного выполнения трех действий:
1. Определение минимально возможного количества бит для хранения одного символа из описанного набора. Это число — округленный вверх до ближайшего целого двоичный логарифм числа символов в наборе. На практике это означает определение разрядности двоичной записи этого числа. Операция в принципе совсем не сложная, эквивалентная решению задания 1, которое имеет стабильно высокий показатель выполнения. Для 12-символьного набора это число 4.
2. Умножение числа символов в пароле на полученное на шаге 1 число (получение количества бит в записи пароля) и перевод бит в байты (деление на 8 с округлением вверх
до ближайшего целого). В приведенном примере надо 15 умножить на 4 (получается 60) и разделить на 8 с округлением. На запись пароля требуется 8 байт.
3. Получение ответа на вопрос задания производится двумя простыми арифметическими операциями: делением общего количества байт, отведенного на хранение данных обо всех пользователях, на число пользователей. Получается количество байт, отведенное на одного пользователя. В нашем примере 400 делится на 20, получается 20. Последняя арифметическая операция: надо вычесть из полученного числа количество байт, отводимое на запись пароля (результат шага 2), и получить число байт, отводимое на хранение дополнительных сведений об одном пользователе. Для приведенного примера ответ будет 12 (байт).
Строго говоря, из информатики в этом задании проверяется умение определять разрядность двоичной записи натуральных чисел (путем отнесения числа к определенному диапазону степеней двойки) и знание о том, что в 1 байте 8 бит. И то, и другое — базовое содержание, элементарные основы темы «Кодирование информации». Все остальные действия — арифметика начальной школы. Тем не менее, результат выполнения этого задания статистически соответствует повышенному уровню сложности вот уже более 10 лет.
Операциональная сложность этого задания связана с необходимостью последовательного выполнения большого количества элементарных операций. Надо сказать, что при обсуждении этого задания в среде учителей нам неоднократно приходилось слышать мнение, что основной причиной невысокого процента выполнения этого задания является длинная формулировка, в которую надо вчитаться. С нашей точки зрения, это соображение только подтверждает высказанное мнение об операциональной сложности этого задания как многоходового: разбор формулировки и построение адекватной математической модели (что на что делить, как округлять и т.п.) представляют собой, по сути, еще одну мыслительную операцию, которую необходимо выполнить.
Однако операциональная сложность не всегда связана с необходимостью выполнения большого количества элементарных операций. Иногда она предполагает владение экзаменуемым определенным алгоритмом, позволяющим эффективно решать определенный класс задач без утомительных переборных вычислений. К таким заданиям относится задание 15 на подсчет количества путей в направленном графе, решаемое методом динамического программирования, задание 17 на оценку результата поиска в Интернете, проверяющее умение выпускника находить пересечения и объединения множеств, пользуясь диаграммами Эйлера-Венна. Иногда такие задания имеют простое по методу, но чрезвычайно трудоемкое переборное решение, как уже упоминавшееся задание 15 на подсчет путей в графе (см. пример 2).
Пример 2
На рисунке — схема дорог, связывающих города А, Б, В, Г, Д, Е, Ж, И, К, Л. По каждой дороге можно двигаться только в одном направлении, указанном стрелкой. Сколько существует различных путей из города А в город Л?
Это задание можно решить, последовательно выписывая все возможные пути (которых обычно бывает около полусотни, хотя в данном примере всего 13). Именно поэтому среди тех участников экзамена, кому не удалось преодолеть минимальную границу, есть едини-
цы, решившие задание 15 именно таким переборным способом. Но на них приходятся десятки и сотни тех, кто не сумел этого сделать и запутался в подсчете вариантов.
Таким образом, задания с высокой операциональной сложностью приносят баллы выпускникам, овладевшим различными методами решения задач и умеющими их применять при необходимости. Важно еще, чтобы они применяли эти методы как в знакомой, так и в новой для себя ситуации.
Новизна задания — существенный фактор, определяющий его сложность. Каждый год в вариантах КИМ ЕГЭ по информатике и ИКТ появляются задания в новых формулировках, которые немедленно дают падение процента выполнения задания. При этом содержательно эти задания зачастую мало отличаются от заданий предыдущих лет, новой является только форма их предъявления.
Так, очень низкий процент выполнения дало задание 16, проверяющее знание правил записи чисел в позиционных системах счисления, появившееся впервые в 2014 года (см. пример 3).
Пример 3
Сколько единиц содержится в двоичной записи значения выражения: 42014 + 22015-8?
Для его решения требуется лишь знание того, что число 2" записывается в двоичной системе как 1 и п последующих нулей, а также понимание того, что алгоритмы сложения и вычитания «в столбик» работают во всех позиционных системах счисления. Новизна задания и плохо представимые «большие» числа сделали свое дело, задача казалась «олим-пиадной», хотя таковой не была. Задание 2015 года уже было выполнено лучше, хотя идеологически изменилось мало, только двоичную систему заменили на троичную.
Наиболее сложным заданием первой части в ЕГЭ по информатике и ИКТ оказалось задание 18 (см. пример 4), обозначенное в спецификации как имеющее повышенный уровень сложности. Процент его выполнения в некоторых вариантах был даже ниже, чем у задания высокого уровня сложности № 23.
Пример Р
Обозначим через т&п поразрядную конъюнкцию неотрицательных целых чисел т и п. Так, например, 14&5 = 11102&01012 = 01002 = 4.
Для какого наименьшего неотрицательного целого числа А формула
х&25 / 0 - (х&17 = 0 - х&А / 0) тождественно истинна (то есть принимает значение 1 при любом неотрицательном целом значении переменной х)?
Для решения этого задания требуется знать преобразование импликации. Импликация не входит в программу базового уровня, поэтому задание на определение истинности импликации всегда считалось заданием повышенного уровня сложности (соответствующего профильной программе). Тем не менее, в определенные годы, когда это задание содержало прямой вопрос о том, для каких входных данных значение импликации истинно или ложно, оно выполнялось с высоким показателем, соответствовавшим скорее заданиям базового уровня. Потом задание изменило формат и было усложнено, требовалось применить преобразование импликации дважды, чтобы получить выражение в дизъюнктивной нормальной форме. Это придало заданию дополнительную операциональную сложность, что не замедлило сказаться на проценте выполнения: он снизился. Замена условий принадлежности чисел отрезкам на значение поразрядной конъюнкции чисел вызвало шок и из-за новизны, и из-за добавленной содержательной сложности: поразрядная двоичная конъюнкция, хотя и встречается в другом задании ЕГЭ (маски подсети в Интернет-адресации), относится к содержанию профильного уровня, как и импликация. Остается надеяться, что шок от новизны пройдет и, подобно другим аналогичным случаям, показатель сложности задания вернется к стабильным значениям.
Итак, КИМ ЕГЭ должен быть сбалансированным с точки зрения сложности заданий инструментом оценивания учебных достижений. Посмотрим, какие требования касательно сложности заданий установлены нормативно. Для измерения сложности заданий в ЕГЭ традиционно используется показатель процента выполнения. Задания базового уровня сложности должны иметь процент выполнения в диапазоне от 60% до 80%, задания повышенного уровня сложности — в диапазоне от 40% до 60%, высокого уровня сложности — менее 40% выполнения. При этом минимальной границей, при которой результат ЕГЭ засчи-тывается, считается выполнение половины заданий базового уровня сложности. (Точнее, получение в результате выполнения экзаменационной работы общего количества первичных баллов, равного числу первичных баллов за выполнение половины заданий базового уровня — формально баллы могут быть получены за выполнение любых заданий КИМ.) Согласно спецификации КИМ ЕГЭ по информатике и ИКТ в 2016 году доли первичных баллов за выполнение заданий разного уровня примерно равны1 с небольшим перевесом заданий повышенного уровня над заданиями высокого уровня. Другое дело, что вклад одного задания высокого уровня сложности в итоговый балл в среднем больше, чем иных заданий, в силу того, что задания высокого уровня сложности — это преимущественно задания с развернутым ответом, предусматривающие полигамическое оценивание. Характеристика сложности, даваемая заданию в целом, соответствует максимальному баллу, в то время как выполнение задания на меньшее количество баллов может быть доступно менее подготовленным выпускникам.
В качестве примера можно рассмотреть составное задание высокого уровня сложности № 26, проверяющее умение найти и обосновать выигрышную стратегию игры. Максимальное количество баллов, которое можно получить за выполнение этого задания, — 3 балла, что соответствует количеству заданий, входящих в задание 26 как составные части. Один балл можно получить за выполнение только одного из входящих в него заданий, в том числе первого, которое явно проще и менее трудоемко, чем задание, стоящее третьим. Анализ выполнения ЕГЭ показывает, что общая доля всех участников экзамена, получивших за выполнение задания 26 какие-либо баллы (от 1 до 3), составляет 53,5%, что соответствует скорее повышенному, а не высокому уровню сложности. В то же время максимальные 3 балла за задание получили только 23%, что соответствует высокому уровню сложности.
Классическая теория тестов учит, что задания в тесте должны следовать в порядке возрастания трудности. Одно и то же задание в разных частях теста может вести себя по-разному, более того, перестановка заданий внутри теста может вызвать статистически значимое изменение результатов выполнения теста в целом. В этой связи результаты выполнения заданий с развернутым ответом ниже, чем аналогичных по сложности заданий с кратким ответом, просто в силу того, что многие участники экзамена даже не приступают к выполнению заданий второй части работы.
Существует распространенная точка зрения, что задания с выбором ответа из закрытого списка имеют меньшую сложность, чем задания с кратким ответом. Это не совсем так. В настоящее время в ЕГЭ по информатике и ИКТ нет заданий с выбором ответа, начиная с 2015 года они исключены из варианта. Но когда они существовали, значительная часть заданий с выбором ответа (так называемых заданий группы «А») была объективно сложнее и статистически имела меньший процент выполнения, чем часть заданий с кратким ответом (группы «В»). Перевод этих заданий из формата с выбором ответа в формат краткого ответа не изменил принципиально их статистических характеристик. В качестве примера можно привести задание, проверяющее умение работать с массивами (в варианте 2016 года оно стоит на позиции 19), в 2014 году в старом формате оно имело средний процент выполнения 52%, в 2015 году в новом формате — 58%.
1 Спецификация контрольных измерительных материалов для проведения в 2016 году единого государственного экзамена по информатике и ИКТ (с.7. табл. 4). — http://www.fipi.ru/ege-i-gve-11/demoversii-specifikacii-kodifikatory.
Другое дело, что задания с выбором ответа дают статистически достоверный результат только при показателе выполнения выше 40%, при меньших значениях срабатывает фактор случайного угадывания. Для заданий с кратким ответом такого ограничения нет. Аналогично задания с развернутым ответом не обязательно должны быть сложнее заданий с кратким ответом. Кстати, в ЕГЭ по многим предметам при критериальном оценивании заданий с развернутым ответом часть критериев относят к базовому уровню, часть к повышенному и часть к высокому (пример — задание № 25 КИМ ЕГЭ 2016 года по истории).
Система оценивания ЕГЭ основана на накоплении баллов. При этом задания имеют равный вес независимо от сложности, задания оцениваются несколькими баллами только в том случае, если оценивается несколько элементов, то есть балл за задание тоже имеет накопительную природу. У некоторых людей, незнакомых с организацией ЕГЭ, это вызывает недоумение: почему балл за задание высокого уровня сложности № 23 такой же, как за простое задание № 1? На самом деле в системе оценивания, принятой в ЕГЭ, значение имеет не то, за выполнение какого задания получен балл, а то, в какой части шкалы находится результат экзаменуемого. В начале шкалы, в области низких баллов, и в конце шкалы, в районе результата, близкого к 100%-ному выполнению теста, цена балла высока, в середине шкалы — нет. Это легко понять, посмотрев на распределение баллов. В 2015 году при выполнении группы вариантов оценку 0 баллов получили 868 чел. 1 первичный балл получили 1193 чел. 2 первичных балла — 1 347 чел. Третьих на 154 чел. (13%) больше, чем вторых, и на 479 чел. (55%) больше, чем первых. Аналогично максимальный балл (35 баллов) получили 129 чел. на 1 балл меньше — 188 чел. Превышение вторых над первыми — 59 чел (46%). В середине шкалы группы получивших одинаковые баллы гораздо больше: 16 баллов получили 1 712 чел. а 18 баллов 1 706 чел. численная же разница между группами незначительна — всего 6 чел. (треть процента).
Среди тех, кто получил 34 первичных балла, большинство (23%) потеряли свой единственный балл на задании 27, еще 15% — на задании 23. Это самые сложные задания. Но есть среди этих почти стобалльников те, кто допустил единственную ошибку в заданиях базового уровня № 1 (4 чел.), № 6 (12 чел., 6%) и т.д. Аналогично, среди 1 193 чел., получивших всего один первичный балл, большинство получили его за выполнение заданий № 2, № 3 (по 22%) и № 5 (14%), но были среди них заработавшие этот балл за выполнение упомянутого выше задания повышенного уровня № 15 (26 чел., 2%) и задания высокого уровня № 26 (14 чел. получили за это задание, естественно, 1 балл из 3 возможных).
Анализируя результаты выполнения заданий КИМ, можно составить такую таблицу (данные условны, даны для примера):
Таблица 1
Пример фрагмента таблицы выполнения заданий по группам с равными баллами
Получили Выполнили задания
Баллов чел. 1 2 3 4
0 10 0 0 0 0
1 100 80 15 4 1
2 150 140 120 30 10
3 200 180 160 150 80
4 250 240 230 220 200
34 100 100 100 99 97
35 10 10 10 10 10
Всего 820 750 635 513 398
Рис. 1. Кривые сложности отдельных заданий ЕГЭ по информатике
В этой таблице строки соответствуют количеству полученных в результате выполнения работы баллов. Видно, что 0 баллов получили 10 человек, так же как и 35 баллов, 1 балл и 34 балла — по 100 человек и так далее. В следующих столбцах проставлены числа, показывающие, сколько человек получили балл за выполнение этого задания. Ясно, что у тех, кто получил 0 баллов, во всех столбцах стоят 0, а у тех, кто получил максимальное количество баллов (35), — 1. Число в ячейке показывает сумму баллов по группе с одинаковым итоговым баллом.
Видно, что из 100 человек, получивших 1 итоговый балл, 80 заработали его за 1 задание, 15 — за второе и так далее. Дальше 4-го задания никто из этой группы не продвинулся. Аналогично, из получивших 34 балла 1 человек потерял его на 3-м задании и еще 3 — на 4-м задании. Остальные 96 допустили ошибку в каких-то более сложных заданиях. Так же видно, что из тех, кто получил 4 балла, есть 110 человек, которые получили их за выполнение 5 и последующих заданий. Последняя строка таблицы дает суммарный результат, она показывает абсолютное количество людей, справившихся с 1-м, 2-м, 3-м и так далее заданиями. Эти абсолютные цифры легко могут быть переведены в проценты от общего количества людей, принявших участие в экзамене, — то есть в статистический показатель сложности задания, принятый в ЕГЭ.
Построение такой таблицы позволяет построить графики сложности отдельных заданий, примерно такие, как на рис. 1.
По оси абсцисс на этом графике отложены метки групп итоговых баллов (от 0 до 35), по оси ординат — процент выполнения задания, кривая показывает процент выполнения этого задания в группе с одинаковым баллом. На графике показаны кривые выполнения некоторых (не всех) заданий первой части, оценивающихся 1 баллом.
Обратим внимание, что все кривые начинаются и заканчиваются в одной точке, что естественно: получившие максимальное количество баллов справились со всеми заданиями, получившие 0 баллов одинаково неудачно ответили также на все задания, независимо от сложности. Но, сливаясь в крайних точках, кривые ведут себя по-разному. Значительная часть кривых ведет себя довольно похоже: сначала медленно растет, потом в определенный момент резко взмывает вверх и далее снова выполаживается, сохраняя очень медленный рост. При этом зона взрывного роста может находиться в разных точках оси абсцисс.
На рис. 1 показаны реальные кривые выполнения отдельных заданий ЕГЭ по информатике. Видно, что они образуют 3 пучка, примерно соответствующие 3-м уровням сложности, хотя, конечно, пучок заданий базовой сложности самый широкий. (Некоторые кривые этого пучка образованы заданиями повышенного уровня сложности № 15 и № 19, которые имеют зону роста правее, чем базовые задания.) Можно разделить этот пучок на два:
Рис. 2. Распределение участников ЕГЭ по информатике по группам баллов
самых простых и более сложных заданий. Эти кривые похожи на кривые трудности заданий в однопараметрической 1PL модели Раша2
Аналитический отчет ФИПИ выделяет четрех группы учащихся с различным уровнем подготовки3. Их распределение показано на рис. 2.
Строго говоря, выделение этих 4 групп соответствует 3-м уровням сложности заданий: первая группа не дотягивает до минимальной границы, вторая группа выполняет большинство заданий базового уровня, третья работает на повышенном уровне, а четвертая испытывает затруднения с теми или иными заданиями высокого уровня. Учебная диагностика с целью прогноза результатов экзамена сводится в этой ситуации к выявлению, задания какого уровня представляют для тестируемого «зону ближайшего развития». Более тонкая диагностика покажет, какого рода сложность: содержательная, операциональная, или связанная с новизной — является основной проблемой.
Таким образом, хорошо структурированный КИМ для ЕГЭ должен быть сбалансирован с точки зрения заданий разного уровня и разных типов сложности, с тем, чтобы эффективно диагностировать имеющиеся дефициты учебной подготовки у экзаменующихся, завершивших обучение по образовательным программам среднего общего образования различного уровня и профиля.
2 Аванесов В. С. Метрическая система Георга РАША - Rasch Measurement (RM) // Педагогические Измерения. - 2010. - № 2. - С. 57-80.
3 Лещинер В. Р., Ройтберг М.А. Методические рекомендации для учителей, подготовленные на основе анализа типичных ошибок участников ЕГЭ 2015 года по информатике и ИКТ. — http://fipi.ru/sites/default/files/ document/1442163533/informatikaJJkt.pdf
