О результатах экспериментальной проверки инстумента оценки ИК-грамотности школьников Текст научной статьи по специальности «Науки об образовании»

#

RUDN Journal of Informatization in Education Вестник РУДН. Серия: Информатизация образования

2017 Vol. 14 No. 4 475-483

http://journals.rudn.ru/informatization-education

DOI 10.22363/2312-8631-2017-14-4-475-483 УДК 372.8

О РЕЗУЛЬТАТАХ ЭКСПЕРИМЕНТАЛЬНОЙ ПРОВЕРКИ ИНСТУМЕНТА ОЦЕНКИ ИК-ГРАМОТНОСТИ ШКОЛЬНИКОВ

К.С. Абдиев1, Г.К. Умербаева2, А.Е. Турсынбекова2

1 Университет «Туран» ул. Сатпаева, 16-18, Алматы, Казахстан, 050013 2 Национальный центр тестирования пр. Победы, 60, Астана, Казахстан, 010010

В статье изложены результаты экспериментальной проверки инструмента оценки информационно-коммуникационной грамотности школьников. Проверка проводилась в рамках внешней оценки учебных достижений и итоговой аттестации на уровне средней школы. Проводилась оценка качества разработанных тестовых заданий, получены основные характеристики теста. Результаты обрабатывались по программе Winsteps и получены статистические характеристики по заданиям теста. Учитывались такие показатели, как трудность задания, коэффициент корреляции и статистические согласия между баллами по заданию и уровнем подготовленности испытуемых. Выявлено, что имеются тестовые задания с коэффициентами корреляции ниже значения 0,3. Эти задания рекомендованы к исключению из теста.

В результате анкетирования было выявлено, что навыки планирования собственной индивидуальной и групповой деятельности, уровень сформированности первичных навыков анализа и критичной оценки получаемой информации, уважение к информации о частной жизни, отношение к оргтехнике у каждого учащихся сформированы неодинаковы.

По результатам такой работы вносились изменения в базу заданий.

Ключевые слова: ИК-грамотность, инструмент оценки, внешняя оценка учебных достижений, эмуляторы прикладных программ, информатика

Инструмент оценки ИК-грамотности выпускников основной средней школы (5—9 классы) разработан в рамках научно-исследовательского проекта «Научные основы моделирования оценки ИК-грамотности школьников» специалистами Национального центра тестирования Министерства образования и науки и группой ученых из вузов Казахстана [1]. В состав инструмента входят система тестирования, инструментальные средства, представляющие собой эмуляторы прикладных программ обработки информации, и база заданий. Предварительная апробация заданий и системы тестирования позволили подготовить инструмент к использованию в условиях реального проведения мероприятий национального масштаба.

Первым таким мероприятием стала внешняя оценка учебных достижений (ВОУД) в среднем образовании 2017 года. ВОУД в основной школе проводится с целью мониторинга со следующими задачами:

1) определение соответствия качества знаний обучающихся требованиям Государственного общеобязательного стандарта образования (ГОСО);

2) оценка эффективности организации учебного процесса;

3) проведение сравнительного анализа качества образовательных услуг, предоставляемых организациями образования.

Оцениваются предметные знания и функциональная грамотность обучающихся: математическая грамотность, грамотность чтения, естественнонаучная грамотность. Также оценивается информационно-коммуникационная грамотность, понимаемая как владение комплексом знаний, умений и навыков, обеспечивающих возможность использования цифровых технологий и инструментов коммуникаций в целях определения информации, получения доступа, управления, интегрирования, оценивания, создания и сообщения информации.

В рамках ВОУД для определения факторов, влияющих на качество знаний обучающихся, проводится анкетирование среди обучающихся, учителей и администрации школ. Результаты ВОУД могут использоваться организациями, проводящими рейтинговые исследования, и включаться в Национальный доклад о состоянии и развитии системы образования в республике Казахстан.

Целью проведения эксперимента в рамках ВОУД было установление степени соответствия разработанной информационной модели оценки ИК-грамотности школьников реальной практике мониторингового исследования, проводимого в рамках 20%-ной выборки обучающихся в 9-х классах основной средней школы. В рамках эксперимента были поставлены следующие задачи:

— настроить инструмент тестирования под задачи внешней оценки учебных достижений учащихся 9-х классов;

— проверить взаимодействие всех подсистем и блоков информационной системы в реальном режиме;

— получить данные о результатах тестирования участников по итогам мониторинга и провести психометрический анализ в целях определения качества тестовых заданий;

— собрать данные по итогам анкетирования для оценивания личностных результатов обучающихся согласно требованиям ГОСО и типовой учебной программы;

— определить форму итоговой оценки ИК-грамотности обучающихся по классам, школам и других заинтересованных сторон, и использовать ее при объявлении результатов.

Для использования в мероприятиях национального масштаба были разработаны 2000 тестовых заданий, из них около половины это задания, разработанные для оценки умения применять методы обработки информации представленной в различной форме.

Разработанная информационная система позволяет формировать варианты тестов для проверки знаний и проводить тестирование в локальной сети, через интернет или на индивидуальных компьютерах. Чтобы приступить к тестированию учащимся достаточно запустить полученный файл на компьютере из ОС Windows без установки каких-либо дополнительных программ. На одном компьютере тестирование могут проходить несколько учащихся, входя в программу под своими именами.

Основной тест инструмента оценки ИК-грамотности учащихся состоит из двух частей:

— первая часть «Основные понятия информатики», где проверяются теоретические знания, которая содержит 20 тестовых заданий с одним правильным ответом.

— вторая часть «Информационно-коммуникационные технологии», где определяется уровень сформированности практических умений по использованию компьютера для выполнения заданий по обработке информации представленной в разной форме с использованием прикладных программ: текст, сообщение электронной почты, информация из сети Интернет, презентации, алгоритм и блок-схема, электронная таблица. Каждое задание в этой части направлено на оценку компонент ИК-грамотности и представляет собой ситуацию, приближенную к повседневной жизни, всего предлагается 7 заданий [2].

На выполнение первой части теста отводится 35 мин, второй части — 45 мин. В целом на выполнение всего теста отводится 80 мин.

В рамках ВОУД оценку ИК-грамотности прошли 17 учащихся одной из школ г. Астана. Средний балл показанный участникам составил — 17,6 из 27 возможных. Средний процент выполняемости заданий учащимися варьируется между 43 и 78%.

Составная часть инструмента оценки ИК-грамотности, отражается через личностные результаты. В государственном стандарте среднего образования установлено, что личностные результаты отслеживаются в форме психолого-педагогического мониторинга уровня воспитанности, социализации и духовно-нравственного, творческого и физического развития обучающегося и фиксируются в его портфолио.

В целях определения социально-личностных результатов современного подростка было проведено анкетирование среди учащихся 9-х классов по Информатике, целью которого было выявление сформированности ряда навыков: способность к планированию индивидуальной и групповой деятельности, уровень сфор-мированности первичных навыков анализа и критичной оценки получаемой информации, уважение к частной жизни, бережное отношение к оргтехнике.

Определить личностные результаты учащихся, их способность планировать индивидуальную деятельность позволяет следующий вопрос.

Вам дали задание написать реферат по информатике на тему «История кибернетики». Вы не выполнили задание, и учитель информатики сказал, что поставит неудовлетворительную оценку. Вы не хотите получить неудовлетворительную оценку. Укажите ваши действия (выберите один ответ):

1) скажу, что принесу на следующем уроке;

2) скажу, что у меня дома нет компьютера;

3) скажу, что мне стыдно, что не выполнил задание учителя;

4) скажу, что мне не нравится данная тема;

5) скажу, что мне не интересен урок Информатики.

В результате анализа ответов было определено, что группы учащихся, у которых данный навык сформирован полностью, составляют 86%, однако у 14% участников навык способности планировать индивидуальную деятельность — частич-

но. Можно сказать об отношении учеников к выполнению домашнего задания: большинство учащихся правильно выбрали первый ответ и готовый исправить свою ошибку, стараются выйти из сложившихся ситуаций.

Во втором примере проверяется степень уважения к информации и к частной жизни.

Общение посредством социальных сетей стало особенно популярным в последние годы. Хотел (а) бы ты иметь доступ к личной информации всех, кто зарегистрирован в социальной сети (ВКонтакте, Facebook, Однокласники, twitter и др.)? Почему? Выберите один из предложенных вариантов ответов:

1) да, это удобно для просмотра личных данных;

2) да, чтобы поддерживать связь издалека;

3) да, чтобы просматривать фотографии;

4) нет, мне не интересно личные данные;

5) нет, потому что не пользуюсь социальными сетями.

Данное задание нацелено на проверку первичных навыков анализа и критичной оценки получаемой информации. Анализ показал, что навык сформирован полностью у 50% учащихся, у 36% данный навык — частично, не сформирован вообще у 14% учащихся. Большинство учащихся пользуются социальными сетями и используют его в качестве поддержания связи издалека, половина учащихся используют социальные сети для просмотра личных данных. Чем выше показатель уровня потребности в общении у учащихся, тем больше время, проводимое им в социальных сетях. Таким образом, можно сделать вывод, что основным мотивом посещения подростками социальных сетей является потребность в общении, так как они не могут полноценно выразить словесно информацию, которую с легкостью могут — через социальные сети. Можно сделать вывод, общение в социальных сетях отрицательно влияет на общение подростков в реальном мире.

В результате анкетирования было выявлено, что навыки планирования собственной индивидуальной и групповой деятельности, уровень сформированности первичных навыков анализа и критичной оценки получаемой информации, уважение к информации к частной жизни, отношение к оргтехнике у каждого учащихся сформированы неодинаково. Те проверяемые навыки, которые даны в вопросах анкеты (5 вопросов), у большинства из них сформированы полностью. Навык бережного отношения к оргтехнике не сформирован у большинства участников тестирования.

Таким образом, используя инструмент оценки ИК-грамотности и разработанные анкеты для оценки личностных результатов учащихся можно получить полную информацию о соответствии результатов обучения требованиям государственных образовательных стандартов и типовых учебных программ.

Следующим мероприятием национального масштаба в рамках которой проводилась экспериментальная проверка авторского инструмента была итоговая аттестация на уровне общего среднего образования (11-е классы) 2017 года. Итоговая аттестация — процедура, проводимая в целях определения степени освоения обучающимся объема учебных дисциплин, предусмотренных государственным

общеобразовательным стандартом общего среднего образования. Предмет информатика — предмет по выбору и оценивание проводится в виде тестирования.

Приведем анализ качества тестовых заданий использованных во время проведения тестирования. Работы по обработке и анализу результатов проводились в рамках современной и классической теории тестирования. При обработке в классической теории тестирования (программа Iteman) были определены трудность задания, надежность, валидность и корреляция теста. Трудность задания определяется долей испытуемых выборки, которые отвечают на это задание правильно. Например, на задание, на которое отвечают правильно 85% испытуемых, будет иметь трудность ровную на 0,85. В соответствии с этой моделью каждое задание теста характеризуется одним параметром — трудностью, каждый участник тестирования характеризуется одним параметром — уровнем подготовленности.

Например, при тестировании 320 учащихся тест содержал 20 тестовых заданий закрытой формы с выбором из пяти предложенных вариантов правильного ответа, поэтому максимальный первичный балл за выполнение тестовых заданий был равен 20, были получена матрица результатов тестирования, выявлена общая характеристика теста.

1. Общее количество участников апробации — 320.

2. Максимальный набранный балл — 15.

3. Минимальный набранный балл — 1.

4. Стандартное отклонение — 2,020.

5. Средний показатель коэффициента трудности — 0,76.

6. Максимальный показатель коэффициента трудности — 1.

7. Минимальный показатель коэффициента трудности — 0.

8. Средний показатель коэффициента дискриминативности — 0,846.

9. Коэффициент надежности (Альфа-Кронбаха) — 2,969.

10. Ошибка измерения — 4,024.

Также рассматривается гистограмма распределения тестовых баллов и проводится анализ о качестве заданий и вариантов. Распределение тестовых баллов в идеале должно иметь вид нормального распределения. Анализируя распределение баллов можно делать выводы о соответствии результатов реальному уровню подготовленности участников тестирования.

Результаты прошли обработку также по программе Winsteps и получены статистические характеристики по заданиям теста. Основные показатели при этом: трудность задания, коэффициент корреляции и статистические согласия между баллами по заданию и уровнем подготовленности испытуемых. Было выявлено, что имеются тестовые задания с коэффициентами корреляции ниже значения 0,3. Эти задания рекомендованы к исключению из теста.

Распределение испытуемых и заданий относительно друг друга на общей метрической шкале представлена на карте переменных (рисунок). Слева находится шкала логитов (уровень подготовленности испытуемых), справа сами задания. Более трудные задания и более сильные испытуемые расположены в верхней части карты, легкие задания и менее подготовленные испытуемые — в нижней части карты.

MEASURE 7

Person — MAP — Item <more> | <rare>

####

I0013 T

6

5

S

4 #########

_########

#####

I 0 0 07

I0010 I 0 015 I0016

M

I0014

I 0 018 I 0 019

I0006

I0004

I 0 0 08 I 0 02 0

I0001 I0002 I0003 I0009 I0011

+ I 0 0 05 <less> | <frequent> IS 3: EACH IS 1 TO 2

Рисунок. Карта переменных

M

3

S

2

S

#

1

#

0

T

S

EACH

Распределение на карте близко к нормальному распределению. Следовательно, тест ориентирован на данную выборку и соответствует уровню подготовленности испытуемых. Об этом говорит центрированность множества заданий относительно выборки тестируемых. Данный тест оптимален по трудности, т.е. соответствует уровню подготовленности учащихся. Следует пересмотреть тестовые задания 13 и 17, которые находятся в плохом согласии с моделью. Также, можно было рекомендовано включить несколько трудных заданий для более точного оценивания сильных испытуемых. Надежность измерений равна 0,68, что означает приемлемый результат.

Результаты экспериментальной проверки информационной модели оценки ИК-грамотности проведенной в трех форматах позволяет сделать вывод о хорошем соответствии разработанного инструмента требованиям организации и проведения оценочных мероприятий разного уровня. Апробация заданий была проведена по правилам, разработанным в Национальном центре тестирования с учетом особенностей использования инструмента оценки ИК-грамотности. В результате были получены данные о характеристиках тестовых заданий, которые позволили провести работу по корректировке и редактированию текстов заданий и внести их в базу с улучшенным качеством.

В рамках мероприятий национального масштаба, таких как ВОУД, экспериментальная проверка и итоговая оценка выпускников были осуществлены в условиях реального проведения оценочных мероприятий (мониторинг и экзамен). Увеличение количества участников сдерживалось только тем, что в обоих случаях оценка проводилась по предмету выбираемому самими участниками тестирования.

По итогам проведенной проверки можно утверждать, что инструмент готов к использованию, как в рамках мониторинга, так и в рамках итоговой аттестации. Применение разработанного первого отечественного инструмента оценки ИК-грамотности школьников станет важным элементом Национальной системы оценки качества образования и даст толчок в развитии всех направлений связанных с формированием ИК-грамотности как составной части функциональной грамотности учащихся. Инструмент не учитывает обучение по профильным направлениям в старших классах, оценивая только общее содержание естественно-математического и общественно-гуманитарного направлений. Поэтому, при его применении в условиях итоговой аттестации необходимо использовать дополнительные оценочные средства для получения полной и качественной информации об учебных достижениях и уровня сформированности ИК-грамотности выпускников общей средней школы.

СПИСОК ЛИТЕРАТУРЫ

[1] Определение требований к разработке инструментария оценки ИК-грамотности школьников // Математическое моделирование и информационные технологии в образовании и науке: материалы VII межд. научно-метод. конф. Алматы: КазНПУ им. Абая, 2015. С. 558—562.

[2] Умербаева Г., Кунакова К., Тлемисов С., Каримжан Б., Турсынбекова А., Арбабаев Э. Методика конструирования заданий для оценки информационно-коммуникационной грамотности школьников: учебно-методическое пособие / под ред. К.С. Абдиева. Астана: Национальный центр тестирования, 2016. 60 с.

© Абдиев К.С., Умербаева Г.К., Турсынбекова А.Е., 2017

История статьи:

Дата поступления в редакцию: 26 июня 2017 Дата принятия к печати: 31 июля 2017

Для цитирования:

Абдиев К.С., Умербаева Г.К., Турсынбекова А.Е. О результатах экспериментальной проверки инстумента оценки ИК-грамотности школьников // Вестник Российского университета дружбы народов. Серия «Информатизация образования». 2017. Т. 14. № 4. С. 475—483. DOI 10.22363/2312-8631-2017-14-4-475-483

Сведения об авторах:

Абдиев Кали Сеильбекович, доктор педагогических наук, профессор, проректор по учебно-методической работе университета «Туран» (г. Алматы, Казахстан). Контактная информация: е-шаИ: k_abdiev@mail.ru

Умербаева Гульнара Канышевна, ведущий эксперт Национального центра тестирования Министерства образования и науки Республики Казахстан. Контактная информация: е-шаП: k_abdiev@mail.ru

Турсынбекова Акмарал Ермековна, старший эксперт Национального центра тестирования Министерства образования и науки Республики Казахстан. Контактная информация: е-mail: к abdiev@mail.ru

ABOUT THE RESULTS OF EXPERIMENTAL TESTING OF INFORMATIONAL COMMUNICATIVE LITERACY ASSESSMENT INSTRUMENT OF SCHOOL CHILDREN

K.S. Abdiev1, G.K. Umerbaeva2, A.E. Tursinbekova2

1 "Turan" University Satpaev str., 16-18, Almaty city, Kazakhstan, 050013 2 National testing center Pobeda str.,60, Astana city, Kazakhstan, 010010

The article presents the results of experimental testing of the assessment tool information and communication literacy of students. The audit was conducted in the framework of external evaluation of educational achievements and final certification at the secondary level. Conducted quality evaluation of developed test tasks, the main characteristics of the test. The results were processed according to the program Winsteps and the obtained statistical characteristics for the test items. Took into account such indicators as the difficulty of the task, the correlation coefficient and the statistical agreement between

the scores on the task and the level of preparedness of the subjects. It is revealed that there is a test by correlation coefficients below the value of 0.3. These tasks are recommended to exclude from the test.

In the survey it was found that the skills of planning their own individual and group activities, the level of development of the primary skills of analysis and critical assessment of received information, respect for information privacy, the attitude of the equipment from each of the students formed different. The results of this work have been amended in a database ofjobs.

Key words: informational communicative literacy, assessment instrument, external assessment of educational achievements, emulators of applied programs, Computer sciences

REFERENCES

[1] Opredelenie trebovanij k razrabotke instrumentarija ocenki IK-gramotnosti shkol'nikov [The definition of the requirements for the development of assessment tools IR literacy of students]. Matematicheskoe modelirovanie i informacionnye tehnologii v obrazovanii i nauke: materialy VII mezhdunarodnoj nauchno-metodicheskoj konferencii [Mathematical modelling and information technologies in science and education: materials of VII international scientific-methodical conference]. Almaty: KazNPU im. Abaja, 2015. Pp. 558—562.

[2] Umerbaeva G., Kunakova K., Tlemisov S., Karimzhan B., Tursynbekova A., Arbabaev Je. Metodika konstruirovanija zadanij dlja ocenki informacionno-kommunikacionnoj gramotnosti shkol'nikov [Method of constructing tasks for the assessment of ICT literacy of students]: uchebno-metodicheskoe posobie / pod red. K.S. Abdieva. Astana: Nacional'nyj centr testirovanija, 2016. 60 p.

Article history:

Received: 26 June, 2017 Accepted: 31 Jule, 2017

For citation:

Abdiev K.S., Umerbaeva G.K., Tursinbekova A.E. (2017). About the results of experimental testing of informational communicative literacy assessment instrument of school children. RUDN Journal of Informatization ofEducation, 14 (4), 475-483. DOI 10.22363/2312-8631-2017-14-4-475-483

Bio Note:

AbdiyevKali Seilbekov, doctor of pedagogical Sciences, full professor, vice-rector for educational-methodical work of «Turan» University (Almaty, Kazakhstan). Contact information: e-mail: k_ abdiev@mail.ru

Umarbaeva Gulnara Kuanyshevna, a leading expert of the National testing center of the Ministry of education and science of the Republic of Kazakhstan. Contact information: e-mail: k_abdiev@ mail.ru

Tursynbekova Akmaral Ermekovna, a senior expert of the National testing center of the Ministry of education and science of the Republic of Kazakhstan. Contact information: e-mail: k_abdiev@ mail.ru