CC BY
112
О ФОРМИРУЮЩЕМ КОНТРОЛЕ И ИНФОРМАТИВНОЙ ОБРАТНОЙ СВЯЗИ ПРИ ПРОЕКТИРОВАНИИ УЧЕБНЫХ КУРСОВ ПО ПРОГРАММИРОВАНИЮ
О.В. Максименкова, А.А. Незнанов, В.В. Подбельский
кафедра управления разработкой программного обеспечения Национальный исследовательский университет «Высшая школа экономики» ул. Мясницкая, 20., Москва, Россия,101000
В статье вводятся понятия формирующего контроля и информативной обратной связи, раскрывается их место в образовательном процессе. Дается их развернутое последовательное описание с акцентом на применение этих важных механизмов в обучении программированию. Насколько известно авторам, никто из российских преподавателей не описывает в публикациях соответствующие механизмы комплексно и не применяет их на практике в полном объеме.
Ключевые слова: контроль знаний, обратная связь, педагогическое тестирование, тест, теория тестирования, обучение программированию.
Особенностью проектирования учебных курсов, связанных с алгоритмизацией и программированием в высших учебных заведениях России, является то, что наиболее распространенной системой организации обучения является лекционно-ла-бораторная.
При этом под лабораторными занятиями в курсах подразумевается:
— на первом этапе — выполнение под контролем преподавателя типовых заданий по программированию, набор которых охватывает основные методы алгоритмизации и конструирования программ;
— на втором этапе — самостоятельное выполнение задач по программированию в расширенной постановке с последующей демонстрацией кодов и результатов преподавателю и обсуждением возникающих вопросов.
Организованные таким образом лабораторные занятия реализуют принцип своевременности информации [18; 19], при котором информация предоставляется студентам именно тогда, когда она необходима для освоения учебного материала. Тем не менее формирование навыков и умений, необходимых специалисту в области программирования, в большой степени переносится на самостоятельную работу студентов. Учебные курсы, организованные таким образом, чаще всего проектируются исходя из требований к учебному материалу и его объему. Современные модели проектирования обучения, начавшие активно развиваться во второй половине XX в. и ныне применяемые для проектирования и разработки учебных курсов [19], рекомендуют руководствоваться предполагаемыми результатами обучения и критериями, определяющим степень их достижения. Это означает, что при создании нового курса или модификации уже существующего в первую оче-
редь определяют то, что будет результатом прохождения курса для студента: полученные знания, умения и навыки, сформированные компетенции и т.п.
Отметим, что отправной точкой для появления современных моделей проектирования обучения стала публикация в 1956 г. таксономии Б. Блума [3]. Однако большинство постулатов, относящихся к разработке эффективных учебных материалов (мелкое дробление материала, повторяющиеся задания, максимально быстрая обратная связь, возможность обучаемого самостоятельно выбирать скорость освоения учебного материала) были сформулированы Б. Скинером в 1954 г. [16]. В 1965 г. Р. Ганье предложил собственную модель проектирования обучения и разделил результаты обучения на пять классов: словесные описания, умственные способности, когнитивные стратегии, установки, моторные навыки [9]. Таксономия результатов обучения, предложенная Р. Ганье, стала фундаментом для построения и развития последующих моделей проектирования обучения.
При планировании и создании учебных курсов (блоков учебных курсов) «от предполагаемых результатов» обязательна проверка выполнения названных выше критериев достижения планируемых результатов обучения. Иными словами, наряду с применяемыми методическими средствами необходимо использовать механизм измерения достижений студентов. Именно поэтому особое значение при проектировании курса обучения приобретают виды и формы контроля, осуществляемого в процессе изучения и по итогам курса, а также способы трактовки их результатов.
В 1967 г. М. Скривен [15] на основе анализа различных учебных материалов ввел понятие формирующего контроля и указал на его необходимость при проектировании обучения. Основная идея Скривена — это признание любых учебных материалов окончательно сформированными только по результатам их апробации при реальном обучении студентов. Оценить необходимость изменений в учебных материалах позволяет формализация обратной связи между студентом и преподавателем. Формирующий контроль не исчерпывается этой идеей, но она позволила сформулировать целый ряд следствий.
Уточним разницу между видом и формой контроля. Под видом контроля будем понимать цель и время проведения, т.е. его место в образовательном процессе; под формой — формат, число участников, автоматизацию, уровень субъективизма и др., т.е. технологию его проведения.
Традиционно в российской педагогической литературе выделяют два вида контроля, при этом повсеместно применяются термины «текущий» (часто отождествляемый с промежуточным) и «итоговый» контроль [23], дополнительная классификация встречается редко. Контроль вне зависимости от его вида может применяться в различных формах, например, в форме тестирования, устного опроса, наблюдения и т.п.
Наименования видов контроля часто выбираются в качестве эквивалентов для английских formative и summative assessment соответственно. Обратим внимание на то, что согласно российской педагогической литературе проверка и оценка
знаний (контроль) должна выполнять следующие функции: основную (контролирующую) и сопутствующие (обучающую и воспитывающую). При этом для итогового контроля в качестве доминирующей выделяют контролирующую, а текущего контроля — обучающую функцию. Очевидно, что понятие текущего контроля ввиду его узкой трактовки не может полностью отождествляться с термином formative, предполагающим контроль, результаты которого воздействуют не только на студента, но и на дальнейшую структуру и содержание учебного курса.
Отметим, что в психологии соответствующие термины «формирующий» (или «преобразующий») и «констатирующий» применяются относительно экспериментов [1; 2] и имеют более точный перевод и трактовку. В констатирующем психологическом эксперименте экспериментатор не изменяет свойства участника необратимо, не формирует у него новых свойств и не развивает те, которые уже существуют, а в формирующем — изменяет участника необратимо, формирует у него такие свойства, которых раньше не было или развивает те, которые уже существовали.
Обозначим различие между терминами «формирующее оценивание» и «формирующий контроль». Соответствующее разделение подчеркивается во многих работах, посвященных квалиметрии образования, например [6]. Разделение терминов, тем не менее, сформировалось достаточно давно — на этапе зарождения формирующего контроля и описано в пионерских работах Скривена и Блума [5; 15]. Контроль будем понимать как механизм (способ) получения данных о результатах обучения, контроль в рамках учебного курса может быть представлен одной из названных выше форм контроля. Оценивание будем трактовать как процесс специфического использования данных, полученных в результате реализации одной из форм контроля.
В принятой терминологии определим констатирующий и формирующий контроли.
По результатам констатирующего контроля получают данные о результате обучения. Целями данного вида контроля являются:
— определение уровня обученности студентов;
— рейтингование (ранжирование) студентов;
— оценка достигнутых результатов обучения;
— оценка соответствия плановых и реальных результатов обучения.
Констатирующий контроль обычно проводится в конце цикла обучения (итоговый), но может быть промежуточным, а также иметь черты формирующего [6; 23].
По результатам формирующего контроля получают данные, на базе которых выстраивается или перестраивается дальнейшее обучение. Данный вид контроля может не иметь количественной оценки, поскольку главной его целью является получение данных для формирующего оценивания, которое устанавливает факт овладения студентом какой-либо системой знаний/навыков (формирования не-
которой компетенции) и необходимость изменений в структуре и/или содержании программы учебного курса.
В контексте исследования различий формирующего и констатирующего контроля существенным является деление учебного года на периоды и распределение учебной нагрузки по ним. В случае высокой гранулярности (модульная, триместровая, четвертная система) некоторые мероприятия итогового контроля могут быть использованы как формирующие. При делении на более крупные временные отрезки, например, семестры, не каждый учебный курс (например односеместровый) содержит «внутренний» итоговый контроль.
Неотъемлемой частью формирующего контроля является информативная обратная связь (ИОС) (assessmentfeedback), предоставляемая студенту [6].
Впервые понятие обратной связи (ОС) вводится и используется в работах Н. Винера: «управление машиной на основе действительного выполнения ею приказов, а не ожидаемого их выполнения называется обратной связью и включает в себя чувствительные элементы, которые приводятся в движение моторными элементами и которые выполняют функцию предупреждающих сигнальных приспособлений, или мониторов, то есть устройств, показывающих выполнение приказов» [22. С. 37]. Под сигналами Н. Винер понимает средства, управляющие машинами и обществом [22. С. 30]. В теории автоматического управления (ТАУ), которая четко разграничивает объект управления и управляющее им устройство, управлением называется процесс организации такого целенаправленного воздействия устройства управления на объект, в результате которого объект переходит в требуемое (целевое) состояние. Под ОС понимается дополнительная связь выхода объекта управления со входом, в которую входят элементы для измерения параметров выхода и выработки по результатам измерения корректирующих воздействий на управляющее устройство [20; 27]. ТАУ наиболее сообразно целям данной статьи формализует ОС.
Таким образом, можно сказать, что ИОС — неотъемлемая часть формирующего контроля, обеспечивающая разнородные данные для работы механизма изменения процесса обучения. Разнородность данных подразумевает то, что они могут быть количественными или качественными, цифровыми или аналоговыми, могут записываться на любом носителе.
Получение такой обратной связи позволяет преподавателю формально выявлять потребность в «настройке» курса, а студенту реагировать на пробелы в образовании эффективнее и с дополнительной мотивацией. Повышение эффективности и мотивации обусловлено воплощением уже упомянутого принципа «своевременности информации». Достаточно качественный обзор применения ИОС в высшем образовании дан в [8]. Интересный пример построения и настройки ИОС приведен в [17].
Из определения ИОС следует большое разнообразие сигналов обратной связи в учебном процессе. Они могут быть классифицированы по следующим критериям:
— по адресату: для студента, для преподавателя;
— цели: изменение поведения преподавателя (критериев оценивания, темпа изложения материала, уровня сложности заданий), модификация учебных мате-
риалов (структуры или содержания преподавания), изменение поведения и отношения к учебе студента (акцентов и зон повышенного внимания или относительных трудозатрат);
— технологии формирования: индивидуальная или групповая, в формальной или свободной форме, и др.;
— технологии передачи: устно или письменно, в рамках формальных процедур или неформально.
ИОС функционирует в каждом отдельном учебном блоке, причем ее учет значительно усложняет и углубляет понимание взаимодействие субъектов учебного процесса.
Смысл введения и уточнения термина ИОС в области обучения информатике (в широком смысле) и программированию заключается в формализации методов и процедур контроля знаний/навыков программиста, которые системны, объективны, практичны и четко относятся к парадигме Uno scio util. В контексте предметов, связанных с алгоритмизацией и программированием, стоит отметить необходимость и возможность комплексной проверки компетенций студентов. Студент должен не только овладеть навыками написания исходного кода, но и понять смысл конкретной «парадигмы программирования», сформировать систему базовых понятий, принципы использования инструментальной среды и т.п.
Применение педагогического теста для организации формирующего контроля требует отдельного пояснения. Уровень информации, содержащейся в обратной связи, полученной по результатам тестов, может сильно различаться. Так, первичное проведение тестирования позволяет выдать студенту информативную обратную связь как по отдельным тестовым заданиями, так и по тесту в целом. На первом плане оказывается обучающая функция контроля. Наиболее детальные ответы о достижениях студентов на отдельных тестовых заданиях получают при обработке результатов тестирования методами современной теории тестирования, в отличие от нее методы классической теории тестов ориентированы на достижения студентов по тесту в целом [10. С. 5].
Повторное тестирование, проведенное по варианту теста, состоящему из фасетов заданий первичного теста, существенно снизит информативность обратной связи. Под повторным тестированием понимается использование параллельной формы первичного теста, т.е. теста, измеряющего те же самые умения с той же самой статистической точностью. В данном случае обучающая функция контроля отходит на второй план, уступая месту контролирующей. Это связано с тем, что при повторном тестировании успешность выполнения испытуемым фасетного задания (т.е. задания не только с теми же характеристиками, что и в первичном тесте, но и той же формы и содержания) существенно возрастает, так как задания теста не новы для студента. Математические модели соответствующих зависимостей вероятности успеха от трудности задания и уровня подготовленности студента описаны на русском языке в работах М.Ю. Неймана, В.А. Хлебникова и Е.Ю. Кардановой [25; 26].
Рис. 1. Фрагмент процесса функционирования ИОС в рамках учебного блока
Отметим, что информативность обратной связи может не снизиться при проведении повторного тестирования по варианту теста с заданиями, нефасетными заданиям первого теста, но имеющим те же характеристики и относящимся к тем же темам.
Высокая технологичность тестирования позволяет получать автоматически сгенерированные сигналы обратной связи, которые в случае, например, компьютерного тестирования могут быть в достаточной степени персонифицированы и детализированы по дидактическим единицам учебного курса и заданиям. По результатам использования компьютерного адаптивного тестирования (КАТ) сигналы могут дополнительно детализироваться по связям между дидактическими единицами. Последнее следует из исторически сложившегося развития моделей КАТ как продолжения и реализации некоторых идей современной теории тестирования.
Проведение объективного оценивания уровня развития компетенций студентов, связанных с навыками практического программирования, невозможно только с применением классических тестов, не включающих заданий открытого типа со свободно конструируемым ответом. Заметим, что к настоящему времени уже существуют программные средства, осуществляющие объективную автоматизированную проверку такого типа заданий. Однако даже на задания с ответом в форме эссе накладываются ограничения по времени выполнения, а следовательно, и по их объему. Осуществить проверку отдельных комплексных умений и навыков посредствам таких заданий затруднительно. В то же время при обучении программированию студенту можно предложить создать готовую (работоспособную) программу, четкая и полная спецификация которой допускает автоматическую проверку. Иными словами при обучении программированию в качестве формирующего контроля целесообразно применять не только педагогическое тестирование, но и письменную контрольную работу.
В рамках письменной контрольной работы по программированию, в которой предлагается составить программу, выполняющую описанные в задании функции, в ИОС могут и должны учитываться не только моменты, связанные с навыками алгоритмизации и программирования, но и с общей культурой написания программного кода. Случай, когда ИОС предоставляется студенту после итогового контроля, применяемого в форме письменной контрольной работы или тестового задания открытого типа со свободно конструируемым ответом, должен быть проработан с точки зрения согласования критериев оценивания с содержанием обратной связи.
Сами формы ИОС при обучении программированию разнообразны: хорошо формализованы способы комментирования исходного кода, приведения примеров тестов (исходных данных для программы), сравнения результатов, замер времени выполнения и другие.
Обобщим представления об ИОС при обучении программированию.
1. При оценивании практических навыков студентов в учебных курсах по программированию наиболее частым объектом оценивания является исходный код программ.
2. ИОС итеративна. Максимальное число итераций ИОС соответствует наиболее часто изменяющимся частям исходного кода (особенно с учетом того, что многие разделы кода формируются инструментальными средствами автоматически).
3. Сравнение (сопоставление) выставляемых оценок между собой практически всегда вызывает вопросы студентов. Желательно, чтобы полученные разными студентами оценки были сравнимы между собой, например, опирались на сформулированные и зафиксированные в программе учебного курса и методических указаниях критерии корректности, эффективности и читаемости кода.
4. В свою очередь, применение критериев оценивания также комментируется студентами, в результате чего по результатам контроля формируются развернутые ответы, уточняются или конкретизируются критерии и проч.
При введении критериев выставления оценки за программную реализацию задачи обратная связь дается по этим критериям. При выполнении задачи на компьютере критерии делятся на основные и дополнительные. Основные критерии определяют нижний предел оценки по принятой шкале в рамках соответствующей оценки по пятибалльной шкале. Дополнительные критерии определяют возможность повышения оценки [13; 14]. Например, если разработка программы не завершена или в коде имеются синтаксические ошибки, студенту ставится неудовлетворительная оценка. В качестве сигнала обратной связи студенту приводится соответствующий критерий и краткое описание причин его применения, например: «В коде имеются синтаксические ошибки. Неверный синтаксис цикла for; нарушен баланс операторных скобок; неверно использован многострочный комментарий». Исправление ошибок может инициировать новую итерацию ИОС.
Современные технологии позволяют практически полностью автоматизировать процессы ИОС, равно как и оценивания комплексных навыков программиста.
Оптимальным вариантом представляется использование системы управления конфигурацией (Configuration Management System — CMS) с системами управления базой (контроля версий) исходного кода программ (Concurrent Version System — CVS), тематических обсуждений (форум), мгновенных сообщений (чат), групповой аудио- и видеосвязи. Возможно использование для ИОС социальных сетей с развитыми сервисами общения пользователей и поддержкой групп. Отдельно упомянем автоматические тестовые системы, позволяющие исключительно эффективно и объективно проверять корректность и время выполнения программ. Наиболее известными реализациями являются Ultra Cool Programming Contest Control Centre (UCPCCC) (github.com/boxysean/ucpccc), разработанная Sonny Chan, и Programming Contest Control System (PC2) (www.ecs.csus.edu/pc2), созданная в Калифорнийском университете.
Для поддержания мотивации студентов и сохранения эффективности ИОС исключительно важно применять средства, расширяющие или дополняющие привычные среды разработки программ, а также используемые студентами средства групповой коммуникации и совместной работы. В настоящее время можно счи-
тать апробированным с положительными результатами применение CMS: Trac (trac.edgewall.org) и Team Foundation Server (msdn.microsoft.com/ru-ru/vstudio/ ff637362), CVS: Git (git-scm.com), Subversion (subversion.apache.org), Mercurial (mercurial.selenic.com), интернет-пейджера Skype, социальной сети «В Контакте» (vk.com) и других интернет-ресурсов.
Применение специализированных систем поддержки учебного процесса (Learning Management System — LMS) ограничено [12] и сдерживается неудобствами с точки зрения жизненного цикла программы (главного артефакта контроля), отсутствием поддержки адекватного представления исходного кода (хотя бы подсветки синтаксиса), невозможностью интеграции с используемыми студентами CVS и т.п. Задача доработки существующих LMS актуальна, поскольку ее решение позволит интегрировать необходимые технологии коммуникации, методического обеспечения, проектной деятельности, контроля знаний и ИОС для поддержки учебных курсов по программированию.
Компьютерное тестирование и формализованная обратная связь представляют особый интерес при применении методов адаптивного и дистанционного обучения. При этом как для задач обучения, так и для оценивания эффективным является проведение компьютерного адаптивного тестирования. Развитые средства КАТ чаще всего являются коммерческими. Они требуют специального и достаточно дорогого на текущий момент методического и технического сопровождения. В рамках обучения программированию слабым местом подобного программного обеспечения также оказывается автоматизированная проверка исходного кода программ и его фрагментов. Формализация обратной связи и ее интеграция в существующие средства поддержки процесса разработки программного обеспечения во многих случаях позволяет обойтись без обращения или ограничиться минимальным задействованием технологии КАТ. При этом снижается стресс, который испытывают студенты при любых, даже минимальных, ошибках применения КАТ. Также повышается уровень вовлеченности в учебный процесс и качество учебных материалов.
Апробация комплексного подхода к внедрению ИОС в НИУ ВШЭ на отделениях программной инженерии и прикладной математики и информатики выявила дополнительный положительный эффект. Повысилась эффективность начальной подготовки молодых преподавателей. Существенно ускорился процесс их интеграции в учебный процесс и адаптация к работе с группами и отдельными студентами. Более опытным коллегам проще контролировать деятельность новичков на курсе и нивелировать допускаемые ошибки. Таким образом, повышается технологичность и снижается количество человеческих ошибок в процессе обучения.
ЛИТЕРАТУРА
[1] Bell B., Cowie B. Formative Assessment and Science Education. — Kluwer Academic Publishers, 2001. — 154 p.
[2] Bell B., Cowie B. The characteristics of formative assessment in science education // Science Education, 85 (5), 2001. — P. 536—553.
[3] Bloom B.S. Taxonomy of Educational Objectives: the Classification of Educational Goals. — Boston, Allyn and Bacon, 1956. — 404 p.
[4] Bloom B.S., Hastings J.T., Madaus G.F. Evaluation to improve learning. — New York: McGraw-Hill, 1981. — 356 p.
[5] Bloom B.S., Hastings J.T., Madaus G.F. Handbook on formative and summative evaluation of student learning. — New York: McGaw-Hill, 1971. — 923 p.
[6] Dunn K.E., Mulvenon S. W. A Critical Review of Research on Formative Assessment: The Limited Scientific Evidence of the Impact of Formative Assessment in Education // Practical Assessment, Research & Evaluation. — 2009. — Vol. 14. — № 7. — 11 p.
[7] Education Policy Analysis. Focus on Higher Education 2005—2006. OECD PUBLICATIONS, 2006 Chapter 4 Improving Learning through Formative Assessment. — P. 117—137. — URL: http://www.sourceoecd.org/education/9264022694
[8] Evans C. Making Sense of Assessment Feedback in Higher Education, Review of Educational Research. — 2013. — Vol. 83. — № 1. — P. 70—120.
[9] Gagne R.M. The conditions of learning. — New York: Holt, Rinehart and Winston, 1965. — 308 p.
[10] Hambleton R.K., Swaminathan H., Rogers H.J. Fundamentals of item response theory. — Newbury Park: SAGE Publications, 1991. — 174 p.
[11] Hattie J., Timperley H. The Power of feedback. Review of Educational Research. — 2007. — Vol. 77. — № 1. — P. 77—87.
[12] Podbelskiy V., Maksimenkova O. Preparation testing in programming by means of learning management system of the University // Innovative Information Technologies: Materials of the International scientific-practical conference. Part I. — M.: MIEM NRU HSE, 2013. — P. 338—345.
[13] Podbelskiy V.V., Maksimenkova O.V. Educational tests in «Programming» academic subject development // Proceeding of the 5-th Spring/Summer Young Researcher's Colloquium on Software Engineering, 2011.
[14] Podbelskiy V.V., Maksimenkova O.V. Programming as a Part of the Software Engineering Education // Proceeding of the 4-th Spring/Summer Young Researcher's Colloquium on Software Engineering, 2010.
[15] Scriven M. The methodology of evaluation. In R.W. Tyler, R.M. Gagné, & M. Scriven (Eds.), Perspectives of curriculum evaluation. — Chicago, IL: Rand McNally, 1967. — P. 39—83.
[16] Skinner B.F. The science of learning and the art of teaching // Harvard Educational Review. — 1954. — № 24 (2). — P. 86—97.
[17] Spiller D. Assessment: Feedback to Promote Student Learning Teaching Development. — Wahanga Whakapakari Ako Teaching Development, 2009. — 19 p.
[18] Van Merrienboer J.J.G., Kirschner P.A., Kester L. Taking the load of learners' mind: Instructional design for complex learning // Educational Psychologist. — 2003. — № 38 (1). — P. 5—13.
[19] Van Merrienboer J.J. G., Kirschner P.A. Ten steps to complex learning. A systematic approach to four-component instructional design. — New York: Taylor & Francis, 2012. — 330 p.
[20] Бабаков Н.А., Воронов А.А., Воронова А.А. Теория автоматического управления. В 2-х ч. Ч. I: Теория линейных систем автоматического управления. — М.: Высшая школа, 1986. — 367 с.
[21] Безрукова В.С. Педагогика. Проективная педагогика: учебник для индустриально-пед-техникумов и для студентов инженерно-педагогических специальностей. — Екатеринбург: Деловая книга, 1999. — 314 c.
[22] Винер Н. Кибернетика и общество. — М.: Издательство иностранной литературы, 1958. — 200 с.
[23] Голуб Б.А. Основы общей дидактики: Учеб. пособие для педвузов. — М.: Туманит, изд. Центр ВЛАДОС, 1999. — 96 с.
[24] Гурье Л.И. Проектирование педагогических систем: Учеб. пособие. — Казань: Казан. гос. технол. ун-т, 2004. — 212 с.
[25] Карданова Е.Ю. Моделирование и параметризация тестов: основы теории и приложения. — М.: Федеральный центр тестирования, 2008. — 303 с.
[26] Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов. — М.: Прометей, 2000. — 168 с.
[27] Растригин Л.А. Современные принципы управления сложными объектами. — М.: Сов. Радио, 1980. — 232 с.
LITERATURA
[1] Bell B., Cowie B. Formative Assessment and Science Education. — Kluwer Academic Publishers, 2001. — 154 p.
[2] Bell B., Cowie B. The characteristics of formative assessment in science education // Science Education, 85 (5), 2001. — P. 536—553.
[3] Bloom B.S. Taxonomy of Educational Objectives: the Classification of Educational Goals. — Boston, Allyn and Bacon, 1956. — 404 p.
[4] Bloom B.S., Hastings J.T., Madaus G.F. Evaluation to improve learning. — New York: McGraw-Hill, 1981. — 356 p.
[5] Bloom B.S., Hastings J.T., Madaus G.F. Handbook on formative and summative evaluation of student learning. — New York: McGaw-Hill, 1971. — 923 p.
[6] Dunn K.E., Mulvenon S. W. A Critical Review of Research on Formative Assessment: The Limited Scientific Evidence of the Impact of Formative Assessment in Education // Practical Assessment, Research & Evaluation. — 2009. — Vol. 14. — № 7. — 11 p.
[7] Education Policy Analysis. Focus on Higher Education 2005-2006. OECD PUBLICATIONS, 2006 Chapter 4 Improving Learning through Formative Assessment. — P. 117—137. — URL: http://www.sourceoecd.org/education/9264022694
[8] Evans C. Making Sense of Assessment Feedback in Higher Education, Review of Educational Research. — 2013. — Vol. 83. — № 1. — P. 70—120.
[9] Gagne R.M. The conditions of learning. — New York: Holt, Rinehart and Winston, 1965. — 308 p.
[10] Hambleton R.K., Swaminathan H., Rogers H.J. Fundamentals of item response theory. — Newbury Park: SAGE Publications, 1991. — 174 p.
[11] Hattie J., Timperley H. The Power of feedback. Review of Educational Research. — 2007. — Vol. 77. — № 1. — P. 77—87.
[12] Podbelskiy V., Maksimenkova O. Preparation testing in programming by means of learning management system of the University // Innovative Information Technologies: Materials of the International scientific-practical conference. Part I. — M.: MIEM NRU HSE, 2013. — P. 338—345.
[13] Podbelskiy V.V., Maksimenkova O.V. Educational tests in «Programming» academic subject development // Proceeding of the 5-th Spring/Summer Young Researcher's Colloquium on Software Engineering, 2011.
[14] Podbelskiy V.V., Maksimenkova O.V. Programming as a Part of the Software Engineering Education // Proceeding of the 4-th Spring/Summer Young Researcher's Colloquium on Software Engineering, 2010.
[15] Scriven M. The methodology of evaluation. In R.W. Tyler, R.M. Gagné, & M. Scriven (Eds.), Perspectives of curriculum evaluation. — Chicago, IL: Rand McNally, 1967. — P. 39—83.
[16] Skinner B.F. The science of learning and the art of teaching // Harvard Educational Reviewju — 1954. — № 24 (2). — P. 86—97.
[17] Spiller D. Assessment: Feedback to Promote Student Learning Teaching Development. — Wahanga Whakapakari Ako Teaching Development, 2009. — 19 p.
[18] Van Merrienboer J.J.G., Kirschner P.A., Kester L. Taking the load of learners' mind: Instructional design for complex learning // Educational Psychologist. — 2003. — № 38 (1). — P. 5—13.
[19] Van Merrienboer J.J.G., Kirschner P.A. Ten steps to complex learning. A systematic approach to four-component instructional design. — New York: Taylor & Francis, 2012. — 330 p.
[20] Babakov N.A., Voronov A.A., Voronova A.A. Teorija avtomaticheskogo upravlenija. V 2-h ch. Ch. I. Teorija linejnyh sistem avtomaticheskogo upravlenija. — M.: Vysshaja shkola, 1986. — 367 s.
[21] Bezrukova V.S. Pedagogika. Proektivnaja pedagogika: uchebnik dlja industrial'no-pedtehnikumov i dlja studentov inzhenerno-pedagogicheskih special'nostej. — Ekaterinburg: Delovaja kniga, 1999. — 314 c.
[22] Viner N. Kibernetika i obshhestvo. — M.: Izdatel'stvo inostrannoj literatury, 1958. — 200 s.
[23] Golub B.A. Osnovy obshhej didaktiki: Ucheb. posobie dlja pedvuzov. — M.: Tumanit, izd. Centr VLADOS, 1999. — 96 s.
[24] Gur'e L.I. Proektirovanie pedagogicheskih sistem: Ucheb. posobie. — Kazan': Kazan. gos. tehnol. un-t, 2004. — 212 s.
[25] Kardanova E.Ju. Modelirovanie i parametrizacija testov: osnovy teorii i prilozhenija. — M.: Federal'nyj centr testirovanija, 2008. — 303 c.
[26] Nejman Ju.M., Hlebnikov V.A. Vvedenie v teoriju modelirovanija i parametrizacii pedagogicheskih testov. — M.: Prometej, 2000. — 168 s.
[27] Rastrigin L.A. Sovremennye principy upravlenija slozhnymi ob#ektami. — M.: Sov. Radio, 1980. — 232 s.
ABOUT FORMATIVE CONTROLLING AND FEEDBACK IN PROJECTING TRAINING COURSES ON PROGRAMMING
O.V. Maksimenkova, A.A. Neznanov, V.V. Podbelskiy
Chair of management of development of the software National research university Higher school of economics Myasnitskaya str., 20, Moscow, Russia, 101000
The article considers a place of formative assessment and feedback in education process and specific properties of these concepts in programming training courses. Systematic description of these significant educational tools is given. As authors knew, no Russian educators neither fully describes these concepts, nor carries out them in daily practice. Authors needed in a formalization of feedback for computer support of training process.
Key words: control of knowledge, feedback, pedagogical testing, test, theory of testing, training in programming.
