CC BY
154КАЧЕСТВО ОБРАЗОВА В ЕВРАЗИИ
СТАНОВЛЕНИЕ НАЦИОНАЛЬНОЙ СИСТЕМЫ ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАНИЯ В АРМЕНИИ
БАГДАСАРЯН АРСЕН ГЕВОРКОВИЧ
Заместитель директора Центра оценки и тестирования при правительстве Республики Армения, д-р физ.-мат. наук, проф. е-mail: angen@arminco.com Ереван, Армения
АННОТАЦИЯ. В статье описываются этапы становления системы оценки качества образования в Армении, опыт организации и проведения единых экзаменов и мониторинговых исследований, обсуждаются дискуссионные вопросы.
КЛЮЧЕВЫЕ СЛОВА: оценка качества образования, национальная система ОКО.
EVOLUTION OF THE NATIONAL SYSTEM OF EDUCATION QUALITY ASSESSMENT IN ARMENA
ARSEN BAGHDASARYAN
Deputy director of Assessment and testing center of the Government of Armenia, Doctor of science (Mathematics), professor е-mail: angen@arminco.com Yerevan, Armenia
ABSTRACT. The paper describes the major steps of developing the national system of education quality assessment in Armenia. It focuses on the issues in organization and implementation of the unified exams and monitoring studies in Armenia, and states some problematic questions for further discussion.
KEYWORDS: education quality assessment, national system of EQA.
ВВЕДЕНИЕ
В 1991 году в Армении были предприняты первые шаги по реализации реформ в области оценки качества образования (далее - ОКО). В частности, был осуществлен переход от системы внутривузовых приемных экзаменов к централизованным внешним экзаменам для приема в государственные вузы Армении. Хотя по нынешним критериям централизованные экзамены тех лет, по всей вероятности, были недостаточно надежными и совсем не валидными в тестологическом смысле (см., например [1]), однако это был существенный шаг по направлению становления объективной и качественной системы ОКО.
Следующий значительный этап становления новой национальной системы оценки качества образования (далее - НСОКО) приходится на 2001-2005 годы. Именно в этот период были запланированы существенные изменения в действующей системе ОКО и заложены основы реализации принятых программ. Была разработана концепция новой системы оценивания (см. [2]) и запланированы сроки последовательного внедрения новой НСОКО.
Одним из первых шагов внедрения новой системы оценивания является участие Армении в международном исследовании TIMSS-2003.
В плане национальных мероприятий существенным результатом в направлении осуществления реформ можно считать создание в 20042005 годах Центра оценки и тестирования, который за два года организовал и в 2007 году осуществил первый единый экзамен по новой системе оценивания с совмещением выпускных и вступительных целей.
Параллельно были предприняты работы по реорганизации структуры средней школы. В 2006-2007 учебном году в Армении был начат переход от 10-летней системы обучения к 12-летней.
МОНИТОРИНГОВЫЕ ИССЛЕДОВАНИЯ
В 2001 году был принят закон Республики Армении об утверждении государственной программы развития образования на 2001-2005 годы. В числе других задач в образовании были запланированы существенные мероприятия по направлению становления новой системы ОКО.
МЕЖДУНАРОДНЫЕ СРАВНИТЕЛЬНЫЕ ИССЛЕДОВАНИЯ
Динамика результатов исследований TIMSS в Армении, на наш взгляд, во многом определяется следующими тремя основными факторами.
1. Новизна и непривычность метода тестирования. Если учесть, что до исследования TIMSS-2003 в армянских школах даже учителя были практически незнакомы с тестированием как методом оценки показателей успеваемости, то становится ясно, что этот фактор до сих пор имеет большое влияние. Для армянских учеников новыми являются не только методы администрирования исследований TIMSS (выполнение заданий на выбор, высказывание мнений при решении заданий с открытым ответом, заполнение анкет и т.д.), но и программный материал, формулировка и дизайн инструмента оценивания.
2. Внедрение единых экзаменов с высокими ставками. Большое влияние на результаты армянских школьников имело решение о переходе к единым государственным экзаменам для окончания средней школы и для поступления в вузы Армении. При подготовке к этим экзаменам были проведены широкие общественные обсуждения в профессиональных организациях и в СМИ. В школах в рамках подготовки к единым экзаменам проводились различные мероприятия по тестированию. Первый единый экзамен в Армении был проведен в 2007 году. Думается, что этот факт во многом повлиял на результаты исследования TIMSS-2007.
3. Мотивация и отношение к исследованиям. Достаточно очевидно влияние этого фактора на результаты школьников (не только в Армении). Не случайно, что первые места по результатам исследований TIMSS занимают в основном азиатские страны с высоким уровнем мотивации и менталитетом серьезного и ответственного отношения к педагогическим исследованиям (и не только). В Армении, к сожалению, этот фактор имеет большое (негативное) влияние. Свидетельством этого является большое количество пустых буклетов и большой процент пропущенных заданий (диагностический код 99) во время исследования TIMSS-2011. О том же свидетельствует и большой процент заданий с диагностическим кодом 79 (неадекватный ответ).
Результаты исследований TIMSS выявили ряд следующих проблем при подготовке школьников в общеобразовательных учебных заведениях Республики Армении.
• В международных исследованиях большой процент составляют задания по разделам, которым до недавнего времени в наших программах практически не уделялось внимания (элементы теории вероят-
ностей и математической статистики, комбинаторика, представление и интерпретация данных и др.).
Различия в выборе, формулировках и дизайне инструмента оценивания. Наши ученики больше привыкли к сухим и четким формулировкам заданий («Решить уравнение», «Упростить выражение»), в то время как большинство заданий международных исследований формулируются в реальных ситуациях, приближенных к повседневной жизни, часто требуется не производить сложные расчеты, а высказать свое мнение.
Существует достаточно большое различие в методах преподавания и оценивания. Часто учителя продолжают преподавать по методикам, материалу и программам прошлых лет, в то время как ученики сдают тесты (не только во время международных исследований, но и во время ЕГЭ и других мероприятий по тестированию), для успешного решения которых требуются другие умения и навыки. Предметные программы, учебники, учебные пособия, сборники задач (тестов) и другие учебные материалы требуют доработки и должны быть приведены в соответствие с новыми требованиями и стандартами. Наблюдается недостаток мероприятий по тестированию. Следует по методу тестирования проводить всевозможные мероприятия по оценке качества образования по разным предметам, на разных ступенях обучения, с разными целями. Анализировать полученные данные как с целью улучшения качества инструментов оценивания, так и с целью выявления недостатков в конкретных областях. Наблюдаются достаточно серьезные проблемы по предметам естествознания. Преподавание во многом проводится посредством перечисления и требования запоминания материала. Уделяется большое внимание сухим теоретическим фактам, без достаточного применения полученных знаний в повседневных ситуациях. Ученики проявляют достаточно слабые умения при организации и дизайне научных опытов и экспериментов.
Как по математике, так и по предметам естествознания ученики часто не вникают в суть заданий с открытым ответом. Для выполнения таких заданий зачастую ученик перед непосредственным выполнением задания должен прочитать некий сценарий и затем, вникнув в суть, выполнить его. Во многих случаях наш ученик, имеющий необходимые знания и умения для выполнения такого задания, оставляет его недочитанным из-за недостаточной мотивации, непривычности ситуации или недостаточных навыков чтения и понимания прочитанного.
Одним предложением основную часть перечисленных проблем можно обобщить следующим образом: приоритетом преподавания, к сожалению, является заучивание, а не вникание в суть изучаемого материала, его применение, осознание и интерпретация полученных результатов и формирование выводов.
НАЦИОНАЛЬНЫЕ МОНИТОРИНГОВЫЕ ИССЛЕДОВАНИЯ
Наряду с международными исследованиями в области оценки качества образования появляется необходимость проведения исследований на более узкой целевой группе, связанной достаточной общностью культурных и исторических особенностей, где нет значительных различий в программах обучения, традициях и приоритетах отношения к предмету и способу исследования (см. [3]).
В 2010 году Центр тестирования и оценки (далее - ЦОТ) начал работы по проведению первого национального исследования HAAS по предметам армяноведения (армянский язык, литература и история Армении). В дальнейшем были инициированы работы национальных исследований по предметам естествознания BAAS и по иностранным языкам OLAS.
Национальные инструменты HAAS, BAAS и OLAS были разработаны по методу исследований TIMSS. Как и в исследованиях TIMSS, оценивались три когнитивные области: знание (knowledge) известных фактов, применение (application) знаний в реальных ситуациях и рассуждение (evaluation) о заданной ситуации, о выборе метода и шагов решения.
Применение метода TIMSS (см., например [4]) предполагает не только использование дизайна инструмента оценивания и его когнитивных характеристик, этапов и правил имплементации, но и формулировку целей конкретной оценочной процедуры, корреляционных особенностей, выявление факторов (в том числе образовательных и социально-экономических), формирующих демонстрируемые показатели успеваемости, методов статистического (психометрического) анализа, выявление корреляционных межпредметных связей, методов представления результатов и информационных продуктов, областей применения полученных данных и использование результатов.
Естественно, на данном этапе еще рано говорить о достижениях и сильных сторонах, о проблемных вопросах и недостатках в подготовке школьников. Рано еще делать обоснованные рекомендации по итогам трендовых исследований (повторные исследования не были проведены), которые могли бы лечь в основу дальнейших управленческих решений. Но некоторые закономерности исследований TIMSS обнаруживаются
и здесь: заучивание известных фактов остается приоритетом преподавания, учащиеся избегают самостоятельных интерпретаций - привычнее воспроизводить общеизвестные мнения и истины. Обнаруживается существенная разница в методах преподавания и оценивания.
Различные этапы некоторых других национальных исследований в Армении были проведены на грантовой основе.
Несмотря на все сказанное о национальных исследованиях в Армении, надо отметить, что ситуация находится пока еще в фазе становления. Практически все перечисленные национальные исследования носят пилотный характер, соответствующие инструменты требуют доработки для полноценного и масштабного применения.
Однако одно исследование в Армении прошло все стадии (начиная с локализации инструмента и заканчивая масштабной имплементацией) и было доведено до полноценного применения. Речь идет об исследовании ICT по информационной и коммуникационной грамотности выпускников основной школы, которое в Армении было проведено в рамках реализации программы READ. Было проведено компьютерное тестирование с участием около 2500 учеников 9-х классов из всех регионов Армении. Работы проводились в сотрудничестве с российскими коллегами из НФПК.
В итоге применения инструмента ICT результаты учеников обобщаются в виде пяти уровней: развивающийся, ниже среднего, средний, выше среднего, продвинутый. Распределение основных результатов успеваемости, продемонстрированных школьниками в процессе ICT-тестирова-ния, приведено в следующем рисунке.
advanced above basic
■ basic
■ below basic
■ developing
Источник: данные НФПК РФ.
Рис. 1. Распределение процентных показателей тестирования по ICT-грамотности.
24% 9%
40%
19% 8%
ДИСКУССИОННЫЕ ВОПРОСЫ РАЗВИТИЯ
В целом ситуация, связанная с международными и национальными исследованиями, в Армении внушает оптимизм. В республике уже накоплен достаточный опыт участия в международных исследованиях, разработаны инструменты для многочисленных национальных исследований по различным предметам для различных целевых групп. Однако именно это обстоятельство, на наш взгляд, носит дискуссионный характер.
Мы пошли по пути разработки многочисленных инструментов по многим предметам. Есть точка зрения, что вместо этого стоило сосредоточиться на одном или двух инструментах, отшлифовать их и полноценно применять, получать содержательные выводы и отслеживать тренды развития путем повторных исследований. Сейчас же мы имеем множество инструментов, но по разным причинам (финансовые причины, нехватка времени и ресурсов, реализация обязательных мероприятий с высокими ставками) они еще не дошли до стадии пожинания плодов имплемента-ции, а находятся в стадии доработки по результатам пилотажей. Когда-нибудь по всем этим инструментам удастся реализовать полноценные исследования, однако время идет и появляется риск устаревания инструмента (меняются приоритеты, программы, стандарты и т.д.) и потери его актуальности.
Противоположная картина сложилась по международным исследованиям. Армения участвовала в пяти исследованиях TIMSS и не участвовала в таких известных и интересных исследованиях, как PIRLS, PISA, TEDS, ICILS и др. Основной причиной, конечно же, является нехватка ресурсов (финансовых, временных, человеческих), однако в республике растет понимание важности масштабных мониторинговых исследований в области оценки качества образования и есть надежда, что многие из этих проектов в будущем будут реализованы в Армении.
ЭКЗАМЕНЫ
Как уже было отмечено выше, в 1991 году в Армении была осуществлена первая реформа в области ОКО, результатом которой стали внешние централизованные экзамены для поступления во все государственные вузы. Независимо от выбранного вуза и выбранной специальности абитуриенты приезжали в Ереван и сдавали централизованные экзамены
по всем предметам. Создавались единые комиссии проверяющих, которые оценивали работы абитуриентов (задания с открытым ответом) по 20-балльной шкале. Хотя это было очевидным и серьезным улучшением существующей системы приема в вузы (централизация экзаменов, осуществление единого конкурса приема, стандартизация заданий, независимые комиссии проверяющих, прозрачная процедура администрирования), однако и эта система имела очевидные недостатки.
Поскольку абитуриенты всей Армении сдавали экзамены в нескольких экзаменационных центрах Еревана, то экзамены по конкретному предмету тянулись месяцами. Ясно, что экзаменационные варианты день ото дня менялись, не соблюдалась эквивалентность заданий и речи не шло о валид-ности экзаменационных вариантов. Но одна из основных проблем заключалась в субъективности проверяющих комиссий. Одну и ту же работу два разных специалиста могли проверять по-разному (в зависимости от квалификации, интерпретации, настроения и усталости проверяющего и даже от почерка абитуриента). Один и тот же недостаток в решении конкретного задания один специалист мог интерпретировать как случайный, незначительный просчет, а другой - как значительную, принципиальную ошибку. В итоге могла возникнуть существенная разница в несколько баллов.
ВЫПУСКНЫЕ ЭКЗАМЕНЫ ИЗ ШКОЛЫ
В 4-м классе посредством тестирования проводятся выпускные экзамены элементарной школы по «Родному языку» и «Математике». Классы с обучением на русском языке сдают экзамен по «Русскому языку».
Тесты по «Родному языку» и «Русскому языку» состоят из двух частей. В первой части приводится некий текст и задаются вопросы по содержанию этого текста, посредством чего проверяются навыки чтения и понимания, во второй части тестов предлагаются задания теоретического характера.
Выпускные экзамены проводятся по стандартизированным тестам, составленным специалистами Центра оценки и тестирования (далее - ЦОТ). В тестах используются только технологичные задания (задания, которые проверяются сканированием бланков ответов), при оценивании используется 20-балльная шкала оценок.
Результаты всех выпускных экзаменов учитываются при переходе на следующую ступень обучения, выявляются склонности и предпочтения учащихся, сильные их стороны и направления доработки. Учителя получают ценную информацию по каждому ученику, которая важна для организации учебного процесса в средней школе.
Поскольку в старшей школе обучение проводится в потоках (общеобразовательный, физико-математический, гуманитарный и др.), то результаты выпускных экзаменов 9-го класса учитываются еще и при выборе конкретного потока обучения в старшей школе. По результатам выпускных экзаменов в 12-м классе выдается аттестат об окончании учебного заведения.
ВСТУПИТЕЛЬНЫЙ ЭКЗАМЕН В ВУЗ
С 2007 года в Армении действует система единых государственных экзаменов для поступления в вузы страны. ЕГЭ организуются и проводятся ЦОТ посредством письменного тестирования.
Тестовые материалы. Еще в концепции оценки учащихся [2] зафиксировано, что тесты единых экзаменов должны состоять из двух частей: А и Б. Часть А эквивалентна тесту государственных выпускных экзаменов, и ее результаты используются для выдачи аттестата об окончании учебного заведения. Часть Б используется только для поступления в вузы (в тестах государственных выпускных экзаменов этой части нет). Общая оценка частей А и Б (А + Б) формирует конкурсную оценку по данному предмету, которая используется для осуществления конкурса приема в вузы.
Тесты состоят только из технологичных заданий, проверка которых осуществляется с помощью сканирования бланков ответов. Используется 80-балльная шкала «сырых» баллов, которая затем преобразуется в 20-балльную шкалу.
Несмотря на то что часть А тестов ЕГЭ эквивалентна тесту выпускных экзаменов (обслуживает сертификационные цели старшей школы), весь тест (А + Б) нацелен на селекционные цели и предназначен в первую очередь для осуществления отбора в вузы. Естественно, тогда для части Б выбираются задания с большей дискриминативной способностью. Другое дело, что большинство заданий банка не проходят полноценного апробирования (за исключением заданий, использованных в ЕГЭ прошлых лет), и их психометрические характеристики (см. [1]) (трудность, дискри-минативность) составителями часто определяются по интуиции, исходя из квалификации и опыта. Характеристики же самих тестов достаточно хорошие: надежность достигается технологическим характером заданий, а валидность обеспечивается соответствием предметного содержания тестов утвержденному программному материалу и стандартам.
Подача заявок. В сроках 1 февраля - 15 марта абитуриенты заполняют бланки заявок для тех предметов, по которым они собираются сдавать экзамены в системе ЕГЭ. По всем остальным выпускным предметам абиту-
риенты сдают государственные выпускные экзамены. Заявки передаются в ЦОТ, на основании них составляются списки абитуриентов, сдающих ЕГЭ по данному предмету, производится распределение абитуриентов по экзаменационным центрам и заказывается соответствующее количество тестовых буклетов.
Исходя из списка заявленных предметов абитуриент получает право участвовать в конкурсе приема. Он может заявить желание участвовать в конкурсе на два бесплатных места и восемь платных мест различных вузов и различных специализаций этих вузов.
Организация экзаменов. ЕГЭ проводятся в экзаменационных центрах по всей Армении. Экзаменационные центры выбираются из общеобразовательных школ и вузов с наличием соответствующих помещений и условий. Центры оснащаются глушителями от мобильных телефонов и камерами слежения, картинки от которых выводятся на мониторы в специально отведенных помещениях. В эти помещения допускаются родители абитуриентов для наблюдения за ходом экзаменов.
Для каждого экзаменационного центра руководством ЦОТ выбирается и утверждается команда центра: руководитель центра, организаторы экзаменов, операторы и представители ЦОТ. Команды специалистов ротируются для каждого экзамена. ЦОТ проводит программы переподготовки и тренинги для различных специалистов команд центров.
В день экзамена, рано утром, команда экзаменационального центра получает из отделений банков экзаменационные материалы (тестовые буклеты, бланки ответов, списки абитуриентов), убеждается, что в центре все готово к экзамену, и в 9:30 начинает экзамен.
Проведение экзамена. В день экзамена каждый абитуриент в вестибюле экзаменационного центра регистрируется операторами и получает номер своей экзаменационной комнаты (далее - ЭК). У входа в ЭК абитуриент выбирает (случайным выбором) номер своей парты, который, в свою очередь, определяет вариант тестового буклета. После рассадки всех абитуриентов в ЭК организаторы зачитывают правила проведения экзаменов и заполнения бланков ответов. Далее раздаются бланки ответов, и абитуриенты заполняют «шапки» бланков (ФИО, номер варианта, персональный номер абитуриента). Для обеспечения анонимности бланков ответов при проверке организаторы до непосредственного начала экзамена срезают «шапки» бланков и хранят их в специальных конвертах.
В присутствии представителей родителей открываются пакеты тестовых книжек и раздаются абитуриентам. Экзамен длится 2,5-3 часа в зависимости от предмета. В процессе экзамена могут возникнуть случаи
удаления абитуриента (из-за нарушения правил проведения экзамена), прекращения экзамена по состоянию здоровья (после освидетельствования медицинского работника, который присутствует в каждом центре), апелляции абитуриентом условий проведения. В каждом таком случае руководитель центра заполняет соответствующий бланк с подписями уполномоченных лиц (руководитель центра, представители ЦОТ, абитуриент, медицинский работник).
По истечении времени экзамена абитуриенты сдают тестовые буклеты и бланки ответов. Операторы изготовляют ксерокопии бланков ответов и выдают абитуриенту перед выходом из экзаменационного центра. После того как все экзаменационные материалы собраны, руководитель центра запечатывает их в герметичные пакеты и доставляет в ЦОТ.
Проверка и объявление результатов. После сдачи руководителем центра пакетов в техническом отделе ЦОТ производится сканирование анонимных бланков («шапки отрезаны»). Путем сравнения с «ключами» правильных ответов каждому бланку присваивается свой «сырой» балл в 80-балльной системе и выставляется 20-балльная оценка. Тестовые буклеты не проверяются. Далее путем сличения штрихкодов производится соответствие между баллом бланка ответа и соответствующей «шапкой», где записаны данные абитуриента. Соответствующая оценка присваивается абитуриенту и заносится в базу данных. На эту процедуру отводится несколько дней, а окончательные результаты по данному экзамену объявляются на 5-й день после окончания экзамена. Но сам абитуриент имеет возможность определить свой балл (свою оценку) в день экзамена. Дело в том, что после двух часов после окончания экзаменов во всех центрах «ключи» правильных ответов выставляются на сайте ЦОТ, и абитуриент, имея на руках ксерокопию своего бланка ответов, сравнивает свои ответы с «ключами» и определяет свой балл.
После официального объявления результатов абитуриент имеет право апелляции (результата теста, содержания теста). Поскольку проверка носит технологичный характер, то несогласие абитуриента может возникнуть в случаях нераспознавания сканером ответов на некоторые задания. Во всех таких случаях производится сравнение ксерокопии с оригинальным бланком и выносится окончательное решение. При обнаружении ошибок (описок) в содержании тестовых заданий принимается решение в пользу абитуриента.
Преимущества ЕГЭ. Система ЕГЭ, на наш взгляд, имеет очевидные преимущества по сравнению с предыдущей системой централизованных экзаменов. Перечислим некоторые из них.
• Один предмет - один экзамен. Совмещение государственных выпускных экзаменов со вступительными экзаменами в рамках единой процедуры ЕГЭ.
• Один предмет - один день. Все абитуриенты сдают тест по данному предмету в один день (раньше экзамен по одному предмету мог продолжаться в течение месяца).
• Единый тест для всех. Все абитуриенты сдают по сути один тест (четыре эквивалентных варианта), в то время как раньше содержания экзаменационных вариантов менялись день ото дня в течение месяца и кардинально отличались друг от друга.
• Экзаменационные центры близко к месту проживания. Раньше все абитуриенты приезжали в Ереван и были вынуждены проживать вне дома в течение всего лета.
• Прозрачный процесс администрирования. Родители имеют возможность наблюдать за ходом экзаменов в специальных комнатах.
• Технологичная проверка. Нет комиссий по проверке, исключается субъективность интерпретации при проверке. Анонимность в процессе сканирования.
• Оценка известна после 2-3 часов путем сравнения ксерокопии бланка ответов с выставленными «ключами» правильных ответов. Раньше абитуриент был вынужден с напряжением и нетерпением ждать официального объявления своего результата в течение недели.
• По сути, отсутствие апелляций. Существующая апелляция - есть техническая процедура и, по сути, не носит индивидуальный характер. Исключается влияние интерпретаций ответов и других проявлений субъективного фактора при проверке.
• Единый подход на всех этапах. Весь процесс прозрачен, абитуриенты находятся в равных условиях.
ДИСКУССИОННЫЕ ВОПРОСЫ РАЗВИТИЯ НАЦИОНАЛЬНЫХ ЭКЗАМЕНОВ
Преимущества, перечисленные выше, позволили системно решить многие вопросы, связанные со вступительными экзаменами. В частности, прозрачность, объективность и применение компьютерных технологий на этапах разработки тестов, подготовки и администрирования самих экзаменов, проверки работ посредством сканирования бланков ответов, объявления результатов и проведения конкурса приема позволили достичь, возможно, самого важного результата - в обществе повысился уровень доверия к результатам экзаменов и понизился фон напряжения вокруг экзаменов.
Многие системные решения на разных этапах имплементации ЕГЭ оказались удачными. В частности, открытие и издание банков экзаменационных заданий (около 5000 заданий по большинству экзаменационных предметов) привело к улучшению качества тестов. Имея банк заданий задолго до начала экзаменов, специалисты и общественность получают возможность обсудить качество заданий, их соответствие программам обучения, выявить среди них спорные и заведомо неудачные, улучшить формулировку тестовых заданий, обнаружить тестологиче-ские ошибки, различные недочеты и описки. Составителям тестов тогда намного легче, используя сделанные рекомендации и корректировки, разрабатывать тесты, избегая непредвиденных ошибок и недочетов. Предсказуемость и отсутствие «сюрпризных» заданий делают ситуацию прозрачней и понятней.
Параллельно возникают дискуссионные вопросы по дальнейшему улучшению ситуации. Так, открытие банков заданий может привести к тому, что будет процветать институт репетиторства с использованием изданных банков заданий. Школьные занятия и учебники в этом случае рискуют быть практически бесполезными. Кроме того, открытие и издание банков заданий (даже частичное) может привести к созданию различного рода средств нечистоплотной сдачи экзаменов (шпаргалки ответов, фотокопии ответов в различных гаджетах, использование мобильных телефонов для передачи информации).
В этой связи хорошим решением может стать издание не самого банка заданий с ответами, а банка модельных заданий, которые могут быть «клонированы». Тогда шпаргалки с ответами теряют смысл, нет смысла и в искусственном заучивании ответов, не вникая в суть задания (риск таких случаев тоже был). Составители тестов получают некоторую свободу (в негативном смысле) при создании тестов (увеличивается риск допущения ошибок, уменьшается прозрачность и предсказуемость тестов), но приобретаются очевидные преимущества (шпаргалки и заучивание не спасают - надо готовиться).
Другим дискуссионным вопросом, на наш взгляд, является формирование окончательной конкурсной оценки по итогам всех экзаменов. В настоящее время в Армении оценки по всем конкурсным предметам просто суммируются (так происходит и во многих странах мира), и с полученной окончательной оценкой абитуриент участвует в конкурсе приема. То есть конкурсные предметы в окончательной конкурсной оценке участвуют с одинаковой значимостью. На наш взгляд, важность конкретного предмета должна зависеть от вуза и специальности, куда идет на-
бор. Так, предмет «Армянский язык» для гуманитарных и для технических специальностей должен иметь разную значимость, как и предмет «Иностранный язык» для «международников» и «экономистов». Положение о разной значимости предметов зафиксировано в утвержденной правительством РА Концепции оценки учащихся (см. [2]). Однако на деле этот принцип не используется. Подробнее об этом вопросе изложено в [5, 6].
Другим дискуссионным вопросом при формировании окончательной конкурсной оценки является сам принцип сложения оценок по всем предметам. Для простоты рассмотрим случай двух конкурсных предметов. Пусть абитуриент по предметам х и у получил оценки X и У. Тогда его итоговая конкурсная оценка есть X + У. Если представить координатную плоскость с координатными осями х и у, а в качестве абитуриента - точку (X : У), то число X + У характеризует сумму координат (проекций на координатные оси х и у) этой точки. На наш взгляд, заслуживает внимания рассмотрение в качестве окончательной конкурсной оценки не величины VX2 + У2, а числа (округленного до целого). Это число характеризует расстояние точки (X : У) от начала координат.
В геометрической интерпретации число X + У выражает путь, пройденный абитуриентом (точкой (X : У)) на входе вступительных экзаменов (вдоль координатных осей), когда движение начинается с начала координат (с точки (0:0)). Число же VX2 + У2 характеризует то, насколько далеко от начала координат (стартовой позиции) в итоге экзаменов оказался абитуриент.
Нетрудно убедиться (привести соответствующие примеры), что итоги конкурсов при подсчете с окончательными оценками X + У и V X2 + У2 могут существенно разниться. Ясно, что, в отличие от числа X + У, величина VX2 + У2 может не быть целым (неудобно оперировать), однако возникает вопрос: а правильно (справедливо) ли мы поступаем, сравнивая «пройденные пути» вместо «реальных дистанций от начальной позиции»?
Другие дискуссионные вопросы, связанные с процессом приема абитуриентов в вузы, возникают в связи с концепцией использования наряду с показателями ЕГЭ еще и показателей школьной успеваемости абитуриента (в том или ином качестве). Обсуждения этого вопроса отражены в [5, 6].
Наконец, в последнее время в Армении достаточно часто обсуждается возможность использования компьютерного тестирования (вместо бумажных буклетов и бланков ответов) в качестве реализации ЕГЭ.
На наш взгляд, в будущем переход на компьютерное тестирование неизбежен. Однако, кроме подсчета необходимых ресурсов, плюсов и минусов внедрения этого метода, надо быть уверенным, что умение пользоваться компьютерными технологиями не влияет на предметные знания. Иначе может возникнуть ситуация, когда абитуриент, лучше владеющий компьютером, получает большую оценку, например, по физике, чем талантливый физик, не владеющий (или плохо владеющий) компьютером.
ВНУТРИШКОЛЬНАЯ СИСТЕМА ОЦЕНИВАНИЯ
Надо понимать, что метод тестирования не является панацеей от всех бед. Как и всякий научно обоснованный метод, он имеет границы и условия своего применения (см. [1]). Он особенно эффективен, когда требуется за короткий промежуток времени получить достаточно полную информацию о достаточно большом множестве респондентов.
Конечно, в процессе применения метода тестирования невозможно выяснить глубинные проявления по каждому респонденту, распознать выдающиеся особенности и потенциал каждого испытуемого. Но дело в том, что такая цель и не ставится (в частности, в масштабных мониторинговых мероприятиях), а ожидания такого рода необоснованны и не научны. Непонимание этого обстоятельства часто приводит к необоснованной критике и к разочарованию в методе тестирования.
Это обстоятельство особенно важно учитывать в процессе внутри-школьного (внутриклассного) текущего оценивания. Здесь учитель имеет возможность в течение долгого времени (четверти, полугодия, года) составить полноценное и всестороннее мнение не только о наличии уже приобретенных учеником знаний и умений, но и о потенциале каждого ученика, о слабых и сильных его сторонах, развивать в процессе обучения проявляемые склонности, исправлять и подтягивать ученика в тех позициях, где у него обнаруживаются слабости или отставание. Ясно, что для достижения этих целей метод тестирования недостаточен.
Гораздо эффективнее будет ежедневное (еженедельное) общение учителя с учеником и применение различных (письменных и устных) способов оценивания. Однако и в этом случае метод тестирования мо-
жет сыграть свою положительную роль, если применять его по назначению.
На протяжении десятилетий текущее внутришкольное оценивание в наших школах проводилось в основном с помощью устных опросов и контрольных письменных работ. Думается, что такой подход при оценивании не дает возможности получить полную картину успеваемости учащегося. Оценивались конкретные знания учащегося, а множество других его умений и способностей оставались в тени.
Новые принципы и методы внутриклассного оценивания успеваемости учащихся предложены в концепции оценивания [7] (см. еще [5, 6]).
Внутришкольное (внутриклассное) текущее оценивание в школах РА проводится на основании сочетания следующих методов:
• короткий тест (5-10 минут) для оперативного установления уровня усвоения пройденной темы;
• устный опрос;
• полноценная тематическая работа/тест (45 минут) для выяснения ситуации перед переходом к следующему предметному разделу;
• практическая работа;
• итоговый контроль/тест (90 минут) по окончании конкретного периода обучения (четвертной, полугодичный, годовой).
Список методов оценивания может быть уточнен и дополнен (самостоятельное исследование, домашнее задание, групповая работа и др.) в зависимости от предмета или цели оценивания.
Итоговый показатель успеваемости учащегося за рассматриваемый период времени должен учитывать показатели по каждому методу оценивания. Полученная таким образом итоговая оценка будет точнее отражать весь спектр проявленных учащимся умений, знаний и способностей за рассматриваемый период.
Для успешного осуществления перечисленных мероприятий по вну-тришкольному оцениванию надо иметь квалифицированный (не только в смысле предметных знаний и знаний педагогических методов преподавания, но и в смысле владения основами теории оценивания) педагогический состав. Нам известны некоторые конкретные попытки и шаги системно решить обозначенную проблему, но о результатах говорить еще рано.
Думается, первым шагом здесь должно стать решение о проведении мониторингового исследования для учителей общеобразовательных школ: чтобы решить обнаруженную проблему, прежде всего надо иметь достоверные данные о ее проявлениях, масштабах распространения и о международном опыте ее решения.
ОСНОВНЫЕ УРОКИ И ПЕРСПЕКТИВЫ РАЗВИТИЯ НСОКО
Около 15 лет в Армении идут работы по осуществлению реформ в НСОКО. Первое понимание необходимости изменения существующей системы ОКО пришло в связи с вступительными экзаменами. Действующая с 1991 года система внешних централизованных экзаменов, несмотря на достаточно успешное (особенно в первые годы внедрения) применение на протяжении 10 лет, давала сбои. Средняя школа (особенно выпускные классы) теряла свои функции, поскольку были опубликованы банки экзаменационных заданий открытого типа, по которым репетиторы «натаскивали» абитуриентов, а школьные занятия лишь мешали и отвлекали от подготовки к вступительным экзаменам. Проводимые в течение всего лета централизованные экзамены порождали колоссальный накал в обществе. Сейчас тем более важно отметить это обстоятельство, поскольку в настоящее время налицо очевидное снижение обеспокоенности общества. ЕГЭ проходят в спокойной обстановке, в обычном уже рабочем режиме.
Невозможно не заметить существенного изменения ситуации, если учесть, в частности, что вместо напряженного, протекающего месяцами в обстановке субъективности и недоверия, долгого, изнуряющего абитуриентов и их родителей процесса экзаменов (по одному конкретному предмету) сейчас действует трехчасовая (или меньше) процедура тестирования вблизи места проживания, итоги которой становятся известными уже через пару часов после экзамена.
ПРОБЛЕМНЫЕ ВОПРОСЫ
Основной проблемой в области ОКО в Армении, на наш взгляд, является нехватка квалифицированных кадров: тестологов, психометриков, социологов, математиков и специалистов по компьютерным технологиям, специализирующихся в области педагогических мониторинговых исследований. Несмотря на достаточный запас квалифицированных учителей, предметных специалистов и ученых, у большинства из них нет соответствующих знаний по теории оценивания (см. [1]) и опыта в области ОКО. Особенно болезненна нехватка молодых кадров. Немногочисленным молодым ученым, которые переквалифицировались из других специальностей (педагоги, математики, социологи и т.д.), трудно заниматься наукой в связи с нехваткой литературы по тестологии и психометрике на армянском языке, нехваткой специализированных в области ОКО научных журналов
и отсутствия в ВАК РА соответствующей специальности для защиты хотя бы кандидатских диссертаций и получения научных степеней.
Однако за последние годы сделано немало для выправления ситуации, в том числе и в этом направлении. Регулярно проводятся семинары, конференции, приглашаются с лекциями известные специалисты, проводятся программы переподготовки. В связи с участием Армении в международных исследованиях, проводимыми в республике национальными исследованиями, имплементацией системы ЕГЭ и другими мероприятиями по ОКО постепенно набирается необходимый опыт, вовлекаются новые кадры, повышается квалификация вовлеченных специалистов.
ДОСТИЖЕНИЯ
В течение последних 15 лет нам удалось участвовать во многих международных проектах, создать, оснастить и оборудовать ЦОТ, разработать множество национальных инструментов оценивания, реализовать некоторые национальные проекты и программы переподготовки, подготовить, организовать и реализовать систему государственных выпускных экзаменов, ЕГЭ, мероприятий по внешнему тестированию в старшей школе и реализовать многие другие шаги по направлению становления и развития НСОКО в Армении.
За последние пять лет мы сделали важные шаги по направлению становления и полноценного функционирования института национальных исследований. За 10 лет был осуществлен полноценный переход от системы централизованных вступительных экзаменов к системе ЕГЭ. В результате за последние годы значительно повысился уровень доверия общественности к результатам ЕГЭ.
Важным достижением мы считаем и нашу деятельность в сотрудничестве с ассоциацией ЕАОКО. В рамках программы READ, в частности, пройдя все стадии имплементации, было реализовано масштабное исследование по ICT-грамотности, что стало первым мероприятием по компьютерному тестированию в Армении и имеет возможность стать первым шагом к переходу к системе компьютерных ЕГЭ.
Конечно же, еще есть недостатки, проблемы и задачи. Но надо учесть, что в некоторых других странах метод тестирования начинали внедрять еще в XIX веке, мы же к этому приступили всего 15 лет назад.
НАПРАВЛЕНИЯ ДАЛЬНЕЙШЕГО РАЗВИТИЯ
По всем проявлениям деятельности НСОКО мы видим векторы дальнейшего развития. В области масштабных международных исследований
мы надеемся, что Армения когда-нибудь будет участвовать и в международных исследованиях, таких как PIRLS, PISA, TEDS, ICILS и др. Такая необходимость достаточно очевидна, и мы надеемся, что Армения со временем найдет нужные ресурсы.
В области национальных исследований нами создан достаточный потенциал, который дает повод для оптимизма. Безусловно, ЦОТ будет продолжать улучшать инструменты национальных исследований и проведет масштабные мониторинговые исследования с их применением.
Огромный сотруднический потенциал по направлению имплемента-ции международных и национальных исследований содержит ассоциация ЕАОКО. Армения достаточно активно участвует в деятельности ЕАОКО, в рамках которой могут быть успешно реализованы различные проекты. В частности, мы надеемся, что в Армении возобновит свою деятельность программа READ, что даст возможность провести трендовые исследования по ICT-грамотности, довести качество инструмента до международного и участвовать уже в международном сравнительном исследовании по ICT-грамотности в рамках ЕАОКО. Кроме того, мы надеемся запустить и довести до успешной реализации проекты TASS, SAM и др.
Другим достаточно важным направлением развития в рамках деятельности ассоциации ЕАОКО мы видим международное сравнительное исследование по «Русскому языку». Необходимость такого исследования давно назрела и не требует долгого и подробного обоснования.
СПИСОК ЛИТЕРАТУРЫ
1) Крокер, Л. Введение в классическую и современную теорию тестов / Л. Крокер, Дж. Алгина. - М. : Логос, 2012.
2) Концепция оценки учащихся / А. Г. Багдасарян, В. С. Хачатрян, А. А. Саргсян, Р. Т. Топчян. - Ереван : Эдит-Принт, 2005.
3) Багдасарян, А. Г. Многомерные исследования в области оценки качества образования // Качество образования в Евразии. - 2013. - № 1. -С. 37-50.
4) Mullis I., Martin M., Foy P. TIMSS 2007 International Mathematics Report // TIMSS & PIRLS International Study Center, Lynch School of Education, Boston College, Library of Congress, Catalog Card Number: 2008902434, ISBN: 1-889938-48-3, 2008, p. 474.
5) Багдасарян, А. Г. Об одном методе формирования итоговой оценки / А. Г. Багдасарян // Сайт Российского тренингового центра [Электронный ресурс]. - Режим доступа : http://www.rtc-edu.ru/resources/publications.
6) Багдасарян, А. Г. Оценивание на основании составляющих оценок / А. Г. Багдасарян // Оценивание и тестирование: Современные стратегии и перспективы. - Минск, 2005. - С. 75-79.
7) Багдасарян, А. Г. Концепция оценки успеваемости учащихся / А. Г. Багдасарян, О. С. Микаелян, А. С. Назарян // Ереван : Тигран Мец, 2007.
