CC BY
393
Е.А. ПАЛЬМОВА
ЭВАЛЮАЦИЯ КАК НЕОТЪЕМЛЕМАЯ СОСТАВЛЯЮЩАЯ СОВРЕМЕННОГО ОБРАЗОВАНИЯ
Статья посвящена анализу одного из инновационных видов деятельности по оценке и повышению качества образования, широко применяемого в странах Европы и США, - эвалюации образования. Эвалюация рассматривается в диахронии и синхронии, представлена детальная характеристика
ее функций, принципов и этапов. Эвалюация выступает многоаспектным явлением с множеством видов, анализ которых приводится в статье. На основе анализа имеющихся данных выведены и обобщены основные сущностные характеристики эвалюации.
Эвалюация, образование, оценка, качество образования, эвалюатор.
Начало XXI в. в России характеризуется повышением актуальности проблем качества образования, интенсивным поиском путей повышения эффективности управления всей образовательной системой. Современные реформы, пронизывающие все уровни образовательной системы и предполагающие глубокий анализ тенденций в изменении качества образования, направлены в первую очередь на его повышение. Стремление приблизить качество отечественного образования к международным стандартам логически влечет за собой необходимость привлечения зарубежного опыта по его оценке и повышению. В странах Европы и в США ключевой деятельностью в данном направлении уже на протяжении нескольких десятилетий выступает эвалюация образования, выводящая процессы анализа и оценки качества образования на качественно новый уровень.
Впервые термин «эвалюация» возник в зарубежных странах в конце 60-х - начале 70-х гг. прошлого века в социальных науках для обозначения оценки результативности экспериментальной деятельности на основе изучения и анализа эмпирических данных [1, с. 122]. Теория эвалюации носит междисциплинарный характер, поскольку ее формирование проходило на стыке педагогики, психологии, менеджмента, экономики, математики и других наук. Эвалюация широко использует в арсенале своих средств методы этих наук : дисперсионный и факторный виды анализа, интервьюирование и анкетирование, тестирование, привлечение стоимостных моделей и количественных методов анализа социально-экономических объектов с опорой на стандарты качества ИСО 9000 и др.
В современном мире эвалюация - необходимая составляющая многих наук, она широко применяется в образовании, медицине, политике.
Для отечественной системы образования термин «эвалюация» является неологизмом, многие лица, занятые в сфере образования в целом и его управления в частности, с данным явлением не знакомы, в лучшем случае они рассматривают эвалюацию как синоним оценки качества образования, поскольку подобное толкование легко вывести путем перевода данного термина с иностранных языков на русский. Для сравнения: в английском языке évaluation означает оценку, определение ценности; идентичное значение слова évaluation и evaluación имеют во французском и испанском языкахсоответственно.
Термин «эвалюация» (и его соответствующие эквиваленты в других языках) образовался от латине -кого слова valor, что переводится как «стоимость, ценность», и приставки e(ex), означающей оценку, извлечение ценности из чего-либо. Однако понятия «оценка» (assessment) и «эвалюация» в современной педагогической науке не синонимичны. Под оценкой понимается процесс получения информации (представленной обычно в виде измеримых параметров) об уровне знаний, умений, отношений, верований [2]. Это совокупность измерений, направленная на установление набора характеристик, свойственных индивиду или группе индивидов [3, с.4].
Как будет показано далее, эвалюация не сводится только к оценке, а является более широким понятием, в котором оценка выступает в качестве одной из составляющих.
На протяжении своего существования понятие «эвалюация» переосмыслялось, уточнялось, расширялось. В момент возникновения в социальных науках эвалюация рассматривалась как систематическая оценка важности, стоимости, значимости предмета или человека на основе определенных критериев и с учетом стандартов.
Несколько позднее были предприняты попытки определить эвалюацию в образовании как «процесс вынесения суждений по поводу ценности и эффектив-ности образовательных целей, процессов и результатов; об отношениях между ними; о затратах на них, их планировании и реализации» [цит. по: 4, с.9]. В отличие от предыдущего определения здесь наблюдается расширение границ объекта эвалюации (цели, процессы, результаты). Более того, объект рассматривается как комплексная составляющая и только в сочетании с его предысторией (затраты, планирование, реализация).
Ключевыми понятиями других определений эвалюации также остаются «систематическое измерение», «объект», «важность, значимость», однако существенным дополнением является указание на необходимость привлечения методов научного анализа и обеспечения максимально возможной объективности [4, с.10].
На настоящий момент наиболее адекватной и полной считается трактовка эвалюации в образовании как интегративной характеристики, включающей весь спектр теоретико-методологических и практических работ по систематическому исследованию качества
результатов и процесса образования, анализируемых на основе единой методологии, сочетания количественных и качественных методов для отслеживания характера и динамики изменений оценок по совокупности показателей качества, учета влияния факторов, в том числе находящихся вне зоны влияния системы образования [5, с. 54].
На протяжении своего существования в течение последних 50 лет развитие теории эвалюации шло в русле ряда образовательных парадигм, формировавшихся в рамках одной из двух теоретических позиций, полно представленных в 1972 г. на I конференции по проблемам эвалюации, проводившейся в Кембриджском университете.
Первая позиция, получившая название «традиционная», «аграрно-ботаническая» (agricultural-bota-ny) и восходящая к традициям тестирования в экспериментальной психологии, базировалась на схеме «планирование - реализация - контроль» [1, с. 122]. Задача эвалюатора заключалась в получении объек-тивной, поддающейся количественному определению информации, на основе которой проводился анализ целей деятельности, способов их реализации. Традиционная позиция не соответствовала запросам заказ -чиков эвалюации и других заинтересованных лиц [6].
Традиционной позиции была противопоставлена поясняющая (illuminative), или социально-антропологическая (social-anthropology). Эвалюация в рамках этой традиции была направлена на анализ широкого образовательного контекста, а не только целей, и сос-редоточивалась больше на описании и интерпретации явлений, чем на их измерении и прогнозировании. С точки зрения авторов данного подхода основные цели эвалюации заключались:
- в анализе совокупности условий, сопутствующих инновационной образовательной программе (ее цели, процесс реализации, влияние на нее школьной среды);
- изучении ее слабых и сильных сторон и влияния на познавательную деятельность и академические успехи учащихся;
- выявлении и описании возникающих по мере реализации программы иных сопутствующих и значимых процессов [6].
Поясняющая эвалюация выделяла и изучала два базиса: образовательную систему (Instructional System) и учебную среду (Learning Milieu), включающую социально-психологический и материальный аспекты [6].
Методологической основой поясняющего подхода были методы гуманитарного исследования, из которых чаще всего использовались наблюдение и интервью, анализ документов и исторических данных. В зависимости от целей эвалюации могли применяться анкетирование и тестирование, однако информация, полученная в результате таких исследований, не была приоритетной.
Следует отметить, что в практическом плане границы между двумя позициями были подвижны и возникшие несколько позже парадигмы базировались на сочетании указанных позиций [3, с. 12].
В контексте целевой парадигмы (objective-based) эвалюация рассматривалась как процесс определения меры достижения образовательных целей и задач.
Этот подход следовал в основном научной традиции. Его легко было реализовывать, но при этом не учитывались непредусмотренные последствия учебного процесса и индивидуальные особенности студентов.
Основное внимание парадигмы, базировавшейся на решениях (decision-based), было сосредоточено на решениях, принимаемых во время реализации образовательного процесса, и улучшениях, которые можно было сделать. Этот тип эвалюации был удобен для реализации в рамках многоуровневых программ, однако он оказался сложным и дорогостоящим для практического осуществления.
В контексте ценностно ориентированной парадигмы (value-based) в поле зрения эвалюаторов оказывались не только цели, но и то, стоили ли они реализации. В данном направлении широко применялись формирующий и итоговый типы эвалюации, эвалюа-торы анализировали основное воздействие, достижения и последствия программы. Данная парадигма признавала важность анализа непредусмотренных результатов и особенности восприятия студентами учебного материала.
Эвалюация в рамках натуралистической парад иг -мы концентрировалась на тех проблемах и вопросах, которые были важны участникам эвалюации. Здесь нашли широкое применение качественные методы получения информации, такие как наблюдение, интервью, ведение дневников.
На сегодняшний день эвалюация образования за рубежом ведется в рамках конструктивистской парадигмы. Данная парадигма опирается на три базиса: онтологический, эпистемологический, согласно которому «историческое исследование теории педагогических измерений ведется с определенной степенью вероятности применения методов измерений, их надежности и валидности, использования в различных областях социальных наук, определения отличий ме^ду реальным и провозглашаемым применением нэвых методов измерений» [7], и методологический, определяющий схему получения знаний в гуманитарных науках как процедура - техника - исследование - закон [7].
Эвалюация часто преследует две общие цели, которые иногда противоречат друг другу. Внешние управленческие цели заключаются в выявлении качества и степени реализации государственного стандарта образования, проведении сравнительного анализа образовательных учреждений, определении целесообразности расходования средств и ресурсов [1, с. 126].
Внутренние педагогические цели выражаются в стремлении проведения систематического анализа качества учебного процесса, повышении уровня само-рефлексии учителей, их методической подготовки.
В основе достижения поставленных перед эвалюа-цией целей должны лежать четыре фундаментальных качества. Эти качества выступают одновременно стандартами эвалюации, соответствовать которым должно любое эвалюационное исследование. Данные стандарты были разработаны Объединенным комитетом по стандартам для образовательной эвалюации в США (Joint Committee on Standards for Educational Evaluation), однако они являются универсальными и применяются во многих странах с высокой эвалюа-ционной культурой. Стандарты представляют собой
детальное описание характеристик, черт, свойств, кото рыми должны обладать эвалюаторы и проводимые ими исследования [4, с.25].
Стандарты полезности, или эффективности (Utility Standards), предполагают направленность эвалюации на четко определенные намерения и информационные потребности предполагаемых пользователей. В данной группе стандартов особо подчеркивается, что высокая степень достоверности и признание результатов эвалюации находятся в зависимости от методической и профессиональной компетенции эвалюаторов. Течение эвалюации и ее результаты должны быть доступны участникам и сопричастным лицам.
Стандарты исполнимости (реализации - Feasibility Standards) подразумевают реалистичность эвалюации, ее продуманность, дипломатичность, а также экономичность планирования и проведения, что обеспечивается привлечением адекватных методов сбора информации и согласия участников эвалюации и сопричастных лиц по базовым вопросам эвалюации.
Стандарты корректности (Propriety Standards) призваны обеспечить уважительное, честное отношение ко всем, кто причастен к эвалюации, особенно к ее объектам - эвалюандумам [8, с. 14], что достигается соблюдением правовых и этических норм защиты личностной неприкосновенности, достоинства и прав.
Последнюю группу стандартов представляют стандарты точности (Accuracy Standards). Их соблюдение гарантирует сбор и получение достоверных, адекватных данных, касающихся предмета эвалюации и поставленных перед нею задач. Особое значение в данной группе стандартов имеет соблюдение научных критериев количественного и качественного социального исследования. Стандарты точности предполагают также адекватный систематический анализ пос-тупающей информации и обоснованность выводов эвалюации.
Таким образом, представленные выше стандарты выдвигают ряд принципов, которым должны следовать все без исключения лица, проводящие эвалюа-цию. Ключевыми принципами являются систематичность исследования; высокий уровень компетентное -ти не только профессиональной, но и социокультурной, поскольку в ходе эвалюации эвалюаторам приходится общаться с людьми из разных социальных слоев; прямота и честность в общении с заинтересованными в эвалюации и в проведении исследования лицами; уважение права респондентов на неприкосновенность частной жизни, их чувства собственного достоинства, а также религиозных, культурных, этнических и иных убеждений; ответственность за всеобщее благосостояние.
Эвалюация в образовании, являясь сложным комплексным исследованием, носит многофункциональный характер. Как показывает анализ литературы [8, c.2; 1, c.125;], к числу наиболее важных функций эвалюации относятся:
1) функция управления, обеспечивающая оптимизацию управления не только отдельной школы, но и всей системы образования;
2) функция сертификации и аккредитации (или функция контроля), выявляющая, в какой степени ха-
рактеристики эвалюируемого объекта соответствуют установленным нормам и стандартам;
3) функция стимулирования. Иными словами, эва-люация дает толчок преобразовательным, инновационным процессам в системе образования как на макро-, так и на микроуровне, способствующим улучшению образовательного процесса. Особо ярко данная функция проявляется в формирующей эвалюации, речь о которой пойдет позже;
4) функция оправдания затрат, выявляющая эффективность и целесообразность расходования выделяемых на образование средств и ресурсов;
5) функция репрезентативная (или функция подотчетности - accountability), предполагающая открытость результатов эвалюации. Согласно этой функции, школы должны предоставить информацию о своем функционировании внешним сторонам. Эта функция способствует открытию школы и системы образования в целом социуму.
Зарубежные исследователи проблем эвалюации
выделяют пять ее основных объектов, относящихся к степеням агрегации в образовательных системах:
• национальную систему образования;
• образовательные программы или их проекты;
• школы;
• учителей или преподавателей;
• учащихся или студентов [8, c.9].
Данное деление носит условный характер, пос -кольку, например, наряду с первым объектом - национальной (федеральной) системой образования -можно также выделить региональные, муниципальные системы.
В зависимости от объекта эвалюации ее предметом могут выступать результаты деятельности участников образовательного процесса; соотношение затрат и достижений; успешность инновационного развития; удовлетворенность потребителей образовательных услуг; эффективность социального партнерства с другими институтами и многие другие аспекты [1, с. 126].
В каждом эвалюандуме можно выделить три параметра, отношения между которыми образуют базовую системную модель эвалюации, представленную схематично на рисунке.
Данная логическая модель не является статичной, она представляет образовательный процесс как производственное функционирование, где образовательные входные данные в конечном итоге трансформируются в образовательные результаты. В развернутом виде для каждого типа эвалюации содержание представ -ленных блоков будет варьироваться, однако в большинстве случаев исследования будут ориентироваться на долгосрочные результаты, связанные с задачами стратегического управления [5, с.60].
В ходе своей реализации представленная выше модель проходит ряд этапов [9; 5, с.58; 10; 11, с.51; 8, с. 16]:
1) постановка цели (или целей) эвалюации. Определение объектов, критериев и стандартов эвалюации. Разработка плана сбора и анализа информации. Следует отметить, что во многих случаях на начальном этапе эвалюации объекты, критерии и стандарты остаются не до конца определенными, хотя их четкая и однозначная формулировка крайне важна, так как в противном случае результаты эвалюации могут оказаться ненадежными, пос -кольку существует вероятность того, что они будут описывать совершенно иное явление;
2) разработка методологии исследования, отбор количественных и качественных методов для получения информации, разработка математических моделей и валидного оценочного инструментария;
3) сбор эмпирической информации;
4) обработка и анализ информации;
5) интерпретация данных эвалюации и использование результатов для принятия управленческих решений с целью повышения качества образовательного процесса.
Важными аспектами применения результатов эвалюации на практике являются степень доверия к эвалюаторам; способы передачи (сообщения) результатов реципиентам; особо значимые характеристики реципиентов (опыт в процессе эвалюации, отношение к ней, соотношение затрат на эвалюацию и выгоды от нее); каналы коммуникации, средства связи между эвалюаторами и пользователями. Данная стадия в работах зарубежных исследователей может носить название согласительной.
Многообъектный, многоцелевой и многофункциональный характер эвалюации ведет к практической необходимости выделения ряда ее типов. Следует отметить, что мнения теоретиков эвалюации о количестве и качестве ее видов расходятся, однако, как показал анализ, универсальными типами эвалюации, выделяющимися большинством исследователей, выс-тупают формирующая/итоговая эвалюация и внешняя/внутренняя эвалюация.
Термины «формирующая (formative) эвалюация» и «итоговая (summative) эвалюация» были предложены М. Скрайвеном в 1967 г. Формирующая эвалюация определяется как эвалюация, применяемая на начальной стадии реализации или пилотирования програм -мы, где оценке и анализу подлежат входные и текущие данные процесса обучения. Целью данной эвалюации является обеспечение обратной связи, помогающей улучшить процесс внедрения программы. Такая эвалюация разрабатывается, чтобы помочь дальнейшему осуществлению программы, утвердить или изменить ее основные направления развития, способствовать повышению эффективности работы преподавателей с различным контингентом учащихся. В процессе формирующей эвалюации широко применяются тесты и инструментарий для сбора качественных данных [10; 11, c.25; 4, с. 19].
Основная задача итоговой эвалюации состоит в выявлении того, были ли в результате реализации программы осуществлены поставленные перед нею цели. Данный вид эвалюации предназначен для принятия стратегических управленческих решений в сфере образования [5, с.58]. Особую роль здесь играет
качественный, надежный, валидный инструментарий сбора информации, ведущую роль в котором имеют стандартизированные тесты. Необходимо подчеркнуть, что данный тип эвалюации, в отличие от формирующих моделей, не может применяться в ходе реализации программы с целью ее изменения, так как в этом случае нельзя выявить логическую связь в отношениях «цели - степень их достижения».
Таким образом, в ходе проведения формирующей эвалюации наиболее полное осуществление получает функция стимулирования, а в ходе реализации итоговой эвалюации - функция подотчетности. Ряд исследователей видит необходимость в выделении еще одного типа эвалюации, который рассматривается как промежуточное звено между формирующей и итоговой эвалюацией.
Внешняя (external) эвалюация представляет собой систематическое исследование и оценку отдельных школ внешним лицом или организацией. Данный тип может эвалюироватъ и внутренние компоненты, такие как программа школы, методы преподавания, результаты внутренней эвалюации. Данные внешней эвалюации могут сопоставляться не только в масштабах школ региона или страны, но и в рамках интернациональных исследований.
Под внутренней (internal) эвалюацией понимается регулярное исследование работающих в образовательном учреждении сотрудников, общей работы учреждения и ее результата. Внутренняя эвалюация, в свою очередь, также может содержать внешние компоненты [12].
Согласно исследованиям М. Скрайвена и Д. Хопкинса, большое значение для лиц, занимающихся проблемами эвалюации, имеет понимание различий между эвалюацией целостной (holistic или, по терминологии М. Скрайвена, «эвалюация черного ящика» -«black box evaluation») и аналитической (analytic). В ходе целостной эвалюации эвалюандум рассматривается как единое целое, сохраняется вся сложность его иерархической структуры. По мере проведения многофакторного анализа внимание исследователей сосредоточено на каждой характеристике эвалюанду-ма в отдельности, целью аналитической эвалюации является выявление зависимостей между изучаемыми переменными. В рамках аналитической эвалюации выделяется три подвида - размерная (dimensional), компонентная (component) и теоретическая (theory-driven) эвалюация [13].
Следует отметить дихотомию еще двух типов эвалюации - предопределенной и ответной (preordinate / responsive) [6]. Предопределенные исследования ориентированы в большей степени на запланированные цели, предложенные гипотезы и ожидания заказчиков эвалюации. Подобные эвалюации имеют четкую направленность, в ходе их анализируются запланированные («предопределенные») объекты. Внимание эвалюаторов в ходе ответной эвалюации сосредоточено на явлениях, неожиданно возникающих по мере проведения исследования.
В последней четверти XX в. один из видных теоретиков эвалюации Б. МакДональд, основываясь на роли эвалюатора в отношении эвалюандума, выявил еще ряд типов эвалюации: демократическая в
дихотомии к бюрократической и автократической [цит. по: 6]. Бюрократическая эвалюация представляет собой не ограниченную условиями работу, проводимую для правительс твенных органов, контролирующих распределение средств в сфере образования. Критерием эффективности работы выступает удовлетворенность клиента ее итогами.
Автократическая эвалюация понимается как ограниченная условиями работа, проводимая для правительс твенных органов, контролирующих распределение средств в сфере образования.
Демократическая эвалюация трактуется как информационная работа, проводимая для всего общества и раскрывающая основные характеристики образовательной системы, программы или образовательного учреждения.
Таким образом, описанные выше типы эвалюации представляют собой дихотомию двух типов, выделяемых на основании определенного критерия. Иной принцип положен в основу классификации, разработанной Дж. Ширенс, С. Глас и С. Томасом. Исследователи выделяют три ключевые функции эвалюации - подотчетности, стимулирования и аккредитации, пять представ ленных выше объектов и три основных источника получения информации в ходе эвалюации. Такими источниками являются педагогическое и психологическое тестирование; педагогичес-кие статистические данные, предоставляющие информацию о затратах, течении и итогах образовательных процессов; данные, полученные на основе экспертных оценок и систематических исследований, включающих интроспекцию, дружескую проверку, аудиты, методы педагогического исследования [8, c.5].
На основании различных комбинаций представ -ленных выше трех групп параметров исследователи выделяют 15 типов эвалюации, подразделяющихся на четыре блока.
Первый блок образуют формы эвалюации, основным источником информации в которых являются тестирование и иные виды педагогической оценки. Сюда относятся:
1) национальные программы оценивания, основная цель которых заключается в установлении уровня знаний, умений и навыков учащихся по основным дисциплинам;
2) международные программы оценивания, примерами которых выступают исследования PISA, TIMSS;
3) отчеты о деятельности школы, базирующиеся на информации, полученной в рамках первого и четвертого типов эвалюации, а также экзаменов;
4) системы мониторинга учащихся, относящиеся к микроуровням образовательной системы;
5) внутренняя эвалюация на основе внешних оценок;
6) система экзаменов;
второй блок представлен двумя видами эвалюации, основанными на статистических управленческих данных:
7) системами управленческой информации в рамках всей системы образования;
8) школьными системами управленческой информации, представляющими собой компьютерную сеть с базой данных и программным обеспечением,
позволяющим хранить, анализировать и использовать данные. Основной недостаток подобных систем заключается в их высокой стоимости; эвалюации третьего блока опираются на экспертные оценки и систематические исследования. Это следующие виды эвалюации:
9) исследования международных комиссий, в состав которых входят эксперты в области образования из различных стран, проводящие систематическое исследование функционирования национальной системы образования;
10)школьная инспекция или надзор;
11)внутренняя эвалюация школы (или самоэвалюа-ция), включающая оценку работы преподавательс-кого состава. Главной слабой стороной самоэва-люации выступает ее объективность. Если рас -сматривать этот вопрос со строгих методологичес -ких позиций, понятие «объективная самоэвалюа-ция» является «соп^а&сйо іп ІегшіпІБ» или явным противоречием;
12)школьный аудит, являющийся на сегодняшний день малораспространенным;
13)эвалюации как составляющие процесса обучения. Под данной формой эвалюации понимается процесс ежедневной неформальной оценки учителем учащихся.
Два последних типа эвалюации - программная эвалюация и различные формы преподавательской/ учительской эвалюации - не дифференцируются относительно источников анализируемой информации.
Итак, анализируя представленные выше данные по проблемам эвалюации, можно сделать следующие выводы о ее основных особенностях:
1) многофункциональный и многоцелевой характер эвалюации, при котором оценка качества образования не является единственной и приоритетной;
2) опора на количественный и качественный инструментарий ряда наук;
3) выведение исследования далеко за рамки непосредственно изучаемого объекта;
4) критический анализ даже тех факторов, которые лежат за пределами образовательной системы;
5) стремление к обеспечению максимальной объективности исследования и его результатов;
6) регламентация деятельности эвалюатора этичес -кими и моральными принципами и нормами;
7) учет интересов всех вовлеченных в эвалюацию лиц и сторон;
8) использование итогов эвалюации не ради принятия санкций против определенных лиц, а единственно для повышения качества образовательного процесса или педагогической деятельности. Очевидно, что становление эвалюации в образовании является сегодня неизбежным следствием глобальных процессов, охватывающих все сферы общественной жизни. Необходимым условием успешности и эффективности эвалюации выступает ее принятие учителем, которому важно помнить, что задача эвалюатора состоит не в контроле, проверке или оценке его деятельности, а в помощи ему и поддержке. Результаты эвалюации носят рекомендательный характер, ее процесс всегда предполагает
диалог сопричастных лиц, основным в эвалюации
является установка на поддержку и улучшение.
ЛИТЕРАТУРА
1. Педагогическое образование в университете: контекстно-биографический подход: Монография/ Под ред. АЛ. Гаврикова, М.Н. Певзнера. Великий Новгород: НовГУ им. Ярослава Мудрого, 2001.
2. Kizlik B. Measurement, Assessment and Evaluation in Education - код доступа http://www.adprima.com. measurement.htm
3. Oosterhof A. Developing and Using Classroom Assessment. Upper Saddle River, 2003.
4. Silver H. Evaluation Research in Education. Faculty of Education, University of Plymouth, 2004.
5. Звонников В.И., Челышкоеа М.Б. Контроль качества обучения при аттестации: компетентностный подход. М.: Логос, 2009.
6. McBride B., Schostak Jh An Introductory to Qualitative Research - код доступа http//www.enquirylearning.net/ ELU/Issuses/Research/Res 1.html
7. Найденова H.H. Лаборатория педагогических измерений - код доступа http://www.itiprao.ru/lab-lpi.html
8. Sheerens J. Educational Evaluation, Assessment and Monitoring: A Systematic Approach // Jaap Sheerens, Cees Glas, Sally M. Thomas. Tokyo, 2005.
9. Гомулина H.H. Эвалюация в образовании и интеграция урочного и дистанционного обучения - код доступа http://www.ito.su/main.php?pid= 26&fid= 8573
10. Шашкина М.Б. Эвалюация и ее роль в менеджменте качества образования// Молодежь. Образование. Карьера/ Материалы Международной научной конференции / Отв. ред. Л.В. Шкерина; Краснояр. гос. пед. ун-т им. В. П. Астафьева. Красноярск, 2008 - код доступа http://www.vypuskniki.kspu.ru/ doc/03 /Ready.htm
11. Moskal B.M. The role of external evaluators in educational projects and programs //The Open Education Journal. 2009. №2.
12. Загвоздкин B.K. Вопросы разработки муниципальной системы мониторинга и развития качества образования - код доступа https://docs.google.com > Doc?id=dm56wzv_24hfxwbccc
13. Scriven M. The nature of evaluation: training// Practical Assessment, Research and Evaluation, №6 - код доступа http://PAREonline. net/getvn. asp?v=6&n= 12
