Научная статья на тему 'Муниципальные системы образования как объект оценки качества образования: нормативный и методический аспекты'

Муниципальные системы образования как объект оценки качества образования: нормативный и методический аспекты Текст научной статьи по специальности «Науки об образовании»

CC BY
590
119
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
муниципальные системы образования / эффективность / методика оценки / municipal education systems / efficiency / assessment technique

Аннотация научной статьи по наукам об образовании, автор научной работы — Захир Юлия Симановна

В статье рассматриваются вопросы становления оценки му-ниципальных систем образования в общероссийской и региональных си-стемах оценки качества образования: законодательное и нормативно-пра-вовое обеспечение, этапы формирования методики оценки эффективностимуниципальных систем образования в Новосибирской области. Приведенынекоторые результаты первой оценки эффективности муниципальных системобразования.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

MUNICIPAL EDUCATION SYSTEMS AS AN OBJECT OF EDUCATION QUALITY ASSESSMENT: LEGISLATIVE AND STANDARD LEGAL ASPECTS

This article considers the issues referring to the formation of municipal education systems assessment, both in all-Russian and regional systems of education quality assessment: legislative and standard legal support, the stages of establishing the assessment technique of the municipal education systems efficiency in the Novosibirsk region. The article also contains some results of the first assessment of the municipal education systems efficiency.

Текст научной работы на тему «Муниципальные системы образования как объект оценки качества образования: нормативный и методический аспекты»

МУНИЦИПАЛЬНЫЕ СИСТЕМЫ ОБРАЗОВАНИЯ КАК ОБЪЕКТ ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАНИЯ: НОРМАТИВНЫЙ И МЕТОДИЧЕСКИЙ АСПЕКТЫ

ЗАХИР ЮЛИЯ СИМАНОВНА

директор Новосибирского института мониторинга и развития

образования

E-mail: [email protected]

Новосибирск, Россия

АННОТАЦИЯ. В статье рассматриваются вопросы становления оценки муниципальных систем образования в общероссийской и региональных системах оценки качества образования: законодательное и нормативно-правовое обеспечение, этапы формирования методики оценки эффективности муниципальных систем образования в Новосибирской области. Приведены некоторые результаты первой оценки эффективности муниципальных систем образования.

КЛЮЧЕВЫЕ СЛОВА: муниципальные системы образования, эффективность, методика оценки

Качество образования в Евразии

75

MUNICIPAL EDUCATION SYSTEMS AS AN OBJECT OF EDUCATION QUALITY ASSESSMENT: LEGISLATIVE AND STANDARD LEGAL ASPECTS

YULIYA ZAKHIR

Head of Institute of Monitoring and Development of Education Novosibirsk Region

E-mail: [email protected] Novosibirsk, Russia

ANNOTATION: This article considers the issues referring to the formation of municipal education systems assessment, both in all-Russian and regional systems of education quality assessment: legislative and standard legal support, the stages of establishing the assessment technique of the municipal education systems efficiency in the Novosibirsk region. The article also contains some results of the first assessment of the municipal education systems efficiency.

KEYWORDS: municipal education systems, efficiency, assessment technique

76

Качество образования в Евразии

Захир Ю.С. М

Идеи мониторинга и оценки в системе образования второе десятилетие активно появляются в концептуальных и нормативных документах, регулирующих сферу образования, научных исследованиях, практике работы органов управления образованием, образовательных организаций.

Основополагающим документом, задавшим основные направления развития образования в нашей стране, стала принятая в 2000 году Национальная доктрина образования. В ней впервые сформулированы задачи повышения качества образования и его оценка, которые были конкретизированы в последующих документах.

Так, в Концепции модернизации российского образования - 2002 одним из приоритетов поддержки образования со стороны государства была поставлена практическая задача создания государственной системы оценки качества образования как действенного и надежного инструмента повышения эффективности образовательной деятельности образовательных учреждений, региональных систем оценки качества образования (РСОКО).

Немногим ранее, с 90-х годов прошлого века, началось формирование РСОКО в Новосибирской области. История развития РСОКО - это история развития процедур оценки, которые возникали и изменялись вместе со стандартами образования, развитием представлений о качестве образования и инструментарии оценивания, ростом востребованности результатов оценивания в процессах управления образованием.

Далее, в Федеральной целевой программе развития образования -2005 стратегической задачей стала задача повышения эффективности управления в системе образования. Было сформулировано основное требование программы - внедрение «новых организационно-экономических механизмов, обеспечивающих эффективное использование имеющихся ресурсов и способствующих привлечению дополнительных средств...», определены социальные и социально-экономические эффекты развития образования, перечислены показатели и индикаторы их достижения. Параллельно в 2007 году начался первый этап нормативного и институционального оформления региональных систем оценки качества образования в рамках участия регионов РФ в комплексном проекте модернизации образования.

К этому времени в Новосибирской области уже пять лет функционировал Областной центр мониторинга образования, впоследствии реорганизованный в Новосибирский институт мониторинга и развития образования (НИМРО, Институт). В период 2002-2007 годов на базе Института были созданы первые группы разработчиков инструментария оценки качества образования, разработаны и внедрены первые процедуры оцен-

77

Качество образования в Евразии

Муниципальные системы образования как объект оценки качества образования: нормативный и методический аспекты

ки, технологии экспертизы деятельности образовательных учреждений. Пятилетний опыт работы Института по проблемам оценки в образовании был обобщен в 2007 году принятием Положения о региональной системе оценки качества образования.

В Федеральной целевой программе развития образования, принятой в 2011 году на следующий пятилетний период, уже был приведен расчет показателей социально-экономического развития образования и поставлена задача обновления модели общероссийской системы оценки качества общего образования, охватывающей все уровни образования. Одной из новых задач стала разработка моделей оценки качества всех уровней образования, технологии и методики подготовки и проведения процедур контроля и оценки качества образования.

Это придало импульс дальнейшему развитию систем оценки качества образования, в том числе и региональных. К началу 2011 года в регионах РФ закончилась институционализация региональных систем оценки качества образования. Получили развитие и финансовое обеспечение региональные центры оценки качества образования, государственную поддержку получили международные и федеральные программы оценки качества образования, запущены процессы обучения специалистов в области оценки.

Последний период развития системы оценки качества образования в Новосибирской области неразрывно связан с деятельностью НИМРО, пилотные проекты которого позволили получить и внедрить в практику ряд региональных методик оценки, обеспечить нормативное регулирование и программно-техническую базу оценки, включить представителей системы управления образованием, профессиональное сообщество и гражданское общество в процессы оценки. Все это время постоянно расширялся перечень объектов оценки. Так, объектами оценки в Новосибирской области последовательно становятся предметные достижения (2008) и общеучебные умения обучающихся учреждений среднего общего, начального и среднего профессионального образования (2010), основные образовательные программы школ (2011), уровень профессиональных компетенций педагогических работников (2013) и др.

В конце 2012 года федеральным законом «Об образовании в РФ» законодательно закреплены полномочия, связанные с проведением мониторинга в системе образования, в 2013 году принято Положение, регулирующее проведение мониторинга в системе образования РФ.

Один из последних федеральных документов - Государственная программа Российской Федерации «Развитие образования» на 2013-2020

78

Качество образования в Евразии

Захир Ю.С. М

годы - определил новые приоритеты государственной политики в сфере оценки качества образования. Важными в целях данной статьи приоритетами являются:

• формирование и развитие единого образовательного пространства на основе целостной и сбалансированной системы процедур и механизмов оценки качества образования, реализуемых на федеральном и региональном уровнях;

• создание в регионах, муниципалитетах и школах систем обеспечения качества, базирующихся не на контроле, а на получении своевременной и содержательной информации для принятия управленческих решений, на вовлечении общественных органов управления.

Последние изменения в законодательно-нормативной базе позволили НИМРО адаптировать и внедрить в практику управления региональной системой образования методику оценки эффективности деятельности муниципальных систем общего образования, полученной в результате участия в межрегиональном проекте под руководством Межрегиональной ассоциации мониторинга и статистики в образовании (МАМСО).

Начиная с 2007 года указами Президента РФ и постановлениями Правительства РФ в масштабах всей страны начато проведение регулярной оценки эффективности деятельности органов исполнительной власти субъектов РФ и органов местного самоуправления, определена методика мониторинга эффективности деятельности органов местного самоуправления городских округов и муниципальных районов. Кроме того, сформулирована более широкая постановка задачи «Результаты мониторинга позволяют... выявить внутренние ресурсы... для повышения качества и объема предоставляемых населению услуг.».

Опыт участия в подобного рода оценке, по мнению некоторых экспертов [1], научил региональные власти «.считать показатели, . понимать значение статистики и количественных показателей в целом как основы для оценки ситуации, действенность индикативного управления, . проводить оценку муниципальных образовательных систем не по экспертным суждениям и мнениям, а по проверяемым количественным показателям». Это дало толчок формированию процедур оценки следующего уровня управления - муниципальных органов местного самоуправления.

Введение оценки региональных и муниципальных уровней власти позволяет выполнить закономерный переход к анализу причин достижений и отставаний в социально значимых для населения отраслях, в том числе в образовании, к осуществлению управления на основе количественных данных.

Качество образования в Евразии

79

Муниципальные системы образования как объект оценки качества образования: нормативный и методический аспекты

В соответствии с полномочиями органов местного самоуправления в сфере образования предметом оценки со стороны государства стала деятельность по организации дошкольного, общего и дополнительного образования, а методикой мониторинга эффективности их деятельности определены единые методические подходы к оценке динамики изменения этих показателей. Обозначим основные недостатки проводимой оценки:

1) результат оценки отдельных муниципалитетов не «сводится» по региону и не становится предметом обсуждения заинтересованными управленческими структурами и общественности, местными сообществами;

2) появляется риск смещения приоритетов местной власти с обеспечения эффектов для потребителя на обеспечение достижения показателей, заданных методикой;

3) минимизация количества показателей оценки не позволяет дать «объемную» картину деятельности органов местного самоуправления;

4) не обеспечена возможность сравнимости данных по отдельным муниципалитетам, так как показатели оценки приводятся без учета социально-экономических различий объектов оценивания. Отсутствие регулярной публичной региональной процедуры сравнительной оценки делает невозможным выполнение требования повышения эффективности управления системой образования в регионе.

Кроме того, недостатки оценки, по мнению некоторых экспертов [2], связаны с проблемами применяемых показателей:

1) значительная часть показателей ориентирована на оценку процессов в системе образования, а не ее результатов;

2) показатели процесса, промежуточных и конечного результатов являются равноправными при подсчете интегрального показателя эффективности;

3) показатели конечных результатов не соотносятся с затратами для их достижения.

Несмотря на перечисленные недостатки, заданные федеральные нормативные рамки поставили региональные органы исполнительной власти перед необходимостью поиска управленческих механизмов стимулирования развития муниципальных систем образования. В 2011 году Минобрнауки Новосибирской области была поставлена задача перед НИМРО по формированию региональных подходов к оценке эффективности муниципальных систем общего образования в рамках существующей РСОКО с учетом минимизации обозначенных недостатков. Предстояло определиться с общей рамкой, принципами и методикой оценки.

80

Качество образования в Евразии

Захир Ю.С. М

Эксперты отмечают [3], что осознанная потребность муниципального управления развитием образования неизбежно приводит к необходимости смены его целевых ориентиров, которые связаны с обеспечением социальной функции образования. Такими ориентирами становятся:

1) цели формирования единого образовательного пространства, обеспечивающие высокоэффективную систему услуг и условий, отвечающих образовательным потребностям всех слоев и групп населения;

2) цели формирования практики социализации и воспитания подрастающего поколения с учетом общечеловеческих ценностей и ценностей национальной культуры;

3) цели превращения образования в развивающую и развивающуюся систему, способную обеспечивать развитие личности и развитие местных общественных систем при условии корпоративного взаимодействия между всеми социальными институтами.

Перечисленные целевые ориентиры позволили задать общую рамку для проведения оценки муниципальных систем образования и формирования методики.

В научной литературе описаны основные особенности муниципальных систем как объекта оценивания, которые следует учитывать в ходе оценки: сложность и противоречивость основных процессов; квазистабильность; частичная неопределенность; противоречивость процессов организации и управления; интенсивные обменные процессы с внешней средой и т.д. [8].

Эффективность в образовании - это «сложное целостное свойство, и именно эффективность, оцененная через полученный результат, как правило, служит основанием для принятия управленческих решений» [6] или «...относительная характеристика результативности деятельности конкретной управляющей системы, отражающаяся в различных показателях как объекта управления, так и собственно управленческой деятельности (субъекта управления). должна быть выражена. через показатели эффективности управляемой системы, хотя она может иметь и свои собственные частные характеристики» [4, с. 212]. Таким образом, значение эффективности существенно зависит от того, что и каким инструментом измеряется. Это накладывает на исследователей серьезную ответственность за корректность применяемой методики оценки.

Лишь немногие области менеджмента имеют такое большое влияние на систему в целом, как оценка деятельности ее подсистем. Исследователи указывают, что внешняя эффективность показывает, что «делаются нужные вещи», внутренняя - «насколько правильно делаются нужные

Качество образования в Евразии

81

Муниципальные системы образования как объект оценки качества образования: нормативный и методический аспекты

вещи» [5]. Для создания названной методики принималась во внимание внешняя эффективность. При этом для целей повышения эффективности управления образованием не стоит забывать и о внутренней эффективности муниципальных образовательных систем, которые могут быть оценены в ходе процедуры самооценки. Введение понятия «внутренняя эффективность» и нормативное закрепление процедур самооценки муниципальных образовательных систем в РСОКО Новосибирской области позволят муниципальным образованиям проектировать «шаг развития» и анализировать изменения в эффективности деятельности образовательной системы.

Оценка и внутренней, и внешней эффективности имеет свои недостатки. Ряд исследователей обращают внимание на недостатки способов оценки внешней эффективности муниципальных систем управления [9], указывая, что оценить внешнюю эффективность можно:

1) путем определения результатов деятельности (эффективности в целом). Недостатком этого способа оценки является невозможность разграничить и определить долю ответственности внешних и внутренних (управленческих) факторов за достигнутые результаты;

2) через оценку собственно системы управления. Недостаток способа - субъективный характер - можно компенсировать. Во-первых, сравнивая получаемые результаты с результатами других аналогичных систем. Во-вторых, разумно сочетая различные количественные (числовые данные нормативно-правовых документов) и качественные (социологические опросы, фокус-группы, материалы СМИ и пр.) методы оценки [7]. Эти приемы частично использованы в разработанной методике.

Эффективность муниципальных образовательных систем может быть представлена через следующие составляющие [6]:

• экономическая. Отражает соотношение приложенных материальнофинансовых ресурсов и полученных результатов, ресурсоемкость образовательной деятельности, затратность мероприятий по ее организации;

• педагогическая. Показывает степень достижения целей обучения, воспитания и развития участников образовательного процесса, результативность применения тех или иных форм, средств, технологий;

• организационно-управленческая. Демонстрирует достижение целей управления, выполнение плановых мероприятий;

• социальная. Ориентирует на учет удовлетворенности потребителей образовательных услуг.

Для целей управления региональной системой образования представлялось необходимым создать методику оценки социально-экономи-

82

Качество образования в Евразии

Захир Ю.С. М

ческой эффективности. Результаты оценки эффективности, полученные через сочетание экономической и социальной составляющих, позволят региональному министерству целенаправленно развивать, укреплять материально-техническую базу, создавать условия для повышения квалификационного уровня педагогических кадров, учитывать потребности и ожидания общества при реализации образовательной политики.

Понимание общей рамки оценки и учет основных особенностей и направлений оценки позволили группе специалистов НИМРО под руководством автора сформировать региональную методику оценки эффективности муниципальных систем образования (региональная методика).

Формирование региональной методики происходило в несколько этапов.

1- йэтап (2011-2012 годы) - разработка модельной методики в рамках участия в межрегиональном проекте «Разработка инструментария оценки эффективности деятельности муниципальных образовательных систем» под руководством Межрегиональной ассоциации мониторинга и статистики в образовании (МАМСО). Уточнены задачи оценки муниципальных систем образования; сформированы направления и показатели; определено, что результат оценки муниципальных систем образования должен быть представлен в форме группового рейтинга.

2- й этап (2012-2013 годы) - адаптация к региональным условиям и внедрение в практику управления системой образования Новосибирской области модельной методики оценки эффективности муниципальных систем образования. На втором этапе определены основные требования к показателям методики:

• значения показателей должны иметь числовое выражение для возможности математической обработки данных;

• показатели должны быть ежегодно фиксируемыми для обеспечения сравнимости получаемых данных, а источники информации должны быть достоверными для максимального исключения возможностей оспаривания результатов со стороны объекта оценки;

• перечень показателей должен быть минимально коротким для обеспечения ясности расчетов;

• объект оценки (муниципальные системы образования) не должен быть задействован в ходе сбора показателей.

Все используемые в оценке показатели - это официальная, проверяемая информация, источниками которой являются: территориальный орган Федеральной службы государственной статистики по Новосибирской области, Министерство образования, науки и инновационной политики

Качество образования в Евразии

83

Муниципальные системы образования как объект оценки качества образования: нормативный и методический аспекты

Новосибирской области, Главное управление МВД РФ по Сибирскому федеральному округу, НИМРО.

Окончанием второго этапа стало утверждение методики, проведение и обсуждение результатов первой процедуры оценки эффективности муниципальных систем образования. На основании рассчитанных индексов:

1) определены муниципальные системы образования, имеющие стабильно высокую/среднюю/низкую и повысившие/понизившие результативность и эффективность деятельности, рисунок 1;

2) построены «профили результативности» муниципальных систем образования, рисунки 2 и 3, которые позволяют понять «сильные» и «слабые» характеристики системы.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

3-й этап (2013-2014 годы) - корректировка региональной методики оценки в части уточнения и дополнения направлений и показателей методики оценки, таблица. Для выполнения основной задачи третьего этапа был проведен экспертный опрос управленцев муниципального уровня.

Проведение повторной оценки запланировано на август-сентябрь 2014 года, после чего будут определены управленческие механизмы поддержки и стимулирования развития муниципальных систем образования.

Нормативно и методически оформленная практика оценки эффективности муниципальных систем образования является важной частью РСОКО Новосибирской области. Она позволяет учитывать динамику из-

Рисунок 1. Группы районов, изменившие результативность, 2010-2012 гг.

84

Качество образования в Евразии

Захир Ю.С. М

Доля выпускников-участников ЕГЭ, получивших аттестат

Отклонение среднего °Л

балла ГИА-9 по математике

от среднего по НСО

//тС°,2

Отклонение среднего

балла ГИА-9

по русскому языку Г\>\ / V \ \ \/ ,

от среднего по НСО

Доля сдавших хотя бы один экзамен с результатом ТБ2 и выше

Доля сдавших три и более экзамена

Отклонение среднего балла ЕГЭ по математике от среднего по НСО

Отклонение среднего балла ЕГЭ по русскому языку от среднего по НСО

— МР — НСО

Рисунок 2. Профиль муниципалитета M1, направление «качество образования»

Доля преступлений, совершенных несовершеннолетними

Рисунок 3. Профиль муниципалитета M2, направление «социализация»

Качество образования в Евразии

85

Муниципальные системы образования как объект оценки качества образования: нормативный и методический аспекты

менений результатов работы систем, сделать важный шаг от оценки состояния системы к выработке управленческих решений по реализации отдельных направлений образовательной политики на основе количественных данных.

Перечень показателей методики оценки эффективности муниципальных систем общего образования Новосибирской области (по направлениям оценки)

Показатель

Качество учебных результатов выпускников общеобразовательных организаций

1 Доля выпускников - участников Единого государственного экзамена (далее -ЕГЭ), не получивших аттестат

2 Доля участников ЕГЭ, сдавших хотя бы один экзамен с результатом, соответствующим (или выше) уровню профильной подготовки

3 Отклонение среднего балла по русскому языку (математике) участников ЕГЭ муниципального района, городского округа от среднего балла по Новосибирской области

4 Отклонение среднего балла по русскому языку (математике) участников государственной (итоговой) аттестации 9-х классов муниципального района, городского округа от среднего балла по Новосибирской области

5 Доля обучающихся 9-11-х классов, ставших победителями или призерами регионального этапа всероссийской олимпиады школьников

Социализация детей и подростков

1 Доля преступлений, совершенных несовершеннолетними и при их соучастии, в общем количестве совершенных преступлений

2 Доля несовершеннолетних (14-17 лет), состоящих на учете в инспекции по делам несовершеннолетних, в общей численности населения 14-17 лет

3 Доля учащихся, которым в течение года была предоставлена возможность организованного отдыха (оздоровительный лагерь, санаторно-курортное лечение, летний пришкольный лагерь)

4 Доля выпускников 9-х классов текущего года, продолжающих обучение в 10-м классе или в профессиональных образовательных организациях

Доступность общего и дополнительного образования

1 Доля детей в возрасте 3-7 лет, получающих дошкольные образовательные услуги, в общей численности детей в возрасте 3-7 лет

2 Доля детей, стоящих на учете для определения в дошкольную образовательную организацию

86

Качество образования в Евразии

Захир Ю.С. М

Показатель

3 Доля детей в возрасте 5-17 лет, получающих услуги в организациях дополнительного образования, в общей численности детей 5-17 лет

4 Равенство доступа к качественному среднему общему образованию (отношение среднего балла ЕГЭ по русскому языку, математике в каждой общеобразовательной организации муниципального района, городского округа Новосибирской области к дисперсии)

5 Информационная открытость сайтов органов управления образованием (результаты дополнительного исследования)

Охрана и укрепление физического здоровья обучающихся и воспитанников

i Число дней, пропущенных детьми, посещающими дошкольную образовательную организацию, по болезни

2 Доля детей, занимающихся в спортивных и спортивно-технических объединениях

3 Доля обучающихся, которые получают двухразовое горячее питание (завтраки и обеды)

4 Доля общеобразовательных организаций, в которых обеспечена возможность пользоваться современными столовыми (площадь в соответствии с СанПиН, современное оборудование и оформление, квалифицированные сотрудники)

5 Доля обучающихся, которым созданы современные условия для занятий физической культурой, в том числе обеспечена возможность пользоваться современно оборудованными спортзалами и спортплощадками

СПИСОК ЛИТЕРАТУРЫ:

1) Агранович, М. Л. Оценка эффективности деятельности региональных органов исполнительной власти в сфере образования / М. Л. Агранович // Журнал руководителя управления образованием. - 2010. - № 6. -С. 39-51.

2) Агранович, М. Л. Методические вопросы сравнительной оценки субнациональных образовательных систем : [на основе НИР, выполненной в соответствии с Государственным заданием РАНХиГС при Президенте РФ на 2013 год] // Social Science Research Network [Электронный ресурс]. - Режим доступа : http://papers.ssrn.com/sol3/papers.cfm?abstract_id=2457827.

3) Барсукова, Л. Я. Повышение эффективности управления муниципальной системой образования в условиях малого города : автореф. дис. ...

Качество образования в Евразии

87

Муниципальные системы образования как объект оценки качества образования: нормативный и методический аспекты

канд. пед. наук / Любовь Яковлевна Барсукова. - Челябинск, 1999 // ЭСМ [Электронный ресурс] : федер. образоват. портал. - Режим доступа : http://ecsocman.hse.ru/text/19297538.

4) Грибов, В. Д. Менеджмент : учебн. пособие / В. Д. Грибов. - М. : Кно-рус, 2007.

5) Друкер, Питер Ф. Задачи менеджмента в XXI веке. : пер. с англ. / Питер Ф. Друкер. - М. : Вильямс, 2004. - 272 с.

6) Ковальчук, О. В. Методические положения оценки эффективности образовательной деятельности в муниципальных образовательных системах / О. В. Ковальчук // Современные проблемы науки и образования [Электронный ресурс]. - 2011. - № 6. - Режим доступа : www.science-education.ru/100-5089.

7) Самков, К. Н. Методология и методика оценки социальной эффективности деятельности местной администрации в социальной сфере (на материалах города Нижняя Салда Свердловской области) / К. Н. Самков // Вопросы управления. - 2009. - Вып. 6.

8) Шестернинов, Е. Е. Управление качеством образования на муниципальном уровне (опыт, проблемы, перспективы) / Е. Е. Шестернинов. -Тверь : Лилия-Принт, 2003. - 336 с.

9) Ситенков, А. А. Разработка методики оценки управленческого состояния муниципального образования : дис. ... канд. экон. наук : 08.00.10 / Алексей Александрович Ситенков. - М. : РГБ, 2004.

88

Качество образования в Евразии

i Надоели баннеры? Вы всегда можете отключить рекламу.