Научная статья на тему 'Управленческие решения на основе анализа результатов Всероссийских проверочных работ в общеобразовательной организации'

Управленческие решения на основе анализа результатов Всероссийских проверочных работ в общеобразовательной организации Текст научной статьи по специальности «Науки об образовании»

CC BY
3902
474
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
УПРАВЛЕНЧЕСКИЕ РЕШЕНИЯ / MANAGEMENT DECISION / АНАЛИЗ РЕЗУЛЬТАТОВ / RESULTS ANALYSIS (ANALYSIS OF RESULTS) / ВНУТРЕННЯЯ СИСТЕМА ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАНИЯ / INTERNAL EDUCATION QUALITY / ВСЕРОССИЙСКАЯ ПРОВЕРОЧНАЯ РАБОТА / ALL-RUSSIAN VERIFICATION WORK / EVALUATION SYSTEM

Аннотация научной статьи по наукам об образовании, автор научной работы — Краснов Павел Сергеевич

В статье представлены различные аспекты оценки результатов Всероссийских проверочных работ, что дает возможность получить представление о качестве образования в общеобразовательной организации, анализировать и учитывать влияние различных факторов на результаты работы, осуществлять самодиагностику и выявлять имеющиеся проблемы. Рассмотрены подходы к принятию управленческих решений на различных уровнях общеобразовательной организации. Показано что интерпретация результатов процедур оценки качества образования выступает одним из инструментов управления качеством образования в рамках внутришкольной системы оценки качества образования.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по наукам об образовании , автор научной работы — Краснов Павел Сергеевич

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Management Decision on The Base of All-Russian Verification Works Results Analysis in Secondary Organization

In the article different aspects of all-Russian verification works results evaluation are presented, it gives an opportunity to get a view of education quality in secondary organization, analyze and consider the impact of different elements on work results, do self-diagnosis and highlight existing problems. Approaches to management decision-making on different levels of secondary organization are considered. It is shown that results interpretation of education quality evaluation procedure acts as one of the management tools of education quality within intraschool education quality evaluation system.

Текст научной работы на тему «Управленческие решения на основе анализа результатов Всероссийских проверочных работ в общеобразовательной организации»

Международный электронный научный журнал ISSN 2307-2334 (Онлайн)

Адрес статьи: pnojournal.wordpress.com/archive18/18-04/ Дата публикации: 1.09.2018

№ 4 (34). С. 320-326. _

УДК 371.215 П. с. КРАСНОВ

Управленческие решения на основе анализа результатов Всероссийских проверочных работ в общеобразовательной организации

В статье представлены различные аспекты оценки результатов Всероссийских проверочных работ, что дает возможность получить представление о качестве образования в общеобразовательной организации, анализировать и учитывать влияние различных факторов на результаты работы, осуществлять самодиагностику и выявлять имеющиеся проблемы. Рассмотрены подходы к принятию управленческих решений на различных уровнях общеобразовательной организации. Показано что интерпретация результатов процедур оценки качества образования выступает одним из инструментов управления качеством образования в рамках внутришкольной системы оценки качества образования.

Ключевые слова: управленческие решения, анализ результатов, внутренняя система оценки качества образования, всероссийская проверочная работа

Perspectives of Science & Education. 2018. 4 (34)

International Scientific Electronic Journal ISSN 2307-2334 (Online)

Available: psejournal.wordpress.com/archive18/18-04/ Accepted: 15 June 2018 Published: 1 September 2018 No. 4 (34). pp. 320-326.

P. s. KRASNOV

Management Decision on The Base of All-Russian Verification Works Results Analysis in Secondary Organization

In the article different aspects of all-Russian verification works results evaluation are presented, it gives an opportunity to get a view of education quality in secondary organization, analyze and consider the impact of different elements on work results, do self-diagnosis and highlight existing problems. Approaches to management decision-making on different levels of secondary organization are considered. It is shown that results interpretation of education quality evaluation procedure acts as one of the management tools of education quality within intraschool education quality evaluation system.

Key words: management decision; results analysis (analysis of results); internal education quality; evaluation system; all-Russian verification work

настоящее время в Российской Федерации сформирована единая система оценки качества образования, которая позволяет вести мониторинг знаний, умений и освоения учащимися содержания предметов на разных уровнях обучения, оперативно выявлять и решать проблемы в разрезе конкретных тем, учебных предметов или образовательных программ. Данная система дает возможность получить полное представление о качестве образования в общеобразовательной организации, анализировать и учитывать влияние различных факторов на результаты работы, осуществлять самодиагностику и выявлять имеющиеся проблемы, а родителям получать информацию о качестве знаний своих детей.

Система оценки качества образования в настоящее время является многоуровневой, состоящей из нескольких процедур. Одной из процедур этой системы являются Всероссийские проверочные работы.

Назначение ВПР - оценить уровень общеобразовательной подготовки учащихся в соответствии с требованиями ФГОС. Основными задачами являются: совершенствование механизмов получения достоверной и содержательной информации о состоянии системы образования в общеобразовательной организации, в том числе с учетом введения федеральных государственных образовательных стандартов общего образования; развитие информационно-аналитической и методологической базы для принятия управленческих решений по развитию общеобразовательной организации; содействие процессам стандартизации оценочных процедур. Использование результатов ВПР важно для самоанализа общеобразовательной организации, выявления успехов или затруднений у различных групп учащихся, определения задач по совершенствованию методов и приёмов урочной и внеурочной деятельности педагогов.

Сопоставление результатов независимой внешней оценки и внутренней самооценки, дает дополнительную важную информацию о качестве образования в общеобразовательной организации. Так как контрольно-измерительные материалы ВПР базируются на единой методике и заданиях, у общеобразовательной организации появляется инструмент создания единой, оптимальной, логично выстроенной и обеспечивающей объективные результаты системы оценочных процедур в рамках внутренней системы мониторинга качества образования.

Для руководителей и педагогов общеобразовательной организации интерпретация результатов процедур оценки качества образования в целом выступает основополагающим этапом управления качеством образования в рамках ВСО-КО. В связи с этим важно определить, какое место интерпретация результатов ВПР занимает во вну-тришкольной политике качества образования.

При оценке результатов ВПР выделяют две составляющие, которые определяют качество образования: во-первых, динамика индивидуальных образовательных достижений учащихся, их продвижение в достижении планируемых результатов освоения основной образовательной программы соответствующего уровня; во-вторых, уровень освоения учащимися основных формируемых способов действий в отношении к опорной системе знаний, необходимых для обучения на следующем уровне общего образования.

Учет динамики индивидуальных образовательных достижений учащихся осуществляется по итогам внешних и внутренних оценочных процедур и диагностик, проводимых в рамках внутришкольной системы мониторинга, являющейся частью ВСОКО. Всероссийские проверочные работы с их возможностями оценки как предметных так метапредметных результатов, позволяют достичь основную цель внутришколь-ного мониторинга - определение образовательных потребностей и интересов личности, эффективное и поступательное развитие способностей учащихся, выявление индивидуальных проблем в обучении и их своевременное решение.

При проведении аналитической обработки результатов ВПР необходимо опираться на технологию проблемно-ориентированного анализа, это определят направление анализ с конца: какие результаты ОО не устраивают ^ что необходимо изменить в образовательном процессе ^ какие условия надо создать либо изменить в ОО.

Основным источником статистической и аналитической информации по результатам конкретной процедуры оценки качества образования выступают результаты работ участников ВПР, которые размещаются в личном кабинете информационного портала Всероссийских проверочных работ (https://vpr.statgrad.org). В личном кабинете каждой общеобразовательной организации размещаются: статистическая информация распределения первичных баллов по ОО, статистика отметок на федеральном, региональном, муниципальном и институциональном уровнях, выборка по уровню выполнения каждого задания и индивидуальные результаты участников. С точки зрения содержательного анализа результатов ВПР наибольшую ценность представляет отчет достижение планируемых результатов в соответствии с ПООП и ФГОС ОО.

Отчет достижения планируемых результатов сформирован по блокам примерной общеобразовательной программы. Таким образом, результаты учащихся по каждому из оцениваемых блоков выпускник научится / получит возможность научиться или проверяемые требования (умения) в соответствии с ФГОС позволяют выявить проблемные зоны как отдельного ученика, так и всей образовательной системы школы. При этом необходимо понимать, что чем раньше эти пробелы начинают появляться, тем труднее любому

ученику осваивать предмет и учиться дальше -невозможно усваивать более сложные вещи, не понимая простых. Например, не освоив базовые математические навыки невозможно получить положительных результатов в решении задач по физике, химии и информатике.

Учителям предметникам необходимо обратить особое внимание на документы, которые размещаются вместе с текстами работ и описывают структуру и распределение заданий КИМ (контрольно-измерительные материалы) по содержанию, выдам умений и способам действий.

Используя возможности современных офисных программ (Microsoft Office, LibreOffice, OpenOffice и т.п.), для более наглядного представления результатов ВПР рекомендуется отчет достижение планируемых результатов разделить на группы учащихся с разной подготовкой и построить соответствующие графики. Это позволит оценить, каким образом одно и то же содержание осваивается разными группами учеников.

Например, графики распределения учащихся по группам в соответствии с полученными отметками по пятибалльной шкале позволяет выявить, что для групп учащихся с низким и недостаточным уровнем подготовки (получившие «3» и «2») справляются лишь с отдельными простыми заданиями базового уровня. Таким образом, для этой группы можно говорить о том, что ученики не достигают даже базового уровня подготовки.

Отдельного внимания при анализе требуют результаты, полученные за заданиями 8 и 9. На графике распределения учащихся по группам в соответствии с полученными отметками по пятибалльной шкале (см. рис. 1) виден значительный разрыв между группами учащихся, которые получили низкие и высокие отметки. Так как ученики осваивают предметные знания и умения в одной образовательной системе (одна программа, одни и те же условия) очевиден вывод о системных проблемах, которые требуют кардинальных изменений.

Распределение учащихся МБОУ СОШ № *** по группа/vi в соответствии с полученными отметками по пятибалльной шкале

1Z0 100 80 60 40 20

4 5.1 5.2 6 7

10 11.1 11.2 12

"3'

"4"

Рис.1 График распределения учащихся по группам в соответствии с полученными отметками по

пятибалльной шкале

Аналогично можно построить графики по уровню результатов различных видов заданий (базовые, повышенной и высокого уровня сложности). Дефициты в учебных достижениях учеников необходимо анализировать на всех задания. В каждом случае должны использоваться одинаковые критерии анализа, которые определены заранее и являются неизменяемыми.

Спецификация работы и отчет достижение планируемых результатов в соответствии с ПООП и ФГОС ОО позволит точно определить типичные

ошибки, что позволит найти причины затруднений: в используемых учебно-методических комплектах (например, учебник содержит не все дидактические единицы содержания), дидактических материалах (например, недостаточная эффективность, односторонность материалы, присутствие только типовых задач), неэффективных методиках и технологиях, дефектах школьной образовательной программы (например, несоответствие в содержании, сроках освоения или объемах). Все это можно сделать только в

школе, поскольку вся информация есть только в ОО, а благодаря независимым оценочным процедурам становятся очевидны несоответствия между ФГОС и реальным содержанием предметов в конкретной школе.

При анализе отчета достижение планируемых результатов особое внимание необходимо обратить на те умения или элементы содержания ВПР,

В приведенном примере (см. рис. 2) очевидны проблемы с заданиями 6 и 9-12. Однако результаты муниципалитета указывают на наличие общеобразовательных организаций с эффективными педагогическими практиками и сложившимися образовательными системами, которые позволяют осваивать учащимся основное содержание учебного предмета на необходимом уровне.

Способы использования данных ВПР могут быть разделены на две категории:

- использование для принятия решений в отношении конкретных учащихся (например: диагностика проблем в обучении - определение мер по их преодолению - корректировка образовательного процесса);

- использование для принятия решений в отношении сложившейся в общеобразовательной организации системы образования (например: изменения в ООП или учебном плане в связи с переходом на углубленное или профильное изучение отдельных предметов, оценки условий обучения и приобретение необходимого лабораторного оборудования). При этом уровнями принятия управленческих решений могут являться следующие:

освоение которых существенно различается со средними результатами по всей выборке, по региону и по муниципалитету. Нагляднее использовать диаграмму, которая сравнивает результаты по каждому заданию со всей выборкой и по ОО или по отдельной группе. Например, диаграмм выполнение заданий по всей выборке, региону, муниципалитету и ОО.

- первый уровень - уровень общеобразовательной организации (администрация и органы государственно-общественного управления общеобразовательной организации);

- второй уровень - уровень профессиональных объединений педагогов;

- третий уровень - уровень педагога.

Использование результатов внешних процедур оценки качества образования на каждом из вышеперечисленных уровней позволяет управлять развитием и принимать решения по обеспечению качества образования. Результаты ВПР на уровне общеобразовательной организации могут быть использованы для принятия решения об изменении стратегии развитии или определения новых направлений совершенствования образовательного процесса: разработка и реализация программ повышения качества обучения (например, через программу развития); разработка технологий выявления и психолого-педагогического сопровождения учащихся или групп учащихся с проблемами (или высокими достижениями) в обучении (например, через формирование индивидуальных образовательных маршрутов ученика, индивидуальных учебных планов или индивидуализированных планов внеурочной

Выполнение заданий

120

Вся выборка Я Регион ^^Муниципалитет )( 00

Рис. 2 График выполнения заданий по различным выборкам

деятельности); формирование программ организационно-методической поддержки неэффективно работающим учителям (например, персонифицированные программы повышения квалификации, методического сопровождения через наставничество).

Интерпретация результатов оценочных процедур ВПР в общеобразовательных организациях может быть использована для корректировки или построения системы внутришкольного мониторинга результатов учащихся, а также для наблюдения за показателями образовательного процесса.

Одним из инструментов внутришкольного мониторинга являются контрольные работы административного уровня. При планировании и составлении административных проверочных работ, следует сделать акцент на тематические блоки, которые вызвали наибольшие затруднения по результатам ВПР. Чтобы результаты внутришкольных работ и ВПР были сопоставимы, административные проверочные работы

Рекомендуется оценить результаты ВПР на организационном уровне и обсудить их на внутришкольном методическом мероприятии (педсовет, семинар, круглый стол и т.п.), в рамках которого рассмотреть следующие вопросы:

должны иметь такую же структуру, как и ВПР. Рекомендуется при составлении контрольно-измерительных материалов включать задания аналогичные ВПР, что позволит оценить динамику изменения уровня результатов учащихся. Если учителя не справляются с устранением пробелов самостоятельно, привлеките к диагностической работе педагога-наставника, педагога-психолога или представителей методической службы.

Результаты анализа ВПР оказывают влияние и на изменения внутришкольного контроля в новом учебном году. Целесообразно включить контрольные мероприятия по оценке соответствия учебных кабинетов и внутришкольной информационно-образовательной среды требованиям ФГОС начального общего, основного общего и

Направления Что сделать на мероприятии Возможные решения

Особенности ВПР на организационном и технологическом уровнях Обсудите, какова технология проведения с целью соблюдения регламента и порядка, единый подход к трактовке критериев оценивания, что нового добавили в контрольно-измерительные материалы (КИМ) Изменение оценочных процедур в рамках ВСОКО Определение новых подходов к формированию фонда оценочных средств ОО

Результаты учащихся на ВПР Анализ достижения высоких результатов и определение причин низких результатов; соотнести результаты с кодификатором Внесение изменений в систему внутришкольного мониторинга в рамках ВСОКО

Блоки основной общеобразовательной программы, которые обучающие освоили недостаточно Обсудите, в каких блоках ООП выявлены пробелы в знаниях и/или навыках у большинства учащихся. Совершенствование рабочих программ и оценочных материалов для проведения текущего контроля и учёта успеваемости обучающихся, промежуточной аттестации, а также оптимизации методов и приёмов урочной и внеурочной деятельности, приобретение необходимого оборудования, учебно-методических комплектов и т.п. Внедрить эффективные педагогические практики работы в образовательную систему оО

Условия образовательной деятельности в общеобразовательной организации Определите, повлияли ли и как на результаты обучения организационные условия в школе

Основные направления подготовки учащихся по достижению необходимых образовательных результатов Определите для учителей, на какие направления подготовки учащихся стоит сделать упор. Обсудите, какие методики подготовки используют другие педагоги и общеобразовательные организации, у которых результаты ВПР выше

План мероприятий по повышению качества подготовки учащихся Определите мероприятия, которые будут проводить администрация и учителя, чтобы улучшить качество обучения (например, повышение квалификации педагогов - администрация, изменение форм и методов работы с учащихся - учителя). Составьте примерный план мероприятий и установите сроки выполнения, ответственных

среднего общего образования. Например, кабинеты должны быть оснащены необходимым оборудованием, в том числе лабораторным. Если нужна модернизация или приобретение оборудования, материалов или пособий, то необходимо включить эти мероприятия в программу развития общеобразовательной организации или в план финансово-хозяйственной деятельности.

Особое место внутришкольном контроле необходимо уделить оценке качества содержания основных образовательных программ и условий их реализации, так как реализация программ напрямую связана с результатами ВПР. Анализ результатов независимых оценочных процедур может потребовать корректировки содержания основных образовательных программ (и/или компонентов, входящих в их структуру); разработки и реализации индивидуальных учебных планов; организации образовательного процесса в том числе организации внеурочной деятельности; организации образовательного процесса с применением электронного обучения и дистанционных образовательных технологий; изменение структуры учебного плана через перераспределение часов части, формируемой участниками образовательных отношений; построение особой системы элективных курсов, факультативом и кружковой работы.

Администрации общеобразовательных организаций необходимо акцентировать внимание педагогов на корректировку рабочих программ по предметам, т.е. проверить, какие внесены изменения с учетом анализа результатов ВПР и выявленных сложных/проблемных тем. Включает ли планирование учителя задания, которые направлены на развитие вариативности мышления учащихся и способность применять знания в новой ситуации, создавать и преобразовывать модели и схемы для экспериментальных задач, включены ли учебно-практические задания, которые диагностируют степень сформированно-сти универсальных учебных действий.

Рекомендуется на уровне общеобразовательной организации провести родительское собрание. Ознакомить родителей с обобщенными обезличенными результатами ВПР. Рассказать, какие блоки заданий особенно не удались учащимся, какие основные ошибки допущены в работах. По желанию родителей предоставьте им тесты для самостоятельной работы учащихся, пробные КИМ. Обратите внимание родителей на то, как надо общаться с ребенком перед проверочными работами, какие условия создать.

Принятие управленческих решений по результатам ВПР, как правило, направлено на распространение позитивной практики, выявленной в ходе процесса интерпретации результатов внешних процедур оценки качества образования, и на коррекцию выявленных проблем и преодоление негативных тенденций. При принятии управленческих решений на основе интерпретации результатов важно для их большей объективизации использовать также статистической информации внутри ОО, результаты других исследований, итоги самоанализа общеобразовательной организации, результаты промежуточной аттестации и др. Такой подход обеспечит формирование целостной информационной картины о качестве образования с учётом различных факторов и условий.

Таким образом, управленческий потенциал интерпретации результатов внешних процедур оценки качества образования, показывает их важное значение для формирования и функционирования ВСОКО общеобразовательной организации. Важно подчеркнуть, что сами процедуры, являясь составной частью процессуального компонента ВСОКО, позволяют использовать полученные в рамках их проведения результаты в качестве многофакторной информационной основы для принятия необходимых управленческих решений.

ЛИТЕРАТУРА

1. Кравцов С.С. Глава Рособрнадзора: Мы добились абсолютной объективности при проведении ЕГЭ // Комсомольская правда. 04.09.2017

2. Школьникова М.Ю., Черепанова О.А., Белогубец Я.А., Степанова И.Ю., Скочилова Е.Ю., Павлова Н.А., Дмитриева Л.А. Управленческий потенциал интерпретации результатов оценочных процедур внутрирегионального анализа оценки качества общего образования // Научно-методическое обеспечение оценки качества образования. 2017. №2 (3). С.23-31

3. Демидова М.Ю. Как заместителю директора анализировать результаты Всероссийских проверочных работ // Справочник заместителя директора школы. 2017. №11. С.44-55.

4. Федеральный закон от 29.12.2012 N 273-Ф3 «Об образовании в Российской Федерации» [Электронный ресурс]. Режим доступа: http://www.consultant.ru/document/cons_doc_LAW_140174/ (дата обращения: 25.05.2018).

5. Лях Ю. А., Музаев А. А. Всероссийские проверочные работы: результаты хорошие, но не объективные // Вестник Костромского государственного университета. Серия: Педагогика. Психология. Социокинетика. 2017. №3. URL: https://cyberleninka.ru/artide/n/vserassiyskie-praverachnye-raboty-rezultaty-horashie-no-ne-obektivnye (дата обращения: 31.08.2018).

6. Соловьев И. В., Филатов С. В. Интегральные оценки качества образования // Интеграция образования. 2014. №2 (75). URL: https://cyberleninka.rU/article/n/integralnye-otsenki-kachestva-obrazovaniya (дата обращения: 31.08.2018).

7. Шарахова Л. Н. Управление качеством дополнительного образования детей с использованием электронной формы сбора информации // Интеграция образования. 2011. №3. URL: https://cyberleninka.ru/article/n/ upravlenie-kachestvom-dopolnitelnogo-obrazovaniya-detey-s-ispolzovaniem-elektronnoy-formy-sbora-informatsii (дата обращения: 31.08.2018).

8. Макларен Н. Б., Шорохова М. А., Сиротина И. Л. Качество жизни и качество образования: проблема соотношения // Интеграция образования. 2015. №4 (81). URL: https://cyberleninka.ru/article/n/kachestvo-zhizni-i-kachestvo-obrazovaniya-problema-sootnosheniya (дата обращения: 31.08.2018).

1. Kravtsov S. S. Head of Rosobrnadzor: We have achieved absolute objectivity in the conduct of USE // Komsomolskaya Pravda. 09/04/2017 (in Russian)

2. Shkolnikova M.Yu., Cherepanova O.A., Belogubets Y.A., Stepanova I.Yu., Skochilova E.Yu., Pavlova N.A., Dmitrieva L.A. Managerial potential for interpreting the results of evaluation procedures for intraregional analysis of the assessment of the quality of general education. Scientific and methodological support of the evaluation of the quality of education. 2017. no. 2 (3). pp. 23-31 (in Russian)

3. Demidova M.Yu. As deputy director to analyze the results of the All-Russian testing works. Directory of the deputy director of the school. 2017. no. 11. pp. 44-55. (in Russian)

4. Federal Law No. 273-FZ of December 29, 2012 "On Education in the Russian Federation" [Electronic resource]. Available at: http://www.consultant.ru/document/cons_doc_LAW_140174/ (accessed 25 July 2018). (in Russian)

5. Lyakh Yu. A., Muzaev AA All-Russian testing works: the results are good, but not objective. Bulletin of the Kostroma State University. Series: Pedagogy. Psychology. Socio-kinetics. 2017. no. 3. Available at: https://cyberleninka.ru/ article/n/vserossiyskie-proverochnye-raboty-rezultaty-horoshie-no-ne-obektivnye (accessed 25 July 2018). (in Russian)

6. Soloviev I.V., Filatov S.V. Integral assessments of the quality of education. Integration of education. 2014. no. 2 (75). Available at: https://cyberleninka.ru/article/n/integralnye-otsenki-kachestva-obrazovaniya (accessed 25 July 2018). (in Russian)

7. Sharakhova L.N. Quality management of additional education for children using the electronic form of information collection. Integration of education. 2011. no. 3. Available at: https://cyberleninka.ru/article/n/upravlenie-kachestvom-dopolnitelnogo-obrazovaniya-detey-s-ispolzovaniem-elektronnoy-formy-sbora-informatsii (accessed 25 July 2018). (in Russian)

8. Maklaren N.B., Shorokhova M.A., Sirotina I.L. Quality of life and quality of education: the problem of correlation. Integration of education. 2015. no. 4 (81). Available at: https://cyberleninka.ru/article/n/kachestvo-zhizni-i-kachestvo-obrazovaniya-problema-sootnosheniya (accessed 25 July 2018). (in Russian)

REFERENCES

Информация об авторе Краснов Павел Сергеевич

(Россия, Мурманск) Кандидат педагогических наук, заведующий кафедрой государственного и

муниципального управления Государственное автономное учреждение дополнительного профессионального образования Мурманской области «Институт развития образования» E-mail: KrasnovPS@mail.ru

Information about the author

Pavel S. Krasnov

(Russia, Murmansk) PhD in Pedagogical Sciences, Head of the Department of State and Municipal Management

State autonomous institution of additional professional education of the Murmansk region "Institute for the Development of Education" E-mail: KrasnovPS@mail.ru

i Надоели баннеры? Вы всегда можете отключить рекламу.