CC BY
79РУЛЕВОЕ КОЛЕСО ФОКУСНИКИ В ФОКУСЕ
УСЛОВИЯ ОБРАЗОВАТЕЛЬНОЙ ДЕЯТЕЛЬНОСТИ
Независимая оценка качества
Семён Янкевич, Надежда Княгинина, Евгений Пучков
АННОТАЦИЯ
Исследование посвящено системе независимой оценки качества условий осуществления образовательной деятельности (НОКО). Полученные выводы авторы обсуждают в рамках интервью с 10 респондентами-экспертами, имеющими опыт работы с системой независимой оценки качества образования на разных уровнях.
Авторы приходят к выводу, что на текущий день система независимой оценки качества условий осуществления образовательной деятельности не используется в качестве реального управленческого или мониторингового инструмента в регионах, результаты такой оценки представляют собой формальные отчеты, повторяющиеся из года в год и, как правило, не учитывающие особенностей локальных и региональных образовательных систем.
Эксперты, с которыми проводилось интервью, не видят смысла в текущей реализации процедур независимой оценки качества условий осуществления образовательной деятельности. У них присутствует внутреннее убеждение, что система не решает важных общественных задач, но может формально подтверждать наличие демократических институтов. Вместе с тем некоторые из экспертов отметили, что «бесполезность» процедур имеет побочный эффект для работы системы образования: организация процедур требует времени и финансовых ресурсов.
Регулирование системы НОКО на текущий момент сконцентрировано на федеральном уровне. Представляется, что федеральные критерии для независимой оценки качества условий осуществления образовательной деятельности должны носить рамочный характер, а конкретные показатели, по которым проводится оценка, устанавливаться на региональном уровне. Такой подход позволит учитывать специфику работы региональной системы образования и существующих в регионе условий и вместе с этим обеспечит использование результатов оценки при принятии управленческих решений.
КЛЮЧЕВЫЕ СЛОВА
Образование, независимая оценка качества образования, качество, условия, образовательная деятельность, НОКО.
10.22394/2078-838Х-2020-1-60-74
Семён Васильевич ЯНКЕВИЧ
Надежда Владимировна КНЯГИНИНА
Евгений Вадимович ПУЧКОВ
к. ю. н., заведующий Лабораторией образовательного права Института образования НИУ ВШЭ
(101000, РФ, Москва, Потаповский пер., д. 16, стр. 10). E-mail: syankevich@hse.ru
научный сотрудник Лаборатории образовательного права Института образования НИУ ВШЭ
(101000, РФ, Москва, Потаповский пер., д. 16, стр. 10). E-mail: nknyaginina@hse.ru
аналитик Лаборатории образовательного права Института образования НИУ ВШЭ
(101000, РФ, Москва, Потаповский пер., д. 16, стр. 10). E-mail: epuchkov@hse.ru
60 / ОБРАЗОВАТЕЛЬНАЯ ПОЛИТИКА / №1(81) 2020
Статья подготовлена по результатам экспертно-анали-тического исследования «Проблемы формирования и развития независимой системы оценки качества образования, общественно-профессиональной аккредитации образовательных программ и общественной аккредитации образовательных организаций и их учет в системе государственной регламентации. Анализ правоприменения и разработка предложений по нормативным правовым изменениям» по заказу Государственной думы Федерального собрания Российской Федерации в 2019 году.
Введение
Очередной виток дискуссий о качестве школьного образования начался после публикации результатов международного исследования оценки образовательных достижений PISA-2018 (Programme for International Student Assessment), которое показало снижение качества российского школьного образования за последние годы, а также указало на тревожные для образовательной системы тенденции, касающиеся климата внутри образовательной организации (The Organisation for Economic Cooperation and Development, 2019). Авторы задаются вопросом, почему система независимой оценки качества образования (далее - НОКО), действующая в стране, или хотя бы независимая оценка качества условий осуществления образовательной деятельности (далее - НОК условий) не предоставила подтверждения или опровержения таких результатов, как и в целом не давала каких-либо значимых сигналов об изменениях в качестве образования.
Гипотеза представленного исследования заключается в том, что в настоящее время система НОК условий не используется в качестве реального управленческого или мониторингового инструмента в регионах, а результаты такой оценки представляют собой формальные отчеты,
повторяющиеся из года в год и, как правило, не учитывающие особенностей локальных и региональных образовательных систем. Более того, представляется, что сравнение регионов между собой через единый федеральный портал подталкивает к завышению показателей НОК условий и замалчиванию выявляемых проблем. Данную тенденцию подтверждают результаты качественного социологического исследования. Выбор регионального уровня для исследования обусловлен тем, что большинство образовательных организаций, подлежащих НОК условий, имеют региональных и муниципальных учредителей.
Чтобы проверить, действительно ли НОК условий не реализует заложенный потенциал, был проведен анализ регионального законодательства и правоприменительной практики. На втором этапе исследования были проведены интервью с федеральными и региональными экспертами, задействованными в работе системы НОКО.
ОРГАНЫ ВЛАСТИ ОБЯЗАНЫ РАЗМЕЩАТЬ РЕЗУЛЬТАТЫ НОК УСЛОВИЙ В ЕДИНОЙ ФЕДЕРАЛЬНОЙ ИНФОРМАЦИОННОЙ БАЗЕ
Методология исследования
Исследование было построено следующим образом. Во-первых, были проанализированы положения федерального законодательства и нормативных правовых актов всех субъектов
Российской Федерации, регламентирующих систему НОК условий на региональном уровне. Во-вторых, был проведен
анализ правоприменительной практики на основании материалов, опубликованных на официальном сайте для размещения информации о государственных (муниципальных) учреждениях (bus.gov.ru) .
В соответствии с законодательством учреждение формирует и предоставляет информацию в электронном структурированном виде, а также обеспечивает открытость и доступность документов, имеющих
1 Данный портал был создан в соответствии с ч. 3.5 ст. 32 Федерального закона от 12 января 1996 г. № 7-ФЗ«0 некоммерческих организациях» ч. 14 ст. 2 Федерального закона от 3 ноября 2006 г. № 174-ФЗ «06автономных учреждениях» и Приказом Министерства финансов Российской Федерации от 21 июля 2011 г. № обн. функционирует с 1 января 2012 г.
учредительный характер. На портале размещается информация о результатах НОК условий оказания услуг в соответствии с показателями, определенными ч. 4 ст. 95.2 Федерального закона «Об образовании в РФ» и приказами Минобр-науки и Минпросвещения России2 (содержание приказов идентичное).
В-третьих, в целях выявления позитивного опыта и проблем реализации НОК условий было проведено качественное исследование — экспертные интервью. Интервью проводились в июне — сентябре 2019 г. с использованием метода неструктурированных экспертных интервью. Респонденты рассказывали о своем опыте участия в процедурах НОК условий.
В исследовании приняли участие 10 экспертов-респондентов из трех групп:
• эксперты, имеющие опыт в управлении системой образования на федеральном уровне («федеральные чиновники»);
• эксперты, имеющие опыт в управлении системой образования на региональном уровне («региональные чиновники»);
• эксперты, задействованные в работе системы НОКО («эксперты системы независимой оценки»).
В БОЛЬШИНСТВЕ СУБЪЕКТОВ РФ ОТСУТСТВУЮТ ВНЯТНЫЕ ЦЕЛИ И ЗАДАЧИ НОКО
Правовое регулирование
В России качество образования традиционно находится в государственном поле зрения. Инструментом подтверждения качества образования считается государственная аккредитация образовательных программ. На практике она выступает как формальный инструмент государственного контроля документооборота (Янкевич и др., 2019). В некоторой степени оценивать качество образования можно на основе результатов государственной итоговой аттеста ции (ОГЭ и ЕГЭ), а также проводимых в школах национальных исследований качества образования, всероссийских проверочных работ,
разнообразных мониторингов и региональных исследований. Обычно широкой публике результаты таких исследований и мониторингов предоставляются в обобщенном виде, а исходные данные, позволяющие провести альтернативное независимое исследование, недоступны как для широкой публики, так и для экспертного сообщества.
На негосударственном уровне проводятся отдельные независимые исследования, действует ряд организаций, осуществляющих профессионально-общественную аккредитацию (для организаций высшего образования) или конкурсы профессионального мастерства (для среднего профессионального образования). Образовательные организации проводят для себя процедуры самооценки и самообследования. Однако результаты всех этих процедур не позволяют судить о качестве образования в масштабах страны.
С принятием Федерального закона от 29 декабря 2012 г. № 273-ФЭ «Об образовании в Российской Федерации» (далее — Закон об образовании) в законодательстве появился новый инструмент: система независимой оценки качества образования. Изначально статья, регулирующая эту систему, была написана очень рамочно. Фактически в ней указывалось, что в системе образования возможна независимая оценка тех или иных показателей. Статья также охватывала национальные и международные исследования, проводимые негосударственными независимыми операторами. Для образовательной системы наличие такого института — положительное явление, так как независимость может внести существенный вклад в объективность оценки работы системы.
В дальнейшем система НОКО претерпела ряд изменений3:
• процедуры НОКО получили достаточно детализированное описание в Законе об образовании;
• произошло разделение на НОК условий и независимую оценку качества подготовки обучающихся;
Приказ Министерства науки и высшего образования РФ от 15 апреля 2019 г. № 31 н; Приказ Министерства науки и высшего образования РФ от 15 апреля 2019 г. № ЗОн; Приказ Министерства просвещения РФ от 13 марта 2019 г. № 114.
3 Федеральный закон от 21 июля 2014 г. № 256-ФЗ.
• введен принцип конкурсного отбора операторов НОК условий.
Предметом исследования является работа НОК условий осуществления образовательной деятельности. Сейчас эта система в общих чертах работает следующим образом: общественные палаты разных уровней формируют общественные советы, которые готовят доклады с результатами НОК условий и дают рекомендации органам управления соответствующих уровней. Показатели НОК условий с 2014 г. утверждаются на федеральном уровне4. В НОК условий участвуют образовательные организации разных уровней (от детского сада до университета).
Общественные советы получают материалы для подготовки докладов и рекомендаций от специальной организации — оператора. Появление таких организаций-операторов — попытка ввести в работу системы дополнительного независимого игрока: оператор определяется по результатам конкурса. На практике это приводит к тому, что операторами иногда становятся организации, находящиеся за пределами субъекта Российской Федерации, незнакомые с особенностями региональной системы образования, выполняющие формальные процедуры по сбору данных, результаты которых не могут быть использованы при принятии управленческих решений. Эти операторы разрабатывают типовые формы опросов потребителей образовательных услуг по федеральным показателям и проводят базовые социологические исследования, используя результаты ответов на эти опросы.
Федеральные показатели устанавливаются приказами Минобрнауки России и Минпросве-щения России (см. выше). Показатели сгруппированы по 5 критериям: 1) открытость и доступность информации об организациях, осуществляющих образовательную деятельность; 2) комфортность условий, в которых осуществляется образовательная деятельность; 3) доброжелательность, вежливость работников; 4) удовлетворенность условиями ведения образовательной деятельности организаций; 5) доступность услуг для инвалидов. Федеральные показатели раскрывают эти критерии
4 Та м же.
достаточно поверхностно. Система критериев является единой для всех государственных органов, подвергаемых независимой оценке качества условий, включая медицинские организации и учреждения культуры.
Большинство критериев оценивается через долю удовлетворенных соответствующим абстрактным критерием (например, вежливость) получателей образовательных услуг (без какой-либо конкретизации). В тех случаях, когда показатель не ограничивается долей удовлетворенных потребителей, он оценивается технически. Например, комфортность условий оценивается через наличие зоны отдыха (ожидания).
Результаты НОК условий стали одним из критериев эффективности работы высших должностных лиц субъектов Российской Федерации и органов исполнительной власти субъектов Российской Федерации, осуществляющих государственное управление в сфере образования5. Органы власти разных уровней обязаны размещать результаты НОК условий в единой федеральной информационной базе.
Результаты анализа регионального законодательства
Обычно состояние регионального законодательства отражает то, насколько «жив» тот или иной институт на региональном уровне. Если регулирование подробное, отражает местную специфику, а жесткие федеральные ограничения по регулированию отсутствуют, то вероятно, что в отношении предмета регулирования идет активная работа.
В некоторых субъектах Российской Федерации действуют лишь программные документы, предполагающие проведение НОК условий. В тех субъектах, в которых существует соответствующее правовое регулирование, оно единообразно среди разных регионов, не отражает специфику образовательной системы региона и слабо отличается от федерального законодательства. В большинстве субъектов Российской Федерации отсутствуют внятные цели и задачи НОКО, а также самостоятельно сформированный методологический аппарат НОК условий.
5 Федеральный закон от 5 декабря 2017 г. № 392-ФЭ.
Учет различий между школами, включая расположение, контингент и другие факторы, не происходит.
Несмотря на федеральное регулирование, теоретически процедура НОК условий могла бы в большей степени регулироваться региональным законодателем (в том числе через формирование условий для деятельности оператора). Однако на практике этого не происходит.
Анализ регионального законодательства позволяет заключить, что система работает для генерации отчетов: результаты собираются, формализуются и конкретизируются таким образом, чтобы соответствовать критериям, заложенным на федеральном уровне. И даже «отчетная» функция системы реализуется неполноценно. Результаты НОК условий должны размещаться на едином федеральном портале (bus.gov.ru). Однако данное требование не выполняется или выполняется с существенной задержкой частью регионов (например, Московской и Калининградской областями). В ряде регионов результаты НОК условий опубликованы в отношении нескольких образовательных организаций либо организаций отдельных муниципальных образований (например, в Тульской области). Нередко аналитические отчеты о мероприятиях и результатах опубликованы на официальном сайте регионального органа управления образованием, но не размещены на портале bus.gov.ru.
Результаты исследования правоприменительной практики
По состоянию на июль 2019 г. на портале bus.gov.ru была размещена информация о процедуре независимой оценки 107 288 образовательных организаций за 2015-2019 гг. Данный показатель невозможно соотнести в процентном соотношении с общим количеством образовательных организаций в России, так как во многих образовательных организациях (и на уровне федеральных образовательных учреждений), согласно данным портала, процедура независимой оценки не проходила ни разу
за 2015-2019 гг. (с учетом плана на 2019 г.), несмотря на то, что по Закону об образовании НОК условий должна проводиться не реже чем раз в три года. При этом во многих регионах НОК условий проводится ежегодно.
Количество образовательных организаций, в отношении которых была проведена НОК условий, сильно отличается от субъекта к субъекту и не коррелирует с количеством образовательных учреждений в том или ином субъекте федерации. Также некоторые регионы зачастую не проводят НОК условий или проводят ее для небольшого числа образовательных организаций. В 2018 г. НОК условий не была запланирована в шести субъектах Российской Федерации6, а в 19 субъектах процедуру НОК условий прошло менее 100 образовательных организаций (в том числе в Красноярском крае, Ленинградской и Владимирской областях). При этом общее выполнение плана НОК условий на 2018 г. составляет всего 77 % (17 763 из 23 219 образовательных организаций, в отношении которых процедура должна была быть проведена). Возможно, это следствие несовершенства процедуры публикации результатов на портале и соответствующих задержек.
Для подробного анализа правоприменительной практики было выбрано несколько субъектов Российской Федерации, которые на протяжении последних двух лет (2017 и 2018 гг.) имели максимальное количество образовательных организаций, в которых была проведена процедура независимой оценки условий образования, результаты которой были опубликованы на портале bus.gov.ru. Все они находятся на территории европейской части России (табл. 1). Также была изучена подробная статистика по выполнению внутренних планов проведения НОК условий в данных субъектах (табл. 2).
Основным препятствием для всестороннего анализа результатов НОК условий как внутри субъекта федерации, так и среди нескольких субъектов являются сильные качественные и количественные различия между публикуемыми на портале bus.gov.ru документами. Результаты НОК условий, для подготовки
6 Республика Ингушетия, Вологодская, Кировская, Псковская и Самарская области. Чукотский автономны/ округ, город Севастополь, а также на уровне федеральных образовательных организаций.
Таблица 1. Количество образовательных организаций в анализируемых субъектах
Субъект РФ 2017 г. 2018 г. Всего
Республика Татарстан 2770 1333 4103
Московская область 3772 0 (504)7 3772
Челябинская область 1303 1373 2676
Краснодарский край 2212 454 2666
г. Санкт-Петербург 1294 723 2017
Таблица 2. Статистика по проведению НОК условий в 2017 и 2018 гг. в выбранных субъектах (по данным портала
bus.gov.ru на июль 2018 г.)
Субъект РФ Год проведения План по проведению Размещено результатов Реализация плана, %
Республика Татарстан 2017 2794 2770 99,1
2018 1809 1333 73,6
Московская область 2017 3472 3472 100
2018 504 0 0
Челябинская область 2017 1373 1373 100
2018 1303 1303 100
Краснодарский край 2017 1691 1672 98,8
2018 1054 454 43
г. Санкт-Петербург 2017 1294 100
2018 1436 723 50,3
которых привлекались аналитические или исследовательские агентства, представляют собой наиболее детальные доступные документы. Например, в отчете по региональным образовательным организациям Иркутской области за 2018 г. (54 общеобразовательные организации и 44 организации дополнительного образования) содержатся как рекомендации отдельным образовательным организациям, так и общие рекомендации, выделяющие наибо лее часто встречающиеся проблемы или ошибки, допущенные администрациями образовательных организаций8.
Оценка по унифицированным критериям выставляется в виде баллов (и доступна только
в виде суммы баллов по каждому укрупненному критерию), что не позволяет однозначно
сравнить образовательные организации друг с другом в связи с большой дисперсией. В формулировании методик оценивания возможны ситуации, когда в разных регионах за одни и те же недостатки отнимают различное число баллов или когда 5 мелких недостатков отнимают в сумме больше баллов, чем один крупный.
С другой стороны, результаты НОК условий во многих субъектах зачастую являются неполными или в них отсутствует аналитическая часть. Например, в результатах НОК условий Московской области за 2017 г. представлена лишь таблица, в которой агрегированы
7 В плане на 2018 г. значатся 504 образовательные организации, однако по состоянию на июль 2019 г. информация еще не была опубликована,
о URL: https://bus.gov.ru/pub/independentRating/detaiisNew/50124 (дата обращения: 19.07.2019).
пожелания по каждой отдельной школе, но не представлена аналитическая работа по выявлению общих трендов и системных проблем региона3. Отчет Челябинской области за 2017 г. не содержит каких-либо рекомендаций (НОК условий была проведена для 1373 образовательных организаций)10. Аналогичная ситуация с отчетом Санкт-Петербурга в 2017 г. (1294 «оцененные» образовательные организации)11. Отчет по результатам НОК условий Челябинской области за 2018 г. выполнен в форме презентации и не содержит конкретных рекомендаций, позволяющих сделать выводы о ситуации в регионе12.
В большинстве случаев отмечается формальный подход при демонстрации результатов и выработке рекомендаций. Даже сравнительно небольшой период для исследования (два года) и ограничение по числу субъектов позволили выявить широко распространенные факты использования одинаковых формулировок для описания основных недостатков. Так, среди 68 отчетов из Республики Татарстан общая рекомендация «улучшение материально-технической базы» встречается не менее чем в 30 отчетах (примерно 44 %), а в Московской области такая рекомендация дана 437 образовательным организациям (примерно 12 %). При этом лишь в немногих из муниципальных образований дается конкретное описание того, в чем
заключаются недостатки материально-технической базы в каждой школе. Так, в отчетах Муслюмовского муниципального района Республики Татарстан отмечается: «...необходимо пополнить современным оборудованием, требуются интерактивные доски, проекторы, принтеры, новые ноутбуки для учителей, качественные парты, шкафы и столы в класс-кабинетах.
Во многих учреждениях лампы накаливания либо устаревшие лампы дневного освещения необходимо заменить новыми лампами дневного освещения. Недостаточна обеспеченность спортинвентарем, нужны лыжи, мячи, гимнастические маты. Необходимо обновить или построить хоккейные корты (Михайловская средняя общеобразовательная школа, Баюков-ская, Амикеевская, Мари-Булярская основные общеобразовательные школы)»13. Такие отчеты позволяют органу управления образованием как на уровне муниципалитета, так и на уровне региона принимать более взвешенные и необходимые управленческие решения, а исследователям и аналитикам в сфере образования — получать информацию о состоянии условий осуществления образования. Хотя стоит отметить, что формулировки в вышеупомянутых отчетах Муслюмовского муниципального района Республики Татарстан успешно повторяются как минимум два года подряд, что говорит о том, что учредитель не спешит реагировать на выявленные проблемы.
Как следует из анализа результатов НОК условий в разных субъектах Российской Федерации, самыми распространенными являются нарушения, связанные с информационной открытостью деятельности образовательных организаций. Например, отчет с рекомендациями по Санкт-Петербургу за 2018 г. (723 образовательные организации) полностью фокусируется лишь на этом показателе14. Это может быть связано с тем, что данный показатель легче всего проверить по принципу «присутствует или отсутствует информация».
Еще одной проблемной сферой является организация обучения детей с ограниченными возможностями здоровья и детей-инвалидов.
РЕЗУЛЬТАТЫ НОК УСЛОВИЙ ВО МНОГИХ СУБЪЕКТАХ ЗАЧАСТУЮ ЯВЛЯЮТСЯ НЕПОЛНЫМИ
9 URL: https://bus.gov.ru/pub/independentRating/detailsNew/33981 (дата обращения: 19.07.2019).
10 URL https://bus.gov.ru/pub/independentRating/detailsNew/22041 (дата обращения: 19.07.2019)
11 URL: https://bus.gov.ru/pub/independentRating/detailsNew/21084 (дата обращения: 19.07.2019).
12 URL: https://bus.gov.ru/pub/independentRating/detaiisNew/43381 (дата обращения: 19.07.2019).
13 URL: https://bus.gov.ru/pub/independentRating/detailsNew/3595 (дата обращения: 19.07.2019).
14 URL: https://bus.gov.ru/pub/independentRating/detailsNew/41822 (дата обращения: 19.07.2019).
В Московской области рекомендация по улучшению работы по предоставлению услуг для детей с ограниченными возможностями здоровья и инвалидностью была дана 331 образовательной организации (9 %), в Татарстане она содержится в 35 отчетах (54 %), а в Краснодарском крае — в 38 (56 %). В рекомендациях используются общие формулировки, которые не дают представления о реальных проблемах.
Похожая ситуация наблюдается с показателями, касающимися материального обеспечения и наличия специальных служб. Конкретные рекомендации по улучшению отдельных аспектов материально-технической базы встречаются крайне редко, чуть чаще — общие указания, следующие из критериев проведения НОК условий (например, «обновить зону отдыха» или «обновить фонд учебников»). В Московской области часто школам предлагают «укреплять материально-техническую базу путем привлечения большего числа обучающихся к платным образовательным услугам». В Республике Татарстан часто используется формулировка «изыскать возможность», чаще всего в отношении организации оказания психолого-педагогической, медицинской и социальной помощи в образовательных организациях. В целом организация психолого-педагогической, медицинской и социальной помощи является проблемой для образовательных организаций Московской области — такая рекомендация выдана 998 образовательным организациям (28 %).
Наиболее формальной является группа показателей, связанных с доброжелательностью работников образовательных организаций. В рекомендациях часто используются следующие формулировки: «улучшить взаимодействие с получателями услуг»; «повысить квалификационный уровень и компетентность сотрудников организации»; «повысить качество оказываемых услуг» или «повысить доброжелательность и вежливость работников организации в отношении получателей образовательных услуг».
Унифицированные федеральные показатели, единый федеральный информационный портал и учет результатов НОК условий при оценке эффективности деятельности высших должностных лиц субъекта не привел к созданию единообразной базы данных о качестве
условий осуществления образовательной деятельности с возможностью представления и обобщения результатов. С другой стороны, работа этой централизованной системы не демонстрирует перспектив полезного применения результатов НОК условий: выборки организаций фрагментарны, рекомендации отсутствуют или носят типовой характер, оценка качества условий производится «широкими мазками» и не отражает специфики регионов и образовательных организаций.
Утраченная лучшая практика
Текущее состояние системы НОК условий не означает, что в принципе независимая оценка в системе образования не может использоваться потребителями образовательных услуг, образовательными организациями и органами управления образованием. Позитивным опытом реализации НОКО обладает Ямало-Ненецкий автономный округ. В Ямало-Ненецком автономном округе работы по развитию региональной системы оценки качества образования ведутся с 2004 г. Логика функционирования НОКО на региональном уровне строится от запросов заказчиков и потребителей, постановки целей и задач оценки, определения субъектов и объектов оценки, выбора процедур, определения показателей и индикаторов до проведения оценки, интерпретации полученных результатов для принятия управленческих решений, направленных на повышение качества образования.
В округе было принято решение отойти от ведомственного принципа составления рейтинга, когда все образовательные организации оцениваются по единой системе критериев, а в результате формируется итоговый рейтинг образовательных организаций субъекта Российской Федерации. Вместо этого использовалась сравнительная оценка образовательных организаций в разрезе отдельных категорий — кластеров.
Такой подход позволяет учитывать специфику характеристик и факторов, влияющих на качество предоставления образовательных услуг: территориальное расположение, направленность образовательных программ, особенности контингента обучающихся.
В рамках построения системы НОКО в Яма-ло-Ненецком автономном округе была разработана критериальная база, показатели и индикаторы для рейтингования образовательных организаций, выделены 8 кластеров:
• Кластер 1. Инновационные образовательные учреждения, гимназии, лицеи, школы с углубленным изучением отдельных предметов.
• Кластер 2. Большие городские школы с количеством учащихся в выпускных классах более 30.
• Кластер 3. Небольшие городские школы с количеством учащихся в выпускных классах менее 30.
• Кластер 4. Основные школы.
• Кластер 5. Сельские школы.
• Кластер 6. Сельские школы-интернаты.
• Кластер 7. Начальные школы.
• Кластер 8. Вечерние школы15. Для каждого кластера был
сформирован свой набор критериев, показателей и индикаторов, например доля детей из числа коренных малочисленных народов Севера (кластер «Сельские школы-интернаты»), наличие двух и более профилей на старшей ступени обучения (кластеры «Сельские школы», «Сельские школы-интернаты», «Небольшие городские школы ^^^^ с количеством учащихся в вы-пускных классах менее 30»). Кроме этого, существовали и общие показатели для всех кластеров: использование в образовательном процессе интернет-ресурсов, наличие столовой, наличие пропускного режима и др.
Основной позицией анализа стало выделение показателей трех типов:
• «точки массового прорыва» — показатели, которые имеют очень высокий уровень по всем образовательным организациям (более
90 % образовательных организаций показывают значения выше среднего в кластере);
• «точки роста» — показатели, у которых есть возможность для роста (больше 70 % образовательных организаций имеют высокие значения по показателю);
САМЫМИ
РАСПРОСТРАНЕННЫМИ ЯВЛЯЮТСЯ НАРУШЕНИЯ, СВЯЗАННЫЕ С ИНФОРМАЦИОННОЙ ОТКРЫТОСТЬЮ
• «точки массового провала» — показатели, по которым большинство школ имеют низкий уровень (более 60 % образовательных организаций получили 0 баллов). Построение данного рейтинга было ориентировано на дальнейшее развитие образовательных организаций. В связи с этим образовательной организации необходимо было предоставить возможность понять, чем определена ее позиция в рейтинге, увидеть свои сильные и слабые стороны, спланировать шаг развития. Для удовлетворения данной потребности специалистами регионального центра оценки качества образования формировались следующие информационные продукты для каждой образовательной организации: рейтинг для директора; точки провала и точки роста образовательной организации; реестр затруднений учеников и учителей; рекомендации для каждой образовательной организации и сопоставление результатов со средними показателями в кластере похожих организаций; комплекс мер поддержки образовательных организаций, работающих со сложным контингентом и в сложных условиях.
В 2014-2016 гг. НОКО по описанной методике прошли 193 дошкольные образовательные организации, 130 общеобразовательных организаций, 39 организаций дополнительного
образования и 6 профессиональных образовательных организаций.
После 2016 г. Ямало-Ненецкий автономный округ уже не проводил НОКО по представленной модели. Это связано с тем, что появились унифицированные показатели НОК условий на федеральном уровне, федеральная методика не предполагала кластерного подхода к оценке деятельности образовательных организаций. Аккумулируемые данные в логике действующей модели НОК условий перестали являться для региона значимым основанием для принятия управленческих решений. В то же
15 См. абз. 4 п. 3.2.1 Положения о независимо/ системе оценки качества работы образовательных организаций Ямало-Ненецкого автономного округа (утверждено Приказом Департамента образования Ямало-Ненецкого автономного округа от 21 марта 2014 г. № 454).
время проведение фактически двух независимых оценок — в соответствии с федеральным законодательством и региональной методикой — требует больших финансовых ресурсов, что заставляет регион делать выбор в пользу федеральной системы. При этом в нормативно-правовой документации16 и в результатах независимой оценки качества оказания услуг17 продолжают использоваться сформированные ранее кластеры, хотя получаемые образовательными организациями рекомендации приблизились к общероссийским — с превалированием общих формулировок и большим количеством замечаний по ведению сайтов образовательных организаций.
Сформированная в 2013-2016 гг. в Ямало-Ненецком автономном округе модель НОКО представляется эффективным инструментом управления региональной системой образования, поскольку позволяет учитывать такие особенности региональных систем образования, как территориальная дифференциация, различия в контингенте, различия в типах образовательных организаций и особенности образовательных программ. Элементы данной модели представляют интерес в целях реформирования действующей системы и построения оптимальной модели НОК условий.
Результаты анализа интервью
Федеральные и региональные чиновники, работники системы независимой оценки, а также представители образовательных организаций продемонстрировали следующее понимание системы НОКО и НОК условий.
Необходимость НОКО не оспаривается («Вообще, идея правильная — мы должны учитывать общественное мнение, а независимость оценки позволила бы нам видеть, как реально обстоит дело на местах», — говорит региональный
чиновник). Однако к реализации работы системы возникает множество вопросов. «На федеральном уровне у нас возникла система, но не концепция»,— говорит эксперт системы независимой оценки.
Эксперты сходятся во мнении, что по формальным признакам система НОК условий работает как часы. Информация оперативно собирается и загружается на информационный портал «Официальный сайт для размещения информации о государственных (муниципальных) учреждениях» (https://bus.gov.ru). Один из региональных экспертов, однако, указал, что перебои в работе случаются со стороны портала («плохо работает программа, зависает и выдает ошибки»). Единогласно утверждается, что со стороны регионального уровня все обязательства по работе с порталом выполняются, а система построена таким образом, что нарушения исключены. Хотя постоянные изменения в законодательстве в данной сфере вынуждают регулярно вносить изменения в региональные акты и процедуры.
Отношение к выполнению этих обязательств отличается. Эксперты системы независимой оценки, вовлеченные в реализацию процедур, утверждают, что выполняют все, что от них требуется, а также пытаются реализовать собственные проекты в не охваченных системой слотах. Складывается представление, что работа в рамках федеральных обязательств на данных, собранных внешним оператором, воспринимается как необходимая формальность. Региональные чиновники при обсуждении НОК условий задаются вопросами «кому это нужно?», «зачем это нужно?». Один из региональных чиновников предположил, что система работает «для галочки». В целом отношение к системе как к бесполезной в ее нынешней реализации встречается у всех опрошенных по этой теме экспертов в большей или меньшей степени.
Чиновники из региона, где есть средства на развитие системы образования, говорят, что
ПОЗИТИВНЫМ ОПЫТОМ РЕАЛИЗАЦИИ НОКО ОБЛАДАЕТ ЯМАЛО-НЕНЕЦКИЙ АВТОНОМНЫЙ ОКРУГ
16 См. п. 3 Порядка НОКО организаций, оказывающих услуги в сфере образования Ямало-Ненецкого автономного округа (утвержден Приказом Департамента образования Ямало-Ненецкого азтономного округа от А мая 2016 г. № 638).
17 URL: https://bus.gov.ru/publiorating/api/nonnativedocüments/449296 (дата обращения: 25.12.2019).
предпочли бы выстраивать собственную систему независимой оценки с учетом региональной специфики, при этом часть таких процедур они реализуют, но федеральная система больше мешает, чем помогает. Исполнение обязанностей по ее функционированию отнимает время у работников системы образования, а также привносит дополнительные бюрократические процедуры. В регионе, где наблюдается бюджетный дефицит во всех сферах, включая образование, а уровень жизни достаточно низкий, чиновника в работе системы возмущает, что деньги, которые выделяются на проведение конкурса, «уходят» московской компании, имеющей большой опыт и широкий охват регионов (заказчиков) в данной сфере, способной за счет этого установить низкую цену («почти в 10 раз ниже, чем мы закладывали»), формально выполняющей все требования конкурсной документации и законодательства. Эти результаты идеально соответствуют тому, что нужно загружать на федеральный портал. Однако они являются бесполезными для региона (не учи-тывают специфики, являются основой для стандартных рекомендаций), а деньги, выделенные для их получения, из региона «уходят в Москву».
Один из региональных чиновников описал систему выбора оператора, который должен
определяться через закупочные процедуры, как бизнес, который может осуществлять каждый, кто будет иметь доступ к программному обеспечению. Более того, обсуждая вариации системы (голосование на открытом сайте), чиновник предположил, что отзывы на таких сайтах, по его опыту, будут оставлять сотрудники образовательных организаций и другие чиновники. Это указывает в целом на недоверие к такого рода системам и их реализации.
Критерии НОК условий не устраивают никого из опрошенных. Однако, несмотря на то что на федеральном уровне была предусмотрена возможность их дополнить, этим не пользуются, а исследование воспринимается как внешнее и чужеродное: «По нашим исследованиям мы устанавливаем критерии, имеется наша
прерогатива, здесь нам никто не нужен. Если говорить о критериях федерального уровня: кто проводит исследование, тот и выставляет все критериальные основы» (позиция эксперта системы независимой оценки). Возможным объяснением этому является то, что в целом неудобную и навязанную извне систему не видят смысла улучшать. Также в условиях сформированной единой системы на региональном уровне затрудняется возможность реализовы-вать собственные мероприятия в данной сфере, так как нужно обеспечить отсутствие двойной оценки одних и тех же параметров в рамках регионального и федерального механизмов (двойной нагрузки, дополнительных расходов).
В одном из интервью региональный чиновник указал на то, что общественные советы, которые должны осуществлять НОК условий, предоставляют «фантастически» хорошие отчеты, но разобраться в их деятельности, понять, кто отвечает за работу общественного совета, а также привлечь их к ответственности (честности) он не может.
В качестве препятствия к эффективному осуществлению процедур НОК условий указывается обязанность региональных органов управления образованием организовывать такую
оценку и осуществлять работу с результатами в отношении организаций, подведомственных другим региональным органам власти, и частных школ. В частности, по закону органы управления образованием обязаны вырабатывать меры по совершенствованию образовательной деятельности и оценки деятельности руководителей организаций. Закон не делает исключения для частных организаций, на что региональный чиновник резонно замечает: «Мы не можем им указывать, как работать». Региональный чиновник поделился опытом, как пытался привлечь к организации НОК условий региональное министерство здравоохранения (для подведомственных данному министерству организаций). Чиновник получил отказ со ссылкой на закон о том, что министерство
НЕИЗВЕСТНО,ЧТОБЫ КТО-ЛИБО ИСПОЛЬЗОВАЛ МАТЕРИАЛЫ ГОСУДАРСТВЕННОГО ПОРТАЛА В УПРАВЛЕНЧЕСКИХ ПРАКТИКАХ
здравоохранения в данном случае уполномоченным органом не является. В итоге независимую оценку для этих организаций организовывало региональное министерство образования, а дальнейшая работа по устранению недостатков не велась. Аналогичная ситуация происходит в регионе с образовательными организациями сферы культуры. То есть в случае, когда учредителем выступает не региональный орган управления образованием (и не муниципалитет), а иной орган государственной власти, процедура в целом теряет смысл.
В целом федеральные и региональные чиновники, работники системы независимой оценки сходятся во мнении, что региональная система НОК условий могла бы разрабатываться и реа-лизовываться на региональном уровне по собственным правилам, а аккумуляция данных на федеральном уровне не имеет утилитарного смысла. Федеральный чиновник отмечает, что в связи с тем, что на федеральном уровне установлен алгоритм работы системы, есть единые показатели, по которым происходит оценка, а также обязанность загружать результаты на информационный портал, необходимость находить организацию в рейтинге, выдавать рекомендации и т.д. — складывается впечатление, что органы управления образованием, образовательные организации и рядовые граждане получают возможность использовать результаты независимой оценки качества образования в своей деятельности, ориентироваться на них при принятии решений и пр. Однако на практике этого не происходит.
Существующая система независимой оценки качества образования, по мнению экспертов и региональных чиновников, направлена на рейтингование образовательных организаций, причем рейтинг не учитывает условия,
в которых работает образовательная организация, например масштабность населенного пункта, удаленность, специфику контингента. По мнению одного из региональных чиновников, рейтинги в масштабах всей страны или даже конкретного региона не дают никакой пользы для управления на региональном или местном уровне. Хотя рейтингование подразумевалось на старте разработки модели системы НОКО, эксперты системы независимой оценки качества отмечают, что практическая реализация рейтингов может существенно
отличаться. Рейтинги не всегда должны подразумевать абсолютное лидерство по совокупности критериев: по каждому из критериев в отдельности можно выделять лучших представителей. С другой стороны, сомнения вызывает потребность публично фиксировать аутсайдеров. Региональные чиновники и эксперты независимой оценки специально отмечают, что организации требуется помощь в улучшении своей работы, а не публичное маркирование как неуспешной и осуждение. Эксперт системы независимой оценки отмечает, что рейтинги гипотетически могут использоваться родителями обучающихся для выбора детских садов или школ, но только в крупных городах, где есть большое число образовательных организаций и возможность выбора между ними. Для большинства населенных пунктов страны эта ситуация нерелевантна: образовательных организаций в одном населенном пункте не так много (а может быть и единственная школа или детский сад), между ними не идет соревнование, родителям нет смысла обращаться к рейтингу, чтобы сформировать представление о качестве образования в «соседней школе».
Эксперты НОКО отмечают, что «независимость» в системе оценки качества образования была саботирована, когда ее результаты стали учитываться при оценке эффективности деятельности руководителей федерального, регионального и местного уровня, а в общественные советы стапи входить представители, аффилированные с образовательной системой. Региональный чиновник говорит об этом: «Скорее
всего, на уровне федерации при проектировании норм пытались придать системе демократичный характер. Но на практике все так отрегулировано и формализовано, что от независимости ничего не осталось, но обществу это
предъявляется как независимая оценка».
Эксперты и чиновники единогласно рекомендуют обращать внимание на рекомендации, которые публикуются сейчас для образовательных организаций в результате прохождения НОК условий на государственном портале. Они практически идентичны по содержанию, не отражают специфику образовательной организации, не указывают на реальные проблемы, существующие в организации. Федеральный чиновник приводит пример: организации, в которой по результатам независимой оценки
выявлен дефицит условий для обучения детей-инвалидов, рекомендуется изыскать средства и такие условия создать (вопрос о выполнимости и целесообразности не поднимается). В целом федеральным и региональным чиновникам и экспертам системы независимой оценки неизвестно, чтобы кто-либо использовал материалы государственного портала в управленческих практиках, часть экспертов сомневается, что эти данные могут использоваться хотя бы в научных целях.
Заключение
Регулирование системы НОК условий на текущий момент сконцентрировано на федеральном уровне: установлены показатели, по которым идет оценка, алгоритм работы системы, способ отбора оператора оценки, включение результатов оценки в перечень показателей эффективности высшего должностного лица субъекта и региональных органов управления образованием, публичный отчет высшего должностного лица субъекта с результатами оценки, федеральный портал для размещения информации о результатах оценки, способ формирования общественных советов и пр. В итоге возможности субъектов по выстраиванию собственных систем НОК условий существенно ограничены.
Это подтверждается анализом законодательства 50 субъектов Российской Федерации, в котором в большинстве случаев по отношению к системе НОК условий не присутствуют какие-либо
специальные нормы и способы регулирования, отражающие региональную специфику.
При этом стоит отметить, что до того, как был сформирован федеральный шаблон для НОК условий, в некоторых регионах успели возникнуть собственные институты независимой оценки качества образования, которые реально использовались при управлении региональной системой образования, однако в дальнейшем они были вытеснены федеральными нормами.
Эксперты, с которыми проводилось интервью, не видят смысла в текущей реализации процедур НОК условий. У них присутствует внутреннее убеждение, что в том виде, в котором система существует, она не решает важных общественных задач, но может преподноситься как формальное подтверждение наличия
демократических институтов. Вместе с тем некоторые из экспертов отметили, что «бесполезность» процедур имеет побочный эффект для работы системы образования: организация процедур требует времени и финансовых ресурсов.
Чтобы pea лизовывать собственные разработки, касающиеся НОК условий, необходимо встраиваться в федеральную систему находить ниши, не охваченные федеральным регулированием. Однако представляется, что, наоборот, федеральные критерии для НОК условий должны носить рамочный характер, а конкретные показатели, по которым проводится оценка, должны устанавливаться на региональном уровне. Такой подход позволит учитывать специфику работы региональной системы образования и существующих в регионе условий и вместе с этим обеспечит использование результатов оценки при принятии управленческих решений.
Литература
1. Федеральный закон от 21 июля 2014 г. №256-ФЗ «О внесении изменений в отдельные законодательные акты Российской Федерации по зопросам проведения независимой оценки качества оказания услуг организациями з сфере культуры, социального обслуживания, охраны здоровья и образования».
2. Федеральный закон от 5 декабря 2017 г. № 392-Ф3 «О внесении изменений з отдельные законодательные акты Российской Федерации по зопросам совершенствования прозедения незазисимой оценки качества условий оказания услуг организациями в сфере культуры, охраны здоровья, образования, социального обслуживания и федеральными учреждениями медико-социальной экспертизы».
3. Приказ Министерства науки и высшего образования Российской Федерации от 15 апреля 2019 г. № 31 н «Об утверждении показателей, характеризующих общие критерии оценки качества условий осуществления образовательной деятельности организациями, осуществляющими образозательную деятельность по дополнительным профессиональным программам».
4. Приказ Министерства науки и высшего образования Российской Федерации от 15 апреля 2019 г. № 30н «Об утверждении показателей, характеризующих общие критерии оценки качестза условий осуществления образовательной деятельности ор-анизациями, осуществляющими образозательную деятельность по образовательным программам зысшего образования».
5. Приказ Министерства просвещения Российской Федерации от 13 марта 2019 г. № 114 «Об утверждении показателей, характеризующих общие критерии оценки качества услозий осуществления образовательной деятельности организациями, осуществляющими образовательную деятельность по основным общеобразовательным программам.
образозательным программам среднего профессионального образования, оснозным программам профессионального обучения, дополнительным общеобразовательным программам».
6. Положение о независимой системе оценки качества работы образовательных ор-анизаций Ямало-Ненецкого автономного округа (утверждено Приказом Департамента образования Ямало-Ненецкого автономного округа от 21 марта 2014 г. № 454 *0 независимой системе оценки качества работы образовательных организаций Ямало-Не-нецкого автономного округа»).
7. Порядок проведения независимой оценки качества образования ор-"анизаций, оказывающих услуги в сфере образования Ямало-Ненецкого азтономно"о округа» {утвержден Приказом Департамента образования Ямало-Ненецкого автономного округа № 638 от4 мая 2016 г. «Об организации и проведении независимой оценки качества образования организаций, оказызающих услуги з сфере образования Ямало-Ненецкого автономного округа на период 2016-2020 годов»).
8. Протокол заседания Общественно-о совета при Департаменте образования ЯНАО по проведению независимой оценки качества условий осуществления образовательной деятельности организациями № 4 от 13 декабря 2019 г. // Официальный сайт для размещения информации о -осударственных (муниципальных) учреждениях [Электронный ресурс]. URL: https://bus.gov.ru/public-ratirg/api/ rormativecocuments/449296 (дата обращения: 25.12.2019).
9. Результаты PISA 2018 // Официальный сайт Организации экономического сотрудничества и развития [Электронный ресурс]. URL: https:// www.oecd.org/p sa/puDlications/pisa-2018-resu ts.him (дата обращения: 15.12.2019).
10. Сведения о результатах независимой оценки качества оказания услуг организациями сферы образования Иркутской области
за 2018 г. // Официальный сайт для размещения информации о государственных (муниципальных) учреждениях [Электронный ресурс]. URL: https://bus.gov.ru/pub/indepencentRatirg/cetailsNew/50124 (дата обращения: 19.07.2019).
11. Сведения о результатах независимой оценки качества оказания услуг организациями сферы образования Московской области
за 2017 г. // Официальный сайт для размещения информации о государственных (муниципальных) учреждениях [Электронный ресурс]. URL: https://bus.gov.ru/pub/irdepercertRatirg/cetailsNew/33981 (дата обращения: 19.07.2019).
12. Сзедения о результатах независимой оценки качества оказания услуг организациями сферы образования Челябинской области
за 2017 г. // Официальный сайт для размещения информации о государственных (муниципальных) учреждениях [Электронный ресурс]. URL: https://bus.gov.ru/pub/irdepercertRatirg/detailsNew/22041 (дата обращения: 19.07.2019).
13. Сзедения о результатах независимой оценки качества оказания услуг организациями сферы образования г. Санкт-Петербурга за 2017 г. // Официальный сайт для размещения информации о государственных (муниципальных) учреждениях [Электронный ресурс]. URL: https://bus.gov.ru/pub/irdepercertRatirg/detailsNew/21084 (дата обращения: 19.07.2019).
14. Сведения о результатах независимой оценки качества оказания услу организациями сферы образования Челябинской области
за 2018 г.// Официальный сайт для размещения информации о государственных {муниципальных) учреждениях [Электронный ресурс]. URL: https://bJS.gov.ru/puo/independertRatirg/cetailsNew/43381 (дата обращения: 19.07.2019).
15. Сведения о результатах независимой оценки качества оказания услуг организациями сферы образования Муслюмозско'о муниципального района Республики Татарстан за 2017 г. // Официальный сайт для размещения информации о государственных (муниципальных) учреждениях [Электронный ресурс]. URL: https://bus.gov.ru/pjo/ irceper.dertRatirg/detai sNew/3595 (дата обращения: 19.07.2019).
16. Сведения о результатах независимой оценки качества оказания услуг организациями сферы образования г. Санкт-Петербурга за 2018 г. // Официальный сайт для размещения информации о государственных {муниципальных) учреждениях [Электронный ресурс]. URL: https://bJS.gov.ru/puo/irdependertRatirg/cetailsNew/41822 (дата обращения: 19.07.2019).
17. Янкезич С. В., Княгинина Н. В., Воробьёв В. В. Государственная аккредитация университетов: конфликт заявленных и фактических целей// Образовательная политика. 2019. № 1 -2 (77-78). С. 76-86.
Independent assessment of the quality of educational activity conditions
Szymon V. JANKIEWICZ.
PhD in law, Director of the Center for Education Law of the Institute of Education the Higher School of Economics (16/10, Potapovskij pet, Moscow, 101000, Russian Federation). E-mail: syankevich^hse.ru.
Nadezhcla V. KNYAGININA.
Researcher of Centre for Educational Law in the Institute of Education of the Higher School of Economics (16/10, Potapovskij pet, Moscow, 101000, Russian Federation). E-mail: nknyaginina^hse.ru.
Evgeniy V. PUCHKOV.
Analyst of Centre for Educational Law in the Institute of Education of the Higher School of Economics (16/10, Potapovskij per., Moscow, 101000, Russian Federation). E-mail: epuchkov@hse.ru.
Abstract
The study is devoted to the system of independent assessment of the quality of educational activity conditions (NOKO). The authors discuss their findings in interviews with 10 respondents-experts who have experience working with the system of independent assessment of the quality of education at different levels.
The authors conclude that to date, the system of independent assessment of the quality of educational activities is not used as
a real management or monitoring tool in the regions.the results of this assessment are formal reports that are repeated from year to year, and usually do not take into account the peculiarities of local and regional educational systems.
The experts interviewed do not see any sense in the current implementation of procedures for independent assessment of the quality of educational activities. They have an internal belief that the system does not solve important social problems, but can formally confirm the existence of democratic institutions. However, some of the experts noted that the "futility" of procedures has a side effect on the work of the education system: the organization of procedures requires time and financial resources.
Regulation of the NOKO system is currently concentrated at the Federal level. It seems that the Federal criteria for independent evaluation of the quality of educational activities should be of a framework nature, and the specific indicators that are evaluated should be set at the regional level. This approach will take into account the specifics of the regional education system and the existing conditions in the region, and at the same time will ensure the use of evaluation results in making management decisions.
Key words: education, independent assessment of the quality of education, quality, conditions, educational activities.
References
Jankiewicz, S. V., Knyag'nira, N. V, & Vorob'ev, V. V. (2019). State accreditaion of universities: corf cts of declared and actual goais. Education policy, 1 -2 (77-78), pp. 76-86. (In Russian). The Department of educat'on of the Yamal-Nenets Autonomous district. (2014). No. 454 on the independent system for evaluating the quality of educational organizations in the Yamal-Nenets Autonomous district. Retrieved from https://Dase.garant.ru/27944245/. (In Russian). The Department of educat'on of the Yamal-Nenets Autonomous district. (2016). No. 638 On the organization and conduct of an independent assessment of the quality of education of organizations providing services in the field of education of the Yamal-Nenets Autonomous district for the period2016-2020. Retrieved fron http://www.yama edu.org/act vity/ 'egional_systemJor_assessirg_the_quaiity_of_ecucation/nezavisi-maya-ocerka-kachestva-obrazovatelryh-uslug/13838-p'kaz-co-yan-ao-ot-20160504-638.html. (In Russian). The Department of educat'on of the Yamal-Nenets Autonomous district. (2019). Minutes of the meeting of the Public Council under the Department of education of the Yamal Autonomous district on conducting an independent assessment of the quality of educational activities by organizations #4. Retrieved from https://bus.gov.ru/pubic-rating/api/no'mativedocu-ments/449296. (In Russian). The Executive committee of Musiyumovsky municipal district of the Republic of Tata'stan. (2017). Information about the results of an independent assessment of the quality of services provided by educational organizations in the
Musiyumovsky municipal district of the Republic of Tatarstan. Retr'evec from https://bus.gov.rU/pub/:ndepercentRating/detailsNew/3595. (In Russian).
The Conn ttee for ecucation of St. Petersburg. (2017). Information about the results of an independent assessment of the quality of services provided by organizations in the education sector of St. Petersburg. Retrieved from https://bus.gov.ru/pub/incepencentRating/detailsNew/21084. (In Russian).
The Comm ttee for ecucation of St. Petersburg. (2018). information about the results of an independent assessment of the quality of services provided by organizations in the education sector of St. Petersburg. Retrieved from https://bus.gov.ru/pub/incepencentRating/detailsNew/41822. (In Russian).
The Ministry of education and science of the Chelyabinsk region. (2017). Information about the results of an independent assessment of the quality of services provided by educational organizations in the Chelyabinsk region. Retrieved from https://bJS.gov.rj/puo/indepencentRating/detail-sNew/22041. (In Russian).
The Ministry of education of the Irkutsk regon. (2018). Information about the results of an independent assessment of the quality of services provided by educational organizations in the Irkutsk region. Ret'eved from https://bus. gov.ru/pub/independertRating/detailsNew/50124. (In Russian).
The Ministry of education of the Moscow region. (2017). Information about the results of an independent assessment of the quality of services provided by educational organizations in the Moscow region. Retreved from https://bus. gov.ru/pub/independertRating/detailsNew/33981. (In Russian).
The Ministry of Education of the Russian Federation. (2019). Mo. 114 On approval of indicators. Retrievec from http://docs.cntd.ru/cocu-ment/553940615. (In Russian).
The Ministry of Science and Higher Education of the Russ an Fede'a-
tion. (2019). No. 31N On approval of indicators. Retrievec from http://docs. cntd.ru/document/554403374. (In Russian).
The Ministry of Sc ence and Higher Educat on of the Russ'an Fede'at on. (2019). No. 30N Or approval of indicators. Retrieved from http://docs.cntd. ru/cocument/554403375. (In Russian).
The Organisation for Economic Co-operation and Development. (2018). PISA results2018. Retrieved from https://www.oecc.org/pisa/puDl catiors/ p!sa-2018-results.htm
The State Duma of the Russian Federat on. (2014). No. 256-FZ About modification of separate legislative acts of the Russian Federation concerning carrying out an independent assessment of quality of rendering of services by the organizations in the sphere of culture, social service, health protection and
education, Retrievec f-om https://oase.garant.ru/70701066/. (In Rjssian).
The State Djma of the Russian Federat'on. (2017). No. 392-FZ On amendments to certain legislative acts of the Russian Federation on improvement of an independent assessment of the quality of conditions for rendering services by organizations in the field of culture, health, education, social services and Federal institutions of medico-social examination. Retrievec f'om https:// www.garant.ru/products/ipo/prime/coc/71725214/. (In Russian).
The Voyrovskiy the acministration of the rural settlement. (2018). Information about the results of an independent assessment of the quality of services provided by educational organizations in the Chelyabinsk region. Retrieved from https://bus.gov.ru/pub/ ndepercentRatirg/detailsNew/43381. (In Russiar).
