CC BY
10
УДК 311
К ВОПРОСУ О ФОРМИРОВАНИИ УНИВЕРСАЛЬНОЙ
МЕТОДИКИ ОЦЕНКИ ЭФФЕКТИВНОСТИ ДЕЯТЕЛЬНОСТИ СИСТЕМЫ ОБЩЕГО ОБРАЗОВАНИЯ
Д.С. Лишко
Новосибирский государственный университет экономики и управления «НИНХ» E-mail: ldsnimro@mail.ru
В статье автором описывается разработанная методика оценки результата и эффективности деятельности системы общего образования. Формируются группы показателей, определяющие результат деятельности системы общего образования, ее эффективность. Рассматриваются проблемы и трудности, возникающие при работе с исходной информацией, т.е. особое место отводится этапу статистического наблюдения. Апробация методики приводится на примере регионов Сибирского федерального округа в разрезе административно-территориальных единиц. Определяется адекватность и робастность методики. Таким образом, выстраивается целостная система показателей, на основании которой рассчитываются интегральные оценки - индексы результата и эффективности. На основании значений исчисленных индексов проводится типология административно-территориальных единиц внутри каждого региона. Затем проводится сравнение текущей ситуации (с использованием данных региональных средств массовой информации или региональных оценок состояния системы образования) с результатами авторской методики. Это позволяет выявить адекватность предлагаемой методики. Обозначаются основные области применения результатов расчетов по приведенному алгоритму и дальнейшие направления развития.
Ключевые слова: общее образование, результат деятельности системы образования, статистическое наблюдение, универсальная методика, частный и сводный индексы, эффективность.
ON THE ISSUE OF FORMATION THE UNIVERSAL METHOD OF PERFORMANCE APPRAISAL OF GENERAL EDUCATION SYSTEM
D.S. Lishko
Novosibirsk State University of Economics and Management E-mail: ldsnimro@mail.ru
In this article the author describes the method of performance appraisal of general education system. Groups of indicators which determine the result and efficiency of the general education system are formed. The problems and difficulties are considers they arise when working with initial information, so this special place is given to the statistical observation. Testing of this method is on example of the Siberian Federal District in the context of administrative-territorial units. An adequacy and robustness of method are determined. In that way create an integrated system of indicators, which use to calculate the integral evaluations - result and efficiency indices. The typology of administrative-territorial districts within each region is based on the values of the indices. After that makes a comparison of the current situation (using the data of regional mass media or regional assessments of the state of the education system) with the results of the author's meth-
© Лишко Д.С., 2016
odology. This allows identifying the adequacy of the proposed methodology. Showing the main areas of application of the results of calculations by the given algorithm, and further development directions.
Keywords: general education, the result of the activities of the education system, statistical observation, the universal method, individual and summary indices, efficiency.
ВВЕДЕНИЕ
На федеральном уровне все большее значение придается внешним оценочным процедурам в сфере образования [12]. Формируются общероссийские системы оценки качества образования, проводятся независимые международные сравнительные исследования, значимой становится работа региональных институтов оценки качества и развития образования.
Анализируя тематическую литературу по части общего образования, находим различные подходы к определению результата и эффективности деятельности системы общего образования. Классификация распространенных методик приведена в работе [13].
Каждая из них имеет свои достоинства и недостатки. По большей части они адаптированы под конкретные и специфические условия работы системы, из-за чего затруднительно распространение алгоритмов указанных методик на другие регионы, края, области. Поэтому становится актуальной разработка унифицированной методики оценки эффективности деятельности системы общего образования.
Работа проводилась на примере регионов Сибирского федерального округа в разрезе муниципальных образований (районов) по данным за 2012/13 учебный год.
Закладываются два условия: методика является универсальной и все необходимые данные могут быть получены из открытых официальных источников. Основные источники информации: база данных показателей муниципальных образований Федеральной службы государственной статистики; ведомственная статистика: краевые институты и центры оценки качества образования; информационный портал о школьных олимпиадах и их результатах.
1. СТАТИСТИЧЕСКОЕ НАБЛЮДЕНИЕ КАК ВАЖНЫЙ ЭТАП ИССЛЕДОВАНИЯ
Сначала необходимо определиться с базовыми терминами, чтобы выявить, какие показатели должны входить в методику оценки эффективности деятельности системы общего образования. В методике выделяется два блока показателей - блок «результаты» и блок «затраты».
Результат деятельности системы образования - понятие комплексное. Законы и иные нормативно-правовые акты в сфере образования приближают исследователя к пониманию термина. Под «результатом деятельности системы общего образования» в настоящем исследовании следует понимать успешное освоение обучающимися реализуемых образовательных программ, а именно получение знаний, умений, навыков и компетенций, комплексное развитие, приобретение опыта применения знаний в повседневной жизни, формирование мотивации получения непрерывного образования.
Отбирались показатели, которые непосредственно связаны с системой образования, результатами ее работы. Например, общее количество обучающихся; доля детей, получающих дополнительное образование; результаты внешних независимых оценок результатов обучения - результаты единого и основного государственных экзаменов (ЕГЭ и ОГЭ) по обязательным предметам и предметам по выбору, количество призовых мест регионального этапа Всероссийской олимпиады школьников.
Учитываются также показатели дошкольного образования как первый уровень системы. Сюда относится доля детей, получающих дошкольные образовательные услуги, и доля детей, стоящих на учете для определения в дошкольные образовательные организации.
В Новосибирской области набор показателей, используемых в оценке, являлся наиболее полным и широким, так как в рамках проводимого исследования использовалась возможность запрашивать интересующую своевременную информацию в отделениях государственной и ведомственной статистики.
Поиск информации по другим регионам Сибирского федерального округа был затруднен. Не на всех официальных сайтах краевых центров оценки качества образования публикуется информация как актуальная, так и за прошедшие годы о результатах государственной итоговой аттестации выпускников 9-х и 11-х классов. В некоторых источниках приводятся только сводные данные по региону, без деления на административно-территориальные единицы.
База данных Федеральной службы государственной статистики позволяет получить только информацию общего характера о системе образования в регионе. А именно: количество обучающихся, информация по дошкольному образованию, численность занимающихся в спортивных школах, величина расходов местного бюджета на образование, количество населения, в том числе доля сельского населения. Основное затруднение при проводимом сборе данных - обеспечение сопоставимости по времени, т.е. отсутствие актуальной информации по некоторым показателям. Для решения возникшей проблемы приходилось останавливаться на более ранних данных.
Информация о призерах и победителях регионального этапа всероссийской олимпиады школьников взята из официального портала, объединяющего данные по всем проводимым в Российской Федерации олимпиадам школьников. Однако не все регионы Сибирского федерального округа (например, Республики Алтай и Тыва) нашли отражение на указанном портале. В итоге из двенадцати регионов Сибирского федерального округа было отобрано в исследование девять регионов. Республика Бурятия, Забайкальский край и Иркутская область не вошли в исследование ввиду отсутствия данных о результатах государственной итоговой аттестации выпускников 9-х и 11-х классов.
По Республикам Алтай, Тыва и Хакасия собрано наименьшее количество показателей результатов деятельности системы общего образования. Было принято решение включить их в расчеты, чтобы проверить, будет ли оценка, построенная на небольшом количестве показателей, адекватно отражать работу системы образования.
Согласно общеизвестной формуле расчета эффективности в знаменателе могут быть либо показатели затрат, либо показатели имеющихся ресурсов. Большее внимание в тематической литературе уделяется первому варианту - затратам, так как получение такой информации наименее затруднительно. Однако обрабатывать и интерпретировать стоимостной показатель следует с осторожностью, обращая внимание на сопоставимость цен.
В данном исследовании, как и в большинстве случаев, также будем использовать стоимостные показатели - величину фактически исполненных расходов местного бюджета на общее образование.
2. ОПИСАНИЕ МЕТОДИКИ ОЦЕНКИ ЭФФЕКТИВНОСТИ ДЕЯТЕЛЬНОСТИ СИСТЕМЫ ОБЩЕГО ОБРАЗОВАНИЯ
Эффективность деятельности системы общего образования предлагается рассматривать в традиционном ключе как соотношение результатов и затрат.
Для расчета сводного индекса результата используется ряд показателей, которые имеют разные единицы измерения [3-11]. Поэтому для дальнейшей корректной работы с ними они приводятся к сопоставимому виду при помощи стандартной методики сопоставления с максимальным значением показателя. Если показатель оказывает положительное влияние на сводный индекс результата, то приводить его к сопоставимому виду можно по формуле
где х - конкретное значение показателя по г-му району, хтах - максимальное значения показателя.
Если же показатель оказывает отрицательное влияние - значение дроби отнимается от единицы:
х.
СОПОСТ _ л
Хг = 1 — '
Хтах
Достоинство предлагаемого способа приведения к сопоставимому виду - не только приведение к одинаковой по размеру шкале (все значения от нуля до единицы), но и учет направления влияния показателя. Это значительно упрощает интерпретацию результатов расчетов.
Затем используемые показатели группируются при помощи факторного анализа. Процедура проводится для каждого региона в отдельности в связи с индивидуальной спецификой исходных данных. Это позволит выделить группы факторов, которые имеют схожее влияние на сводный индекс результата. Имея такую группировку, становится возможным присвоение каждой из этих групп весовых коэффициентов, чтобы определить их вклад в формирование сводного индекса [14-16].
По показателям, приведенным к сопоставимому виду и сгруппированным при помощи факторного анализа, рассчитываются частные индексы блока «результат», с применением средней геометрической простой, за исследуемый год по каждому району. Использование в расчетах средних геометрических по приведенным к сопоставимому виду данным позволяет
х
хсопост
Х
тах
получать небольшие, в пределах от нуля до единицы, значения частных и сводного индекса результата.
Используемые показатели имеют различный период сбора: одни учитываются по истечении учебного года, другие - календарного. Соответственно при расчетах нужно принимать во внимание временной лаг. Всегда выбирается «крайний» год: 2012/13 учебному году соответствует 2013 календарный год и т.д. Смещение каждый раз будет составлять полгода.
Для расчета сводного индекса результата (/ г) применяется взвешенная формула, так как учитывается вклад каждого из направлений оценки при формировании индекса. Веса определяются в зависимости от значений факторных нагрузок: выбираются максимальные нагрузки по факторам, вес задается исследователем пропорционально нагрузкам.
Следующий блок - «затраты». Основной показатель - величина расходов местного бюджета на образование в расчете на одного обучающегося.
Для обеспечения сопоставимости сравнений необходимо учитывать территориальные особенности муниципальных районов, которые отражает уровень урбанизации - доля населения, проживающего в сельской местности. Группировка районов осуществляется при помощи естественного разбиения в соответствии со значением доли сельского населения. Выделяется по три кластера: с долей сельского населения 0 %, 1-99 %, 100 %.
После того как стоимостные показатели приведены к сопоставимому виду, учтены особенности территорий, определяются так называемые приведенные расходы. Расчеты производятся для каждого муниципального района внутри выделенной группы по формуле:
P = P - Р + P
прив ik i rk min k'
где Рприв ik - величина приведенных расходов для i-го района в k-й группе; Pi - величина расходов на одного обучающегося в i-м районе; pk - среднее значение расходов по k-й группе районов; Pmin k - минимальное значение расходов по k-й группе районов.
Поскольку работа с абсолютными показателями осложняется трудностями интерпретации полученных результатов, переходим к относительным. Для этого вычисляем величину отклонения фактических расходов в расчете на одного обучающегося от приведенных расходов, по каждой группе районов.
р?=-р-. iP
прив ik
где Р/ - отклонение фактических расходов от приведенных, в расчете на одного обучающегося по i-му району [2].
Индекс эффективности деятельности системы общего образования рассчитывается как отношение сводного индекса результата к величине отклонения фактических расходов от приведенных расходов на одного обучающегося по формуле:
j _ 'рез i
'эф i~ р, '
где 1эф i - индекс эффективности по i-му району.
Чем выше значение индекса эффективности, тем более высокое положение в рейтинге занимает административно-территориальная единица.
Во избежание случайного результата, целесообразно проводить расчеты по заданной методике за несколько (3-5) лет. Обобщая и сопоставляя результаты за все годы, включенные в исследование, можно определить районы, стабильно находящиеся в пределах одних и тех же групп по значению сводного индекса результативности, индекса эффективности: уровни высокий, выше среднего, средний, ниже среднего, низкий. В данном случае стоит использовать механический способ разделения совокупности на кластеры, так как он позволит определить наполняемость групп, ее структуру. Кроме того будут выявлены районы, меняющие свое положение как в положительную, так и в отрицательную стороны.
На начальном этапе введения в практику методики оценки эффективности деятельности системы общего образования необходимо сформировать доверие образовательных организаций, руководителей органов управления образованием к итогам оценки. Не следует полученные результаты использовать с целью введения жестких мер: «наказания» отстающих, финансового поощрения лидеров. Такая оценка станет бесполезной из-за фальсификации реальных данных, если будет восприниматься как угроза. Лишь после того, как будет понятна важность и роль методики в системе общего образования, можно вводить внешние стимулы для развития.
3. РЕЗУЛЬТАТЫ АПРОБАЦИИ МЕТОДИКИ
Приведем результаты апробации методики по регионам Сибирского федерального округа. Собранные показатели по каждому региону подверглись группировке при помощи факторного анализа. Выделение факторов производилось методом главных компонент. Вращение факторов осуществлялось методом Варимакс. Количество факторов задавалось исследователем после интерпретации графика нормализованного простого стресса.
В табл. 1 приведены количество используемых показателей для оценки, а также количество и интерпретация общих факторов (в скобках указаны значения факторных нагрузок).
Расчет частных индексов результата по выделенным факторам позволяет разделять показатели на однородные группы, отдельно оценивать их влияние на формирование сводного индекса результата. Информация такого порядка полезна управленческому персоналу - на какие показатели в первую очередь стоит оказывать воздействие, чтобы улучшить сложившуюся ситуацию.
В табл. 2 приведены значения индекса эффективности по десяти процентам административно-территориальных единиц каждого субъекта Сибирского федерального округа, занимающих лидирующие позиции.
Опираясь на информацию о региональных оценках результатов и эффективности работы муниципальных систем образования, можно делать выводы об адекватности и робастности предлагаемой методики.
По регионам: Республика Алтай, Республика Хакасия, Алтайский край, Красноярский край были найдены отчеты министров образования и глав районов. Из приведенного в них анализа делаем следующие выводы. По
Таблица 1
Группы показателей оценки результата деятельности системы общего образования по регионам Сибирского федерального округа
Наименование региона Количество показателей Количество факторов Интерпретация полученных факторов
Республика Алтай 8 2 Успеваемость обучающихся (0,949) Дополнительное обучение (0,791)
Республика Тыва 7 2 Освоение минимальных требований образовательных стандартов (0,878) Дополнительное обучение (0,753)
Республика Хакасия 7 2 Качество образования (0,837) Освоение минимальных требований образовательных стандартов (0,954)
Алтайский край 10 3 Качество образования (0,901) Дополнительное обучение (0,775) Освоение минимальных требований образовательных стандартов (0,755)
Красноярский край 14 3 Качество образования (0,874) Успеваемость обучающихся (0,841) Освоение минимальных требований образовательных стандартов (0,809)
Кемеровская область 11 2 Качество образования (0,832) Успеваемость обучающихся (0,890)
Новосибирская область 15 4 Качество образования (0,954) Дополнительное образование (0,942) Обеспечение возможности получать непрерывное образование (0,832) Здоровье воспитанников и обучающихся (0,826)
Омская область 12 3 Успеваемость обучающихся (0,758) Освоение минимальных требований образовательных стандартов (0,862) Дополнительное образование (0,681)
Томская область 13 3 Успеваемость обучающихся (0,967) Качество образования (0,832) Освоение минимальных требований образовательных стандартов (0,774)
Таблица 2
Районы-лидеры по значению индекса эффективности
Наименование региона Наименование района 1 эф г
1 2 3
Республика Алтай Чойский район 0,575
Республика Тыва г. Ак-Довурак 0,348
Район Кызылский кожуун 0,234
Республика Хакасия г. Абаза 0,163
Алтайский край г. Яровое 0,245
г. Рубцовск 0,175
г. Белокуриха 0,148
г. Барнаул 0,144
г. Алейск 0,123
Кулундинский район 0,073
г. Заринск 0,066
Окончание табл. 2
1 2 3
Красноярский край г. Канск 0,058
г. Норильск 0,057
г. Красноярск 0,038
г. Назарово 0,036
Шушенский район 0,022
Рыбинский район 0,021
Кемеровская область г. Кемерово 0,433
г. Прокопьевск 0,338
г. Юрга 0,314
Новосибирская область г. Искитим 0,460
Советский район 0,413
Каргатский район 0,397
г. Бердск 0,394
Омская область Нововаршавский район 0,224
Шербакульский район 0,135
Марьяновский район 0,131
Томская область Молчановский район 0,179
Александровский район 0,143
Республике Алтай, Республике Хакасия, Алтайскому краю результаты настоящего исследования в целом подтверждаются местными информационными источниками. По Красноярскому краю результат оказался отрицательным, т.е. региональная оценка не выделяет в качестве лидеров перечисленные автором районы. По Омской и Томской областям лидирующие позиции занимали сельские территории с небольшим количеством населения. Тогда как, например, результаты государственной итоговой аттестации свидетельствуют об обратном - на их месте должны быть городские территории. Обратная ситуация в Кемеровской области и Республике Тыва - наиболее урбанизированные территории находятся в верхней части рейтинга.
ЗАКЛЮЧЕНИЕ
Результаты исследования показывают, что разработанная методика дает положительный результат в случае максимально полной информационной базы о состоянии и развитии системы образования. Специалисты органов управления образованием либо обладают достаточным для корректного исследования перечнем показателей, либо не испытывают затруднений в запросах необходимых параметров у других организаций и ведомств.
Основными трудностями на этапе наблюдения и сбора данных явились:
- отсутствие актуальной информации на официальных информационных порталах. Затруднения в обеспечении сопоставимости по времени;
- отсутствие необходимой информации в широком доступе. Например, приводятся только обобщенные данные, без конкретизации по административно-территориальным единицам;
- обеспечение сопоставимости по территории. При рассмотрении данных в динамике, обнаружились изменения по составу административно-территориальных единиц регионов;
- отсутствие региональных отчетов, докладов, информационных и аналитических справок в разрезе административно-территориальных единиц, отражающих региональные оценки результата и эффективности работы муниципальной системы образования. Это делало невозможным оценить адекватность и робастность предлагаемой авторской методики.
Необходимо продолжать формирование информационной базы, так как одна из основных причин низкой робастности методики - недостаточное количество и содержание системы показателей.
Также следует совершенствовать методику расчетов, максимально ее упрощать как в части проводимых операций, так и для понимания. При этом она не должна утратить своих функций.
Литература
1. Агранович М.Л. Отчет по договору от 01.07.2011 г. на выполнение работ по разработке рекомендаций по совершенствованию методов оценки эффективности деятельности муниципальных органов исполнительной власти в сфере образования Новосибирской области. М.: МАМСО, 2011. 50 с.
2. Агранович М.Л. Оценка эффективности деятельности региональных органов исполнительной власти в сфере образования // Журнал руководителя управления образованием. 2010. № 6. С. 39-50.
3. Глинский В.В. К вопросу об оценке перспектив развития демографической ситуации в России // Национальные интересы: приоритеты и безопасность. 2008. № 12. С. 17-21.
4. Глинский В.В., Макаридина Е.В. О модели жизненного цикла высшего профессионального образования России // Национальные интересы: приоритеты и безопасность. 2011. № 3. С. 12-18.
5. Глинский В.В., Овечкина Н.И. Тенденции демографической политики: сдержанный оптимизм третьего цикла // Национальные интересы: приоритеты и безопасность. 2010. № 16. С. 14-18.
6. Глинский В.В. Портфельный анализ в статистическом исследовании клиентов предприятия // Финансы и бизнес. 2009. № 1. С. 91-95.
7. Глинский В.В., Серга Л.К., Пуляевская В.Л. Статистический инструментарий в решении задач управления развитием территорий // Вопросы статистики. 2014. № 10. С. 14-20.
8. Глинский В.В., Серга Л.К., Хван М.С., Филатов С.А. Разработка методики статистической оценки уровня устойчивого развития социально-экономических систем // Идеи и идеалы. 2013. Т. 1. № 3. С. 48-56.
9. Глинский В.В., Серга Л.К., Щербак И.В. Оценка мультипликативного эффекта туристической индустрии на региональном уровне // Вопросы статистики. 2012. № 1. С. 48-52.
10. Глинский В.В. Статистические методы поддержки управленческих решений: монография. Новосибирск: Изд-во НГУЭУ. 2008. 254 с.
11. Ионин В.Г, Ярославцева Л.П. Структуризация населения по социально-экономическим типам в динамике // Вестник НГУЭУ. 2013. № 2. С. 128-147
12. Козлова М.Н. Методика оценки результативности и эффективности расходов на образование // Известия Иркутской государственной экономической академии. 2007. № 5. С. 85-86.
13. Кольга В.В., Меркулов А.Б. Методика оценки эффективности деятельности ин-тегративной педагогической системы аэрокосмического образования // Вестник
Сибирского государственного аэрокосмического университета им. академика М.Ф. Решетнева. 2005. № 4. С. 72-77
14. Лишко Д.С. Некоторые аспекты оценки результативности деятельности системы общего образования // Общество, наука и инновации: сборник статей Международной научно-практической конференции, 14 февраля 2015 года, г. Уфа.: в 2 частях. Часть I. Уфа: Аэтерна, 2015. С. 107-111.
15. Лишко Д.С. Разработка методики оценки эффективности деятельности системы общего образования // Вестник НГУЭУ 2015. № 1. С. 329-340.
16. Лишко Д.С. Разработка методики оценки эффективности деятельности системы общего образования // Наука, образование, общество: тенденции и перспективы / Сборник научных трудов по материалам Международной научно-практической конференции: в 5 частях. ООО «АР-Консалт». М., 2014. С. 34-38.
17 Марков С.Н. Эффективность бюджетных расходов на общее образование // Научно-исследовательский финансовый институт // Финансовый журнал. 2012. № 4. С. 75-80.
18. Приказ министерства образования, науки и инновационной политики Новосибирской области от 01.072014 г. № 1572 «О проведении мониторинга систем общего образования муниципальных районов, городских округов Новосибирской области».
19. Серга Л.К., Овечкина Н.И., Шмарихина Е.С., Чемезова Е.Ю., Скрипкина Т.Б., Зайков К.А. Сфера услуг как катализатор развития территорий // Вестник НГУЭУ. 2015. № 1. С. 137-147
20. Чемезова Е.Ю. Статистические методы в решении прикладных задач развития территории // Вестник НГУЭУ. 2013. № 4. С. 153-165.
21. База данных показателей муниципальных образований. [Электронный ресурс] URL: http://www.gks.ru/free_doc/new_site/bd_munst/munst.htm.
22. Олимпиады для школьников. [Электронный ресурс] URL: http://3.olimpiada.ru/ article/335.
Bibliography
1. Agranovich M.L. Otchet po dogovoru ot 01.072011 g. na vypolnenie rabot po razrabot-ke rekomendacij po sovershenstvovaniju metodov ocenki jeffektivnosti dejatel'nosti municipal'nyh organov ispolnitel'noj vlasti v sfere obrazovanija Novosibirskoj oblasti. M.: MAMSO, 2011. 50 p.
2. Agranovich M.L. Ocenka jeffektivnosti dejatel'nosti regional'nyh organov ispolnitel'noj vlasti v sfere obrazovanija // Zhurnal rukovoditelja upravlenija obrazovaniem. 2010. № 6. P 39-50.
3. Glinskij VV. K voprosu ob ocenke perspektiv razvitija demograficheskoj situacii v Rossii // Nacional'nye interesy: prioritety i bezopasnost'. 2008. № 12. P 17-21.
4. Glinskij VV, Makaridina E.V. O modeli zhiznennogo cikla vysshego professional'nogo obrazovanija Rossii // Nacional'nye interesy: prioritety i bezopasnost. 2011. № 3. P 12-18.
5. Glinskij VV, Ovechkina N.I. Tendencii demograficheskoj politiki: sderzhannyj opti-mizm tret'ego cikla // Nacional'nye interesy: prioritety i bezopasnost. 2010. № 16. P. 14-18.
6. Glinskij VV. Portfel'nyj analiz v statisticheskom issledovanii klientov predprijatija // Finansy i biznes. 2009. № 1. P 91-95.
7. Glinskij VV, Serga L.K., Puljaevskaja V.L. Statisticheskij instrumentarij v reshenii zadach upravlenija razvitiem territorij // Voprosy statistiki. 2014. № 10. P 14-20.
8. Glinskij VV, Serga L.K., Hvan M.S., Filatov S.A. Razrabotka metodiki statisticheskoj ocenki urovnja ustojchivogo razvitija social'no-jekonomicheskih sistem // Idei i idealy. 2013. T. 1. № 3. P 48-56.
9. Glinskij VV, Serga L.K., Shherbak I.V. Ocenka mul'tiplikativnogo jeffekta turisti-cheskoj industrii na regional'nom urovne // Voprosy statistiki. 2012. № 1. P 48-52.
10. Glinskij VV. Statisticheskie metody podderzhki upravlencheskih reshenij: monogra-fija. Novosibirsk: Izd-vo NGUJeU. 2008. 254 p.
11. Ionin V.G., Jaroslavceva L.P. Strukturizacija naselenija po social'no-jekonomicheskim tipam v dinamike // Vestnik NGUJeU. 2013. № 2. P 128-147.
12. Kozlova M.N. Metodika ocenki rezul'tativnosti i jeffektivnosti rashodov na obrazo-vanie // Izvestija Irkutskoj gosudarstvennoj jekonomicheskoj akademii. 2007. № 5. P 85-86.
13. Kol'ga VV, Merkulov A.B. Metodika ocenki jeffektivnosti dejatel'nosti integrativnoj pedagogicheskoj sistemy ajerokosmicheskogo obrazovanija // Vestnik Sibirskogo gosudarstvennogo ajerokosmicheskogo universiteta im. akademika M.F Reshetneva. 2005. № 4. P. 72-77.
14. Lishko D.S. Nekotorye aspekty ocenki rezul'tativnosti dejatel'nosti sistemy obshhego obrazovanija // Obshhestvo, nauka i innovacii: sbornik statej Mezhdunarodnoj na-uchno-prakticheskoj konferencii, 14 fevralja 2015 goda, g. Ufa.: v 2 chastjah. Chast' I. Ufa: Ajeterna, 2015. P 107-111.
15. Lishko D.S. Razrabotka metodiki ocenki jeffektivnosti dejatel'nosti sistemy obshhego obrazovanija // Vestnik NGUJeU. 2015. № 1. P 329-340.
16. Lishko D.S. Razrabotka metodiki ocenki jeffektivnosti dejatel'nosti sistemy obshhego obrazovanija// Nauka, obrazovanie, obshhestvo: tendencii i perspektivy / Sbornik nauchnyh trudov po materialam Mezhdunarodnoj nauchno-prakticheskoj konferencii: v 5 chastjah. OOO «AR-Konsalt». M., 2014. P 34-38.
17 Markov S.N. Jeffektivnost' bjudzhetnyh rashodov na obshhee obrazovanie // Nauch-no-issledovatel'skij finansovyj institute // Finansovyj zhurnal. 2012. № 4. P 75-80.
18. Prikaz ministerstva obrazovanija, nauki i innovacionnoj politiki Novosibirskoj oblasti ot 01.072014 g. № 1572 «O provedenii monitoringa sistem obshhego obrazovanija municipal'nyh rajonov, gorodskih okrugov Novosibirskoj oblasti».
19. Serga L.K., Ovechkina N.I., Shmarihina E.S., Chemezova E.Ju., Skripkina T.B., Zajkov K.A. Sfera uslug kak katalizator razvitija territorij // Vestnik NGUJeU. 2015. № 1. P 137-147.
20. Chemezova E.Ju. Statisticheskie metody v reshenii prikladnyh zadach razvitija terri-torii // Vestnik NGUJeU. 2013. № 4. P 153-165.
21. Baza dannyh pokazatelej municipal'nyh obrazovanij. [Jelektronnyj resurs] URL: http://www.gks.ru/free_doc/new_site/bd_munst/munst.htm.
22. Olimpiady dlja shkol'nikov. [Jelektronnyj resurs] URL: http://3.olimpiada.ru/ article/335.
