CC BY
72
Образование и наука. Том 20, № 5. 2018/The Education and Science Journal. Vol. 20, № 5. 2018
ОБЩИЕ ВОПРОСЫ ОБРАЗОВАНИЯ
УДК 371.26 DOI: 10.17853/1994-5639-2018-5-9-31
НАЦИОНАЛЬНЫЙ СОСТАВ ТЕРРИТОРИЙ И РЕЗУЛЬТАТЫ ЕГЭ
Л. М. Нуриева1, С. Г. Киселев2
Омский государственный педагогический университет, Омск, Россия.
E-mail: [email protected]; 2ksg_sd@mail. ru Аннотация. Введение. Результаты единого государственного экзамена (ЕГЭ) в субъектах Российской Федерации существенно отличаются. В основном это связано с социально-экономическими, демографическими, национально-культурными и иными особенностями развития территорий. Поэтому оценку качества работы системы образования на местах следует производить с учетом имеющихся ресурсов и условий деятельности школ. Важнейшим фактором успешности регионов на ЕГЭ является национальный состав учащихся и степень владения языком обучения, на котором сдается экзамен.
Цель представленного в публикации исследования - выяснить, насколько национальный состав выпускников школ различных регионов страны влияет на показатели ЕГЭ по русскому языку.
Методология и методики. В ходе изучения проблемы применялась методология комплексного исследования, включающая сопоставительный и статистический виды анализа данных, опубликованных Федеральным центром тестирования, Росстатом и региональными центрами обработки информации.
Результаты и научная новизна. Обработана и введена в научный оборот статистика ЕГЭ-2013 по обязательным школьным предметам, установлен ряд определяющих ее факторов. Рассмотрена парная корреляция между средним баллом ЕГЭ по русскому языку и национальным составом регионов России. Выявлена слабая и неустойчивая статистическая связь между ними, что объясняется низкой дисциплиной организаторов и участников экзамена в изучаемый период, «натаскиванием» школьников на выполнение типовых действий при подготовке к ЕГЭ, особенностями экзаменационных материалов и тестовых заданий, слабо дифференцирующих участников по уровню подготовки, а также завышением предметными комиссиями баллов при проверке сочинения.
Практическая значимость. Даны рекомендации, которые, по мнению авторов статьи, будут способствовать совершенствованию методики и технологии проведения ЕГЭ.
Ключевые слова: ЕГЭ, средний балл, национальный состав участников
ЕГЭ.
Для цитирования: Нуриева Л. М., Киселев С. Г. Национальный состав территорий и результаты ЕГЭ // Образование и наука. 2018. Т. 20. № 5. С. 9-31. DOI: 10.17853/1994-5639-2018-5-9-31
ETHNIC COMPOSITION OF TERRITORIES AND THE UNIFIED STATE EXAMINATION RESULTS
L. M. Nurieva1, S. G. Kiselev2
Omsk State Pedagogical University, Omsk, Russia.
E-mail: 1 [email protected]; 2ksg_sd@mail. ru
Abstract. Introduction. The results of the Unified State Examination (USE) in the entities of the Russian Federation are significantly different. This is mainly due to socio-economic, demographic, national-cultural and other features of the development of the territories. Therefore, an assessment of the quality of the work of the education system in the field should be carried out taking into account the available resources and conditions of school activities. The most important factor of success on the USE is the national composition of students and the degree of proficiency in the language of instruction, at which the exam is taken in.
The aim of the research presented in the publication is to find out whether the national composition of school leavers in different regions of the country influences the USE indicators in the Russian language.
Methodology and research methods. In the course of studying the problem, the methodology of comprehensive research was applied, including methods of comparative and statistical analysis of data published by the Federal Testing Center, Rosstat (The Russian Federal State Statistics Service) and regional information processing centers.
Results and scientific novelty. The USE-2013 statistics on compulsory school objects is processed and introduced for science research; a number of the determining factors behind the statistics are found out. For the first time, the pair correlation between the USE average scores in the Russian language and national composition of the Russian regions is considered. The statistical connection between the ethnic composition of participants and the average score turned out to be weak and unstable. The reasons are the following: poor discipline of organisers and participants of examination during the studies; coaching students to perform common actions when preparing for the examination; features of examination ma-
terials and tests tasks that poorly differentiate participants in terms of training; overestimation of points by the subject commissions when assessing the examination composition.
Practical significance. The authors believe that the findings of this study will contribute to improving the methodology and technology of the Unified State Examination.
Key words: Unified State Examination (USE), average score, ethnic composition of the Unified State Examination participants.
For citation: Nurieva L. M., Kiselev S. G. Ethnic composition of territories and the Unified State Examination results. The Education and Science Journal. 2018; 5 (20): 9-31. DOI: 10.17853/1994-5639-2018-5-9-31
Введение
Большой интерес к статистической информации о результатах единого государственного экзамена (ЕГЭ) со стороны как различных категорий граждан, так и научно-педагогического сообщества не удивителен. Эти данные при всей скудости доступных материалов (в последние годы наблюдается устойчивая тенденция минимизации публичных сведений об итогах тестовых испытаний выпускников школ) предоставляют возможность судить о качестве образования в отдельных образовательных учреждениях, регионах, в стране в целом и делать определенные выводы. Помимо прочего «это ценный материал для анализа, который может и должен быть использован для управления образовательными системами и образовательными учреждениями» [1, c. 160].
С первыми размещениями в открытом доступе статистики ЕГЭ экспертное сообщество приступило к поиску объективных факторов, влияющих на итоговые показатели экзамена. Важным направлением этой аналитической работы стало исследование контекста получаемых образовательных результатов путем выявления корреляционных зависимостей средних баллов территорий (и школ) от ряда демографических, социально-экономических, национально-культурных и иных их характеристик.
Обзор литературы
К настоящему времени перечень социальных факторов, от которых зависит успешность обучения, специалистами практически сформирован. К наиболее часто упоминаемым из них относятся социальный состав учащихся [2], уровень ресурсов школ [3], образовательные и материальные
возможности семей обучающихся [4], географическое положение и степень экономического развития территорий [5].
Одним из существенных обстоятельств, влияющих на качество и особенности работы общеобразовательных заведений, является доля воспитанников, для которых язык обучения не является родным, так как следствием недостаточного владения им обычно становится низкая успеваемость. В западных странах, входящих в Организацию экономического сотрудничества и развития (ОСЭР), исследование меры обусловленности результатов обучения национальным составом учащихся ведется в русле решения проблем адаптации мигрантов. Для учета специфики деятельности школ, где учатся дети переселенцев, в показатели их работы включается информация о составе семей, о том, воспитывается ли ученик в родной семье, а также о языке, на котором он говорит дома [6, с. 38]. Так, последний показатель принят в документации школ Англии, Бельгии, Испании и Португалии, а в Испании, Норвегии, Франции берется во внимание национальность или страна происхождения учащихся. В США также наряду с полом и особенностями здоровья школьников учитываются их этническая и языковая принадлежность [2, с. 193].
Языковые проблемы при получении образования, несомненно, существуют и в такой многонациональной стране, как Россия. Плохое или посредственное знание русского языка может быть причиной получения низких баллов на ЕГЭ. С. А. Боченков и И. А. Вальдман, например, установили, что язык, использующийся в семье, отражается на всех видах образовательных результатов и в самой значительной степени при оценке функциональной грамотности, особенно в письменных работах и работах с текстами (грамотность чтения) [1, с. 171].
Справедливо полагая, что оценки ЕГЭ - продукт взаимодействия множества факторов, большинство специалистов включают признак национальной принадлежности выпускников школ в состав многомерных статистических моделей, исследующих зависимость результатов школ от характеристик детского контингента. При этом влияние национальности учащихся на итоговые оценки подтверждается статистически. Так, сотрудники Национального исследовательского университета «Высшая школа экономики» (НИУ ВШЭ) обнаружили в общеобразовательных учреждениях с устойчиво низкими результатами наибольший процент школьников, для которых русский язык является неродным [7, с. 25]. В другой научной работе представителей той же организации в число факторов, отрицательно и статистически значимо связанных со средним баллом школ,
также попал этот показатель [2, с. 217]. При этом эксперты сделали вывод о том, что языковые проблемы существенно зависят от специфики региона и его миграционных показателей. М. А. Пинская и Г. А. Ястребов отмечают: «В случае, когда школы значительно различаются по такому показателю, как доля учащихся, для которых русский язык не является языком внутрисемейного общения, его следует учесть как дополнительную характеристику при анализе и оценке результатов образовательных учреждений» [8, с. 156].
Однако влияние национального состава обучающихся на показатели успеваемости установить удается не всегда. Более того, в ряде случаев специалисты наблюдают обратную картину: положительную связь между долей детей в образовательном учреждении, для которых русский язык не является родным, и результатами экзаменационных испытаний [9, с. 53].
Причиной этих разночтений является не только разный контингент обследуемых (коренные жители России или мигранты из-за рубежа), но и еще один крайне важный аспект, который зачастую упускается из виду. Речь идет о главной зависимой переменной всех названных исследований - среднем балле ЕГЭ, а именно: насколько валидным инструментом оценки учебных достижений он является, в какой степени отражает вклад учебных заведений в уровень подготовки учащихся и каков настоящий механизм его образования.
Авторы публикаций, посвященных проблемам контекстуализации результатов ЕГЭ, этот вопрос практически не поднимают. Лишь в одной работе данной проблематики мы обнаружили «анализ» самого ЕГЭ, который свелся к тому, что его итоги названы удобными, доступными, количественно сопоставимыми и институциональными [2, с. 209].
Недостаток внимания к указанным вопросам приводит к ошибочным выводам. Например, специалисты НИУ ВШЭ кластеризуют более тысячи школ по результатам ЕГЭ за 2008-10 гг. и выявляют тенденцию снижения среднего балла, не обращая внимание на то, как менялся за это время сам экзамен, хотя именно в этот период происходили самые важные его трансформации.
Во-первых, с 2009 г. ЕГЭ был переведен в «штатный режим»: слабые школьники теперь уже не могли уклониться от сдачи экзамена, так как он стал обязательным для всех выпускников.
Во-вторых, была отменена гарантированная «тройка»: начиная с 2009 г. выпускники, заполнявшие бланки ответов наугад, рисковали получить «два». Напомним, что годом ранее почти каждый пятый школьник стра-
ны, зная, что меньше чем «удовлетворительно» ему не поставят, рисовал крестики в экзаменационном бланке наобум [10, 11].
В-третьих, в 2010 г. организаторы убрали закрытые вопросы из КИМов по математике, что вызвало снижение результатов по данной дисциплине. Именно усложнение условий проведения испытаний определяло вариативность баллов в эти годы, что специалисты НИУ ВШЭ проигнорировали. В итоге они пришли к заключению: «Мы видим, что ведущей тенденцией оказывается снижение успешности. В целом описанная динамика учебных достижений позволяет считать, что значительная часть школ находится в состоянии неуспеха - устойчивого или колеблющегося» [7, c. 19]. Хотя прежде следовало бы заранее уточнить характер изменений сложности экзаменационной работы и условий ее выполнения.
В другом исследовании ВШЭ сравниваются баллы ЕГЭ-2014 с уровнем отсева школьников в процессе обучения [12]. Априори полагая, что процент сдававших от когорты отрицательно связан со средним баллом территорий (чем меньший процент учащихся после окончания девятилетки участвует в ЕГЭ, тем выше балл), авторы фактически «подогнали» статистику этой экзаменационной кампании под свою теорию, в то время как в действительности такой связи на материалах 2014 г., с нашей точки зрения, не прослеживается. Более того, специалисты НИУ ВШЭ проигнорировали ими же обнаруженную положительную связь между процентом сдававших ЕГЭ от когорты и долей минимально обученных школьников (чем больший процент детей от когорты сдавал ЕГЭ, тем больше тех, кто не получил «два»). Так как данный феномен противоречил выдвинутой исследователями гипотезе они прошли мимо этого действительно стоящего открытия. Таким образом из-за «очевидности» корреляции между отсевом и средним баллом сотрудники НИУ ВШЭ заявили о ее доказанности, вместо того чтобы объяснять причину ее отсутствия (анализ этой работы дан в нашей предыдущей статье [13]).
В свою очередь, П. Л. Попов и В. Г. Сараев, взяв за зависимую переменную региональные баллы самой «грязной» экзаменационной кампании (ЕГЭ-2013), вычислили корреляции с социально-экономическими и мировоззренческими явлениями территорий, видимо полагая, что математический аппарат все равно «переварит эту кашу» и позволит эти связи установить. Но этого не произошло и авторы, оказавшись в тупике, вынуждены были констатировать: «Обращает на себя внимание малочисленность, слабость (как правило), иногда труднообъяснимый характер достоверных корреляционных связей результатов ЕГЭ с явлениями, определяющими уровень социально-экономического развития региона» [14, c. 7].
Попытаемся, не повторяя этих ошибок, выяснить, как влияет на результаты ЕГЭ национальный состав экзаменуемых. Логичным, на наш взгляд, является предположение, что детям, для которых русский язык не является родным, сложнее выдержать это испытание. Поэтому гипотеза о том, что лучший результат по русскому языку должны показывать территории с большей долей русского населения, представляется теоретически неоспоримой.
Материалы исследования
Цель нашего исследования - проверка предположения о том, что результаты ЕГЭ по русскому языку зависят, кроме прочего, от национального состава участников: чем меньше в том или ином регионе представлено русскоязычное население, тем ниже средний балл территории.
Для проверки этой гипотезы мы привлекли следующие материалы:
• сведения о национальном составе населения субъектов РФ по материалам переписи 2010 г.1;
• «Сведения об учреждениях, реализующих программы общего образования, и обучающихся по языку обучения и по изучению родного (нерусского) языка в РФ в 2013 г.» (статистическая форма Д-7, размещенная на портале Минобрнауки РФ «Открытые данные»)2;
• данные Федерального центра тестирования (ФЦТ) о результатах ЕГЭ по русскому языку и математике в регионах России в 2013 г.;
• материалы о результатах ЕГЭ по русскому языку по Омской и Томской областям, опубликованные региональными центрами обработки информации (РЦОИ);
• протоколы результатов ЕГЭ по русскому языку по Омской области в 2009-11 гг.
Результаты
В 2013 г. Федеральный центр тестирования опубликовал статистику обязательных экзаменов по каждому региону России. Распределение участников по набранным баллам в процентах было представлено в графиках, формат которых (файлы Excel) позволял рассчитать сумму баллов каждой территории страны. Частное от деления этой суммы на число участников давало средний балл субъекта Федерации. Итоги расчетов размещены в табл. 1.
1 Режим доступа: http://www.statdata.ru/nacionalnyj-sostav-oblastei-rossii.
2 Режим доступа: http://opendata.mon.gov.ru/opendata/7710539135-D7.
Таблица 1
Численность участников экзамена по русскому языку и средние баллы ЕГЭ по обязательным предметам в субъектах РФ в 2013 г.
Table 1
The Russian language USE average scores throughout the Russian Federation regions in 2013
Регион Число участников Русский язык 1 к и Й е теа Регион Число участников Русский язык Математика
1 2 3 4 5 6 7 8
Республика Адыгея 2875 61,0 53,3 Кировская область 7092 66,0 46,2
Республика Башкортостан 25414 62,4 51,4 Костромская область 3759 63,9 46,1
Республика Бурятия 6918 59,8 46,5 Курганская область 4889 60,7 39,4
Республика Алтай 1773 58,7 41,8 Курская область 6491 63,7 51,6
Республика Дагестан 27555 59,4 53,7 Ленинградская область 6122 65,6 47,8
Республика Ингушетия 5048 63,6 61,2 Липецкая область 5956 62,8 48,9
Кабардино-Балкарская Республика 6878 60,4 56,3 Магаданская область 1121 56,2 36,3
Республика Калмыкия 2971 63,0 57,6 Московская область 35656 65,4 53,0
Карачаево-Черкесская Республика 3512 57,3 51,9 Мурманская область 4174 65,1 52,7
Республика Карелия 4193 62,2 44,0 Нижегородская область 17644 63,1 47,0
Республика Коми 6079 58,6 43,8 Новгородская область 3272 64,4 48,6
Республика Марий Эл 4149 65,5 52,2 Новосибирская область 15564 61,8 47,8
1 Средний балл по математике рассчитан как частное от деления суммы баллов региона к числу участников экзамена по математике.
1 2 3 4 5 6 7 8
Республика 4664 64,0 56,7 Омская 12682 59,3 44,5
Мордовия область
Республика Саха Якутия 11703 56,0 41,0 Оренбургская область 10339 66,2 48,4
Республика Северная 6768 62,7 57,1 Орловская область 4328 66,7 53,2
Осетия
Республика 21440 66,9 56,0 Пензенская 7512 63,2 54,1
Татарстан область
Республика 6698 57,6 48,4 Пермский 14514 64,3 43,8
Тыва край
Удмуртская 8416 63,2 44,0 Псковская 3445 62,4 46,8
Республика область
Республика 3442 61,8 46,8 Ростовская 22737 63,7 47,9
Хакасия область
Чеченская 13467 51,0 51,0 Рязанская 5937 65,8 48,0
Республика область
Чувашская Республика 8322 66,0 54,8 Самарская область 17132 66,2 51,4
Алтайский 13905 62,0 46,6 Саратовская 14614 62,1 46,4
край область
Краснодар- 24771 65,5 44,1 Сахалинская 3290 59,1 38,0
ский край область
Красноярский край 20028 63,4 46,8 Свердловская область 24207 65,8 42,5
Приморский 11096 60,0 42,4 Смоленская 5290 63,5 46,1
край область
Ставрополь- 14638 64,6 52,0 Тамбовская 5530 65,5 51,7
ский край область
Хабаровский 7449 61,4 45,7 Тверская об- 6528 64,2 47,3
край ласть
Амурская об- 5339 56,4 35,7 Томская 6200 65,9 48,0
ласть область
Архангельская область 7631 63,0 41,4 Тульская область 8248 62,1 45,1
Астраханская 4794 60,0 44,8 Тюменская 8814 61,3 45,3
область область
Белгородская 9597 63,9 54,5 Ульяновская 6705 62,3 48,0
область область
Брянская об- 8261 67,2 55,1 Челябинская 17657 63,5 45,3
ласть область
Владимирская 6956 65,0 45,7 Забайкаль- 7579 57,9 39,8
область ский край
1 2 3 4 5 6 7 8
Волгоградская область 14051 58,8 46,5 Ярославская область 6192 64,7 47,9
Вологодская 6552 64,4 43,5 г. Москва 59868 69,3 55,3
область
Воронежская 12311 64,5 50,1 г. Санкт-Пе- 27852 64,3 47,4
область тербург
Ивановская 5181 64,4 48,0 Еврейская АО 1094 57,1 38,5
область
Иркутская об- 15337 60,2 44,8 Ненецкий АО 382 57,7 35,1
ласть
Калининград- 5305 62,3 49,1 Ханты-Ман- 11199 63,3 47,1
ская область сийский АО
Калужская об- 5035 67,1 51,0 Чукотский АО 496 55,1 38,6
ласть
Камчатский 2044 60,3 41,1 Ямало-Ненец- 4397 62,8 49,0
край кий АО
Кемеровская область 13517 66,2 48,1
Результаты расчета коэффициентов парной корреляции средних баллов по русскому языку и математике с долей русского населения в регионах России приведены в табл. 2.
Таблица 2
Коэффициенты корреляции показателей регионов РФ
Table 2
Coefficients of indicators correlation of the regions in the Russian Federation
Показатели Доля русского населения Средний балл по математике Средний балл по русскому языку
Доля русского населения -0,39 0,37
Средний балл по математике -0,39 0,5
Средний балл по русскому языку 0,37 0,5
Статистическая связь между долей русского населения и региональными баллами по русскому языку оказалась неожиданно низкой - 0,37. Более того, если исключить из анализа всего один регион (Чеченскую республику) (на рис. 1 обозначен стрелкой), то коэффициент корреляции снизится до 0,27, т. е. связь станет статистически незначимой.
Рис. 1. Распределение регионов России по доле русского населения
и среднему баллу ЕГЭ по русскому языку1 Fig. 1. The distribution of the Russian regions by the proportion of the Russian population and the Russian language USE average score
Обсуждение
Почему устойчивой связи между долей русского населения и результатами ЕГЭ по русскому языку не прослеживается? Как удалось школьникам национальных республик сдать экзамены так же успешно, как и детям других областей?
Для ответа на эти вопросы рассмотрим наши переменные: национальный состав участников и средний балл территорий. Обратим также внимание на условия проведения испытаний в 2013 г.
Согласно переписи населения 2010 г., в России проживают представители свыше ста национальностей и этнических групп. Около 80% населения составляют русские. Из национальностей, чья численность составляет более 1 млн чел., 3,7% - татары, 1,3% - украинцы, 1,1% - башкиры, 1,1% - чуваши, 1% - чеченцы, 0,8% - армяне2. Если разбить регионы на группы по доле русского населения, то это деление будет выглядеть следующим образом:
• менее 25% доля русского населения составляет в 6 регионах: Ингушетии, Чечне, Дагестане, Тыве, Северной Осетии - Алании, Кабардино-Балкарии;
1 Здесь и далее рисунки даны в авторской редакции.
2 Национальный состав областей / регионов РФ. Режим доступа: http: / / www.statdata.ru/ nacionalnyj-sostav-oblastei-rossii.
• от 25 до 50% - в 9: Чувашии, Калмыкии, Карачаево-Черкесии, Башкортостане, Сахе (Якутии), Татарстане, Марий Эл, Чукотском АО, Мордовии;
• от 50 до 75% - в 13: Республике Алтай, Удмуртии, Коми, Адыгее, Бурятии, Ненецком, Ханты-Мансийском, Ямало-Ненецком АО, Астраханской, Тюменской, Ульяновской, Оренбургской областях;
• свыше 75% - в остальных 56 регионах.
Нами принято допущение, что национальный состав школьников соответствует национальному составу населения территорий РФ. Однако здесь необходимо учесть, что учебный процесс в российских школах ведется на 24 национальных языках.
По данным Росстата (форма Д-7) в стране функционирует около 50 тыс. школ, из них с русским языком обучения около 46 тыс., или 91%. Число школ, где в 2013 г. велось обучение только на родном (нерусском) или одновременно на русском и родном (нерусском), составляло 4350. В основном это школы национальных республик. В Тыве таких школ 90%, Якутии и Дагестане - 70%, Чувашии - 65%, Татарстане - 60%, Башкирии и Адыгее -40%, Калмыкии - 30%, Мордовии и Республике Алтай - 25%, Северной Осетии - 13%, Марий Эл - 11%, Хакасии - 8%, Бурятии - 7%, Пермском крае -4%, Ульяновской области - 1,5%, Кировской области - 0,5%1.
В 2013 г. 93% общеобразовательных учреждений, где велось обучение на родном (нерусском) языке, являлись сельскими девятилетками, как правило, небольшими по размеру. Даже в республиках со значительным числом национальных школ (в Татарстане, Башкирии, Дагестане, Якутии) в городских учреждениях обучение ведется в основном на русском языке. Причины очевидны: обучение на родном (нерусском) языке создает трудности для продолжения образования, так как в большинстве организаций профессионального образования учебный процесс ведется на русском языке. Поэтому все участники ЕГЭ изучают русский язык практически в равном объеме. Дети, обучавшиеся на родном (нерусском) языке, в ЕГЭ не участвуют, так как завершают учебу в 9-м классе. Кроме того, в целом по России 11 классов общеобразовательной школы заканчивают лишь половина детей соответствующего возраста (например, в 2013 г. их число составило 54%). Остальные продолжают обучение в учреждениях профессионального образования.
Если свести графики распределения учащихся по баллам всех территорий в один, то станет очевиден довольно высокий уровень их согла-
1 Режим доступа: https://www.fedstat.ru/indicator/41157; https://www.fedstat.ru/ indicator/41158; https://www.fedstat.ru/indicator/41205.
сованности. Отношение суммы модулей отклонений региональных баллов от среднего по стране к числу регионов оказалось в два раза ниже, чем аналогичный показатель по математике. Для сравнения на рис. 2 приводятся графики по обоим предметам.
Первичный балл Primary score Русский яаык Математика
Russian language Mathematics
Рис. 2. Распределение участников ЕГЭ по набранным баллам по русскому
языку и математике (в процентах) Fig. 2. Distribution of the USE participants over points scored in the Russian language and Mathematics exams (in percentage)
В регионах с долей русского населения 25% и ниже средний результат по русскому языку составил 59,1 балла, с долей до 50% - 61,5 балла, до 75% - 61,4 балла, свыше 75% - 63,2 балла.
Таким образом, удельный вес русского населения на территориях России отличается в разы, а расхождения в итогах ЕГЭ измеряются 3-4 баллами по 100-балльной шкале, т. е. являются фактически ничтожными. Почему?
Для того чтобы выяснить это следует прежде уточнить, что в 2013 г. представляла собой работа по русскому языку. Подробное ее описание можно найти в материалах ФИПИ1. Со своей стороны обратим внимание на следующее:
1. Практически половину баллов работы (47%) можно было получить лишь за выполнение заданий базового уровня (часть А). Ответы на 30 закрытых вопросов можно было легко найти, исключая неправдоподобные альтернативы. Задание повышенного уровня (часть С) представляло собой сочинение на тему из литературного произведения. С данным заданием успешно справлялись даже слабые ученики: процент баллов, полученных за часть С, в общем результате у слабых (17-26 первичных бал-
1 Режим доступа: http://fipi.ru/ege-i-gve-11/demoversii-specifikacii-kodifikatory.
лов) и сильных (свыше 50 первичных баллов) школьников отличается мало: 30 против 38%. Поэтому на экзамене по русскому языку задания части А и С почти в равной пропорции выполнялись выпускниками с разным уровнем подготовки. По данным ФЦТ, доля школьников, не приступавших к части С в 2013 г. по русскому языку, составила лишь 4%, в то время как по математике - 36%. За сочинение участники могли заработать свыше трети первичных баллов (36%). Таким образом, 83% первичных баллов можно было получить за выполнение сравнительно простых заданий.
2. Другой особенностью работы по русскому языку является то обстоятельство, что сложные задания оценивались очень низко (за задания В1-В7 давалось по 1 баллу, и лишь за задание В8 - 4 балла). Сильные школьники существенно превосходили остальных в доле решенных заданий высокого уровня (т. е. части В), но вознаграждались за это непропорционально мало.
3. Шкала перевода первичных баллов в тестовые максимально награждала учащихся с низким уровнем подготовки. В 2013 г. на начальном участке шкалы (до 17 баллов) 1 первичный балл стоил 2,1 тестовых. На участке шкалы от 18 до 54 первичный балл обесценивался вдвое - он приравнивался к 1 тестовому.
4. Экзаменационные материалы обладали низкой дифференцирующей способностью, так как с ними успешно справлялось большинство участников. Несложность работы и шкала перевода баллов вели к смещению распределения на графике вправо.
5. Слабая корреляция между результатами по русскому языку с процентом русского населения в 2013 г. объясняется также низкой дисциплиной ЕГЭ. Фальсификации в тот период приобрели такой размах, что средние региональные баллы по математике и доля русского населения оказались в обратной статистической зависимости: чем меньше русского населения, тем лучше регион сдавал математику (коэффициент корреляции -0,39) (рис. 3). Не случайно после этого Рособрнадзор заговорил о необходимости перекрестной проверки, когда работы школьников одного региона проверяются экспертами другого.
Поскольку погрешности в организации ЕГЭ присутствовали на экзаменах по всем дисциплинам ожидаемо проявилась статистическая связь результатов по русскому языку и математике (коэффициент корреляции равен 0,5) (рис. 4).
Рис. 3. Распределение регионов России по доле русского населения
и среднему баллу ЕГЭ по математике Fig. 3. The distribution of the Russian regions by the proportion of the Russian population and Mathematics USE average score
Рис. 4. Распределение регионов России по среднему баллу ЕГЭ по математике и русскому языку Fig. 4. Distribution of the Russian regions by the USE average score in Mathematics and the Russian language
В то же время было бы ошибкой относить искажения в оценках работ только к нарушениям дисциплины в пунктах приема экзамена и утечке КИМов через Интернет. Как показал наш анализ, свой вклад в изменения среднего балла вносил разный уровень лояльности предметных комиссий при проверке заданий с развернутым ответом. Так, в группе аутсайдеров по русскому языку в 2013 г. оказались Алтайский край (55-е место), Новосибирская (56-е место) и Омская (69-е место) области. А вот Томская область заняла 11-е место, хотя названные регионы решали один и тот же комплект заданий [15]. У нас нет статистики по Новосибирской области и Алтайскому краю, но согласно опубликованным данным по Омской1 и Томской2 областям, соотношение средних первичных баллов за всю работу составило 1 к 1,13 (Омск - 39,6, Томск - 44,9); тогда как за задания, проверяемые машиной (А1-А30 и В1-В7), где нет субъективизма экспертов, - 1 к 1,06 (Омск - 22,7, Томск - 24,07). То есть разрыв между показателями регионов вызван в основном большей строгостью омских экспертов при оценке сочинения.
К тому же выяснилось, что даже в рамках одного регионального набора контрольно-измерительных материалов задания части С имели разный уровень сложности. Школьникам предлагалось написать сочинение по текстам разных авторов и разной тематики. Из семи текстов, присланных в Томскую область, выполнение варианта № 316 (по тексту А. Н. Кузнецова) составило 75%, а варианта № 312 (по тексту С. С. Качалкова) -65%3. В 2014 г. аналогичная картина: вариант № 368 (по тексту М. М. Пришвина) - 99%, вариант № 718 (по тесту А. И. Ильина) - 62%4. В 2015 г. повторилось то же самое: вариант № 586 (по тексту Б. Л. Ва-
1 Сборник статистики результатов Единого государственного экзамена (ЕГЭ) и Государственной (итоговой) аттестации (ГИА) обучающихся, освоивших образовательные программы основного общего образования, с участием территориальной экзаменационной комиссии в Омской области в 2013 году. Омск, 2013. Ч. 1. 73 с.
2 Статистика основных результатов Единого государственного экзамена в 2013 году: Томская область. Томск, 2013. 266 с. [Электрон. ресурс]. Режим доступа: http://coko.tomsk.ru/ files/reports/Stat_sbor-2013.pdf (дата обращения: 03.03.2018).
3 Анализ результатов государственной итоговой аттестации выпускников
2013 года общеобразовательных учреждений Томской области: информационно-аналитические материалы. Томск, 2013. С. 52 [Электрон. ресурс]. Режим доступа: http: //coko.tomsk.ru/files/reports/analit-ege-2013.pdf (дата обращения: 02.03.2018).
4 Анализ результатов государственной итоговой аттестации выпускников
2014 года общеобразовательных учреждений Томской области в форме Единого государственного экзамена: информационно-аналитические материалы. Томск, 2014. С. 46 [Электрон. ресурс]. Режим доступа: http://coko.tomsk.ru/files/re-ports/analit-ege-2014.pdf (дата обращения: 02.03.2018).
сильева) - 76%, вариант № 758 (по тесту В. П. Астафьева) - 66%1. Подобные факты томский Центр оценки качества образования фиксирует ежегодно2. Перегруженность части С призовыми баллами приводит к тому, что позиция участников в рейтинге по русскому языку во многом зависит от сложности текста, который достался на сочинении.
Еще одной причиной слабой корреляции среднего балла с национальным составом территорий являются широкие масштабы натаскивания школьников на решение заданий ЕГЭ. Передовые учителя на страницах профессиональных изданий делятся секретами успехов своих воспитанников: готовить к экзамену они предлагают чуть ли не с начальной школы. Так, например, учитель из Якутии рекомендует не откладывать подготовку в долгий ящик и начинать с 5-го класса [16]. В итоге натаскивание учащихся на ТИПОВЫЕ задания в соответствии с ТИПОВЫМИ рекомендациями ФИПИ приводит к ТИПОВОМУ результату. Это нивелирует баллы школ, а с ними муниципалитетов и регионов вне зависимости от их национального состава.
Данный вывод подтверждается результатами ЕГЭ школьников разных национальностей в границах одного региона. Рассмотрим пример Омской области. По данным Росстата, доля русского населения в ней составляет 83%. Еще 3,9% составляют казахи, по 2,5% - немцы и украинцы, 2,1% - татары, по 0,3% - белорусы и армяне. Количество сел и деревень с компактным проживанием лиц отдельных национальностей (казахи, татары) в регионе невелико: около 2-3%. Возможности для распространения двуязычия в регионе минимальны: повсеместно обучение ведется только на русском языке, а на двухмиллионное население области приходится пять учителей родного (нерусского) языка (казахский, татарский), который преподается факультативно лишь в пяти школах. Таким образом, для всех учащихся региона вне зависимости от национальности языковые условия обучения одинаковы.
Нами были изучены протоколы ЕГЭ по Омской области на предмет различий баллов школьников разных национальностей за три года. Все участники (в 2009 г. их было около 15 тыс. чел., в 2010 г. - 14 тыс., в 2011 г. -12 тыс.) были разбиты на три группы. Первая группа - дети с русскими, украинскими, белорусскими фамилиями и именами (например, Васильев Александр Олегович, Ященко Дарья Евгеньевна, Цыбулько Игорь Вячеславович
1 Анализ результатов государственной итоговой аттестации выпускников 2014 года общеобразовательных учреждений Томской области в форме Единого государственного экзамена: информационно-аналитические материалы. Томск, 2015. С. 43 [Электрон. ресурс]. Режим доступа: http://coko.tomsk.ru/files/re-ports/analit-ege-2015.pdf (дата обращения: 02.03.2018).
2 Режим доступа: http://coko.tomsk.ru.
и т. д.). В эту группу мы отнесли также детей с еврейскими и немецкими фамилиями. Предположительно это дети, в семьях которых используется только русский язык. Вторая группа - дети с нерусскими, в основном казахскими, татарскими, армянскими и другими «восточными» фамилиями и именами (например, Муканова Карагоз Алибек кызы, Уразбеков Абай Серкович, Ни-язов Эрик Мидхатович и т. д.). Доля таких школьников составила около 10%. Предполагалось, что в семьях этих детей наряду с русским используется также родной национальный язык. К третьей группе были отнесены дети, чью национальную принадлежность по имени установить было трудно: дети с русскими фамилиями, но нерусскими именами или наоборот. Данная группа составила 1% и выводилась из рассмотрения.
Анализ показал, что на экзамене по русскому языку школьники второй группы получили в среднем лишь на 1-2 балла меньше (по 100-балльной шкале), чем учащиеся первой группы (в 2009 г. разница составила 2,1 балла, в 2010 г. - 1,6, в 2011 г. - 2,2). То есть национальная принадлежность участников на баллах ЕГЭ по русскому языку практически не сказалась. Аналогичную картину мы обнаружили в результатах ЕГЭ и по другим дисциплинам. Единственный предмет, где разрыв между группами ощутим, - это иностранный язык - 5-7 баллов. Вероятно, потому что представители первой группы чаще обращаются к репетиторам. К сожалению, сведения, необходимые для более глубокого изучения данного феномена, у нас отсутствуют.
Заключение
Таким образом, по материалам экзаменационной кампании 2013 г. статистически значимая связь между долей русского населения в регионах РФ и результатами ЕГЭ по русскому языку оказалась неожиданно слабой и неустойчивой. Причинами тому являются низкая дифференцирующая способность тестовых заданий по русскому языку, натаскивание школьников на выполнение типовых действий при подготовке к ЕГЭ, плохая дисциплина организаторов и участников, завышение баллов предметными комиссиями при проверке сочинения.
В 2013 г. результаты ЕГЭ в значительной мере определялись масштабами и характером фальсификаций. Московский центр непрерывного математического образования по статистическим величинам экзамена и характеру распределения участников по баллам выделил кластеры регионов-нарушителей: попустительством в использовании телефонов и шпаргалок отметились Башкирия, Тыва и Дагестан; подсказками со стороны учителей - северокавказские регионы и Ямало-Ненецкий АО; приписками за решение заданий части С - Ингушетия и Калмыкия [15, с. 23]. Нашумевшее рассекречивание заданий на результатах ЕГЭ по русскому языку отразилось слабо.
Автоматизированная проверка работ не устраняет того факта, что задания с развернутым ответом все равно проверяются вручную. Между тем единых, унифицированных требований к их оцениванию на местах так и не сложилось. Работы участников обезличены, но субъективизм сохранился на уровне общего подхода предметных комиссий к проверке сочинений, что является причиной систематического смещения баллов территорий в ту или иную сторону. Предлагаемая Рособрнадзором перекрестная проверка работ иногородними экспертами на практике до сих пор не осуществляется, да и предотвратить «коллективный субъективизм» региональных предметных комиссий эта мера не в силах.
Кроме того, сохраняется неэквивалентность работ по степени сложности в рамках даже одного регионального комплекта КИМов, что связано с объективно существующей неустранимой неравноценностью литературных произведений, предлагаемых в качестве основы для сочинений.
Анализ исследований по выявлению контекста образовательных результатов показал, что большинство из них имеет серьезный методологический изъян. При изучении статистической связи между средними баллами и контекстными показателями работы школ эксперты игнорируют тот факт, что главная зависимая переменная этих исследований - балл ЕГЭ как индикатор качества деятельности образовательных учреждений - имеет крайне низкую валидность, так как является производным содержания контрольно-измерительных материалов (чем меньше заданий и чем они проще, тем выше балл), их качества (чем больше ошибок в КИМах, тем ниже балл: вопиющий пример - задание В2 по немецкому языку, которое из-за избыточной нагрузки призовыми баллами и излишней сложности резко снижало рейтинг школьников, сдававших этот предмет в 2008-2011 гг. [11]), условий проведения испытаний (системы начисления тестовых баллов и состояния дисциплины) и уровня довузовской подготовки учащихся (масштабов занятий с репетиторами [13]).
Нам представляется перспективным дальнейшее изучение проблемы на другой статистической базе: результатах «стерильных» экзаменационных кампаний последних четырех лет. Однако Минобрнауки РФ и Рособрнадзор упорно сопротивляются их полному обнародованию, хотя согласно утвержденной правительством «дорожной карте» эти данные должны раскрываться еще с августа 2014 г.
В апреле 2017 г. на научной конференции, посвященной мировому опыту реформирования систем образования, вопрос об отсутствии доступа к результатам ЕГЭ поднял руководитель Международной лаборатории анализа образовательной политики НИУ ВШЭ, профессор Стэнфордского университета Мартин Карной. «Проблема в России в том, что никто не
знает данных по ЕГЭ и ГИА по регионам, они закрыты», - заявил он. Для понимания реальной ситуации неправильно сравнивать результаты России и других стран, для начала следует сопоставить результаты, полученные в разных регионах, так как разница между ними может быть колоссальной. Научно-педагогическому сообществу необходимо убедить министерство раскрыть результаты экзаменационных испытаний: только когда прояснится вся картина в целом, станет понятно, как работает система. «Может быть, тогда и выдумывать ничего не придется, регионы просто смогут использовать опыт и практики друг друга» [17].
Что следует предпринять для улучшения ситуации с ЕГЭ?
1. Улучшить дифференцирующую способность контрольной работы по русскому языку. Увеличить в работе долю заданий высокого уровня сложности и, соответственно, вознаграждение за них.
2. Из-за невозможности предоставить участникам экзамена отрывки литературных произведений равной сложности необходимо снизить количество баллов, которые можно получить за выполнение этой части работы. Использовать только произведения, изучаемые в рамках учебного курса «Литература».
3. Для минимизации субъективизма оценивания, который сохраняется на уровне общего подхода территориальных предметных комиссий к оценке работ, проверку сочинений производить по «рассеянной» схеме. Эксперты должны проверять работы, случайным образом выбранные из массива всех школьников страны, а не отдельного, заранее закрепленного региона. В противном случае «коллективный субъективизм» местной предметной комиссии перекочует на работы проверяемой территории.
4. Открыть статистику экзамена и создать в ФЦТ базу данных результатов испытаний, где в интерактивном режиме каждый исследователь мог бы получить их в любом разрезе и по любому региону. К анализу региональных результатов ЕГЭ следует привлечь вузовское сообщество.
5. Обязать региональные центры обработки информации публиковать не только статистику выполнения заданий в своем регионе, но и задания, использованные в каждой экзаменационной кампании, а также анализ результатов ЕГЭ по территории.
Список использованных источников
1. Боченков С. А., Вальдман И. А. Как можно использовать результаты ЕГЭ в рейтингах школ? / / Рейтинги в образовании: от разовых практик к культурным решениям. Москва: НИУ ВШЭ, 2014. С. 160-173.
2. Ястребов Г. А., Бессуднов А. Р., Пинская М. А., Косарецкий С. Г. Проблема контекстуализации образовательных результатов: школы, социальный состав учащихся и уровень депривации территорий // Вопросы образования. 2013. № 4. С. 188-246.
3. Агранович М. Л. Возможности анализа образовательных систем на основе результатов ЕГЭ // Вопросы образования. 2004. № 2. С. 272-287.
4. Горяйнова В. А., Акишин И. А. Эффективность деятельности школы и социально-экономические характеристики семей учащихся: существует ли взаимосвязь? // Вопросы образования. 2010. № 1. С. 151-160.
5. Голубицкий А. В. Региональный социально-географический атлас системы общего образования: преодолима ли «власть территории» // Вопросы образования. 2017. № 1. С. 58-87.
6. Пинская М. А., Крутий Н. С., Косарецкий С. Г., Фрумин И. Д. Выравнивание условий при анализе достижений школ: контекстуализация результатов // Выравнивание шансов детей на качественное образование. Москва: НИУ ВШЭ, 2012. С. 37-47.
7. Пинская М. А., Фрумин И. Д., Косарецкий С. Г. Школы, работающие в сложных социальных контекстах // Выравнивание шансов детей на качественное образование. Москва: НИУ ВШЭ, 2012. С. 9-36.
8. Пинская М. А., Ястребов Г. А. Как объективно оценить качество работы школы: опыт контекстуализации образовательных результатов // Рейтинги в образовании: от разовых практик к культурным решениям. Москва: НИУ ВШЭ, 2014. С. 147-160.
9. Александров Д. А. Дети из семей мигрантов в российских школах // Выравнивание шансов детей на качественное образование. Москва: НИУ ВШЭ, 2012. С. 48-54.
10. Нуриева Л. М., Киселев С. Г. Итоги ЕГЭ: опыт анализа. Ч. 1 // Ректор вуза. 2013. № 5. С. 42-53.
11. Нуриева Л. М., Киселев С. Г. Итоги ЕГЭ: опыт анализа. Ч. 2 // Ректор вуза. 2013. № 6. С. 44-52.
12. Макаров А. А., Зверева Д. И., Симонова Г. И. Методика анализа результатов ЕГЭ по математике в 2014 году с учетом социально-демографических показателей регионов РФ [Электрон. ресурс] / / Статистические методы оценивания и проверки гипотез. 2015. Вып. 26. С. 205-222. Режим доступа: https://elis.psu.ru/node/337948 (дата обращения: 02.05.2017).
13. Нуриева Л. М., Киселев С. Г. О чем говорит средний балл ЕГЭ? // Образование и наука. 2017. № 6. С. 33-51.
14. Попов П. Л., Сараев В. Г. Результаты ЕГЭ в субъектах Российской Федерации: связи с социально-экономическими и мировоззренческими явлениями // Современные проблемы науки и образования. 2015. № 2 (2). С. 590-598.
15. Нуриева Л. М., Киселев С. Г. Итоги ЕГЭ: опыт межрегиональных сопоставлений // Образование и наука. 2016. № 10. С. 11-38.
16. Пахомова Л. С. Эффективные пути и приемы подготовки школьников к ЕГЭ по русскому языку // Наука и образование: новое время. 2016. № 2 [Электрон. ресурс]. Режим доступа: https://elibrary.ru/item.asp? id=26144631 (дата обращения: 03.02.2018).
17. Макеева А. Уравнение с 85 неизвестными. Раскрыть данные о результатах ЕГЭ в регионах призывают иностранные специалисты // Коммер-сант.т. 14.04.2017 [Электрон. ресурс] Режим доступа: https://www.kommer-sant.ru/doc/3273395?utm_source=kommersant&utm_medium=strana&utm_campaign =four (дата обращения: 12.02.2018).
References
1. Bochenkov S. A., Valdman I. A. Kak mozhno ispol'zovat' rezul'taty EGJe v re-jtingah shkol? = How can the results of the USE be used in the ratings of schools? Re-jtingi v obrazovanii: ot razovyh praktik k kul'turnym reshenijam = Ratings in education: From one-time practices to cultural solutions. Moscow: National Research University - Higher School of Economics; 2014. P. 160-173. (In Russ.)
2. Yastrebov G. A., Bessudnov A. R., Pinskaya M. A., Kosareckij S. G. The problem of the contextualization of educational outcomes: Schools, the social composition of students and the level of deprivation of territories. Voprosy obrazovaniya = Educational Studies. 2013; 4: 188-246. (In Russ.)
3. Agranovich M. L. Possibilities of the analysis of educational systems on the basis of results of the Unified State Exam. Voprosy obrazovaniya = Educational Studies. 2004; 2: 272-287. (In Russ.)
4. Goryajnova V. A., Akishin I. A. Effectiveness of school activities and socioeconomic characteristics of students' families: Is there a relationship? Voprosy obrazovaniya = Educational Studies. 2010; 1: 151-160. (In Russ.)
5. Golubickij A. V. Regional socio-geographical atlas of the general education system: Is "the power of the territory" overcomable? Voprosy obrazovaniya = Educational Studies. 2017; 1: 58-87. (In Russ.)
6. Pinskaya M. A., Kruty N. S., Kosaretsky S. G., Frumin I. D. Vyravnivanie uslovij pri analize dostizhenij shkol: kontekstualizacija rezul'tatov = Alignment of conditions in the analysis of school achievements: The contextualization of results. Vyravnivanie shansov detej na kachestvennoe obrazovanie = Aligning the chances of children to a quality education. Moscow: National Research University - Higher School of Economics; 2012. P. 37-47. (In Russ.)
7. Pinskaya M. A., Frumin I. D., Kosaretsky S. G. Shkoly, rabotajushhie v slozhnyh social'nyh kontekstah = Schools working in complex social contexts. Vyravnivanie shansov detej na kachestvennoe obrazovanie = Aligning the chances of children to a quality education. Moscow: National Research University - Higher School of Economics; 2012. P. 9-36. (In Russ.)
8. Pinskaya M. A., Yastrebov G. A. Kak ob'ektivno ocenit' kachestvo raboty shkoly: opyt kontekstualizacii obrazovatel'nyh rezul'tatov = How to objectively assess the quality of the school work: The experience of the contextualization of educational results. Rejtingi v obrazovanii: ot razovyh praktik k kul'turnym reshenijam = Ratings in education: From one-time practices to cultural solutions. Moscow: National Research University - Higher School of Economics; 2014. P. 147-160. (In Russ.)
9. Alexandrov D. A. Deti iz semej migrantov v rossijskih shkolah = Children from families of migrants in Russian schools. Vyravnivanie shansov detej na kachestvennoe obrazovanie = Aligning the chances of children to a quality education. Moscow: National Research University - Higher School of Economics; 2012. P. 48-54. (In Russ.)
10. Nurieva L. M., Kiselev S. G. Results of the USE: Experience of analysis. Part 1. Rektor vuza = Rector of the University. 2013; 5: 42-53. (In Russ.)
11. Nurieva L. M., Kiselev S. G. Results of the USE: Experience of analysis. Part 2. Rektor vuza = Rector of the University. 2013; 6: 44-52. (In Russ.)
12. Makarov A. A., Zvereva D. I., Simonova G. I. Methodology for analyzing the results of the USE on mathematics in 2014, taking into account the socio-demographic indicators of the regions of the Russian Federation. Statisticheskie metody ocenivaniya i proverki gipotez, Permskij gosudarstvennyj universitet = Statistical Methods for Estimating and Testing Hypotheses. Perm State University [Internet]. 2015 [cited 2017 May 02]; 26: 205-222. Available from: https://elis.psu.ru/ node/337948 (In Russ.)
13. Nurieva L. M., Kiselev S. G. Average score of the Unified State Examination. Obrazovanie i nauka = The Education and Science Journal. 2017; 6: 33-51. (In Russ.)
14. Popov P. L., Sarayev V. G. Results of the Unified State Exam in the subjects of the Russian Federation: Relations with socio-economic and worldview phenomena. Sovremennye problemy nauki i obrazovanija = Contemporary Problems of Science and Education. 2015; 2 (2): 590-598. (In Russ.)
15. Nuriyeva L. M., Kiselev S. G. Results of the Unified State Exam: Experience of inter-regional comparisons Obrazovanie i nauka = The Education and Science Journal. 2016; 10: 11-38. (In Russ.)
16. Pahomova L. S. Effective ways and methods of preparing students for the USE in the Russian language. Nauka i obrazovanie: novoe vremja = Science and Education: New Time [Internet]. 2016 [cited 2018 Feb 03]; 2. Available from: https://elibrary.ru/item.asp? id=26144631 (In Russ.)
17. Makeeva A. Equation with 85 unknowns. Expand the data on the results of the exam in the regions call on foreign specialists. Kommersant.ru [Internet]. 2017 Apr 04 [cited 2018 Feb 12]. Available from: https://www.kommersant.ru/doc/3273395? utm_so-urce=kommersant&utm_medium=strana&utm_ campaign = four 26144631 (In Russ.)
Информация об авторах:
Нуриева Люция Мухаметовна - кандидат педагогических наук, доцент кафедры математики и методики обучения математике Омского государственного педагогического университета, Омск, Россия. E-mail: [email protected]
Киселев Сергей Георгиевич - социолог Центра адаптации и трудоустройства выпускников и студентов Омского государственного педагогического университета, Омск, Россия. E-mail: [email protected]
Статья поступила в редакцию 06.02.2018; принята в печать 18.04.2018.
Авторы прочитали и одобрили окончательный вариант рукописи.
Information about the authors:
Liutsiya M. Nurieva - Candidate of Pedagogical Sciences, Associate Professor, Department of Mathematics and Methods of Mathematics Teaching, Omsk State Pedagogical University, Omsk, Russia. E-mail: [email protected]
Sergey G. Kiselev - Sociologist, Center for the Adaptation and Employment of Graduates and Students, Omsk State Pedagogical University, Omsk, Russia. E-mail: [email protected]
Received 06.02.2018; accepted for publication 18.04.2018.
The authors have read and approved the final manuscript.
