Научная статья на тему 'Квалификационная аттестация обучающихся как механизм управления качеством профессионального образования'

Квалификационная аттестация обучающихся как механизм управления качеством профессионального образования Текст научной статьи по специальности «Науки об образовании»

CC BY
121
18
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
КВАЛИФИКАЦИОННАЯ АТТЕСТАЦИЯ ПО ПРОФЕССИОНАЛЬНЫМ МОДУЛЯМ / КВАЛИФИКАЦИОННЫЙ ЭКЗАМЕН / ПРАКТИКО-ОРИЕНТИРОВАННОЕ ОЦЕНИВАНИЕ / РЕЗУЛЬТАТИВНОСТЬ ОЦЕНИВАНИЯ / QUALIFICATION CERTIFICATION FOR PROFESSIONAL MODULES / QUALIFICATION EXAMINATION / PRACTICE-ORIENTED EVALUATION / PRODUCTIVITY OF EVALUATION

Аннотация научной статьи по наукам об образовании, автор научной работы — Алашеев Сергей Юрьевич, Ефимова Светлана Александровна, Кутейницына Татьяна Григорьевна

В статье представлены основные результаты проведения мониторинга реализованной в Самарской области системы квалификационной аттестации по профессиональным модулям образовательных программ среднего профессионального образования. Рассматриваются критерии ее результативности: усиление доступности качественного профессионального образования, валидизация (признание) результатов освоения профессиональной деятельности, практика независимого оценивания образовательных результатов, развитие кадрового и учебно-методического потенциала профессиональных образовательных организаций. Описываются управленческие решения, которые приняты по итогам мониторинга.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по наукам об образовании , автор научной работы — Алашеев Сергей Юрьевич, Ефимова Светлана Александровна, Кутейницына Татьяна Григорьевна

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

QUALIFICATION CERTIFICATION AS A TOOL OF QUALITY MANAGEMENT IN SECONDARY VOCATIONAL EDUCATION

This article presents the main results of carrying out the monitoring of the system of qualification certification for professional modules of educational programs of secondary professional education implemented in Samara region; considers the criteria of its productivity: intensification of availability of quality professional education, validization (recognition) of the results of skills acquisition, practice of independent evaluation of educational results, development of human resources and training capacities of professional educational organizations. The authors describe the management decisions which have been made following the results of the research.

Текст научной работы на тему «Квалификационная аттестация обучающихся как механизм управления качеством профессионального образования»

УДК 377.214.11

С. Ю. Алашеев1, С. А. Ефимова2, Т. Г. Кутейницына2

КВАЛИФИКАЦИОННАЯ АТТЕСТАЦИЯ ОБУЧАЮЩИХСЯ КАК МЕХАНИЗМ УПРАВЛЕНИЯ КАЧЕСТВОМ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ

1 Приволжский филиал Федерального института развития образования,

г. Самара, Россия

2Центр профессионального образования Самарской области, г. Самара, Россия

Аннотация. В статье представлены основные результаты проведения мониторинга реализованной в Самарской области системы квалификационной аттестации по профессиональным модулям образовательных программ среднего профессионального образования. Рассматриваются критерии ее результативности: усиление доступности качественного профессионального образования, валидизация (признание) результатов освоения профессиональной деятельности, практика независимого оценивания образовательных результатов, развитие кадрового и учебно-методического потенциала профессиональных образовательных организаций. Описываются управленческие решения, которые приняты по итогам мониторинга.

Ключевые слова: квалификационная аттестация по профессиональным модулям, квалификационный экзамен, практико-ориентированное оценивание, результативность оценивания.

© Алашеев С. Ю., Ефимова С. А., Кутейницына Т. Г., 2016

Алашеев Сергей Юрьевич - старший научный сотрудник Приволжского филиала Федерального института развития образования, г. Самара, Россия; e-mail: alasheev_s@mail.ru

Ефимова Светлана Александровна - кандидат педагогических наук, директор Центра профессионального образования Самарской области, г. Самара, Россия; e-mail: efimova_sveta@mail.ru

Кутейницына Татьяна Григорьевна - кандидат социологических наук, методист Центра профессионального образования Самарской области, г. Самара, Россия; e-mail: kuteinit@mail.ru

Статья поступила в редакцию 02.03.2016

Актуальность исследуемой проблемы. Переход профессиональной школы на федеральные государственные образовательные стандарты нового поколения и модульно-компетентностную модель организации учебного процесса актуализировал вопросы, связанные с оценкой образовательных достижений обучающихся. Модернизация форм оценивания образовательных результатов протекает в русле мировых тенденций совершенствования образования за счет создания систем официального признания (валидизации) результатов профессиональной подготовки и накопленного опыта профессиональной деятельности для развития профессиональной карьеры специалистов [8].

В настоящее время в российской образовательной практике и ее научно -методическом обеспечении реализуется переход от управления на основе предписаний к управлению на основе оценки и анализа процессов, происходящих в системе образования [10].

В рамках этих процессов в Самарской области разработана и с 2013 года действует Региональная система квалификационной аттестации (РСКА) по профессиональным модулям образовательных программ среднего профессионального образования (СПО) как компонент региональной системы оценки качества образования [7], [9]. В отличие от известных нам разработок институциональных механизмов профессионально-общественной аккредитации программ [1] система квалификационной аттестации в Самарской области используется образовательными организациями и работодателями в совместном управлении качеством программ СПО [4].

Основные преимущества введения в регионе РСКА заключаются в том, что в системе профессионального образования формируются условия для стандартизации внутренней оценки соответствия достигнутых результатов требованиям ФГОС СПО, обеспечиваются унифицированные и независимые от производителя образовательных услуг процедуры аттестации по профессиональным модулям [3]. Таким образом создается эффективный механизм валидации профессиональных компетенций, полученных в одной единице региональной сети, другими учебными заведениями, что необходимо в условиях их сетевого взаимодействия. Кроме того, стандартизация оценочных процедур в процессе обучения позволяет подготовить обучающихся к сертификации их квалификаций в рамках регионального сегмента национальной системы квалификаций.

Основная цель введения РСКА состоит в создании устойчивого механизма поддержания соответствия качества профессионального образования требованиям заказчиков и потребителей образования. Квалификационная аттестация по профессиональным модулям - это совокупность регламентированных на региональном уровне процедур, посредством которых устанавливается соответствие профессиональной квалификации обучающегося или ее части (набора профессиональных компетенций) требованиям соответствующих ФГОС СПО. В ходе квалификационного экзамена проверяется готовность обучающихся к выполнению определенного вида профессиональной деятельности посредством идентификации сформированных у них профессиональных компетенций, определенных в разделе «Требования к результатам освоения основных профессиональных образовательных программ» ФГОС СПО [6]. В соответствии с концепцией вариативной составляющей основных профессиональных образовательных программ (ОПОП) довузовского профессионального образования, принятой в Самарской области, уровень освоения обучающимися общих компетенций оценивается с помощью специальных методик и технологий по завершении основных профессиональных образовательных программ [2].

Запуск и реализация РСКА потребовали создания механизма отслеживания изменений состояния и тенденций развития компонентов РСКА и оценки степени достижения поставленных целей для дальнейших корректирующих управленческих действий. Таким механизмом стал мониторинг РСКА.

Основная цель мониторинговых замеров - на основе системы количественных и качественных показателей оценить результативность функционирования РСКА в решении следующих задач:

- реализация накопительного принципа внешней (по отношению к образовательным организациям, осуществляющим обучение по профессиональному модулю) оценки квалификации обучающихся;

- обеспечение академической мобильности обучающихся при реализации индивидуальных образовательных траекторий;

- создание организационно-методических условий для реализации сетевых образовательных программ и ресурсной оптимизации региональной системы профессионального образования;

- развитие практики независимого от производителя образовательной услуги оценивания компетентностных образовательных результатов программ подготовки квалифицированных рабочих, служащих и специалистов среднего звена;

- обеспечение кооперационных связей с предприятиями - заказчиками кадров.

Важным критерием эффективности РСКА с позиций региональной системы профессионального образования должно быть выравнивание качества профессионального образования в образовательных организациях областной системы профессионального образования. Этот социальный эффект может быть идентифицирован по степени возрастания однородности результатов образования, что свидетельствует о качестве работы системы в целом, а не отдельной образовательной организации. Усиление однородности образовательных результатов идентифицируется по признаку уменьшения разброса результатов при оценке освоенных профессиональных компетенций выпускников различных учебных заведений, которые обучались в условиях РСКА.

Материал и методика исследований. В качестве объекта мониторинга выступает областная система профессионального образования Самарской области, представленная сетью образовательных организаций, реализующих ОПОП СПО на территории региона, и сервисными службами (инфраструктурой). Предметом мониторинга выступают количественные и качественные критерии, характеризующие актуальное состояние РСКА с точки зрения степени соответствия объективных параметров и характеристик ее процессов и результатов зафиксированным целям и задачам, а также субъективный уровень удовлетворенности процессом и результатами функционирования и развития РСКА ее основных участников.

Таким образом, кроме сбора статистических показателей, целесообразно использование социологических опросов и метода экспертных оценок. Специфика применяемого подхода заключается в том, что значительная часть критериев мониторинга оценивает организационно-управленческие, учебно-методические и другие условия деятельности РСКА, т. е. стимулирует развитие субъектами системы квалификационной аттестации этих условий. В этом заключается формирующий (а не чисто констатирующий) характер мониторинговых процедур.

Для сбора мониторинговой информации разработан стандартизированный инструментарий, фиксирующий фактологическую информацию о результатах и процедурах проведения квалификационной аттестации по профессиональным модулям.

Результаты исследований и их обсуждение. В данной работе представлены основные результаты проведения мониторинга в 2015 г. (за 2014-2015 учебный год) и управленческие решения, которые приняты по его итогам.

Характеристика обследованных организаций. В исследовании приняли участие все профессиональные образовательные организации (включая филиалы), реализующие программы СПО на территории Самарской области и подведомственные областным министерствам образования и науки, сельского хозяйства и продовольствия, здравоохранения (всего 74 единицы). На момент проведения опроса в системе СПО Самарской области осуществлялась подготовка по 157 ОПОП СПО, численность обучающихся - 33677 человек. Четверть контингента областной системы СПО в 2014-2015 учебном году была охвачена региональной системой квалификационной аттестации. ОПОП СПО, входящие в РСКА, являются самыми емкими по численности обучающихся, т. е. наиболее массовыми.

Оценка процедур и результатов РСКА в 2014-2015 учебном году проведена в соответствии со следующими критериями [5]:

1. Усиление доступности качественного профессионального образования. Этот эффект может быть идентифицирован по степени возрастания однородности результатов обучения, что свидетельствует о качестве работы системы в целом, а не отдельной образовательной организации. Сопоставление средних значений коэффициента однородности образовательных результатов по профессиональным модулям, включенным и не включенным в РСКА, показывает, что их различия статистически не значимы: коэффициент вариации оценок по модулям, включенным в РСКА, равен 8,34 %; по модулям, не включенным в РСКА, - 9,61 %.

Можно констатировать, что оценки, полученные в процедурах РСКА, как и оценки по профессиональным модулям, не включенным в РСКА, слабовариабельны. При этом самый низкий коэффициент вариации (т. е. наиболее высокая однородность) фиксируется для результатов по программам подготовки квалифицированных рабочих, служащих (ППКРС), включенным в РСКА.

2. Развитие региональной системы валидации (признания), в том числе документального подтверждения освоенных видов профессиональной деятельности. Количество квалификационных аттестатов по видам профессиональной деятельности (профессиональным модулям), полученных обучающимися областной системы профессионального образования в 2014-2015 учебном году, составило 2620 единиц, в том числе по модулям программ подготовки специалистов среднего звена (ППССЗ) - 1041, по модулям ППКРС - 1579. По сравнению с периодом апробации РСКА (2012-2013 учебный год) общее количество выданных квалификационных аттестатов по всем профессиональным модулям РСКА увеличилось почти на четверть (24,5 %).

Доля выпускников, получивших квалификационные аттестаты, подтверждающие освоение одного или нескольких видов профессиональной деятельности (профессиональных модулей), в общей численности выпускников на момент обследования составляет 24 % (среди выпускников по ППССЗ - 40 %, среди выпускников ППКРС - 10 %).

3. Развитие практики внешнего (с участием работодателей), независимого от производителя образовательной услуги оценивания компетентностных образователь-

ных результатов обучающихся. Более половины (51 %) состава экспертов РСКА, выступающих в качестве экзаменаторов и рецензентов аттестационных материалов, по всем ОПОП СПО составляют представители работодателей области (по ППКРС -57 %, по ППССЗ - 49 %). Доля представителей работодателей в составе экзаменаторов аттестационно-квалификационных комиссий - 40 %, в составе рецензентов профессиональных модулей - 61 %, в составе рецензентов комплектов оценочных средств по модулям - 66 %.

Таким образом, представители работодателей активнее привлекаются на этапе разработки оценочных средств (почти две трети состава оценщиков), но несколько реже представлены в качестве экзаменаторов в составе аттестационно-квалификационных комиссий. Положительным результатом введения регламентов РСКА можно считать тот факт, что все оценочные материалы аттестационных процедур в обязательном порядке получают экспертное согласование работодателей по профилю подготовки.

4. Развитие кадрового потенциала образовательных организаций, инициированное введением РСКА. Доля административно-управленческих и педагогических работников, прошедших повышение квалификации в связи с введением РСКА, в 2014-2015 учебном году составила 2 % от общей численности административно-управленческого и педагогического персонала образовательных организаций Самарской области. Кроме того, для работы в рамках РСКА в 2013-2014 учебном году было подготовлено 360 экспертов-оценщиков. Таким образом, можно констатировать, что кадровый потенциал обеспечения процедур РСКА активно развивается, однако пока еще недостаточен для проведения квалификационной аттестации по всем профессиональным модулям всех ОПОП СПО.

5. Расширение практики квалификационной аттестации по мере поэтапного введения РСКА. Количество профессиональных модулей, вошедших в Реестр РСКА, освоение которых завершается квалификационным экзаменом, на момент обследования составляет 45 единиц. По результатам РСКА в 2014-2015 учебном году получили квалификационные аттестаты 1789 человек (1174 обучающихся по ППССЗ, 615 - по ППКРС), что на четверть больше, чем в 2013-2014 учебном году. Можно констатировать расширение практики квалификационной аттестации по мере введения РСКА, однако этот процесс идет достаточно медленно из-за высокой трудоемкости разработки оценочных материалов по профессиональным модулям.

6. Развитие учебно-методического потенциала региональной системы профессионального образования в результате введения РСКА. С момента введения РСКА в областной системе СПО разработано 158 комплектов оценочных средств по профессиональным модулям ОПОП (66 % - по ППССЗ, 34 % - по ППКРС). В относительном выражении доля ОПОП, для которых разработаны инструменты оценки профессиональных компетенций, в общем числе реализуемых на территории области ОПОП достигла 9 %.

Резюме. Важно подчеркнуть, что одним из итогов введения РСКА является обеспечение сопоставимости результатов оценивания качества профессионального образования в профессиональных образовательных организациях области за счет того, что в процедурах квалификационной аттестации используются стандартизированные комплекты оценочных средств и унифицированные диагностические процедуры.

Полученные мониторинговые данные выявили слабые места и резервы в развитии региональной системы квалификационной аттестации, которые должны быть учтены по мере ее развития. Так, в области не используются сетевые профессиональные образовательные программы, реализуемые несколькими образовательными организациями. Не

зафиксированы случаи проведения квалификационного экзамена на базе предприятий реального сектора экономики. Образовательные организации не стремятся оптимизировать ресурсы, в том числе за счет консолидации с партнерами.

По итогам мониторингового замера осуществлено информирование всех заинтересованных сторон и приняты управленческие решения, ориентированные на повышение качества профессионального образования и эффективности процедур квалификационной аттестации. Информационные справки по материалам мониторинга направлены в Министерство образования и науки Самарской области, в Координационный совет по кадровой политике при Губернаторе Самарской области, в производственно -образовательный консорциум «Кадры 21 века», а также размещены в открытом доступе на сайте Центра профессионального образования как уполномоченной организации РСКА. Достигнутые обучающимися образовательные результаты учитываются при назначении стимулирующих надбавок и доплат руководителям профессиональных образовательных организаций в процедуре конкурсного размещения регионального заказа на подготовку кадров для обучения за счет бюджетных ассигнований бюджета Самарской области (с этой целью в 2015 г. в области приняты регламенты учета результатов РСКА в инструментах государственного регулирования).

ЛИТЕРАТУРА

1. Аносова Н. А. Критерии эффективности организационно-педагогических условий реализации институционального механизма профессионально-общественной аккредитации коротких программ // Вестник Чувашского государственного педагогического университета им. И. Я. Яковлева. - 2015. - № 1(85). - С 73-78.

2. Голуб Г. Б., Ефимова С. А., Перелыгина Е. А., Посталюк Н. Ю. Формирование общих компетенций обучающихся по программам довузовского профессионального образования : методические рекомендации. -Самара : ЦПО, 2011. - 132 с.

3. Ефимова С. А. Модель системы аттестации обучающихся профессиональных образовательных организаций в современных условиях // Взаимодействие науки и общества: проблемы и перспективы : сб. ст. Междунар. науч.-практ. конф. - Уфа, 2105. - С. 237-240.

4. Ефимова С. А. Модель совместного обеспечения качества профессионального образования образовательными организациями и работодателями Самарской области // Научные перспективы XXI века. Достижения и перспективы нового столетия : сб. ст. Х Междунар. науч.-практ. конф. / Международный научный институт «Educatю». Ежемесячный научный журнал. - 2015. - № 3(10). - С. 154-157.

5. Ефимова С. А. Мониторинг региональной системы квалификационной аттестации студентов // Наука и образование: современные тренды [Электронный ресурс] / гл. ред. О. Н. Широков. - Чебоксары : ЦНС «Интерактив плюс», 2015. - С 297-304. - И / илиhttps://mteractive-plus.ru/e-artidesЛ25/Actюn125-10881.pdf.

6. Ефимова С. А. Региональная система квалификационной аттестации по профессиональным модулям основных профессиональных образовательных программ и основных программ профессионального обучения в Самарской области // Актуальные вопросы современной педагогики и образования : сб. ст. заочн. науч.-практ. конф. - М., 2015. - С. 164-167.

7. Основные положения построения общероссийской системы оценки качества образования (ОСОКО) // Стандарты и мониторинг в образовании. - 2005. - № 4. - С. 9-10.

8. Посталюк Н. Ю., Прудникова В. А. Формирование и оценка метапредметных образовательных результатов школьников: международный опыт // Сборник тезисов выступлений на конференциях, семинарах, совещаниях сотрудников ФГАУ «Федеральный институт развития образования», подготовленных в 2015 году в рамках выполнения государственного задания / под ред. Э. Ф. Алиевой, Э. Л. Вандановой. - М., 2015. - С. 94-98.

9. Региональная система квалификационной аттестации по профессиональным модулям : сборник нормативных и организационно-методических материалов. - Самара : ЦПО, 2014. - 92 с.

10. Федулин А. А., Платонова Н. А., Харитонова Т. В., Погребова Е. С., Кривошеева Т. М. Мониторинг текущего состояния процессов реализации мероприятий в части изменения процедур контроля и оценки качества образования : учебное пособие. - М. : ФГБОУ ВПО «РГУТиС», 2012. - 156 с.

Вестник UTnY um. H. H. HKoeneea. 2016. № 3(91)

UDC 377.214.11

S. Y. Alasheev1, S. A. Efimova2, T. G. Kuteynitsina2

QUALIFICATION CERTIFICATION AS A TOOL OF QUALITY MANAGEMENT IN SECONDARY VOCATIONAL EDUCATION2

1 Volga Region Branch of Federal Institute of Education Development, Samara, Russia 2Samara Regional Center of Vocational Education, Samara, Russia

Abstract. This article presents the main results of carrying out the monitoring of the system of qualification certification for professional modules of educational programs of secondary professional education implemented in Samara region; considers the criteria of its productivity: intensification of availability of quality professional education, validization (recognition) of the results of skills acquisition, practice of independent evaluation of educational results, development of human resources and training capacities of professional educational organizations. The authors describe the management decisions which have been made following the results of the research.

Keywords: qualification certification for professional modules, qualification examination, practice-oriented evaluation, productivity of evaluation.

REFERENCES

1. Anosova N. A. Kriterii jeffektivnosti organizacionno-pedagogicheskih uslovij realizacii institucional'nogo me-hanizma professional'no-obshhestvennoj akkreditacii korotkih programm // Vestnik Chuvashskogo gosudarstvennogo pedagogicheskogo universiteta im. I. Ja. Jakovleva. - 2015. - № 1(85). - C. 73-78.

2. Golub G. B., Efimova S. A., Perelygina E. A., Postaljuk N. Ju. Formirovanie obshhih kompetencij obucha-jushhihsja po programmam dovuzovskogo professional'nogo obrazovanija : metodicheskie rekomendacii. - Samara : CPO, 2011. - 132 s.

3. Efimova S. A. Model' sistemy attestacii obuchajushhihsja professional'nyh obrazovatel'nyh organizacij v sov-remennyh uslovijah // Vzaimodejstvie nauki i obshhestva: problemy i perspektivy : sb. st. Mezhdunar. nauch.-prakt. konf. - Ufa, 2105. - S. 237-240.

4. Efimova S. A. Model' sovmestnogo obespechenija kachestva professional'nogo obrazovanija obrazo-vatel'nymi organizacijami i rabotodateljami Samarskoj oblasti // Nauchnye perspektivy XXI veka. Dostizhenija i perspektivy novogo stoletija : sb. st. X Mezhdunar. nauch.-prakt. konf. / Mezhdunarodnyj nauchnyj institut «Educatio». Ezhemesjachnyj nauchnyj zhurnal. - 2015. - № 3(10). - S. 154-157.

© Alasheev S. Y., Efimova S. A., Kuteynitsina T. G., 2016

Alasheev, Sergey Yuryevich - Senior Researcher, Volga Region Branch of Federal Institute of Education Development, Samara, Russia; e-mail: alasheev_s@mail.ru

Efimova, Svetlana Aleksandrovna - Candidate of Pedagogics, Head of Samara Regional Center of Vocational Education, Samara, Russia; e-mail: efimova_sveta@mail.ru

Kuteynitsina, Tatyana Grigoryevna - Candidate of Sociology, Methodist of Samara Regional Center of Vocational Education, Samara, Russia; e-mail: kuteinit@mail.ru

The article was contributed on March 02. 2016

5. Efimova S. A. Monitoring regional'noj sistemy kvalifikacionnoj attestacii studentov // Nauka i obra-zovanie: sovremennye trendy [Jelektronnyj resurs] / gl. red. O. N. Shirokov. - Cheboksary : CNS «Interaktiv pljus», 2015. - C. 297-304. - Rezhim dostupa : https://interactive-plus.ru/e-articles/125/Action125-10881.pdf.

6. Efimova S. A. Regional'naja sistema kvalifikacionnoj attestacii po professional'nym moduljam osnovnyh professional'nyh obrazovatel'nyh programm i osnovnyh programm professional'nogo obuchenija v Samarskoj ob-lasti // Aktual'nye voprosy sovremennoj pedagogiki i obrazovanija : sb. st. zaochn. nauch.-prakt. konf. - M., 2015. - S. 164-167.

7. Osnovnye polozhenija postroenija obshherossijskoj sistemy ocenki kachestva obrazovanija (OSOKO) // Standarty i monitoring v obrazovanii. - 2005. - № 4. - S. 9-10.

8. Postaljuk N. Ju., Prudnikova V. A. Formirovanie i ocenka metapredmetnyh obrazovatel'nyh rezul'tatov shkol'nikov: mezhdunarodnyj opyt // Sbornik tezisov vystuplenij na konferencijah, seminarah, soveshhanijah sotrudnikov FGAU «Federal'nyj institut razvitija obrazovanija», podgotovlennyh v 2015 godu v ramkah vypolnen-ija gosudarstvennogo zadanija / pod red. Je. F. Alievoj, Je. L. Vandanovoj. - M., 2015. - S. 94-98.

9. Regional'naja sistema kvalifikacionnoj attestacii po professional'nym moduljam : sbornik normativnyh i organizacionno-metodicheskih materialov. - Samara : CPO, 2014. - 92 s.

10. Fedulin A. A., Platonova N. A., Haritonova T. V., Pogrebova E. S., Krivosheeva T. M. Monitoring tekushhego sostojanija processov realizacii meroprijatij v chasti izmenenija procedur kontrolja i ocenki kachestva obrazovanija : uchebnoe posobie. - M. : FGBOU VPO «RGUTiS», 2012. - 156 s.

i Надоели баннеры? Вы всегда можете отключить рекламу.