CC BY
97
ЭКСПЕРИМЕНТАЛЬНЫЕ ПЛОЩАДКИ
Галимова Татьяна Михайловна
директор МБОУ гимназии № 104 Ляпунова Татьяна Юрьевна
заместитель директора по учебной и научно-методической работе МБОУ гимназии № 104 г. Екатеринбург
J ^
ИСПОЛЬЗОВАНИЕ СИСТЕМНОГО ПОДХОДА
К ОЦЕНКЕ КАЧЕСТВА ОБРАЗОВАНИЯ
В СОВРЕМЕННОЙ ГИМНАЗИИ
Л__________________________________________г
Аннотация: В статье рассмотрен комплекс условий для реализации деятельностно-стандартизированного подхода, предполагающего обеспечение единства процессов, происходящих в развивающейся динамической системе мониторинга образовательных достижений обучающихся гимназии, разрабатываемый в ходе сетевого взаимодействия общеобразовательных учреждений Уральского региона федеральной экспериментальной площадки АПК и ПРО.
Ключевые слова: качество, качество образования, деятельностно-стандартизированный подход, управление качеством образования.
Присоединение России в 2003 г. к Болонским соглашениям диктует необходимость серьезных изменений в приоритетах, структуре и содержании общего образования, введения новых стандартов, формирования независимой системы оценки результатов обучения и качества образования в целом.
Стратегической целью государственной политики в области образования является повышение доступности качественного образования, соответствующего требованиям инновационного развития экономики, современным потребностям общества и каждого гражданина.
При этом качество образования рассматривается как комплексный показатель, синтезирующий все этапы становления личности, условия и результаты учебновоспитательного процесса, а также как критерий эффективности деятельности образовательного учреждения, соответствия реально достигаемых результатов нормативным требованиям, социальным и личностным ожиданиям [1,5,8].
Федеральная целевая программа развития образования на 2011-2015 годы ставит перед системой общего образования следующие задачи:
• Модернизация общего образования как института социального развития.
• Приведение содержания образования в соответствие с потребностями рынка труда.
• Развитие системы оценки качества образования и востребованности образовательных услуг [6].
Следует отметить, что в рамках реализации национальных проектов «Образование» и «Наша новая
школа» образовательные учреждения РФ активно включились в решение первых двух задач, связанных с модернизацией образования и приведения содержания образования в соответствие с новыми требованиями. Что касается третьей задачи: развитие системы оценки качества образования - сохраняется риск того, что задача не будет выполнена. Это связано с наличием следующих проблем.
Первая проблема: в отечественной средней общеобразовательной школе имеет место пятибалльная система оценивания знаний учащихся, которая ориентирована в основном на контроль четко регламентированных предметных достижений и не учитывает гуманитарный фактор развития личности ребенка.
Вторая проблема: при детальном анализе данных мониторинга результата образования обнаруживаются существенные отрицательные стороны традиционной пятибалльной системы оценки: отметка даже у опытного учителя не всегда соответствует уровню развития ученика. Изучение данного вопроса показывает, что знания одних и тех же учащихся различными педагогами оцениваются по-разному, расхождение в значении отметок для одной и той же группы учащихся оказывается весьма значительным. Это означает, что существующая отметочная система оценивания во многом субъективна и является инструментом абсолютной власти учителя.
Осознание обозначенных проблем приводит к новому пониманию образовательных результатов, определяющих качество образования в его совре-
Муниципальное образование: инновации и эксперимент №2, 2012
41
ЭКСПЕРИМЕНТАЛЬНЫЕ ПЛОЩАДКИ
менном звучании. Именно в этом и заключается актуальность разработки и внедрения в МБОУ гимназии № 104 г. Екатеринбурга проекта «Системный подход к оценке качества образования», поскольку отсутствие «понятной российскому обществу системы оценки результатов и условий обучения на всех ступенях и уровнях образования приведет к устойчивой тенденции снижения качества образования» [6]. Данный проект разрабатывается в рамках работы научно-образовательной сети инновационно-активных ОУ Уральского региона Федеральной экспериментальной площадки АПК и ПРО (г. Москва). [2,3,4,9]. Мы рассматриваем сеть, в которой ведется системная деятельность по разработке образовательных инноваций, как своего рода совместный капитал образовательных учреждений, который является основанием развития всех остальных капиталов ОУ - участников сети. В процессе формирования этого капитала происходит перенос индивидуальных знаний во внутрисетевое знание и их закрепление в корпоративной базе данных в целях широкого использования всеми участниками сети. Особенностью корпоративного знания является возможность его развития в режиме «открытого кода», - знания из сети можно взять, усовершенствовать и вернуть в сеть, то есть знания в сети не просто хранятся, но и саморазвиваются, приводя к появлению новых возможностей для развития ОУ. Развивающаяся в рамках федеральной экспериментальной площадки сеть образовательных учреждений [2], представляет собой сообщество функциональных партнеров, управляющих проектированием, разработкой и реализацией интеллектуальных продуктов и новых образовательных услуг с использованием современных информационных технологий и системы контрактов с независимыми рабочими группами и структурами. Она способна обеспечивать определенные конкурентные преимущества участникам взаимодействия за счет знаний и возможности прямых, неограниченных, виртуальных контактов.
Проект МБОУ гимназии № 104 г. Екатеринбурга «Системный подход к оценке качества образования» является нормативно-управленческим документом, характеризующим систему деятельностно-стандартизированного подхода к оценке качества образовательных достижений обучающихся. Система деятельностностандартизированного подхода предполагает единство процессов, которые происходят в развивающейся динамической системе мониторинга образовательных достижений обучающихся:
• накопление информации о достижениях обучающихся;
• отбор и структурирование информации, согласно образовательным целям и уровням (как стандартизированным: предметным и метапредметным, так и учитывающих гуманитарный фактор развития личности ребенка);
• переход на новый уровень образовательных достижений.
Для построения системы оценки качества образования необходимо выявить и согласовать требования личности, семьи, общества и государства, самого об-
разовательного учреждения к образовательным результатам.
В сложившейся ситуации систему оценивания необходимо усовершенствовать, сделать многофункциональной. Система оценивания должна:
• дать возможность определить насколько успешно ученик освоил учебный материал или сформировал практический навык;
• показывать динамику успехов учащихся в различных сферах познавательной деятельности;
• содержать механизм поощряющий, развивающий, способствующий самооцениванию учащихся;
• предусмотреть связи учитель - ученик, родитель -классный руководитель, администрация - педагогический коллектив;
• изменить функции педагогического оценивания, ориентировав направление оценочной деятельности педагогов на интересы развития личности обучающегося и обеспечивая объективность оценки.
Содержание оценочной деятельности педагогов должно содержать следующие компоненты: проектирование, оценивание, оценку или оценочное суждение.
Проектирование предполагает четкое определение предмета оценивания, прогнозирование результата учебной деятельности (предметного, метапредметного и личностного), разработку критериев и способов оценки.
Оценивание в педагогической деятельности должно осуществляться при активном взаимодействии всех субъектов образовательного процесса. Целью такого взаимодействия является сопоставление проектируемого результата образования с достигнутым.
Оценка или оценочное суждение - это аналитическая деятельность, целью которой является получение наиболее полной и достоверной информации об уровне и качестве достижений обучающихся, их соответствия образовательному стандарту.
Это не только обеспечит системный подход к формированию образовательного процесса, но и конкретизируют как сами требования к результату образования, так и ожидаемые результаты, выражая их на языке, понятном и доступном не только педагогам, но и другим субъектам образовательного процесса - учащимся и родителям.
В научной литературе различаются понятия «новшество» и «инновация». В табл. 1 приведен сравнительный анализ данных понятий разными авторами.
Таким образом, в менеджменте и экономике под инновационной деятельностью принято понимать вид деятельности, направленный на реализацию результатов законченных научных исследований и разработок, иных научно-технических достижений, а также объектов интеллектуальной собственности в новый или усовершенствованный продукт, реализуемый на рынке, в новый или усовершенствованный процесс, используемый в практической деятельности, а также связанные с этим дополнительные научные исследования и разработки. А под инновацией понимается конечный результат инновационной деятельности, получивший воплощение в виде нового
42
Муниципальное образование: инновации и эксперимент №2, 2012
ЭКСПЕРИМЕНТАЛЬНЫЕ ПЛОЩАДКИ
Таблица 1
Сравнительный анализ понятий «новшество» и «инновация»
Термин Определение Автор
Новшество Новый порядок, новый метод, изобретение
Нововведение Использование новшества
Новая научно-организационная комбинация производственных факторов, мотивированная предпринимательским духом Й. Шумпетер
Процесс, в котором изобретение или идея приобретает экономическое содержание Б. Твисс
Совокупность технических, производственных и коммерческих мероприятий, приводящих к появлению на рынке новых и улучшенных промышленных процессов и оборудования Ф. Никсон
Инновация Общественно-технико-экономический процесс, который через практическое использование идей и изобретений приводит к созданию лучших по своим свойствам изделий, технологий, и в случае, если инновация ориентирована на экономическую выгоду, прибыль, ее появление на рынке может принести добавочный доход Б. Санто
Получившее новое качество новшество с момента принятия к распространению З. П. Румянцева Н. А. Соломатин
или усовершенствованного продукта, внедренного на рынке, нового или усовершенствованного технологического процесса, используемого в практической деятельности, либо в новом подходе к социальным услугам, обеспечивающий получение экономического, социального, экологического или иного эффекта («Руководство Осло», 2005 г.). Тогда педагогическая (образовательная) инновация вполне логично может рассматриваться как результат педагогической (образовательной) инновационной деятельности на рынке образовательных услуг, обеспечивающий получение нового педагогического (образовательного) эффекта, включая его экономические, управленческие, социальные, экологические, здоровьесберегающие и иные аспекты [7]. Таким образом, под инновационным процессом в нашем случае понимается комплексная деятельность педагогического коллектива Гимназии по созданию (рождению, разработке), освоению, использованию и распространению инноваций в системе оценки образовательных достижений обучающихся.
В идеале, грамотно отобранное новшество должно гарантировать успех нововведения в максимально возможной степени. Нововведение считается успешным, если освоение положенного в его основу нового средства позволило решить задачи развития школы [10]. Именно в этом контексте рассмотрим процесс внедрения проекта гимназии - освоение нового подхода к оценке достижений обучающихся вместо прежнего, традиционного, который устарел, неэффективен, стал тормозом в развитии нашего образовательного учреждения. Подтверждения определенной степени новизны инновационной идеи проекта, реализуемого в рамках сетевого взаимодействия образовательных учреждений Уральского региона федеральной экспериментальной площадки АПК и ПРО в гимназии и форм ее воплощения представлены в табл. 2.
Таким образом, целью настоящего проекта выступает создание условий для получения объективных и достоверных сведений, обработки, хранения, ана-
лиза и распространения информации о достижениях обучающихся, соответствующих различным образовательным целям и уровням.
К основным задачам исследования мы относим:
• разработку и внедрение информационной модели оценки образовательных достижений обучающихся на начальной ступени общего образования;
• разработку и внедрение информационной модели оценки образовательных достижений обучающихся на основной и средней (полной) ступенях общего образования;
• анализ эффективности внедрения проекта и степени его влияния на повышения качества образования;
• выявление факторов, влияющих на формирование разносторонне образованной интеллигентной личности, готовой к творческой самореализации в различных сферах профессиональной деятельности.
Основные направления работы в рамках проекта:
• разработка структуры образовательных достижений обучающихся в соответствие с образовательными целями и уровнями общего образования;
• определение механизмов и инструментария для оценки степени соответствия образовательных достижений обучающихся нормативным требованиям (ФГОС), социальным и личностным ожиданиям.
Среди планируемых результатов можно выделить:
• внедрение системного динамически развивающегося мониторинга образовательных достижений обучающихся на каждой ступени общего образования;
• повышение уровня качества образования, рассматриваемого с позиций: качества содержания образования; качества организации образовательного процесса; качества результата как стандартизированного (предметного и метапредметного), так и личностного.
Критериями эффективности внедряемого проекта являются:
• полнота разработанных нормативно-правовых документов по проблеме внедрения новой системы
Муниципальное образование: инновации и эксперимент №2, 2012
43
ЭКСПЕРИМЕНТАЛЬНЫЕ ПЛОЩАДКИ
Таблица 2
Сравнительные характеристики традиционного подхода к оценке достижений обучающихся и предлагаемого проекта
№ Традиционный подход к оценке достижений обучающихся Проект «Системный подход к оценке качества образования»
1. Отметка играет не стимулирующую, а только констатирующую роль. Она построена по принципу «вычитания»: решение учеником учебной задачи сравнивается с неким образцом «идеального решения», ищутся ошибки - несовпадение с образцом. Подобный подход ориентирует на поиск неудачи, отрицательно сказывается на мотивации ученика, его личностной самооценке. Предлагается переосмыслить оценочно-отметочную шкалу по принципу «прибавления» и «уровнего подхода» - решение учеником даже простой учебной задачи, части задачи оценивать как безусловный успех, но на элементарном уровне, за которым следует более высокий уровень, к которому ученик может стремиться. Такой подход позволит педагогу использовать отметку как ориентир на поддержание успешности и мотивации ученика.
2. Учитывается лишь успешность усвоения стандартного набора знаний, причем усвоения большей частью экстенсивного (выучил - воспроизвел). Степень этой успешности оценивается отметкой по 5-бальной системе (знаком). Результаты ученика - это действия (умения) по использованию знаний в ходе решения задач (личностных, метапредметных, предметных). Отдельные действия, прежде всего успешные, достойны оценки (словесной характеристики), а решение полноценной задачи - оценки и отметки (знака). Иными словами, оцениваться может всё, фиксируется отметкой только демонстрация умения по применению знаний (решение задачи: предметной, метапредметной или личностной).
3. Система не даёт полноценной возможности для формирования у школьников оценочной самостоятельности. Система выполняет функцию внешнего контроля успешности обучения: не предполагает оценки учеником собственных действий, сопоставления его самооценки с внешней оценкой. Оценку определяют учитель и ученик сообща: На уроке ученик сам оценивает свой результат выполнения задания по «Алгоритму самооценки» и, если требуется, определяет отметку, когда показывает выполненное задание. Учитель имеет право скорректировать оценки и отметку, если докажет, что ученик завысил или занизил их. После уроков за письменные задания оценку и отметку определяет учитель. Ученик имеет право изменить эту оценку (отметку), если докажет, что она завышена или занижена.
4. Система затрудняет индивидуализацию обучения: невозможно оценить реальные достижения каждого конкретного ребенка в сравнении с его предыдущими результатами. Система является малоинформативной, поскольку оценка (в виде отметки) заносится в классный журнал: по отметке часто нельзя судить о действительном уровне знаний. Оценки (в т. ч. в форме отметок) фиксируются и накапливаются в таблицах образовательных результатов (предметных, метапредметных и личностных) и в портфеле достижений учащегося. Комплексная накопленная оценка - это вывод по всем материалам «Портфеля достижений». Предметные четвертные оценки/отметки определяются по Таблицам предметных результатов (среднее арифметическое баллов). Итоговая оценка за ступень начальной школы определяется на основе всех положительных результатов, накопленных учеником в своём «Портфеле достижений», и на основе итоговой диагностики предметных и метапредметных результатов.
оценки достижений обучающихся: приказы, положения, договоры, локальные акты, инструктивные материалы;
• степень разработанности учебно-методического и научно-методического обеспечения проекта: наличие разработанных и апробированных в ходе реализации проекта учебно-методических, научно-методических и диагностических материалов, их соответствие требованиям государственного образовательного стандарта и действующим санитарно-гигиеническим требованиям и нормам, унифицированность разработанных материалов (возможность их использования в других ОУ);
• влияние изменений, полученных в результате инновационной деятельности в рамках реализуемого
проекта, на качество образования обучающихся: наличие положительной динамики качества достижений обучающихся;
• влияние изменений, полученных в результате реализации проекта, на рост профессиональных компетенций педагогических и руководящих работников: степень вовлеченности педагогов в инновационную деятельность, удовлетворенность педагогов изменениями, происходящими в результате реализации проекта, повышение уровня квалификации педагогических и руководящих работников, повышение профессиональной активности педагогического коллектива, количество проведенных мероприятий на базе Гимназии по теме проекта;
44
Муниципальное образование: инновации и эксперимент №2, 2012
ЭКСПЕРИМЕНТАЛЬНЫЕ ПЛОЩАДКИ
Рис. 1. Модель системы оценки планируемых результатов освоения общеобразовательных программ.
• информационное сопровождение инновационной деятельности педагогов в рамках проекта: наличие публикаций по теме инновационного проекта, отражение результатов инновационной деятельности на сайте Гимназии, наличие аналитических материалов по результатам мониторинговых исследований, выявляющих результативность (эффективность) инновационной деятельности.
Модель системы оценки планируемых результатов освоения общеобразовательных программ и её основные компоненты представлена на рис. 1.
Уровень и качество включенности участников образовательного процесса в реализацию проекта на первом этапе представлены в табл. 3.
Анализ результатов реализации проекта «Системный подход к оценке качества образования» показал, что инновационные мероприятия, проведенные в рамках проекта, оказали значительное влияние на рост уровня мотивации всех субъектов образовательного процесса, заинтересованных в развитии образования и повышении его качества. Выявлен устойчиво растущий спрос на новые формы, содержание и методы
образования, рост интереса к внедрению не только инновационных технологий оценки уровня достижений обучающихся, но и технологий, обеспечивающих высокий уровень качества и результата образовательного процесса. Так, в рамках реализации проекта педагогами гимназии были проведены мастер-классы для учителей Железнодорожного района г. Екатеринбурга по темам: «Развитие общеучебных умений и навыков обучающихся средствами скорочтения», «Формирование информационно-коммуникативной компетентности учащихся начальной школы через курс дополнительного образования «Технология интеллектуального труда», «Как увлечь школьников исследовательской деятельностью», «Технология формирования содержания математического образования на основе ком-петентностного подхода», «Метод проектов как эффективный способ включения учащихся начальной школы в активную познавательную деятельность», «Технологические приемы формирования культуры письменной речи у обучающихся», «Игровая технология - средство развития творческих способностей младших школьников» и др.
Муниципальное образование: инновации и эксперимент №2, 2012
45
ЭКСПЕРИМЕНТАЛЬНЫЕ ПЛОЩАДКИ
Таблица 3
Уровень и качество включенности участников образовательного процесса в реализацию проекта
Этапы реализации проекта Уровни участников
Директор Заместитель директора по учебной и научно-методической работе Заместители директора по УВР начального и старшего звена Руководители МО педагогов-предмет-ников Педагоги Обучающиеся Родители (законные представители)
1 2 3 4 5 6 7 8
Проектирование структурной модели оценки уровня достижений обучающихся + + + +
Разработка стандартизированных форм фиксации достижений обучающихся по 1 модулю «Уровень образованности» + + + +
Разработка научно-методического и учебнометодического сопровождения по 1 модулю + + + + +
Внедрение и анализ новых форм фиксации достижений обучающихся по 1 модулю «Уровень образованности» + + + + + + +
Разработка стандартизированных и нестандартизированных форм фиксации достижений обучающихся по 2 модулю на начальной ступени общего образования + + + 1 ступени + 1 ступени + 1 ступени
Разработка научно-методического и учебнометодического сопровождения по 2 модулю для начальной ступени общего образования + + + 1 ступени + 1 ступени + 1 ступени
Внедрение и анализ стандартизированных и нестандартизированных форм фиксации достижений обучающихся по 2 модулю на начальной ступени общего образования + + + 1 ступени + 1 ступени + 1 ступени + 1 ступени + 1 ступени
Разработка научно-методического и учебнометодического сопровождения по 3 модулю + + + +
Организация и проведение научно-методических семинаров + + + + +
Организация и проведение родительских и ученических конференций + + + + + + +
В настоящее время педагогами Гимназии, в рамках действующего проекта, ведутся дополнительные педагогические исследования: «Инновационная организация образовательного процесса средствами проектной и исследовательской деятельности обучающихся»; «Методы формирования и оценки универсальных учебных действий обучающихся».
Анализ результатов реализации проекта выделяет два типа организации инновационной деятельности в Гимназии:
Организация инновационной деятельности через обучение педагогического коллектива: проведение научных семинаров, в том числе с приглашением специалистов ИРО, УрО РАО; обобщение педагогического инновационного опыта; семинары-практикумы, семинары-тренинги.
Организация собственной практической деятельности участников инновационного проекта: трансляция инновационного опыта в ходе практической работы в творческих группах, экспертиза внедряемых компонентов проекта, информационная поддержка инновационной деятельности.
В целом, за прошедший год сложились два основных канала трансляции инновационного опыта: коммуникативный и опосредованный.
Коммуникативная трансляция представляет собой непосредственный полилог субъектов инновационной деятельности: научные семинары, Круглые столы, презентации, творческие и проектные группы.
Опосредованная трансляция осуществляется через монологический способ презентаций инновационной деятельности: публикации, мастер-классы, методические разработки.
46
Муниципальное образование: инновации и эксперимент №2, 2012
ЭКСПЕРИМЕНТАЛЬНЫЕ ПЛОЩАДКИ
Таблица 5
Дорожная карта развития проекта
№ п/п Содержание мероприятий Сроки Исполнители
1. Разработка и внедрение алгоритмов анализа и интерпретации результата мониторинговых исследований для второй и третьей ступеней общего образования Декабрь 2011 г. -январь 2012 г. Администрация, научно-методический совет, педагоги начальной школы
2. Апробация карт развития по математике и русскому языку на промежуточной аттестации на параллели 5-6 классов Декабрь 2011 г. -январь 2012 г. Май 2012 Администрация, научно-методический совет, МО педагогов-предметников
3. Разработка и внедрение формы фиксации мониторинговых исследований по 3 модулю модели на всех ступенях общего образования. Апрель 2012 г. Администрация, научно-методический совет, МО классных руководителей
4. Разработка и внедрение алгоритмов анализа и интерпретации результата мониторинговых исследований для 2 и 3 модулей созданной модели обучающихся основной и старшей ступенях общего образования. В течение 20112012 учебного года Зам. директора по НМР, руководители МО и проектных групп.
5. Анализ необходимых условий для внедрения ФГОС нового поколения. Декабрь 2011 г. Зам. директора по УВР и НМР, руководители МО и проектных групп.
6. Корректировка модели оценки достижений обучающихся в условиях внедрения ФГОС нового поколения. Февраль, март 2012 г. Администрация, научно - методический совет, зам. директора по УВР, мобильные творческие группы педагогов
7. Проектирование модели системного мониторинга достижений обучающихся основной и средней (полной) ступеней общего образования в формах: Интеллектуальный дневник класса; Индивидуальная карта достижений ученика (портфолио) В течение 20112012 учебного года Зам. директора по УВР, мобильные рабочие группы.
Сопоставление целей и результатов, подведение общего итога над проектом представлено в табл. 4 Перспективы дальнейшего развития проекта представлены в табл. 5.
Литература
1. Болотов В. А., Ефремова В. Н. Система оценки качества российского образования. http://www.den-za-dnem. ru/page.php?article=150.
2. Давыдова Н. Н. Организационно-управленческая модель взаимодействия образовательных учреждений как фактор инновационного развития регионального образова-ния//Образование и наука. Известия УрО РАО.2010.№ 8. с. 32-42.
3. Давыдова Н. Н. Создание внутренней системы оценки качества в современном общеобразовательном учреж-дении//Образование и наука. Известия УрО РАО. 2009. № 6 (63) т. 2. с. 13-26.
4. Давыдова Н. Н., Усова О. Н. Разработка процессной модели управления качеством образования современной общеобразовательной школы//Инновационные проекты и программы в образовании, 2011, № 4, с. 21-26.
5. Исаев В. А. О концептуальной модели системы анализа качества информационно-образовательной среды (ИОС) системы открытого образования / Материалы X Симпозиума «Квалиметрия в образовании: методология и практика». Книга 1. - М.: Исследовательский центр проблем качества подготовки специалистов, 2002. -с. 173-183.
6. Концепция Федеральной целевой программы развития образования на 2011-2015 годы.
7. Новоселов С. А., Зеер Э. Ф., Давыдова Н. Н. Институциональное обеспечение педагогических инноваций//Об-разование и наука. Известия УрО РАО. 2011. № 9 (88), с. 3-24.
8. Панасюк В. П., Головичер Г В. Опыт и лучшие практики построения и применения региональных, муниципальных и внутришкольных систем оценки качества образования. Салехард-Москва: Исследовательский центр проблем качества подготовки специалистов, 2009, с. 34.
9. Сиденко А. С. О модели подготовки школ к реализации ФГОС второго поколения.//Образование и наука. Известия УрО РАО № 1 (90), 2012 г, с. 56-64.
10. Сластенин В. А., Подымова, Л. С. Педагогика: инновационная деятельность/В. А. Сластенин, Л. С. Подымова. -М.: Магистр, 1997. - 224 с.
Муниципальное образование: инновации и эксперимент №2, 2012
47
