Научная статья на тему 'Подходы к оцекам качества образования в средней школе: мнения экспертов'

Подходы к оцекам качества образования в средней школе: мнения экспертов Текст научной статьи по специальности «Науки об образовании»

CC BY
357
45
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
КАЧЕСТВО ОБРАЗОВАНИЯ СРЕДНЕЙ ШКОЛЫ / МЕХАНИЗМЫ И ПРОЦЕДУРЫ ОЦЕНКИ ОБРАЗОВАНИЯ / QUALITY OF EDUCATION AT SECONDARY SCHOOL / THE MECHANISMS AND PROCEDURES FOR ASSESSING EDUCATION

Аннотация научной статьи по наукам об образовании, автор научной работы — Иванова Вера Степановна

Представлены мнения экспертов о механизмах оценки качества образования в средней школе, а также роли субъектов образовательного пространства в определении требований к содержанию образования.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Текст научной работы на тему «Подходы к оцекам качества образования в средней школе: мнения экспертов»

УДК 316:37

ПОДХОДЫ К ОЦЕКАМ КАЧЕСТВА ОБРАЗОВАНИЯ В СРЕДНЕЙ ШКОЛЕ: МНЕНИЯ ЭКСПЕРТОВ

B.C. Иванова

Томский политехнический университет E-mail: [email protected]

Представлены мнения экспертов о механизмах оценки качества образования в средней школе, а также роли субъектов образовательного пространства в определении требований к содержанию образования.

Ключевые слова:

Качество образования средней школы, механизмы и процедуры оценки образования.

Последнее время к образованию, как социальному институту, предъявляются качественно новые требования. Они связаны со многими социально-политическими, экономическими и социально-культурными процессами, среди которых становление мирового не только информационного, но и образовательного пространства занимает не последнее место. Процессы реформирования образования сопровождаются проблемами и противоречиями, связанными с целым комплексом. Это: создание и использование новых образовательных программ; использование новых технологий; обеспечение международной сопоставимости академической и профессиональной мобильности учащихся; и, конечно, вопросы качества образования, уровня подготовленности выпускников школ и выпускников вузов.

В данной статье представлены материалы опроса экспертов (проведенного в ноябре 2011 г. в г. Томске), посвященного механизмам оценки качества образования в современной средней школе, а также - кто, по их мнению, может выступить в роли субъектов, определяющих требования к содержанию образования и разрабатывающих критерии оценок этого качества.

Фокус внимания обращен на среднюю школу, т. к. именно она является, с одной стороны, поставщиком действующих субъектов (акторов) и для образовательных заведений следующего уровня, и для рынка труда, и в целом, для общества. Но, с другой, школа же является источником различного рода проблем и противоречий, которые не позволяют осуществлять легитимные задачи, поставленные перед вузами и вытекающие из Декларации о европейском регионе высшего образования, подписанной в июле 1999 г. в Болонье (Италии) двадцатью девятью странами, к которой присоединилась Россия в 2003 г.

Возможности оценивания качества образования

В целом участники опроса демонстрируют понимание того, что оценивать только среднее образование без учета общих тенденций в стране трудновато. Анализируя их мнения, можно констатировать, что однозначных толкований нет, да и, наверное, не стоило их ожидать, ведь в качестве опрошенных представлены не просто различные группы, но и зачастую противоположные по своим статусным позициям в пространстве образования. Это директора школ и родители, учителя и ученики, представители вузов и общественности, наконец, профессиональная группа, от которой зависит принятие решений, группа, которая определяет критерии качества и дальнейшее развитие средней школы.

Уже в самых первых суждениях относительно качества образования в нашей стране спектр мнений участников опроса не только разнообразен, но и полярен: от позиций, с одной стороны, что нельзя оценить качество образования: «Я бы не стала оценивать в целом образование», до «можно, но трудно». С другой стороны, от высоких оценок до очень низких, причем

Иванова Вера Степановна,

доцент кафедры социологии, психологии и права гуманитарного факультета ТПУ. E-mail: [email protected] Область научных интересов: социология образования и социология управления.

выявление неких общих точек зрения в зависимости от представителей опрошенных групп также проблематично.

Но можно наблюдать следующее: чиновники образовательных ведомств настаивают на некорректности (или сложности) постановки вопроса о качестве образования. «Полная рассогласованность, полное разночтение понимания того, что включает в себя термин качество образования... совершенно разные смыслы и зачастую отрицаются... даже внутри ведомственной сферы образования». Сложность постановки этого вопроса связана, по мнению эксперта, с тем, что «Требования личности гипертрофированы по отношению к качеству, эгоистичны и не учитывают интересы общества и государства». Парадокс заключается в том, что эта позиция человека, в функции которого входят, в том числе, и действия по развитию образовательной системы.

Директора школ скорее положительно оценивают систему среднего образования, особенно характеризуя качество работы собственных школ (трудно предположить, что могло быть иначе). Представители вузов считают, что качество «низкое» или «общий уровень понизился»: «средняя школа провальная (т. е. пятые-девятые классы), абсолютно никакущая, но это мое мнение», и далее они настаивают на том, что в вузе приходится первые курсы выполнять то, что должны были сделать школы, например, заниматься языковой подготовкой и фундаментальными науками (математика, физика, химия). <Если раньше повторение программы средней школы по математике даже не предполагалось или было в сокращенном варианте, сегодня преподавателю приходиться говорить школьным языком, приспосабливаться под тот контингент, который приходит в вуз». Родители либо скромно отмалчиваются, либо мягко высказываются: «оставляет желать лучшего».

Но, давая характеристику деятельности учебных заведений (своих), в которых участники опроса работают или учатся, сложности в оценивании уходят на второй план. Ученики и представители вузов не сдерживаются в позитивных высказываниях. Ученица 11 класса проставила отметки: «9,9 баллов из 10». Родители также склонны к положительным отзывам. Директора школ защищают корпоративные интересы и чаще говорят об успехах, хотя есть и такие, кто стремиться быть объективным («качество хорошее, но есть над чем работать») или даже критичным.

Важным аспектом обследования являлся вопрос: как оценивать качество образования. Простой ответ «не знаю» или «есть трудности в оценивании» звучал и со стороны родителей, детей, что понятно и в какой-то мере объяснимо, но, как ни странно, и от директоров школ, они откровенно высказывали свои затруднения: «Яне знаю ответа на этот вопрос».

Внутри руководящего сообщества еще более неустойчивые представления о механизмах оценивания. С одной стороны, четко прослеживается позиция отстранения, ухода: «зачем раздумывать по этому поводу, оценки уже существуют и они работают». Но с другой - есть не просто мнения, а призывы к изменению парадигм оценок качества, что означает: существующие на сегодняшний день общие концептуальные представления либо устарели, либо не работают, либо ....«Прежде всего необходимы четко сформулированные требования качества образования со стороны личности, общества, государства... Нет оснований для постановки вопроса о качестве, вот будут основания, и будем оценивать это качество». Напомним, это позиция чиновника от образования, т. е. субъекта, функционально задействованного в образовательном поле.

А ведь стандарты есть, они разрабатываются легитимными структурами в рамках образовательной реформы. Что же получается? По мнению экспертов на институциональном уровне нет общих оснований, нормативных образцов или образов качества образования. А раз нет нормативных эталонов, то не может быть и механизмов, которые давали бы возможность акторам, профессионалам, непосредственно создающим поле образовательного процесса, его качественно реализовывать. Каждый субъект образовательного процесса вносит свои образцы, собственные представления - что есть хорошее образование, которые могут играть роль ложных стереотипов.

Возможно, данный факт мог бы рассматриваться как не негативное явление, если бы не сама реальность, которая демонстрирует не только размытость критериев качества образова-

ния, но и неопределенность оценок (зачастую и низкие оценки) этого качества самих представителей профессионального образовательного сообщества.

Ведь существуют определенные нормативные документы ведомственных управленческих структур, издаются десятки журналов более десятка лет, которые призваны знакомить на своих страницах с этими нормативами, объяснять, как они меняются, как их использовать, как с ними работать, разъяснять о «целеполагающих функциях государственного образовательного стандарта» по той или иной дисциплине, но все равно в образовательном сообществе нет ясности.

Таким образом, можно предположительно сделать вывод о том, что существует некое коммуникативное пространство, где действуют субъекты (производители образовательных услуг, осуществители целенаправленного воздействия на образовательную сферу, заказчики и потребители этих услуг), в котором четкость границ не наблюдается, что отражается на самом качестве и процесса, и результата.

Необходимость стандарта связана с тем, что у любого пространства есть локализующие характеристики, которые обеспечивают знание, понимание, желание и внутреннюю готовность к усвоению и интериоризации этих характеристик, а также есть потребность вносить коррективы, менять свой опыт, обмениваться им с желающими развивать это пространство. Как замечают исследователи-социологи: всегда есть необходимость игрового поля, где собралась не просто толпа, а игроки, имеющие представления о правилах игры, демонстрирующие так называемую сыгранность, что в целом приведет к результатам. Этот образ - простая аналогия того, что сейчас происходит на «поле» под названием «образовательное пространство». Нет правил (возможно, они размыты), нет результативности, затруднено ее оценивание.

Могут возразить представители, так называемые игроки этого поля (точнее разработчики правил). Как же нет? Есть стандарты. Да, они изменяются, меняются тогда, когда жизнь выдвигает новые требования и заставляет по-новому оценивать их эффективность. Если нарастает неудовлетворенность общественного сознания образовательными результатами, их неадекватность современным требованиям и ожиданиям, то следует менять эти стандарты. Обнаруживается любопытный факт: разработчики пафосно уверяют, что стандарты есть и они являются «принципиально новым для отечественной школы документом, назначение и функции которого беспрецедентны в ее истории» Представители чиновников с ними согласны (хотя и не все), но сами участники образовательного процесса эти стандарты не видят, не чувствуют, не понимают и даже настаивают на том, что их нет.

Одной из задач исследования являлось выявление мнений экспертов по вопросу процесса оценивания качества образования, можно ли его измерить и какие процедуры используются. Ответы свидетельствуют о некоторой схожести позиций. Это сходство связано с тем, что участники опроса настаивают на наличии разнообразных процедур измерения качества образования. Лишь один родитель да самокритично настроенный директор школы высказали сомнения на этот счет. Одни информанты считают, что эти механизмы работают: «Оценка качества образования сейчас в принципе есть. Она сформулирована, она действует, тот же самый ЕГЭ в 11-х классах и итоговая аттестация девятых классов». Другие имеют противоположное мнение: «Измерители есть, измерители постоянные: после 1-го класса, после 2-го, даже после первой четверти и т.д. Срез есть постоянный. Но не работает педагогическая наука. ...В России не сложилась новая педагогическая наука».

Иными словами, измерители есть, но измерения нет. Почему? Прежде всего, надо различать качество процесса и качество результата. Они взаимосвязаны, влияют друг на друга, но это не одно и то же. Если качество процесса - это уровень организации, образовательные программы, адекватность методов и средств, квалификация педагогов, т. е. связаны с учреждением образования, то результат - это развитие личности учащегося, параметры ее социализации. Первые важны, но не являются гарантом качества результатов, т. к. в результат встроена личность ученика. И как определяет этот результат один из представителей академических структур от образования: «это приращения в личностных ресурсах обучаемых, которые могут быть использованы при решении значимых для личности проблем» [1. С. 7]. Поэтому даже академики настаивают: для того чтобы оценить качество образования надо согласовать требования личности (семьи) и общества.

Исходя из перечисленных директив и анализируя мнения участников опроса, можно наблюдать, что директора школ более или менее ясно представляют как оценивать результаты образования. Их следует разделить на два типа: одни результаты подлежат оценке и контролю. Это знания учащихся, коммуникативные и информационные навыки, умения, способность к самоконтролю. Другие результаты оценить нельзя - ценностные ориентации, социальные чувства, индивидуальные психологические характеристики подростков, но их можно выявлять, отслеживать с помощью методов социально-психологических наук. К сожалению, в нашей стране этим скорее занимаются с позиций наук и для развития наук, но не с педагогических позиций, не для развития образования и оценки его качества.

Что касается процедур оценивания, то здесь мнения не то чтобы разделились, но дают вариативность. Традиционно участники обследования высказываются: «Уже придумали за нас оценки: региональный мониторинг, ЕГЭ, ЕА». Можно было бы не рассматривать отношение к ЕГЭ в данном обследовании, т. к. слишком часто и много эта форма контроля качества результатов обсуждается в сегодняшней России и пока дискуссии не умолкают. Следует отметить, что среди экспертов особых разногласий нет. Есть различного рода уточнения. Например, чиновники системы образования, называя ЕГЭ «банальной характеристикой» качества, настаивают, что это «реально фиксируемый, просчитанный показатель качества», должен остаться. Представители вузов согласны, что «идея ЕГЭ не так плоха». Другие добавляют, что при всех безусловных достоинствах ЕГЭ надо искать и другие формы, разрабатывать новые инструменты оценки, т. к. эта система однобока. У ЕГЭ «есть противоречия: неграмотно составленные задания, невозможность оценить знания по литературе и просто понимание». Причем молодое поколение, ученики, прошедшие эту процедуру, к данной форме относятся спокойно и настаивают, что о качестве подготовки учащегося можно судить по результатам ЕГЭ.

Предлагают также необходимость введения портфеля достижений ученика, рейтинговую систему, участие во внеучебных событиях школы, вовлеченность в конкурсные, олим-пиадные события. Хотя есть неожиданные суждения, причем от директоров школ: «не знаю ответа на этот вопрос. Мне не нравится, как сейчас оценивается качество образования, с одной стороны, ЕГЭ... а с другой, в систему качества образования включается состояние туалетов, питания, чистота территории и т. д. Это должно быть просто по определению..., что касается качества образования - его объективно отследить невозможно, потому что внутренний процесс в каждом образовательном учреждении идет по каким-то законам... ». Можно услышать предложения о том, что главная оценка - это «поступление выпускников в вузы» или «как устроился в жизни», «отслеживать судьбу».

Но наиболее нетривиальные походы (не то чтобы оригинальные, но в них есть определенность относительно процедур оценивания) предлагают вузовские работники: «Нужно усложнить систему оценивания, используя опыт компьютерных игр» или «Нужно разработать систему оценивания, а не систему поощрения-наказания (или фиксации). Ведь часто оценка - это акт фиксации. А оценивание - это постоянный процесс... Ученик не тесты должен решать, а реализовывать задачу, описывать ее, как он сделал, представил результат, отрефлексировал, обозначил сложности, обозначил перспективы, вот образованный человек, т. е. событийно-деятельностный подход к оценке результатов». Если быть более точным, то и чиновники от высшего образования предлагают вводить такие критерии как «умение работать в команде, работать над проектом и т. д.».

Можно выделить несколько категорий процедур, предложенных информантами для оценивания качества школьного образования. Прежде всего, названные механизмы оценивания можно разделить на две большие группы: формальные и неформальные процедуры, также внутри этих групп различаются традиционные формы оценок, неотрадиционные (ранее, не существовавшие в советской школе, но ставшие в последнее время естественными и обязательными) и новаторские (инновационные) (табл. 1).

Таким образом, респонденты называют такие многоаспектные непрерывные оценочно-диагностические, прогностические процедуры, которые озвучены и используются, работают в тех или иных регионах, школах, и, более того, опыт и механизмы осуществления этих процедур описаны и представлены.

Кто и как должен оценивать качество образования: позиции опрошенных

И еще один важный вопрос был задан участникам опроса: кто должен оценивать результаты качества образования.

Таблица 1. Механизмы оценивания качества образования: мнения экспертов

Формальные (поддаются жесткому алгоритму) Неформальные (нельзя построить жесткий алгоритм)

Традиционные Оценка знаний по предмету в баллах на уроке, медали, грамоты, призовые места. Традиционный: экзамен в виде беседы, письменные работы, контрольные, Олимпиады.

Неотрадиционные ЕГЭ, тесты, региональный мониторинг, поступление в вузы, внутренняя школьная аттестация. Компетентностный подход: творческие работы и задания, портфолио, участие в событиях школы, срезы компетенций.

Новаторские В виде компьютерных игр, аккредитация образовательных программ, электронные классные журналы и дневники учащихся. Событийно-деятельностный подход: задачи на рефлексию, система контрольных зачетов с приглашением «внешних» экспертов, проекты, кейс-стади, возможность выбора учащимся форм оценивания, жизненные успехи: востребованность выпускников.

Директора школ более определенно представляют, кем должны проводиться процедуры оценивания и их мнения локализуются вокруг ответов: учителя, сами ученики, эксперты, специалисты-профессионалы, возможно, управленцы от образования. Некоторые отмечают: «только учителя» (эту идею поддерживают родители и ученики), но есть и мнения: «Все должны участвовать, но школа в центре». Т. е. по первому побуждению представители школ не хотели бы пускать на свою территорию чужих. Даже есть мнение: «никто не должен больше оценивать. Мне абсолютно не нравиться идея управляющих советов.не потому, что я против открытости (школы), а потому, что должны оценивать профессионалы, эксперты. Люди знающие, что такое образование, каким должен быть его результат».

Другие группы опрошенных (представители вузов, общественности) высказываются также за оценки специалистов и экспертов, но и предлагают вводить в качестве субъектов оценивания государство. Скорее нечто среднее должно быть, по словам одного из чиновников: «Считаю, что по качеству образования 9-11 класс государство отслеживает итоговой аттестацией... ребенок получает документ, а вся остальная аттестация должна быть внутри школьной, потому что само учреждение заинтересовано в достижении более высокого качества и системы мониторинга качества образования есть в ряде учреждении».

В целом следует заметить, что внешне одинаково высказывающиеся участники опроса, при более глубинном анализе демонстрируют разные модели мотивации. Так, представители школ (директора, педагоги и иногда ученики) более серьезно обеспокоены процессом оценивания (критериями, процедурами, субъектами) и тем, кто будет эти процедуры осуществлять. Группа внешняя по отношению к средней школе (вузовские работники и общественность) проявляет поверхностную, периферийную мотивацию. Поэтому в этой группе можно чаще услышать ответы: «может быть», «надо думать» и т. д.

Родители находятся в пограничном, если не сказать маргинальном состоянии, они не представители школ, но и не могут явно дистанцироваться от нее, потому что осознают зависимость от школ, если не свою, то «своих чад». Их ответы на данные вопросы часто начинаются - «не знаю», но могут заканчиваться: «могут оценивать какие-то специалисты из ГорОНО», или еще более емко «жизнь проверит».

Интересен факт, что мнения относительно участия родителей в оценивании качества работы школы практически совпадают во всех группах опрошенных. Рефреном звучат суждения: «Родители должны участвовать в оценивании процесса образования». Высказываются предположения, что родители могут повлиять на рост интереса ребенка к учебе. Более того, слышаться мнения о

том, что родители уже участвуют в оценивании качества образования: начиная от формирования запроса, выбора школы и заканчивая участием в школьных Советах. Хотя сами родители находятся в некотором сомнении: «Родителям сложно оценивать, они путаются в критериях». А ученики вообще считают, что родители никак не могут повлиять на учебу.

Таким образом, можно не просто предположить, а сделать промежуточный вывод о том, что участники опроса в своих высказываниях руководствуются, прежде всего, своим опытом. Успешный опыт «подвигает» их оценивать важность участия родителей в оценке качества образования: «Без родителей невозможно - они формируют заказ. Они в этом заинтересованы», а отрицательный рождает следующие суждения. «Родители этим не занимаются, если и участвуют в Советах (управляющих, попечительских), то формально». Или еще пример высказывания, причем директора школы: «Могут, но не сильно хотят участвовать в повышении качества образования. Доходит до парадокса, школа предлагает бесплатные формы работы с учениками - родители не хотят, дети не хотят». Сам эксперт пытается ответить на вопрос: чего же хотят родители, и в этом ответе слышится и боль, и гнев, и переживание за всю школьную систему, да и общественную: «Они хотят чего-то своего: чтобы утром спать по субботам, чтобы никуда его (ребенка) не водить., чтоб он нянчился с младшим. или еще что, не знаю.».

Напрашивается вердикт: если родитель понимает, осознает свою роль в воспитании ребенка, то он участвует в его жизни, а значит и в процессах, происходящих в школе, если нет -то не участвует и по словам работника вуза: « и с этим ничего не поделаешь». Но то, что родители должны «научить учиться своего дитятю» - это не вызывает сомнений особенно у работников образовательной сферы.

Завершая описание задач, следует обратить внимание на такой аспект, как привлечение широкой общественности к процессу оценивания качества образования.

Анализ мнений респондентов позволяет сформировать три ключевые позиции по данному вопросу. Их условно можно обозначить: разнообразно-открытая, ограничено-открытая и разнообразно-закрытая. Первые высказываются за открытие школ для разнообразных представителей, выступающих в роли экспертов и «оценщиков качества», причем нет рейтингования важности или приоритетности того или иного эксперта по оценкам: пусть оценивает кто угодно. Кроме этого, называются: общественная экспертиза, общественные организации, общественные наблюдатели, Попечительские советы, которые позволят выступить в роли буфера между государственным прагматизмом и социокультурными потребностями личности. Важную роль отводят профессиональным ассоциациям, вузам, СМИ, родителям, самим ученикам, учителям, государству и, наконец, «самой жизни». Т. е. эксперты прямо заявляют о необходимости создания независимых общественных структур, которые могли бы определять критерии оценки качества образования, а школы с ними должны были бы согласиться. Как все перечисленные структуры должны работать - этого видения и определенности у респондентов не сложилось. Акцент делается на разработке критериев, осмыслении и согласовании этих критериев.

Другие опрошенные наряду с традиционными субъектами (учителя, эксперты, ГорОНО) поддерживают открытость школ для внешних оценок, но ограничивают круг профессионалами, компетентными лицами, имеющими значительный положительный опыт работы в системе образования. Сторонники этой позиции допускают, что широкая общественность может высказывать свое мнение, но оценивать должны профессионалы.

Третьи выступают за разнообразие оценок, но против открытости и участия широкой общественности в делах школ, особенно, если эксперт имел отрицательный опыт. Показательно одно из высказываний относительно СМИ: «СМИ в основном стараются облить грязью любое образовательное учреждение, причем совершенно бесплатно». Представители этой точки зрения настаивают на автономности школ, т. е. школа должна быть закрыта для внешнего публичного оценивания. Оценивать должны учителя и работники сферы образования (возможно управления образования и городской администрации), а вот инструменты и процедуры могут быть самые инновационные.

В конце хотелось бы привести мнение, хотя не участника томского обследования, но эксперта российского уровня - заслуженного педагога Е. Ямбурга. Суть его размышлений сводится к тому, что сегодня средней школе необходимо дать отдохнуть от реформ. Ведь, по сути,

школьные преобразования связаны не с качеством деятельности этого образовательного уровня системы, а с реформированием экономики деятельности школ, которые, по словам названного эксперта, не дают возможности улучшить качество образования, да и не могут повлиять на его механизмы. По прогнозу Е. Ямбурга, проводимые реформы в результате приведут к увеличению субъектов, относящихся к «человеку экономическому», но не социально или гуманитарно ориентированному, действующему только рационально и живущему исходя из собственной выгоды. Результаты томского исследования скорее подтверждают, нежели опровергают данную мысль.

Исходя из вышесказанного, можно сделать следующие выводы:

• Во-первых, внутри образовательного сообщества нет однозначных позиций относительно механизмов оценивания качества образования средней школы, но есть разнообразие мнений, есть полярно-противоположные суждения и главное то, что эти позиции имеются, т. е. нет неопределенности и отстраненности от данной проблематики.

• Во-вторых, актуализируются три категории относительно механизмов оценивания: традиционная, компетентностная и событийно-деятельностная. Сторонники первого подхода -это работники школ (директора и учителя), второго - наряду с представителями школ и чиновников системы образования - ученики и их родители. Третий подход актуализируют представители вузов.

• В-третьих, участие (или неучастие) общественности в оценивании качества образования связаны с мотивационной структурой субъектов образовательного пространства. Анализ выявил разные модели мотивации среди участников опроса. Прежде всего это представители школ (директора, педагоги и иногда ученики), которые более серьезно обеспокоены процессом оценивания (критериями, процедурами, субъектами) и тем, кто будет эти процедуры осуществлять. Вторая группа является внешней по отношению к средней школе (вузовские работники и общественность), ее представители проявляют поверхностную, периферийную мотивацию. И, наконец, группа, находящаяся в пограничном состоянии, это родители, они не могут явно дистанцироваться от школы, потому что осознают зависимость от нее.

СПИСОК ЛИТЕРАТУРЫ

1. Кузнецов А.А. Стандарты второго поколения // Стандарты и мониторинг в образовании. -2011. - № 3. - С. 6-15.

Поступила 23.01.2012 г.

i Надоели баннеры? Вы всегда можете отключить рекламу.