CC BY
74
4. Copyright 1999 - 2013 Federal'naya sluzhba gosudarstvennoy statistiki.
5. «Viadeo IM» «Pochti polovina kom-paniy v RF ispytyvaet defitsit kvalifitsirovan-nykh kadrov». [Elektronnyy resurs]. Rezhim dostupa: http://www.rb.ru/article/pochti-po-lovina-kompaniy-v-rf-ispytyvaet-defitsit-kvalifitsirovannyh-kadrov/6739207.html.
6. Blauberg I.V., Sadovskiy V.N., Yu-din E.G. Sistemnyy podkhod v sovremennoy nauke / V kn.: Problemy metodologii sistem-nykh issledovaniy. M.: Mysl', 1970. s. 7-48.
7. Filosofskiy slovar'. M.: Politizdat,
1980.
8. Bol'shaya sovetskaya entsiklopediya. T.39. S.158.
9. Abushenko V.L. Lichnost' // Noveyshiy filosofskiy slovar' / Sost. A.A. Gritsanov. Mn.:
Izd. V.M. Skakun, 1998. [Abushenko C. L. Personality // the new philosophical dictionary / Comp. A.A. Gritsanov. Minsk: Ed. C. M. Skakun, 1998. (In Russ.)]
10. Tolkovyy slovar' russkogo yazyka / Avtor: S.I. Ozhegov. M.: Izdatel'stvo «Mir i Obrazovanie», 2013. 1376 s.
11. Akmeologicheskiy slovar' / Pod ob-shch. red. A.A. Derkacha. M.: Izd-vo RAGS,
2004. 161 s.
12. Antsupov A.Ya., Shipilov A.I. Slovar' konfliktologa. 2-e izd., pererab. SPb.: Piter, 2009. 304 s.
13. Tolochek V.A. Sovremennaya psik-hologiya truda: Uchebnoe posobie. SPb.: Piter,
2005. 479 s.
Зарегистрирована: 03.09.2014
Кириллов Илья Андреевич (г. Ульяновск), Ульяновский государственный педагогический университет имени И.Н. Ульянова, кафедра педагогики, аспирант. Тел.: 8-937-27555-54. E-mail: [email protected]
Kirillov Ilya Andreyevich (Ulyanovsk), Ulyanovsk State Pedagogical University named after I.N. Ulyanov, Department of Pedagogy, a graduate student. Tel.: 8-937-275-55-54. E-mail: kirilica4 @rambler.ru
УДК 378.147:005.5
КОНЦЕПТ «ЭКСЕЛЛЕНС» В СИСТЕМЕ ОЦЕНКИ КАЧЕСТВА ВЫСШЕГО ОБРАЗОВАНИЯ: ТЕОРЕТИЧЕСКИЕ И ПРАКТИЧЕСКИЕ
АСПЕКТЫ
О.А. Матвеева (г. Йошкар-Ола, Российская Федерация)
В статье представлено теоретическое обоснование концепта «экселленс» в системе высшего образования. Раскрыт и конкретизирован ряд новаторских аспектов, применимых к реализации концепта «экселленс» в системе оценки качества высшего образования в рамках проведения профессионально-общественной аккредитации образовательных программ высшего образования. Приведены результаты экспериментальной работы по внедрению концепта «экселленс» в аккредитационных процедурах аккредитационного агентства. Представлены результаты анкетирования и Парето-анализа с целью разра-
ботки практических рекомендаций для совершенствования независимой экспертизы качества образовательных программ. Выделены и обоснованы организационно-педагогические условия реализации концепта «экселленс» в системе оценки образовательных программ высшего образования.
Ключевые слова: экселленс, высшее образование, оценка качества образовательных программ, профессионально-общественная аккредитация.
THE CONCEPT OF EXCELLENCE IN ASSESSMENT SYSTEM OF HIGHER EDUCATION QUALITY: THEORETICAL AND PRACTICAL
ASPECTS
О.А. Matveeva (Yoshkar-Ola, Russia)
Abstract. The article introduces the theoretical ground for explanation of the concept «excellence» in the system of higher education. A number of innovatory aspects which are applicable to the realization of the concept «excellence» in the assessment system of higher education via public accreditation procedure of study programmers in higher education area are cleared up and concretized in the article. There were given the results of the experimental work on implementation of the concept «excellence» in accreditation agency procedure. There were presented the questionnaire results and Pareto analysis results in order to develop practical recommendations to enhance independent review of study programmers quality. The organizational and pedagogical conditions of realization of excellence approach in accreditation procedure were singled out and substantiated in the article.
Key words: excellence, higher education, evaluation of study programmers, public accreditation.
В российской системе высшего образования за последнее десятилетие появляются новые общественные инструменты оценки качества образования. К таким инструментам относится независимая оценка качества образования, общественная и профессионально-общественная аккредитация. Всесторонняя объективная оценка качества образования, создание условий для повышения качества образования, а также решение задачи формирования механизмов оценки качества и востребованности образовательных услуг вошли в число первоочередных задач и важнейших направлений
концепции долгосрочного социально-экономического развития Российской Федерации на период до 2020 года, Федеральной целевой программы развития образования на 2011-2015гг., Федерального закона от 29.12. 2012 г. № 273-ФЗ «Об образовании в Российской Федерации» [1], [2], [3].
Новые образовательные задачи, прописанныеназаконодательномуров-не, предопределяют необходимость изучения современных общественных инструментов оценки качества с точки зрения их эффективности применения в системе образования. Одним из таких независимых инструментов
оценки качества высшего образования может выступать подход «экселленс». Это инновационный и комплексный подход, который позволяет поступательно улучшать вузам качество образовательных программ [4, с. 16].
Сложности в теории и практике оценки качества высшего образования сопровождаются наличием следующих противоречий: между новой парадигмой оценки качества высшего образования и сложившейся традиционной системой контроля со стороны государства в форме государственной аккредитации, не позволяющей своевременно выявлять лучшие практики оценки качества образовательных программ, реализуемых на территории России; между возросшей потребностью заинтересованных сторон в высоком качестве реализации образовательных программ и необходимостью совершенствования в этой связи технологии оценки качества высшего образования.
Поиск разрешения данных противоречий позволил сформулировать проблему исследования, которая заключается в необходимости теоретического и методологического обоснования применения новаторского концепта «экселленс» в системе оценки качества образования в соответствии с российским законодательством, внутренними запросами высших учебных заведений, внешними требованиями со стороны общества, работодателей и европейскими требованиями, предъявляемыми к системе высшего образования. Концепт «экселленс» выступает в качестве нового инструмента оценки качества высшего
образования, не перекрывающий существующие инструменты оценки: мониторинг, рейтинг, аккредитацию и бенчмаркинг. Однако изучение концепта экселленс в системе высшего образования находится в настоящее время в стадии становления. Впервые термин «экселленс» в системе оценки высшего образования был введен членами рабочей группы Европейской ассоциации гарантии качества в высшем образовании (ENQA) в 2012 году.
Теоретическим обоснованием модели экселленс в оценочных процедурах являются фундаментальные теории современной общей педагогики (теория педагогических систем, теория управления образовательным процессом); теории профессиональной педагогической деятельности (теория педагогической квалиметрии, педагогического моделирования, педагогической технологии); психолого-педагогических (теории мотивации достижений) и управленческих теорий (теория приращений, теория заинтересованных сторон). Важными источниками по вопросам теории и практики применения концепта «экселленс» в системе высшего образования являются работы зарубежных специалистов Д. Гриффола, Р. Дамиана. С. Джексона, М. Ленна, М. Малмеди, Д. Стафлебима и др. [5]. Изученный теоретический опыт исследований в данной области позволил сформулировать авторскую позицию по определению понятия «экселленс». Так, в нашей работе под концептом «экселленс» в широком смысле понимается совершенствование образовательного процесса с целью превышения норма-
тивно-установленных стандартов и, как следствие, повышение конкурентоспособности вузов.
Экселленс в системе оценки - это экспертиза на установление факта превышения нормативно -установленных стандартов. Экселленс при оценивании образовательных программ - это демонстрация образовательной программой таких характеристик, которые позволяют программе не только выполнять и превосходить минимальные требования со стороны государства (в форме выполнения ФГОС), но и проходить широкое общественное обсуждение с привлечением широкого круга стейкхолдеров, а также по-
лучать высокую профессиональную оценку [6].
На основе теоретического обобщения была разработана организационно-методологическая модель реализации концепта «экселленс» в оценочных процедурах. Модель построена на взаимосвязи составляющих компонентов целостного оценочного процесса: целевого, содержательно-технологического и результативного. Для проверки эффективности реализации теоретической модели экселленс в оценочных процедурах была проведена опытно-экспериментальная работа. Она проходила в три этапа на базе аккредитационного агентства (табл.1).
Таблица 1.
Ход экспериментальной работы
Название этапа Содержание работы
Аналитико-проектировочный этап Изучение литературы по проблемам оценки качества образования, педагогического проектирования; изучение и анализ зарубежных моделей оценки качества образования; подготовка комплекса условий, обеспечивающих реализацию концепта «экселленс» в системе оценки качества программ в рамках аккредитационных процедур
Научно- методический этап Разработка базовых положений исследования, проведение сравнительного анализа зарубежных моделей систем качества, в основе которых заложена концепция «экселленс»; разработка организационно-методологической модели реализации концепта «экселленс» в системе оценки качества образовательных программ высшего образования
Опытно--экспериментальный этап Внедрение организационно-методологической модели реализации концепта «экселленс», построенной на европейских стандартах и рекомендациях для гарантии качества высшего образования, в работу аккредитационного агентства; проведение Парето-анализа стандартов с целью выявления наиболее значимых причин, влияющих на качество реализации образовательных программ; анкетирование экспертов, принимавших участие в процедуре внешней оценки с целью разработки практических рекомендаций и оценки эффективности разработанной теоретической модели; реализация педагогических условий и проверка их эффективности в оценочных процедурах
Обобщающий этап Систематизация, обработка и обобщение результатов экспериментальной работы, разработка практических рекомендации для внедрения модели в работу аккредитационного агентства
В процессе исследования был использован комплекс теоретических методов (анализ научно-методической литературы по проблеме исследования [7], [8], [9]; изучение нормативно-правовой документации; материалов по аккредитации [10], [11] и зарубежных исследований в области инновационных подходов к оценке качества высшего образования [5], [12]), диагностические методы (анкетирование, интервьюирование), метод экспертных оценок, естественный эксперимент. Методологической основой исследования послужили принципы системного подхода. В основу исследования была положена гипотеза, согласно которой использование подхода экселленс в аккредитации образовательных программ станет эффективным средством управления качеством образования, если реализовать следующие условия:
1. раскрыть сущность механизма реализации концепта экселленс в оценочных процедурах, используя отечественный и зарубежный опыт в сфере оценивания качества образовательных программ;
2. обеспечить комплекс организационно-педагогических условий реализации подхода экселленс в оценочных процедурах с учетом российского законодательства и Болонских реформ.
3. разработать и реализовать теоретическую организационно-методологическую модель реализации подхода экселленс в аккредитации образовательных программ.
Результаты исследования. Эффективная реализация концепта «экселленс» в оценочных процедурах предполагает выполнение опре-
деленных условий, при которых ее реализация становится возможной. В связи с этим нами были выделены педагогические и организационные условия. К педагогическим условиям, обеспечивающим эффективность разработанной теоретической модели экселленс в оценочных процедурах, были отнесены: наличие независимой организации, отвечающей высоким требованиям, предъявляемым к организациям, которые проводят оценку качества образовательных программ; разработка и внедрение лучших практик в технологию оценки качества образовательных программ; разработка нормативно-методической базы процедуры оценки качества образовательных программ; обеспечение внешнего признания на национальном и международном уровнях.
В процессе реализации теоретической модели возникают требования организационного характера. Так, результаты теоретических и практических исследований, а также особенности организационно-функциональной структуры модели экселленс в оценочных процедурах предполагают наличие независимой организации, которая отвечает следующим требованиям: организация должна иметь независимый статус и нести автономную ответственность за свои действия; быть независимой от влияния третьих сторон; основной функцией организации должна быть регулярная деятельность по оценке качества образовательных программ; доступность и открытость стандартов для широкой общественности, прозрачность процедуры оценивания; организация должна иметь внутренние требования
к качеству организации; организация должна быть саморазвивающейся и способной разрабатывать собственную методологию; организация должна обладать достаточными человеческими и материальными ресурсами для эффективного и результативного проведения процедур оценки качества образовательных программ; наличие независимого органа для принятия решения; наличие системы последействия и обратной связи с заинтересованными сторонами по процедурам внешнего оценивания; организация должна соответствовать требованиям, как российского законодательства, так и международным стандартам.
Для наиболее полной и объективной оценки реализации модели экселленс было проведено анкетирование и интервьюирование, в результате которого было опрошено 54 респондента. В качестве респондентов выступили представители академического сообщества - проректоры, деканы, преподаватели; представители профессионального сообщества,
студенческого сообщества, а также зарубежные эксперты в сфере гарантии качества. Анкетирование и метод экспертных оценок позволили подтвердить результаты исследования и выявить степень удовлетворенности экспертов в реализации модели эксел-ленс в работе аккредитационного агентства.
Для оценки эффективности разработанной теоретической модели экселленс в аккредитационном агентстве и разработки практических рекомендаций для совершенствования независимойэкспертизыкачестваобра-зовательных программ был проведен
Парето-анализ. Источником данных послужили материалы отчетов о результатах внешней экспертизы аккредитуемых образовательных программ. Было обработано 217 замечаний, недостатков, рекомендаций экспертов, классифицированных по семи стандартам. Данные стандарты гармонизированы с европейскими стандартами для гарантии качества образования ЕКрЛ-Е8С и применяются аккредитационным агентством для реализации концепта «экселленс» (рис.1). В результате Парето-анализа были установлены наиболее важные обобщенные несоответствия, лимитирующие качество образования и препятствующие достижению экселленс на практике.
Таким образом, результаты исследования позволили определить, что подход экселленс может наиболее эффективно применяться в процедуре аккредитации, которая представляет собой оценку и признание высокого качества реализации образовательных программ.
Разработанная теоретическая организационно-методологическая модель реализации концепта «экселленс» в системе оценки образовательных программ была успешно апробирована в процедуре профессионально-общественной аккредитации АНО «На-цаккредцентр» в 13 образовательных организациях в рамках проведения процедуры независимой экспертизы с международным участием. Экспертизу, в основе которой был апробирован концепт «экселленс», прошло более 95 образовательных программ, из них 80 образовательных программ высшего образования, 13 образовательных
0.300
0,250
И Ч
'В £
« Й 0,200
о °
н Ч
<ц
| Й 0,150
о 9
о к
о р
® И 0,100
м О
О §
1=1 в
0,050
0,000
Стандарт Стандарт Стандарт Стандарт Стандарт Стандарт Стандарт 1 2 3 4 5 6 7
Стандарт Рис. 1. Результаты Парето-анализа
программ дополнительного образования, 2 образовательные программы послевузовского образования. К числу наиболее существенных результатов, полученных в ходе исследования, относятся:
1. Предложено научное обоснование концепта «экселленс» в системе оценивания качества образовательных программ; представлена содержательная характеристика термина «эксел-ленс» в образовательных системах;
2. Теоретически обоснована и внедрена организационно-методологическая модель применения концепта «экселленс» в системе оценки качества образовательных программ, функционирующая в соответствии с российским законодательством и европейскими стандартами и рекомендациями для гарантии качества;
2. Выявлены и теоретически обоснованы организационно-педаго-
гические условия, обеспечивающие эффективность теоретической модели экселленс.
3. Для совершенствования независимой экспертизы качества образовательных программ проведено анкетирование и Парето-анализ с целью разработки практических рекомендаций.
4. Экспериментально проверена эффективность организационно-методологической модели.
Таким образом, можно сделать вывод, что организационно-методологическая модель реализации концепта «экселленс» в системе оценки образовательных программ позволяет независимо и всесторонне оценить и признать высокое качество реализации образовательных программ высшего образования. Применение нового инструмента оценки качества образования в оценочных процедурах (обществен-
ная аккредитация, профессионально-общественная аккредитация) позволяет не только выполнить основные требования, заложенные в приоритетных направлениях образовательной политики России, но и предоставляет вузам использовать новый независимый механизм, который стимулирует их к развитию, совершенствованию и движению вперед.
Источники:
1. Государственная программа «Развитие образования до 2020 года»[81а!е Program «Education development until 2020». (In Russ.)]
2. Федеральный закон от 29.12. 2012 г. № 273-ФЗ «Об образовании в Российской Федерации». [Federal Act No. 273-FA of 29.12. 2012 «On Education in the Russian Federation». (In Russ.)]
3. Федеральная целевая программа развития образования на 2011-2015 годы. [Federal Target Programme of Education Development for 2011-2015. (In Russ.)]
4. Наводнов В.Г. Проект «Лучшие образовательные программы инновационной России» как система мониторинга образовательных программ / В.Г. Наводнов, Г.Н. Мотова, О.А. Матвеева, О.Е. Рыжако-ва // Вестник Марийского государственного технического университета. Серия «Экономика и управление». 2014. № 3 (22). С. 15-30. [Navodnov V.G. The Project «The Best Educational Programmes of Innovative Russia» as a monitoring system of educational programmes / V.G. Navodnov, G.N. Motova, О.А. Matveeva, О.Е. Ryzhakova // Vestnik Mariiskogo gosudarstvennogo tekhnicheskogo universiteta. Series «Economics and Management». 2014. № 3 (22). P. 15-30. (In Russ.)]
5. The concept of Excellence in higher education // M. Brusoni, R. Damian, J. Griffol Sauri, S. Jackson, Komurcugil, M. Malmedy, O. Matveeva, G. Motova, S. Pisarz, P. Pol,
A. Rostlund, E. Soboleva, O. Tavares, L. Zobel. ENQA occasional paper. Brussels, Belgium. 2014. 46 p.
6. Мотова Г.Н. Превосходство как новый тренд в высшей школе / Г.Н. Мотова, О.А. Матвеева // Внедрение европейских стандартов и рекомендаций в системы гарантии качества образования: сб. материалов VIII Междунар. Форума Гильдии экспертов / под общей редакцией д.п.н. Г.Н. Мотовой. М.: Издат-во «Гильдия экспертов в сфере профессионального образования», 2013. С. 50-55. [Motova G.N. Excellence as a new trend in higher education / О.А. Matveeva, G.N. Motova // Implementation of European standards and guidelines in quality assurance systems of higher education: materials of VIII International Forum of the Guild of Experts / edited by PhD, G.N. Motova. М.: Publishing office «The National Guild of Experts in the Sphere of Professional Education», 2013. P. 50-55.]
7. Аккредитация высших учебных заведений в России: учебное пособие /
B.Г. Наводнов, Е.Н. Геворкян, Г.Н. Мотова, М.В. Петропавловский. Йошкар-Ола: Мар-ГТУ, 2008. 166 с. [Accreditation of higher education institutions in Russia: study book / V.G. Navodnov, E.N. Gevorkyan, G.N. Motova, М.У. Petropavlovsky. Yoshkar-Ola: MarSTU, 2008. 166 p. (In Russ.)]
8. Андреев В.И. Педагогика: учебный курс для творческого саморазвития. Казань: Центр инновационных технологий, 2003. 608 с. [Andreev V.I. Pedagogics: study course for creative self-development. Kazan: Centre of innovative technology, 2003. 608 p. (In Russ.)]
9. Наводнов В. Г. Обзор принципов формирования внутривузовских систем гарантии качества образования: учеб. пособие / В.Г. Наводнов, Г.Н. Мотова, О.А. Матвеева. Йошкар-Ола: УКЦ, 2012. 212 с. [Navodnov V.G. Review of the principles of formation of inernal quality assurance systems of education: education guidance / V.G. Navodnov,
G.N. Motova, О.А. Matveeva. Yoshkar-Ola: TCC, 2012. 212 p. (In Russ.)]
10. Стандарты и рекомендации для гарантии качества высшего образования в европейском пространстве. Йошкар-Ола: Аккредитация в образовании, 2008. 58 с. [Standards and Guidelines for Quality Assurance in Higher Education Area. Yoshkar-Ola : Accreditation in Education, 2008. 58 p. (In Russ.)]
11. Официальный сайт Национального центра общественно-профессиональной аккредитации. Режим доступа: http://ncpa. ru (дата обращения: 05.09.2014). [Official website of the Centre for Public Accreditation. Available on: http://ncpa.ru (reference date: 05.09.2014) (In Russ.)]
12. Матвеева О.А. Концепт «эксел-ленс» в образовании и системах оценивания: теоретические аспекты / О.А. Матвеева, Г.Н. Мотова // XVII Вавиловские чтения: материалы постоянно действующей меж-дунар. междисциплинар. науч. конф.: в 2 ч. / под общ. ред. проф. В.П. Шалаева. Йошкар-Ола: ПГТУ, 2014. Ч. 2. С. 20-21. [Matveeva O.A. The concept of Excellence in higher education and assessment systems: theoretical aspects / О.А. Matveeva, G.N. Motova // XVII Vavilov's readings: materials of Permanent International Interdisciplinary scientific conference. / edited by V.P. Shalaev. Yoshkar-Ola: VSUT, 2014. Part 2. P. 20-21. (In Russ.)]
References:
1. Gosudarstvennaya programma «Raz-vitie obrazovaniya do 2020 goda».
2. Federal'nyy zakon ot 29.12. 2012 g. № 273-FZ «Ob obrazovanii v Rossiyskoy Fed-eratsii».
3. Federal'naya tselevaya programma razvitiya obrazovaniya na 2011-2015 gody.
4. Navodnov V.G. Proekt «Luch-shie obrazovatel'nye programmy innovat-sionnoy Rossii» kak sistema monitoringa obrazovatel'nykh programm / V.G. Navodnov,
G.N. Motova, O.A. Matveeva, O.E. Ryzhako-va // Vestnik Mariyskogo gosudarstvennogo tekhnicheskogo universiteta. Seriya «Eko-nomika i upravlenie». 2014. № 3 (22). S. 1530.
5. The concept of Excellence in higher education // M. Brusoni, R. Damian, J. Griffol Sauri, S. Jackson, Komurcugil, Malmedy M., O. Matveeva, G. Motova, S. Pisarz, P. Pol, A. Rostlund, E. Soboleva, O. Tavares, L. Zobel. ENQA occasional paper. Brussels, Belgium. 2014. 46 p.
6. Motova G.N. Prevoskhodstvo kak novyy trend v vysshey shkole / G.N. Motova, O.A. Matveeva // Vnedrenie evropeyskikh standartov i rekomendatsiy v sistemy garan-tii kachestva obrazovaniya: sb. materialov VIII Mezhdunar. Foruma Gil'dii ekspertov / pod obshchey redaktsiey d.p.n. G.N. Moto-voy. M.: Izdat-vo «Gil'diya ekspertov v sfere professional'nogo obrazovaniya», 2013. S. 5055.
7. Akkreditatsiya vysshikh ucheb-nykh zavedeniy v Rossii: uchebnoe posobie / V.G. Navodnov, E.N. Gevorkyan, G.N. Moto-va, M.V. Petropavlovskiy. Yoshkar-Ola: Mar-GTU, 2008. 166 s.
8. Andreev V.I. Pedagogika: uchebnyy kurs dlya tvorcheskogo samorazvitiya. Kazan': Tsentr innovatsionnykh tekhnologiy, 2003. 608 s.
9. Navodnov V.G. Obzor printsipov formirovaniya vnutrivuzovskikh sistem ga-rantii kachestva obrazovaniya: ucheb. posobie / V.G. Navodnov, G.N. Motova, O.A. Matveeva. Yoshkar-Ola: UKTs, 2012. 212 s.
10. Standarty i rekomendatsii dlya ga-rantii kachestva vysshego obrazovaniya v evropeyskom prostranstve. Yoshkar-Ola: Ak-kreditatsiya v obrazovanii, 2008. 58 s.
11. Ofitsial'nyy sayt Natsional'nogo tsen-tra obshchestvenno-professional'noy akkredi-tatsii. Rezhim dostupa: http://ncpa.ru (data obrashcheniya: 05.09.2014).
12. Matveeva O.A. Kontsept «eksell-ens» v obrazovanii i sistemakh otsenivani-
ya: teoreticheskie aspekty / O.A. Matveeva, G.N. Motova // XVII Vavilovskie chteniya: materialy postoyanno deystvuyushchey mezh-
dunar. mezhdistsiplinar. nauch. konf.: v 2 ch. / pod obshch. red. prof. V.P. Shalaeva. Yoshkar-Ola: PGTU, 2014. Ch. 2. S. 20-21.
Зарегистрирована: 01.10.2014
Матвеева Оксана Александровна (г. Йошкар-Ола), Поволжский государственный технологический университет, кафедра иностранных языков, преподаватель, аспирант кафедры прикладной математики и информационных технологий. Тел.: 8-927-68-23-262. E-mail: [email protected]
Matveeva Oksana Aleksandrovna (Yoshkar-Ola), Volga State University of Technology, teacher of English of chair of foreign languages, postgraduate student of chair of applied mathematics and information. Tel.: 8-927-68-23-262. E-mail: [email protected]
