CC BY
90
УДК 378.147:004.05
АКТУАЛЬНЫЕ ВОПРОСЫ ОЦЕНКИ КАЧЕСТВА ДИСТАНЦИОННЫХ УЧЕБНЫХ КУРСОВ
© 2016
Богданова Анна Владимировна, кандидат педагогических наук, начальник отдела развития дистанционного образования Тольяттинский государственный университет (445020, Россия, Тольятти, ул. Белорусская, 14, e-mail a.bogdanova@tltsu.ru) Коновалова Елена Юрьевна, кандидат педагогических наук, заместитель главного редактора журнала Институт направленного профессионального образования (445009, Россия, Тольятти, улица Комсомольская 84а, e-mail: key1103@yandex.ru)
Аннотация. Актуальность рассмотрения вопросов оценки качества дистанционных учебных курсов обусловлена, в первую очередь, изменениями, происходящими в системе профессионального образования, тенденциями ее развития. Важными вехами в этом направлении стали: разработка профессиональных стандартов по отраслям и специальностям; популяризация дистанционного обучения; пристальное внимание надзорных органов к деятельности вузов, в том числе в части применения дистанционных образовательных технологий. Стало понятно, что при их использовании значительно уменьшается роль преподавателя в учебном процессе. Это привело к выводу о том, что гораздо более пристальное внимание должно быть уделено качеству контента, учебных курсов. А вслед за этим встал вопрос: как сделать процедуру оценки качества дистанционного учебного курса доступной, быстрой и эффективной? В статье предлагается общая концепция оценки качества дистанционного учебного курса по группам показателей, характеристик. Рассмотрены восемь групп, каждая из которых может быть детализирована в зависимости от поставленных задач до нужной глубины. На основании выделенных критериев и характеристик составлен интегрированный показатель качества дистанционного курса. Система показателей, разбитых по группам, может применяться для решения различных задач анализа состояния курсов, составляющих контент системы дистанционного обучения. Описанные в статье принципы нашли свое применение в Тольяттинском государственном университете. На их основе производится оценка качества курсов, участвующих в федеральном образовательном проекте «Росдистант». В настоящее время можно говорить только о промежуточных результатах внедрения данной системы. Исследование продолжается на момент подготовки данной статьи. Однако полученные данные подтверждают гипотезу о том, что, выделив показатели по предлагаемым группам характеристик, можно оперативно получить достаточно объективную оценку качества дистанционного учебного курса, и выделить рекомендации по его улучшению.
Ключевые слова: дистанционное образование, дистанционное обучение, дистанционный учебный курс, качество учебного курса, оценка качества, показатели качества учебного курса, учебный контент, профессиональные стандарты, качество образования.
TOPICAL ISSUES OF ASSESSING THE QUALITY OF DISTANCE LEARNING COURSES
© 2016
Bogdanova Anna Vladimirovna, candidate of pedagogical Sciences, head of Department of development of distance education Togliatti State University (445020, Russia, Togliatti, Belorusskaya str, 14, e-mail a.bogdanova@tltsu.ru) Konovalova Elena Yurevna, candidate of pedagogical science, Deputy Editor
Institute directed vocational education (445009, Russia, Togliatti, Komsomolskaya 84a, e-mail: key1103@yandex.ru)
Abstract. Relevance of consideration of questions of assessment of quality of remote training courses is caused, first of all, by the changes happening in system of professional education, tendencies of its development. Important milestones in this direction became: development of professional standards on branches and specialties; promoting of distance learning; close attention of supervisory authorities to activity of higher education institutions, including regarding use of remote educational technologies. It became clear that at their use the role of the teacher in educational process considerably decreases. It led to a conclusion that much closer attention has to be paid to quality of content, training courses. And after this there was a question: how to make assessment procedure of quality of a remote training course available, bystry and effective? In article the general concept of assessment of quality of a remote training course on groups of indicators, characteristics is offered. Eight groups are considered, each of which can be detailed depending on objectives up to the necessary depth. On the basis of the marked-out criteria and characteristics the integrated indicator of quality of a remote course is made. The system of the indicators broken on groups can be applied to the solution of various tasks of the analysis of a condition of the courses making content of system of distance learning. The principles described in article found the application at the Tolyatti state university. On their basis assessment of quality of the courses participating in the federal educational Rosdistant project is made. Now it is possible to speak only about intermediate results of introduction of this system. The research continues at the time of preparation of this article. However the obtained data confirm a hypothesis that, having allocated indicators on the offered groups of characteristics, it is possible to receive quickly rather objective assessment of quality of a remote training course and to select recommendations about its improvement.
Keywords: distance formation, distance learning, distance learning course, quality of a learning course, quality assessment, indicators of quality of a learning course, educational content, professional standards, quality of education.
Комплексная разработка профстандартов в перспективе позволит не только оптимизировать систему профессионального образования в России, но и систематизировать образовательную деятельность в вузах страны, поскольку новые стандарты станут своего рода основой для формирования образовательных стандартов, согласно которым составляются учебные планы и методические материалы.
Федеральный закон № 236-Ф3 «О внесении изменений в Трудовой кодекс РФ и статью 1 Федерального закона «О техническом регулировании» от 03.12.2012 до-
полнил Трудовой кодекс новой статьей, в которой впервые установлены дефиниции «профессиональный стандарт» и «квалификация работника». Профессиональный стандарт рассматривается, как особая характеристика квалификации, необходимой работнику для осуществления определенного вида профессиональной деятельности, а под квалификацией работника имеется в виду уровень знаний, умений, профессиональных навыков и опыта его работы.
Если мы обратимся к уже разработанным и законодательно утвержденным профессиональным стандар-
там, то увидим в большинстве из них четкое указание на перечень направлений подготовки специалистов, которые могут быть приняты на работу согласно данному стандарту.
В связи с этим многократно возрастает ответственность института высшего образования в области подготовки квалифицированных специалистов [1-11]. При этом совершенно не важно, какова форма обучения: очная или заочная, и используются ли в учебном процессе дистанционные технологии. Вуз, выпуская студента, несет полную ответственность за то, какими знаниями, навыками, умениями и, самое главное - какими компетенциями тот обладает. Если в условиях очного обучения преподаватель, куратор в той или иной степени может корректировать в рамках курса траекторию и методы обучения, то при дистанционном обучении это практически невозможно, а значит, учебные курсы должны быть выстроены таким образом, чтобы с максимальной вероятностью обеспечивать заданный образовательный результат.
Все это приводит нас к выводу о чрезвычайной актуальности вопросов оценки качества дистанционных учебных курсов [12-16]. В ходе работы над учебным курсом экспертиза должна проводиться на всех этапах, начиная от его планирования и подготовки паспорта курса, заканчивая финальной приемкой обработанного и размещенного в системе дистанционного обучения (СДО) материала. При этом нужно понимать, что привлечение профессиональных экспертов и специалистов в предметной области курса приведет к значительному удорожанию контента. Поэтому мы предлагаем частично формализовать экспертизу учебных материалов и самого курса, чтобы таким образом отсеивать заведомо некачественный контент, который не будет в дальнейшем эффективен при дистанционном обучении.
Для этого мы предлагаем выделить ряд групп характерных признаков, показателей, по которым можно производить оценку:
1) полнота комплекта представленных материалов;
2) наличие описания плановых образовательных результатов и способов их достижения;
3) соответствие видов учебной деятельности образовательным результатам;
4) качество учебного материала;
5) простота обновления и актуализации контента;
6) технологическое обеспечение изучения курса;
7) уровень сопровождения обучения;
8) эргономика учебного курса в системе дистанционного обучения.
Далее остановимся на каждой из групп отдельно.
Полнота комплекта представленных разработчиками материалов характеризуется не только списочным составом элементов учебного курса. При оценке по данному признаку проводится проверка полноты и непротиворечивости сведений, представленных в сопроводительной информации по курсу. Так, аннотация к курсу для обучающихся должна содержать информацию о том, сколько времени понадобится, чтобы эффективно освоить его, какие виды учебной деятельности предполагаются в курсе и являются ли они обязательными. Важным аспектом является указание технических средств, необходимых для осуществления той или иной учебной деятельности. Предлагается оценивать также наличие сведений о логике обучения в курсе, особенно в том случае, когда она отличается от общей логики обучения в СДО. Кроме того, обязательным является наличие данных о преподавателях курса и других сопровождающих его лиц, к которым можно обратиться, например, за консультацией или в случае возникновения спорных ситуаций.
Наличие описания плановых образовательных результатов и способов их достижения являются одним из важнейших показателей качества учебного курса в СДО. Это обусловлено тем, что студент, обучающийся дистанционно, фактически исключен из традиционной ака-80
демической среды, присущей очному образованию. Он мало общается с одногруппниками и преподавателями, обращаясь к ним в основном только в случае необходимости. Поэтому основной источник внешней мотивации для него должен находиться непосредственно в СДО и быть привязан к конкретным учебным курсам. В описании курса для этого каждая из компетенций описывается в ассоциации с конкретными видами учебной деятельности и учебными полями [17]. Отдельные ученые при этом отмечают необходимость для всех заявленных компетенций непосредственно в курсе приводить показатели освоения по каждой теме, каждому модулю (разделу), описание измеримых результатов и указывать, насколько они отражают степень достижения целей всего курса. Однако нам данное предложение кажется излишним, поскольку эта информация носит скорее методический характер и интересна обеспечивающей стороне курса: преподавателю, учебной части вуза, проверяющим и т.д. Вместе с тем, обучающемуся достаточно понимать направленность изучения всего курса, возможность оценить целевые образовательные результаты. Излишняя детализация может отвлечь студентов от обучения, заставив их углубиться в формальный анализ собственного прогресса. Вместо того чтобы следовать логике курса и видов учебной деятельности, они будут сверять собственные успехи с критериями освоения отдельных элементов, не обращая внимания на картину учебного курса в целом. На наш взгляд, достаточным будет для всех формируемых компетенций привести показатели освоения по итогам изучения всего курса, возможно, добавив описание измеримых результатов. При этом важно указать, какими компетенциями должен обладать обучающийся для того, чтобы приступить к изучению курса.
Соответствие видов учебной деятельности образовательным результатам может быть оценено в большинстве случаев только экспертно. В ходе оценки важно рассматривать не только то, насколько успешно с помощью выбранных учебных полей можно формировать ту или иную компетенцию, но и то, насколько объективно определено количество баллов за отдельные учебные ситуации [18], задания, отражает ли оно их реальную ценность и трудоемкость.
Оценка качества учебного материала требует самой серьезной оценки из всех перечисленных выше параметров. Вместе с тем и здесь можно осуществить некую предварительную проверку, которая не потребует глубоких знаний предметной области. В частности, общей оценке могут быть подвергнуты способы представления учебного контента, равно как и их разнообразие, и определенность в указании основного и дополнительного контента, а также соответствие представленного обучающего материала и контрольных мероприятий по курсу.
Когда мы говорим об обновлении контента в курсе, предполагается, что учебный материал должен быть актуальным и отражать все последние изменения, например, в законодательстве и т.п. Вместе с тем, в курсе могут быть обнаружены технические ошибки, опечатки в тексте, которые должны исправляться как можно скорее. В связи с этим простота обновления и актуализации контента тоже имеет большое значение при оценке качества курса. Может показаться, что это в большей степени характеристика СДО, нежели отдельного курса, однако это не совсем так. По данной группе показателей удобнее всего оценивать наличие паспорта курса при разработке, соответствие структуры курса паспорту, наличие тематической привязки контрольных мероприятий и элементов к учебному материалу.
Под технологическим обеспечением изучения курса ошибочно было бы подразумевать исключительно уровень применения информационно-коммуникационных технологий при его реализации [19-28]. Это как раз больше относится к характеристикам СДО. Нам при оценке по данной группе показателей важны именно АНИ: педагогика и психология. 2016. Т. 5. № 4(17)
образовательные технологии, применяемые в учебном процессе. Следует ответить на вопросы: насколько обеспечивается технологически вовлеченность студента в учебный процесс? В достаточной ли степени используются возможности СДО для достижения целей курса? Насколько актуальная и современная выстроенная процессная система совместной работы преподавателя и обучающихся [29]?
Уровень сопровождения обучения оказывает на образовательный результат как прямое, так и косвенное воздействие [30]. Наличие быстрой и качественной связи у студента с представителями СДО, будь то преподаватель или персональный менеджер, во-первых, дает ему возможность быстро решать возникающие вопросы и проблемы, а во-вторых, формирует положительный образ курса в его сознании, в результате повышается мотивация к обучению. В данную группу показателей мы включаем: полноту и достоверность контактных данных, представленных на странице курса, режим технической и академической поддержки студента, уровень удовлетворенности студентов сопровождением курса.
Эргономика учебного курса в системе дистанционного обучения характеризуется удобством и логичностью навигации по элементам курса, выбранных технологий; доступностью при ограниченных возможностях (по здоровью); «мягкостью» дизайна страницы курса; наличием доступных равнозначных альтернатив по изучению конструктивных элементов курса.
Все перечисленные группы характеристик были выделены на основе опросов студентов и преподавателей, а также требований ФГОС и действующей нормативной документации. Данный набор, по нашему мнению, позволяет в достаточной степени оценить качество учебного курса в дистанционном обучении, выстроив процесс оценки следующим образом (таблица 1).
Таблица 1 - Этапы определения качественного уровня дистанционного учебного курса
№ этапа Название этапа Способ оценки
1 Оценка полноты комплекта представленных материалов Контроль на соответствие нормативным документам
2 Проверка на наличие описания плановых образовательных результатов и способов их достижения
3 Определение соответствия видов учебной деятельности образовательным результатам Экспертная оценка выбранных методов и инструментов обучения
4 Оценка качества учебного материала Экспертная содержательная оценка курса
5 Анализ простоты обновления и актуализации контента Оценка техническими специалистами
6 Определение достаточности технологического обеспечения изучения курса
7 Контроль уровня сопровождения обучения Анкетирование и опросы студентов на предмет удовлетворенности уровнем сопровождения Контроль уровня сопровождения заявленным нормам
8 Пользовательская оценка эргономики учебного курса в системе дистанционного обучения Анкетирование и опросы студентов на предмет удовлетворенности уровнем сопровождения Экспертная оценка
ции, глубина которой зависит от потребностей вуза и его заинтересованности в развитии сектора дистанционного образования.
На основании выделенных критериев и характеристик может быть составлен интегрированный показатель качества дистанционного курса. п
3 = Е 3(т1 1=1
Л =■
3
гдгаёд
3 оаёд
Е т(
=1
1=1
где п - число показателей, характеристик, Ji - уровень качества, полученный по ьому показателю, mi - коэффициент весомости, учитывающий значимость ього показателя в процессе диагностики качества учебного
курса, J - целевой уровень качества по ьому пока* 7 проект ' * ^
зателю, Jфакт - фактический уровень качества по ьому показателю.
Система показателей, разбитых по группам, может применяться для решения различных задач анализа состояния курсов, составляющих СДО [32, с. 29-32]. В зависимости от поставленных задач оптимизации СДО одни и те же показатели могут обладать различным коэффициентом весомости.
Для этих целей удобно использовать сугубо экономический принцип внутрифирменного планирования [33-35]. Современное внутрифирменное планирование заключается в определении будущего (желаемого) состояния предприятия или объекта, отдельных его подсистем, экономических показателей или иных конечных результатов и тех целесообразных решений, которые необходимо осуществить, чтобы вывести предприятие или объект из существующего положения в новое, предполагаемое или планируемое [36].
Наличие системы показателей и характеристик для оценки качества учебного курса позволяет измерять и сопоставлять динамику его изменений «план - факт - целевое значение» - <Р4, Ft, и «план - прогноз -целевое значение» - <Рп+р Fn+1, ^^ При этом первое выражение используется для оценки проблемной ситуации в рассматриваемом интервале планирования ^ а второе - в прогнозируемом интервале времени ^ = п+1. Количественная оценка рассогласования качества учебного курса с целевыми показателями определяется как среднеквадратичное отклонение между величинами плана, факта и прогноза. Отдельные характеристики отклонения относительно каждого показателя преобразуются в некоторую комплексную характеристику оценки качества дистанционного учебного курса в целом:
vjt) < , 1 = 1, п; ] = 1, т; / = 1, Т;
<*Ь - ч
^ =
п в 2
Выделенные группы далее детализируются в виде наборов конкретных характеристик, раскрывающих их суть. Перечень выделяемых критериев учебное заведение определяет самостоятельно, исходя их действующих норм, а также тенденций и программы развития [31]. Самостоятельно определяется и степень детализа-
В случае неравнозначного влияния результирующих показателей на оценку качества дистанционного учебного курса в целом выражение для Дх..( представляется в виде взвешенной суммы. При выполнении задачи управления качеством дистанционного учебного курса процесс перехода отдельных показателей в заданное состояние есть результат управления с течением времени и с изменением значимых показателей.
В 2016 году описанные принципы применены для оценки качества дистанционных курсов в Тольяттинском государственном университете. Параллельно по большинству показателей проводились опросы и анкетирования пользователей СДО, работающих с учебными курсами. Данные, полученные по предложенной методике, полностью подтверждены данными, полученными от пользователей. Отметим, что по некоторым показа-
телям от экспертной оценки, как формы контроля качества дистанционного учебного курса, отказаться пока не представляется возможным.
Актуальность вопросов оценки качества дистанционных учебных курсов продиктована очевидным фактом: дистанционное обучение уже давно перестало быть редкостью, новинкой на рынке образовательных продуктов. Конкурентная борьба между вузами, а также необходимость соблюдения законодательства и требований работодателей приводят к тому, что управление качеством учебного контента, учебных курсов тоже становятся обязательным элементом СДО. Для выхода на мировой уровень как по качеству подготовки специалистов в различных областях, так и по использованию современных информационных технологий по всем направлениям и отраслям развиваться в этом направлении нужно быстро и целенаправленно. Добиться этого можно, только скорректировав традиционные подходы к управлению качеством учебных курсов в дистанционном образовании, используя инновационные подходы и возможности, которые предоставляет научно-технический прогресс, и огромную научно-педагогическую и методическую базу, которая есть в России.
СПИСОК ЛИТЕРАТУРЫ:
1. Беляева Е.Н. Современные тенденции профессиональной подготовки педагога // Карельский научный журнал. 2014. № 1. С. 46-48.
2. Кондаурова И.К., Захарова Т.Г., Гусева М.А. Региональный опыт подготовки и профессионального становления будущих педагогов-математиков в условиях модернизации среднего и высшего математического образования // Балтийский гуманитарный журнал.
2014. № 4. С. 81-84.
3. Кондаурова И.К., Гусева М.А. Место дисциплины «введение в систему математического образования России» в профессиональном становлении педагога-математика // Карельский научный журнал. 2014. № 4. С. 62-65.
4. Абаева Ф.Б. Практико-ориентированный подход при обучении иностранному языку магистрантов - будущих педагогов // Балтийский гуманитарный журнал.
2015. № 4 (13). С. 58-61.
5. Третьяк И.Г. Профессионально-педагогическая компетентность педагога // Самарский научный вестник.
2014. № 4 (9). С. 130-132.
6. Дубасенюк А.А. Акмеологическая концепция личностного и профессионального развития педагога // Карельский научный журнал. 2013. № 1. С. 22-27.
7. Власенко С.В., Чемоданова Г.И. Использование инновационных форм организации обучения в современном процессе системы повышения квалификации педагогов // Балтийский гуманитарный журнал.
2015. № 1 (10). С. 113-117.
8. Юсупова Г.В. Структура и динамика ценностных ориентаций современного педагога // Карельский научный журнал. 2013. № 4. С. 124-126.
9. Горбунова О.В. Социальная зрелость личности будущих педагогов-психологов: подходы к определению // Балтийский гуманитарный журнал. 2014. № 1. С. 45-47.
10. Кондаурова И.К. Перспективы организации профессиональной подготовки будущих учителей // Азимут научных исследований: экономика и управление. 2015. № 3 (12). С. 25-27.
11. Богданова А.В. Диагностика качества образования в условиях разработки национальной системы профессиональных стандартов России // Вестник Гуманитарного института ТГУ. 2012. № 2 (13).
12. Кулагина Ю.А. Результаты опытно-экспериментальной работы по подготовке будущих педагогов к использованию дистанционных образовательных технологий // XXI век: итоги прошлого и проблемы настоящего плюс. 2012. № 4 (08). С. 87-93.
13. Ахметова Д.З. Обеспечение качества дистанци-
онного обучения в призме личностного развития обучающихся // Карельский научный журнал. 2013. № 4. С. 55-58.
14. Горбатов С.В. Использование электронных технологии в процессе обучения лиц с ограниченными возможностями // Самарский научный вестник. 2012. № 1 (1). С. 14-15.
15. Морозова И.Г. Повышение инфокоммуникацион-ной компетенции преподавателей в проектах дистанционного обучения иностранных студентов // Карельский научный журнал. 2013. № 4. С. 79-80.
16. Тимирясова Л.Б. Использование интерактивных мультимедийных проектов в обучении иностранным языкам // Балтийский гуманитарный журнал. 2014. № 4. С. 109-111.
17. Богданова А.В., Глазова В.Ф. Технология учебных полей как эффективный инструмент формирования профессиональной компетентности // Карельский научный журнал. 2014. № 2. С. 32-35.
18. Глазова В.Ф. Профессионально-ориентированное обучение дисциплине «Современные информационные технологии» // Современное состояние и перспективы развития психологии и педагогики / Сборник статей Международной научно-практической конференции. Ответственный редактор Сукиасян А.А.. 2014. С. 36-38.
19. Koval N.N. Possibility of modern software ict their influence on formation of information educational space pedagogical activity pedagogical education // Азимут научных исследований: экономика и управление. 2012. № 1. С. 27-31.
20. Смирнова Е.В. Формирование коммуникативного пространства языковой среды в условиях иноязычного информационного и коммуникационного взаимодействия // Балтийский гуманитарный журнал. 2013. № 2. С. 33-36.
21. Есаулова И.В., Ягова Е.Ю. Информационно-коммуникационные технологии в процессе организации самостоятельной работы студентов при изучении математических дисциплин // XXI век: итоги прошлого и проблемы настоящего плюс. 2013. Т. 2. № 11 (15). С. 66-71.
22. Чертакова Е.М. Правовая и экономическая оценка качества педагогической продукции функционирующей на базе информационных и коммуникационных технологий // Балтийский гуманитарный журнал. 2014. № 4. С. 32-34.
23. Коваль Н.Н. Современные информационно-коммуникационные технологии в аналитической управленческой деятельности: проблемы и перспективы // Карельский научный журнал. 2015. № 1 (10). С. 39-44.
24. Третьякова Е.М. Роль информационных технологий в реформировании образования // Балтийский гуманитарный журнал. 2015. № 1 (10). С. 148-149.
25. Бобышев Е.Н. О механизмах реализации стратегии развития информационного общества // Азимут научных исследований: экономика и управление. 2015. № 1 (10). С. 21-23.
26. Митин А.Н. Компетентностный подход в обучении информационным технологиям с использованием электронных образовательных ресурсов // Балтийский гуманитарный журнал. 2014. № 4. С. 93-96.
27. Смирнова Е.В. Дидактические цели использования средств информационных технологий для развития умений иноязычной деятельности в процессе обучения английскому языку // Карельский научный журнал. 2014. № 4. С. 82-88.
28. Богданова А.В. Формирование информационно-коммуникативной компетентности студентов вуза с применением технологии учебных полей как научная проблема // Балтийский гуманитарный журнал. 2014. № 4. С. 46-50.
29. Пьянников М.М. К вопросу о понятиях «дистанционное обучение» и «дистанционное образование» // Гуманитарный вектор. 2010. №1. С. 41-44._
30. Итоги эксперимента в области дистанционного обучения и перспективы развития дистанционных образовательных технологий. Решение коллегии МОиН от 26.06.2002 г. // Право и образование. 2002. №4. С. 165169.
31. Глазова В.Ф. Особенности процесса информатизации в вузе // Вектор науки Тольяттинского государственного университета. Серия: Экономика и управление. 2013. № 1 (12). С. 28-30.
32. Актуальные проблемы современного педагогического образования / Сборник научно-методических статей победителей городского конкурса "Образование без границ", посвященного 65-летию высшего образования в г.о. Тольятти / Под общей редакцией Г.В. Ахметжановой. 2016.
33. Крамин М.В. Внутрифирменные институты как инструмент корпоративного управления // Актуальные проблемы экономики и права. 2012. № 1. С. 140-144.
34. Коваль Н.Н. Аналитическая деятельность: планирование на основе ТАРРОС «Landrail» // Балтийский гуманитарный журнал. 2014. № 4. С. 73-77.
35. Сыротюк С.Д. Предпосылки становления самообучающихся организаций в условиях современного социально-экономического развития // Балтийский гуманитарный журнал. 2015. № 4 (13). С. 109-112.
36. Зубкова Н.В. Взаимосвязь внутрифирменного планирования и корпоративного управления // Вестник Оренбургского государственного университета. 2009. № 1 (107). С. 35-39.
