CC BY
290
УДК 378.1
13.00.00 Педагогические науки
ИННОВАЦИОННЫЙ ПОДХОД К ОЦЕНКЕ КАЧЕСТВА ОБРАЗОВАНИЯ В ВУЗАХ
Оськин Сергей Владимирович д.т.н., профессор, заведующий кафедрой Электрических машин и электропривода, SPIN-код: 2746-7547
Оськина Галина Михайловна к.т.н., доцент, SPIN-код: 4866-8216
Кубанский государственный аграрный университет, Краснодар, Россия
Сегодня необходимо непосредственно в системе образования разработать новые подходы и методики, повышающие качество выпускников. Переход нашей страны на рыночную экономику вынуждает конкурировать своей продукцией не только с предприятиями, но и образовательными учреждениями. В статье показано, что для анализа качества освоения компетенций выпускниками вузов вполне применимы элементы теории автоматического регулирования. Выход последующих нормативных документов только подтвердили эту гипотезу. В связи с этим проведено дальнейшее развитие такой методологии. В статье отдельное внимание уделено фондам оценочных средств, так как от их качества зависит адекватность полученной информации и правильность дальнейших действий системы образования. Также показана необходимость создания ситуации, в которой студент может проявить получаемые навыки не только в учебных аудиториях. Отдельные компетенции могут проявляться во внеучебной деятельности, и оценивать их могут не только ведущие преподаватели, но и кураторы в общежитиях, ответственные по воспитательной работе, руководители НИРС, руководители учебных и производственных практик и т.п. Приведена методика расчета общего уровня сфор-мированности компетенций
Ключевые слова: КАЧЕСТВО ОБРАЗОВАНИЯ, КОМПЕТЕНЦИИ, АВТОМАТИЧЕСКОЕ РЕГУЛИРОВАНИЕ, АТТЕСТАЦИЯ, ВЫПУСКНАЯ КВАЛИФИКАЦИОННАЯ РАБОТА, ОБРАЗОВАТЕЛЬНЫЙ СТАНДАРТ
UDC 378.1
13.00.00 Pedagogical sciences
INNOVATIVE APPROACH TOWARDS EDUCATION QUALITY ASSESSMENT AT HIGHER EDUCATIONAL INSTITUTIONS
Oskin Sergey Vladimirovich Doctor of Technical Sciences, professor, Head of Department of Electrical Machines and Drives, SPIN-code: 2746-7547
Oskina Galina Mikhailovna
candidate of technical science, associate professor
SPIN-code: 4866-8216
Kuban State Agrarian University, Krasnodar, Russia
One of contemporary challenge at the educational system is a need to develop new methods and approaches enhancing quality of graduates. Transformations in our country towards market economy make us to compete with own products not only at the level of enterprises, but educational institutions as well. The article shows that the elements of the Theory of Automation are applicable to the quality analysis of the accomplishment of graduates. Issuing of latest regulation documents also supports this hypothesis and encourages the further development of mentioned methodology. In the article, special attention is paid to the funds of assessment tools because of their quality depends on the adequacy and accuracy of the information received further action of the education system. It is also shown that it is necessary to create a situation in which the student can demonstrate skills obtained, which can manifest itself not only in the classroom. Individual competence may appear in extracurricular activities, and evaluate their means can not only leading teachers, and supervisors in the dormitories, responsible for educational work, SRWS leaders, heads of educational and industrial practices, etc. The article describes the method of calculating the total level of formation of competence
Keywords: QUALITY OF EDUCATION, COMPETENCE, AUTOMATIC REGULATION, CERTIFICATION, FINAL QUALIFYING WORK EDUCATIONAL STANDARDS
В настоящее время в систему высшего образования все больше поступает документов, связанных с повышением качества образования. Это в первую очередь Федеральный Закон «Об образовании в Российской Феде-
рации» от 29.12.2012 г. N 273-ФЗ и Приказ Министерства образования и науки РФ «Об утверждении Порядка организации и осуществления образовательной деятельности по образовательным программам высшего образования - программам бакалавриата, программам специалитета, программам магистратуры» от 19 декабря 2013 г. № 1367. На основании этих и других нормативных актов необходимо непосредственно в системе образования разработать новые подходы и методики, повышающие качество выпускников. Переход нашей страны на рыночную экономику вынуждает конкурировать своей продукцией не только предприятиям, но и образовательным учреждениям. Например, высшие учебные заведения конкурируют на рынке труда своими выпускниками - чем активнее трудоустраиваются специалисты, тем выше спрос на них и тем больше желающих поступить в данный вуз. Это приведет к новому толчку в развитии методик преподавания, внедрению новых форм проведения занятий, установке нового лабораторного оборудования. Этому процессу будут способствовать работодатели, так как они заинтересованы в качественном продукте вузов. Чем теснее будут работать вузы с предприятиями, тем качественней будет выпускник. Однако вузы не будут делиться своими лучшими достижениями в области повышения качества образования и показывать только свое старание в способности придерживаться общих требований, оговоренных в образовательных стандартах и других нормативных документах. Сегодня борьба вузов за абитуриента приводит к необходимости постоянного поиска новых решений в области качества образования. Конечно, в этом поиске много и субъективных факторов, но, как правило, все они, в конечном итоге, взаимосвязаны. Так, более качественного специалиста можно подготовить из качественного выпускника средней школы, но таких выпускников можно получить только при высоком конкурсе в вуз, а такой конкурс создается, если есть высокий спрос на специалиста-выпускника, что делается при высоком качестве подготовки в вузе. Все эти тенденции находят
отражение и в недавно утвержденной Правительством РФ (29 декабря 2014 г. №2765-р) концепции Федеральной целевой программы развития образования на 2016-2020 годы. В данной концепции делается значительный упор на контроль качества обучения, так, например, сказано: «При отсутствии экспертно-аналитических и мониторинговых проектов Программы еще большая диспропорция возникнет в решении задач по обеспечению равной доступности к услугам качественного высшего образования, особенно на уровнях магистратуры и подготовки научно-педагогических кадров высшей квалификации, а также кадров высокотехнологических отраслей экономики». Также отмечается следующее: « В прежние годы не был поставлен и решен вопрос, связанный с применением единых оценочных средств и единых механизмов оценки качества знаний в профессиональном образовании (в том числе высшем образовании... В связи с этим в рамках реализации такого необходимого проектно-целевого инструмента, как Программа, предусматривается создание и развитие распределенной сети центров мониторинга качества образования.». Перечислены основные задачи по повышению качества образования и пути их решения, например: « В рамках задачи формирования востребованной системы оценки качества образования и образовательных результатов будут реализованы следующие мероприятия: развитие национально-региональной системы оценки качества общего образования путем реализации пилотных региональных проектов и создания национальных механизмов оценки качества; развитие системы оценки качества в среднем профессиональном и высшем образовании путем поддержки независимой аккредитации и оценки качества образовательных программ; включение России в международные исследования качества образования; экспертно-аналитическое, информационное, правовое, методическое и научное сопровождение программных мероприятий в области развития образования; поддержка инноваций в области развития и модернизации образования».
Ранее [1-5] отмечалось, что для определения путей повышения качества образования в вузе вполне применимы элементы теории автоматического регулирования. Выход последующих нормативных документов только подтвердили эту гипотезу. В связи с этим проведем дальнейшее развитие такой методологии.
Требования ^ ГОС ВПО* / \
Образовательный процесс
к
IV =
7 Р2 + 72 р+1
Рисунок 1 - Структурная схема обучения студентов
В литературе [1-5] схема обучения студентов представлена в виде, приведенном на рисунке 1.
Процесс управления выглядит следующим образом. На образовательный процесс воздействуют требования стандартов (ГОС ВПО), и данный процесс вырабатывает соответствующие сигналы управления на студента (в виде лекций, лабораторных и практических занятий, в том числе практик на производстве, организации самостоятельной работы). Студент на основе этих воздействий на выходе получает компетенции - общекультурные (ОК) и профессиональные (ПК). Полученные компетенции оцениваются работодателем. С точки зрения теории автоматического регулирования здесь можно наблюдать объект управления (ОУ) - студент и управляющее устройство (УУ) - образовательный процесс. Управляющее устройство как элемент автоматики следует рассматривать как апериодическое звено второго порядка. Объект управления следует рассматривать как пропорциональное звено с передаточной функцией, равной коэффициенту к2. При воздействии на него учебным процессом множеством дисциплин,
«идеальный» студент будет иметь значение к2.=1. Соответственно, если студент частично не усваивает знания, то к2.<1. Отмечено, что выходной сигнал из такой системы будет представлять апериодический, затухающий вид. Для нашей системы период затухания может находиться в диапазоне от 10 до 15 лет, а период автоколебаний - от 1 до 5 лет. В связи с этим все раннее вводимые изменения в ГОС ВПО не приводили к особым изменениям в установившийся процесс, что связано с большими постоянными времени (сигнал практически демпфировался системой). Однако введение стандартов третьего и последующих поколений привело к возникновению в вузах системы менеджмента и качества (СМК) и система образования приобретает вид, представленный на рисунке 2. Получая информацию от работодателей через анкетирование и от студентов через тестирование и другие формы оценочных средств, блок СМК вносит коррекцию в систему.
Образовател ьн ы й процесс
_А_
щ =
Т р 1 + Т р+1
Рисунок 2 - Автоматизированная система управления качеством с СМК
В соответствии с принципами системного подхода при анализе качества АСУ необходимо идти против направления воздействия, т.е. от рабо-
тодателя (рис. 2). Таким образом, работодатель выдвигает требования к выпускнику в виде компетенций (ОК, ПК), а студент, в свою очередь, выдвигает требования к образовательному процессу: первокурсник имеет какую-то базу знаний, на которую можно «наращивать» следующую информацию; оптимизированное рабочее время; не должно быть перегрузок недельных и дневных; современная материальная и безопасная лабораторная база; доступное методическое обеспечение; высокая квалификация преподавателей; возможность для культурного развития личности; возможности для реализации творческих способностей, высокий потенциал трудоустройства, возможность проживания в общежитии.
После обработки тестов и анкет, используя современные методы интерактивного обучения, то есть, отфильтровав сигналы помехи, система может быть скорректирована на уменьшение времени переходных процессов, так как работодатель не может так долго ждать квалифицированного выпускника. В теории автоматики известно, что для повышения устойчивости необходимо вводить промежуточные корректирующие обратные связи и дифференцирующие звенья. Это можно представить в виде развернутой структурной схемы (рис. 3).
В соответствии с последней схемой, можно предложить более конкретные следующие способы повышения устойчивости и сокращения времени переходных процессов.
1. Повысить точность отслеживания сигналов путем разработки адекватных анкет, тестов и других видов оценочных средств с последующей статистической обработкой данных и объединением единый фонд оценочных средств (ФОС).
Рисунок 3 - Развернутая автоматизированная система управления качеством образовательного процесса
2. Введение в обратные связи пропорциональных блоков. На основе обработки тестов после каждого курса вводить дополнительные дисциплины путем замены предметов в курсах по выбору, например, если после первого курса обнаружены пониженные знания по математике и физике -заменить дисциплины по выбору на дополнительные занятия по «проваленным» предметам. В рабочих учебных планах в каждом году обучения должно быть не менее 4-х дисциплин по выбору. Блок по выбору должен стать как раз корректирующим пропорциональным звеном.
3. Введение дифференцирующих блоков. Например, введение модульного обучения, особенно, по дисциплинам, имеющим малое количество часов в семестре (2 час. в неделю). Проводить промежуточную сессию по таким дисциплинам в середине семестра.
4. Широко вводить и постоянно модернизировать интерактивные формы обучения, позволяющие в более короткое время качественно освоить учебный материал, максимально адаптировать студентов к практиче-
ским задачам, научить их пользоваться современными информационными технологиями. Интерактивные методы обучения дадут возможность студентам начать самим искать способы и средства решения практических задач, дадут существенный толчок к самообразованию.
Необходимо отдельно уделить внимание фондам оценочных средств (ФОС), так как от их качества зависит адекватность полученной информации и правильность дальнейших действий системы. К ФОСам выдвигаются такие требования, как и к любым датчикам технических систем: высокая помехоустойчивость, малая постоянная времени, достаточная чувствительность, высокая точность, стабильность во времени, однозначность зависимости выходной величины от входной, удобство в эксплуатации, достаточная степень унификации.
Оценивание формируемых общекультурных (ОК) и профессиональных (ПК) компетенций производится в процессе получения знаний студентами по отдельным дисциплинам, но более эффективно при выполнении курсовых работ и проектов, учебных и производственных практик, научно-исследовательской работы студента (НИРС). Необходимо также рекомендовать использовать инновационные формы контроля как на этапе итоговой, так и на этапах текущей, промежуточной аттестаций. Важнейшим условием успешной реализации перечисленных форм контроля является их комплексность и функциональность, предполагающая связь приобретаемых компетенций с конкретными видами и задачами профессиональной деятельности и социальной активности выпускника. Инновации в итоговом контроле характеризуются переходом от статических оценок, фиксирующих уровень подготовленности студентов в момент измерений, к динамическим оценкам качества подготовленности. Тенденции к выявлению динамики изменений качества подготовленности студентов подкрепляются разрабатываемыми и внедряемыми системами мониторинга качества образования. При динамическом подходе оценка качества учебных достижений
строится на выявлении тех изменений в подготовке обучаемых, которые идентифицируются как повышение или понижение компетентности. Несмотря на видимые достоинства в динамическом подходе есть свои сложности, прежде всего, необходимость систематически отслеживать изменения в подготовке студентов, реализация невозможна без эффективного мониторинга учебных достижений. Если изменения в подготовке оценивать привычной разностью между конечным и начальным результатами, то приращение знаний, может оказаться, происходит быстрее у слабых студентов. В то же время знания сильных студентов, ассоциируемые с качеством подготовленности, будут накапливаться гораздо медленнее. Поэтому при такой формальной оценке приращения уровня подготовки студентов может исказить реальные процессы обучения. Целесообразно сравнивать учебные достижения, основываясь в оценочных суждениях не на количественной оценке прироста уровня подготовленности, а на качественных изменениях в освоении студентами учебной деятельности более высокого уровня. В процессе оценивания компетенций обнаруживается не только составляющая студента по его знаниям, но и его личностная, которая, при определенной направленности подготовки к определенным видам деятельности, может играть определяющую роль. Рассмотрим возможные варианты оценки на примере некоторых компетенций: ОК-1, ПК -4. Каждую из этих компетенций с целью оценивания необходимо разбить на дополнительные, которые можно наблюдать в процессе деятельности (рис. 4-5)
Способность совершенствовать и развивать свой интеллектуальный и общекультурный уровень
-4=
Реально оценивает свои
сильные и слабые стороны
Владеет приемами
Анализирует свой успешный делает
выводы и корректирует свое поведение
Посещает дополнительные курсы, тренинги, расширяющие личностные возможности
стрессовых ситуациях
регупя! или тупяняет
эмоциональной
Рисунок 4 -Декомпозиция компетенции ОК-1
Способность анализировать современные проблемы науки и производства в агроинженерии и вести поиск их решения
На основе выводов, ищет более простой способ решения
Обнаруживает несколько способов решения проблемы,
выбирает оптимальный на основе нескольких критериев
Рисунок 5 -Декомпозиция компетенции ПК-4
Далее необходимо создать ситуации, в которых студент может проявить данные компетенции, что может проявляться не только в учебных аудиториях. Отдельные компетенции могут проявляться во внеучебной деятельности, значит, и оценивать их могут не только ведущие преподаватели, но и кураторы в общежитиях, ответственные по воспитательной работе, руководители НИРС, руководители учебных и производственных практик и т.п. Когда студент начинает действовать в предложенных ситуациях (созданная искусственно деловая игра, тренинг или реально-проводимое мероприятие, например, участие в хоздоговорных работах, прохождение практики) можно через отчеты отдельных наблюдателей, рефлексивные самоотчеты, установить наличие конкретной компетенции. Отчеты наблюдателей и самоотчеты представляют собой описание происходящего и поведение наблюдаемого (можно использовать анализ видео) из которых экспертами выделяются составные части компетенции и проставляется результирующая оценка. Уровень подготовленности студента считается соответствующим требованиям ФГОС, если он демонстрирует способности решать задачи профессиональной деятельности в типовых ситуациях без погрешностей принципиального характера. При этом рекомендуется трехуровневая оценка компетенции:
1) Пороговый уровень (как обязательный для всех студентов выпускников вуза по завершении освоения ООП ВПО);
2) Продвинутый уровень (превышение минимальных характеристик сформированности компетенции для выпускника вуза);
3) Высокий (превосходный) уровень (максимально возможная выраженность компетенции, ориентир для самосовершенствования).
Помимо индивидуальных оценок должны использоваться групповые и взаимооценки: рецензирование студентами работ друг друга; оппонирование студентами проектов, дипломных, исследовательских работ и др.; экспертные оценки группами из студентов, преподавателей и работодателей и др. Все полученные данные стекаются в единый профиль студента, где он может отследить свою собственную успешность, планировать свое развитие, самостоятельно управлять своей образовательной траекторией. Шкала оценивания представляет собой письменные инструкции или разъяснения о действиях или ответах индивидов и определяет важные компоненты оцениваемой работы. Шкала оценивания используются для оценивания большого набора действий, эссе, контрольных работ, проектов, рефератов, устных докладов, презентаций, ситуационных задач. Так, например, задания со свободно конструируемым ответом позволяют проверить качественное овладение содержанием проверяемых курсов и сложными интеллектуальными умениями: логично и последовательно излагать свои мысли, приводить решение задачи с обоснованием отдельных этапов, применять теоретические знания для обоснования и объяснения предложенных явлений и процессов, использовать знания в воображаемых жизненных ситуациях, прогнозировать последствия, формулировать гипотезы, делать выводы и обосновывать свою точку зрения, приводить аргументы в поддержку определенной точки зрения или в опровержении ее и др. Использование подобных заданий предваряет разработка критериев оценивания и описания стандартов (эталонов) действий на разных уровнях выпол-
нения в форме оценочных схем (шкал). Основным недостатком при оценивании свободно конструируемых ответов является большое влияние субъективности оценок экспертов. Для уменьшения расхождений в оценках экспертов разрабатывается шкала оценивания (оценочная схема, рубрика), включающая оптимальную систему критериев оценивания ответов. Шкала оценивания заданий со свободно конструируемым ответом включает: критерии оценивания и варианты (вариант, образец) правильных ответов (элементов ответа), возможные решения. Схема оценивания не зависит от дисциплины, она направлена на оценку результата, определенного набора действий, цели оценивания и обеспечивает обратную связь обучающимся относительно того, как улучшить их действия. В соответствии с заданными критериями оценивания формулируется задание. Это означает, что оцениваемый после прочтения задания должен понять, какую задачу ему предстоит выполнить, и с какой полнотой он должен дать ответ для получения максимального балла. В заданиях со свободно конструируемым ответом, проверяющих учебные достижения (предметные знания и умения), а не коммуникативные умения, от оцениваемых не должно требоваться написания длинного текста. В задании должны быть даны рекомендации о предполагаемой длине ответа (возможное число предложений, определенная часть страницы и т.д.). Шкала оценивания может считаться объективной и надежной, если несколько экспертов, проверяющие одну и ту же работу, делают одинаковое заключение о подготовке обучающегося (выставляют одинаковые баллы) или, если один и тот же проверяющий одинаково оценивает одну и ту же работу обучающегося, проверяя ее через некоторое время. Наиболее правильно, если определяются статистические показатели - математическое ожидание, дисперсия, уровень достоверности, статистические критерии проверок гипотез (Стьюдента, Фишера и т.д.), доверительные интервалы и т.д..
В качестве основных видов шкал оценивания следует рекомендовать следующие:
• Аналитическая шкала более достоверна, валидна, позволяет точнее диагностировать и прогнозировать учебный процесс, а также способствует взаимопониманию между преподавателем и обучающимся.
• Интегральная шкала рассматривает работу в целом, а не по аспектам. Учитывает одновременно множество факторов, а не оценивает каждый в отдельности.
Аналитические шкалы используют для оценки качества усвоения материала по отдельным разделам учебных дисциплин или всей дисциплины в целом. Также аналитические шкалы применяют для оценивания отдельных, индивидуальных частей результата или работы, для последующего суммирования множество оценок, чтобы получить общий результат. Часто аналитические шкалы используются для оценивания задач или работ, в которых могут быть один или несколько приемлемых ответа, а творческий потенциал - не существенная особенность ответов студентов. Возможные области применения аналитических шкал:
1. Партнерство в группе (работа в коллективе) - общение, готовность отвечать на вопросы, вклад в действия группы.
2. Участие - готовность взять ответственность, сотрудничество с группой, время, потраченное на выполнение своей части.
3. Домашняя работа - своевременность, опрятность, следование инструкциям, тщательность.
4. Проекты - творческий потенциал, стиль, поиск решения, аргументирование, объяснение.
5. Поведение - умение слушать, грубость, взаимодействие с другими студентами, почтительность.
6. Задания со свободно конструируемым ответом - стиль, ясность, грамматика.
7. Тайм-менеджмент - оценивание способности управлять временем.
Дескрипторы для детерминирующей (основной) идеи (поэлементное оценивание):
Уровень 5 - детерминирующая идея отражает глубокое понимание. Уровень 4 - основная идея содержательна, ясна.
Уровень 3 - основная идея очевидна, но слишком проста или неоригинальна, шаблонна.
Уровень 2 - основная идея поверхностна, или заимствована или вообще отсутствует.
Интегральная шкала (табл. 1) требует, чтобы преподаватель оценивал весь процесс или результат в целом, не оценивая составляющие части отдельно. Такие шкалы обычно используются, когда можно допустить ошибки в некоторой части процесса, а оценке подлежит конечный результат, например, курсовая работа, проект, кейс, отдельно доклад по выпускной квалификационной работе. Интегральные шкалы следует рекомендовать для оценки компетенций при работе государственной экзаменационной комиссии.
Таблица 1 - Шаблон интегральных шкал оценивания курсовых работ проектов
Оценка Описание
5 Демонстрирует полное понимание проблемы. Все требования, предъявляемые заданием выполнены.
4 Демонстрирует значительное понимание проблемы. Все требования определяемые заданием выполнены, имеются незначительные ошибки в процедуре решения, некачественное оформление.
3 Демонстрирует частичное понимание проблемы. Большинство требований к заданию выполнено. Часть выбранного оборудования имеет устаревший вид, имеются ошибки в расчетах. Некачественное оформление проекта, отклонение в обозначениях элементов от требуемых действующими стандартами.
2 Демонстрирует непонимание проблемы, многие требования к заданию не выполнены. Имеются ошибки в расчетах, которые привели к неправильному результату. Оформление проекта некачественное, грубые ошибки в обозначениях элементов в чертежах.
Оценочные средства представляются в виде фонда оценочных средств для промежуточной аттестации обучающихся и для итоговой (государственной итоговой) аттестации.
Фонд оценочных средств для проведения промежуточной аттестации обучающихся по дисциплине (модулю) или практике, входящий в состав соответственно рабочей программы дисциплины (модуля) или программы практики, включает в себя:
- перечень компетенций с указанием этапов их формирования в процессе освоения образовательной программы;
- описание показателей и критериев оценивания компетенций на различных этапах их формирования, описание шкал оценивания;
- типовые контрольные задания или иные материалы, необходимые для оценки знаний, умений, навыков и (или) опыта деятельности, характеризующих этапы формирования компетенций в процессе освоения образовательной программы;
- методические материалы, определяющие процедуры оценивания знаний, умений, навыков и (или) опыта деятельности, характеризующих этапы формирования компетенций.
Для каждого результата обучения по дисциплине (модулю) или практике определяются показатели и критерии оценивания сформированности компетенций на различных этапах их формирования, шкалы и процедуры оценивания.
На каждом этапе необходимо произвести оценку знаний или уровня сформированности по данной компетенции. Это можно проводить на каждом занятии или на отдельном занятии путем рубежного контроля. По каждой дисциплине имеется форма итогового контроля (экзамен или зачет), что необходимо учитывать при оценке сформированности компетенций. Ведущий преподаватель должен установить доли материала по каждой компетенции, которые осваиваются на отдельных этапах изучения
дисциплины. Эти доли учитываются при контроле степени усвоения материала и вычислении оценки. Можно также проводить контроль освоения материала по компетенции не на каждом занятии, а только на рубежных контролях, например, перед выставлением аттестации по деканату, то есть два раза в семестре. Также можно использовать оценку в виде уровня сформированности компетенции, как на отдельных этапах, так и результирующую по дисциплине:
где ОЦ1 - 1-е оценки на отдельных этапах, рубежный контроль, оценки на занятиях; п - количество оценок, ОЦ тах - максимальная оценка, при пятибалльной оценке равно 5.
Данным способом контроля лучше пользоваться, когда дисциплина «закрывается» зачетом. Кроме того имея оценки по отдельным этапам формирования компетенций можно провести и динамическую оценку с помощью статистической обработки, получить значения математического ожидания и дисперсии, характеризующие качество разработанной шкалы оценивания и отследить динамику изменения показателей.
Фонд оценочных средств для итоговой (государственной итоговой) аттестации включает в себя:
- перечень компетенций, которыми должны овладеть обучающиеся в результате освоения образовательной программы;
- описание показателей и критериев оценивания компетенций, а также шкал оценивания;
- типовые контрольные задания или иные материалы, необходимые для оценки результатов освоения образовательной программы;
- методические материалы, определяющие процедуры оценивания результатов освоения образовательной программы.
п
I ОЦ ;
У = --100%
п ■ ОЦ _ ,
тах
(1)
При оценки результатов сформированности компетенций на этапе итоговой (государственной) аттестации в виде междисциплинарного комплексного экзамена разрабатываются оценочные средства согласно указанного выше перечня. В качестве оценочного средства следует рекомендовать тестирование (по вопросам основных дисциплин ООП) или кейс-задачи. Оценка по государственному экзамену является интегральной оценкой уровня сформированности по каждой компетенции.
Для оценивания итоговой аттестации в форме защиты выпускной квалификационной работы больше подходит интегральная оценка с анализом или учетом аналитических оценок отдельных этапов (качество доклада, качество самой работы, рецензии и т.д.). Для оценки качества доклада можно рекомендовать шаблон, приведенный в таблице 2. Оценка доклада по выпускной квалификационной работе должна входить далее в общую оценку по защите работы. В качестве шаблона для оценки выпускной квалификационной работы можно предложить вариант, представленный в таблице 3.
Таблица 2 - Шаблон интегральных шкал оценивания доклада по выпускной квалификационной работе_
Оценка Описание
5 Продемонстрировано уверенное владение материалом, правильная и гармоничная интеграция элементов работы. Работа последовательна, целостна, креативна, имеет законченный вид, имеет практическое применение, присутствует наличие элементов научных исследований. Адекватное владение терминологией.
4 Обнаруживается наличие необходимого материала, интеграция элементов работы. Содержание глубокое, но отсутствуют элементы научных исследований и не проявился творческий подход.
3 Имеется необходимый материал. Работа ясная, целостная, законченная. Имеются незначительные ошибки при проектировании. Обнаруживается плохое владение специфичной терминологией.
2 Работа не закончена, не оригинальна, имеются грубые ошибки при проектировании, при выборе оборудования. Работа фрагментирована, отсутствует взаимосвязь отдельных ее составляющих. Полностью отсутствует владение терминологией.
Таблица 3- Примерная форма для оценки выпускной квалификационной работы членами ГЭК_
Критерии оценки Отлично Хорошо Удовлетворительно Неудовлетворительно
Актуальность и степень обоснования выбора темы
Степень завершенности работы
Объем и глубина проработки материала в работе
Уровень владения материалом
Достоверность и обоснованность полученных результатов и выводов
Значение для практики и науки
Использование современных технологий
Качество доклада - композиция, убежденность, терминология, культура речи, способность заинтересовать аудиторию
Эрудиция, наличие междисциплинарных связей
Качество оформления выпускной квалификационной работы (пояснительная записка, графический материал, презентация), соответствие оформления требованиям соответствующих стандартов
Ответы на вопросы: полнота, аргументированность, убежденность, умение использовать свою информированность для косвенного ответа, готовность к дискуссии.
Оценка выполнения работы рецензентами
Наличие макетного образца, демонстрация его работы
Уровень возможного практического применения (наличие акта внедрения, работы выполнена по заявке от предприятия)
Уровень апробации (доклады на конференциях, является завершающей частью работы в СНО, публикации в журналах, наличие грамот и дипломов)
Деловые качества - староста, член студсовета, командир студенческого отряда, ответственное отношение к выполнению разовых поручений, стремление к достижению результата и т.д.
Однако по такой форме трудно оценить степень сформированности компетенций. В связи с этим на первом этапе, необходимо установить - каким образом отдельные критерии оценивают компетенции. Для этого нужно по каждому критерию привести список компетенций, к которым имеет отношение данный критерий качества. Так, например, приведена таблица 4, для оценки сформированности компетенций при защите выпускной квалификационной работы членами ГЭК по направлению 110800-68 Агроин-женерия (академическая степень - магистр), где произведена группировка компетенций по критериям. Применение такого шаблона позволит произвести оценку уровня сформированности компетенций каждым членом государственной экзаменационной комиссии.
Второй этап - определение оценки степени сформированности каждой компетенции выпускником вуза. Для этого выбираются оценки (по пятибалльной системе) каждого члена ГЭК, рецензентов, руководителя по критериям и разносятся по компетенциям. Напротив каждого члена ГЭК можно увидеть оценки по отдельным компетенциям и их среднее значение. Также можно получить среднее значение оценки сформированности по каждой компетенции как в среднем по всем членам ГЭК, так и по каждому в отдельности. При необходимости, можно уточнить - по какому критерию, и какая компетенция имеет низкое значение, что необходимо для корректировки учебного процесса.
На третьем этапе (завершающем) оценки степени сформированности каждой компетенции выпускником вуза, необходимо учесть все предыдущие оценки сформированности на каждом этапе образовательного процесса: оценки по компетенциям, полученным при промежуточных аттестациях отдельных дисциплин, оценки по компетенциям при промежуточных аттестациях по учебным и производственным практикам, оценка по компетенции по предыдущей итоговой государственной аттестации (госэкзамен).
Таблица 4 -Примерная форма для оценки сформированности компетенций при защите выпускной квалификационной работы членами ГЭК по направлению 110800-68 Агроинженерия, академическая степень -магистр
Критерии оценки к о
Отлично Хорошо Удовлетвор тельно НеудовлетЕ рительно
1. Уровень теоретической и научно-исследовательской проработки проблемы (ОК-2, ОК-3, ОК-4, ОК-7, ПК-1, ПК-2, ПК3, ПК-6, ПК-7, ПК-8, ПК-9, ПК-10)
2. Качество анализа проблемы (ОК-2, ОК-3, ОК-6, ОК-7, ПК-1, ПК-2, ПК-3, ПК-6, ПК-7, ПК-8, ПК-9, ПК-12)
3. Полнота и системность вносимых предложений по рассматриваемой проблеме (ОК-2, ОК-4, ОК-6, ОК-7, ПК-2, ПК-3, ПК-6, ПК-8, ПК-9, ПК-11, ПК-12)
4. Уровень апробации работы и публикаций (ОК-2, ОК-3, ОК-5, ОК-6, ОК-7, ПК-1, ПК-2, ПК3, ПК-4, ПК-6, ПК-7, ПК-9, ПК-11, ПК-12)
5. Объем экспериментальных исследований и степень внедрения в производство (ОК-2, ОК-4, ОК-6, ОК-7, ПК-1, ПК-5, ПК-7, ПК-8, ПК-9, ПК-10, ПК-11)
6. Самостоятельность разработки (ОК-1, ОК-2, ОК-3, ОК-4, ОК-6, ОК-7, ПК-3, ПК-4, ПК-6, ПК-7, ПК-8, ПК-10, ПК-12)
7. Степень владения современными программными продуктами и компьютерными технологиями (ОК-3, ОК-6, ПК-1, ПК-2, ПК-7, ПК-9, ПК-10)
8. Навыки публичной дискуссии, защиты собственных научных идей, предложений и рекомендаций (ОК-3, ОК-4, ОК-7, ПК-2, ПК-3, ПК-5, ПК-6, ПК-8, ПК-12)
9. Качество презентации результатов работы (ОК-2, ОК-3, ОК-4, ОК-6, ОК-7)
10. Общий уровень культуры общения с аудиторией (ОК-1, ОК-2, ОК-3, ОК-5, ОК-6, ОК-7)
11. Готовность к практической деятельности в условиях рыночной экономики, изменения при необходимости направления профессиональной деятельности в рамках предметной области знаний и практических навыков (ОК-2, ОК-3, ОК-4, ОК-5, ОК-6, ОК-7, ПК-2, ПК-3, ПК-4, ПК-5, ПК-6, ПК-8, ПК-9, ПК-11, ПК-12)
Выбор дисциплин с набором компетенций производится согласно карты компетенций. Общую оценку сформированности можно рассчитать как среднее значение от всех оценок по данной компетенции. В случае оценки именно уровня сформированности в виде процентов или в относительных единицах лучше воспользоваться формулой:
IОЦ,
• 100% щВКР • 100%
,ппп, . ОЦ
у _ П • ОЦшах_ОЦшах
У _ 2 , (2)
где ОЦ1 - 1-е оценки по предметам, практикам, итоговым аттестациям;
п - количество оценок, ОЦ тх - максимальная оценка, при пятибалльной оценке равно 5, ОЦВКР - оценка по защите ВКР.
Оценка по приведенной формуле позволяет определить уровень сформированности не только по одной компетенции, но и по отдельным видам (общекультурные, профессиональные и т.д.) или по всем компетенциям сразу.
Если по отдельным дисциплинам, а также практикам уже вычислены уровни сформированности компетенций, то вычисление общего уровня сформированности можно проводить по усредняющей формуле:
п
Iу I
__+ у
т у ВКР
У -• (3)
Также имея оценки по отдельным дисциплинам при формировании компетенций можно провести динамическую оценку с помощью статистической обработки, получить значения математического ожидания, дисперсии, доверительной вероятности, характеризующие качество разработанной шкалы оценивания и отследить динамику изменения показателей в процессе обучения.
Список литературы
1. Оськин С.В. Необходимость перехода от СМК к автоматизированной системе управления качеством образовательного процесса/С.В. Оськин// Методы и технические средства повышения эффективности использования эл. об-я в пром-ти и с. х-ве: Сб. научн. тр. Ставропольский ГAУ.- Ставрополь: Aгрyс, 2011.- с 210-215.
2. Стародубцева Г.П. Условия повышения позновательной мотивации у студентов при изучении физики/Г.П. Стародубцева, П.В. Никитин, В.И. Хайновский, Г.Г.Вендило, ТА. Миканаев ТА. и др.// Вестник ЛПК Ставрополья. 2012. № 3. С. 12-14.
3. Стародубцева Г.П.Компьютерное тестирование студентов как допуск к экзамену по физике/Г.П. Стародубцева, В.И. Крахоткин, ИА.Боголюбова//Сб-к трудов «Методы и технические средства повышения эффективности использования электрооборудования в промышленности и сельском хозяйстве.- 2012. - С. 69-71.
4. Оськин С.В. Методические рекомендации по процедуре оценивания знаний, навыков, умений и опыта деятельности, на этапах формирования компетенций/С.В. Оськин/ Методические рекомендации для образовательного процесса по направлению подготовки 110800 Aгроинженерия.- КyбГAУ.- Краснодар, 2014.- 34 с.
5. Богатырев Н.И., Оськин С.В. Использование интерактивных методов обучения при подготовке бакалавров и магистров/ Н.И. Богатырев, С.В. Оськин/ Краснодар, РИО Куб^У, 2014.-128 с.
6. Оськин С.В., Пястолова ИА. Способы оценивания знаний, умений и навыков на этапах формирования компетенций/С.В. Оськин, ИА. Пястолова// Технические и технологические системы. Материалы 6-й международной научной конференции ТТС-14. Сборник материалов.- Краснодар: ФВУНЦ ВВС ВВ^ 2014.-С.372-379.
7. Оськин С. В. Процедура оценивания знаний, умений, навыков и опыта деятельности на этапах формирования компетенций/С.В. Оськин// Новые технологии в с.х. и пищевой промышленности с использованием эл.физ. факторов и озона: мат-лы межд.. научно- практ. конф.- Ставрополь:Ставропольское издательство «параграф», 2014.-с.98-106
References
1. Os'kin S.V. Neobhodimost' perehoda ot SMK k avtomatizirovannoj sisteme upravlenija kachestvom obrazovatel'nogo processa/S.V. Os'kin// Metody i tehniche-skie sredstva povyshenija jeffektivnosti ispol'zovanija jel. ob-ja v prom-ti i s. h-ve: Sb. nauchn. tr. Stavropol'skij GAU.- Stavropol': Agrus, 2011.- s 210-215.
2. Starodubceva G.P. Uslovija povyshenija poznovatel'noj motivacii u studentov pri izuchenii fiziki/G.P. Starodubceva, P.V. Nikitin, V.I. Hajnovskij, G.G.Vendilo, T.A. Mikanaev T.A. i dr.// Vestnik APK Stavropol'ja. 2012. № 3. S. 12-14.
3. Starodubceva G.P.Komp'juternoe testirovanie studentov kak dopusk k jekzamenu po fizike/G.P. Starodubceva, V.I. Krahotkin, I.A.Bogoljubova//Sb-k trudov «Metody i tehnicheskie sredstva povyshenija jeffektivnosti ispol'zovanija jelektrooborudo-vanija v promyshlennosti i sel'skom hozjajstve.- 2012. - S. 69-71.
4. Os'kin S.V. Metodicheskie rekomendacii po procedure ocenivanija znanij, navy-kov, umenij i opyta dejatel'nosti, na jetapah formirovanija kompetencij/S.V. Os'-kin/ Metodicheskie rekomendacii dlja obrazovatel'nogo processa po napravleniju podgotovki 110800 Agroinzhenerija.- KubGAU.- Krasnodar, 2014.- 34 s.
5. Bogatyrev N.I., Os'kin S.V. Ispol'zovanie interaktivnyh metodov obuchenija pri podgotovke bakalavrov i magistrov/ N.I. Bogatyrev, S.V. Os'kin/ Krasnodar, RIO KubGAU, 2014.-128 s.
6. Os'kin S.V., Pjastolova I.A. Sposoby ocenivanija znanij, umenij i navykov na jetapah formirovanija kompetencij/S.V. Os'kin, I.A. Pjastolova// Tehnicheskie i tehnologicheskie sistemy. Materialy 6-j mezhdunarodnoj nauchnoj konferencii TTS-14. Sbornik materialov.- Krasnodar: FVUNC VVS VVA, 2014.-S.372-379.
7. Os'kin S.V. Procedura ocenivanija znanij, umenij, navykov i opyta dejatel'nosti na jetapah formirovanija kompetencij/S.V. Os'kin// Novye tehnologii v s.h. i pi-shhevoj promyshlennosti s ispol'zovaniem jel.fiz. faktorov i ozona: mat-ly mezhd.. nauchno- prakt. konf.- Stavropol':Stavropol'skoe izdatel'stvo «paragraf», 2014.- s.98-106
