CC BY
14И. Н. Вольнов, Н. В. Берлова
ОБ ЭКСПЕРИМЕНТЕ ПО ОЦЕНИВАНИЮ КОМПЕТЕНЦИЙ СТУДЕНТОВ, ОБУЧАЮЩИХСЯ ПО СПЕЦИАЛЬНОСТИ «ТАМОЖЕННОЕ ДЕЛО»
В статье рассматриваются результаты эксперимента по оцениванию компетенций студентов Владивостокского филиала Российской таможенной академии, обучающихся по специальности 080115.65 - «Таможенное дело», проведенного в ходе защиты выпускной квалификационной работы и прохождения производственной практики.
Ключевые слова: Федеральный государственный образовательный стандарт; компетентность; профессиональная деятельность; таможенное дело.
Из традиционных типов контроля к новой компетентностной образовательной модели наиболее адаптивна итоговая государственная аттестация (далее -ИГА) - государственный экзамен, подготовка и защита выпускной квалификационной работы (далее - ВКР). Частично компетентностный подход может быть реализован при оценивании учебных курсовых работ, учебных и производственных практик и научно-исследовательской работы студента (далее -НИРС). Как оценочная квалиметрическая процедура ИГА направлена на установление соответствия уровня профессиональной подготовки выпускников по основной образовательной программе конкретного направления подготовки требованиям Федерального государственного образовательного стандарта (далее - ФГОС ВПО) [1].
В соответствии с решением учебно-методического совета (далее - УМС) факультета таможенного дела Владивостокского филиала Российской таможенной академии в ходе государственной аттестации студентов, обучающихся по специальности «Таможенное дело», в 2010 г. проведен эксперимент по оцениванию компетенций. Основой для проведения такого эксперимента послужил ФГОС ВПО по специальности 080115.65 - «Таможенное дело» [2], которым определена 41 компетенция по пяти видам профессиональной деятельности. Из списка компетенций были отобраны те, которые можно диагностировать на защите ВКР.
Среди выпускников факультета таможенного дела государственную аттестацию проходили студенты специализации «Товароведение и таможенная экспертиза». Для оценки их компетенций кафедрой товароведения и таможенной экспертизы совместно с деканатом факультета таможенного дела были разработаны оценочные листы рецензента ВКР, члена государственной аттестационной комиссии (далее - ГАК), которые применялись в дополнение к традиционным формам документов, используемым при государственной аттестации выпускников.
Следует заметить, что до проведения эксперимента членами ГАК в процессе защиты ВКР применялись оценочные листы, которые включали девять критериев, характеризующих содержание ВКР, ее оформление и представление.
В разработанный оценочный лист рецензента были включены восемь характеристик компетенций, в оценочный лист члена ГАК вошли 11 характеристик. Были отобраны семь компетенций:
- общекультурные (ОК-6);
- общепрофессиональные (ОПК-2, ОПК-4);
- профессиональные (ПК-32, ПК-39, ПК-40, ПК-41).
Критерием для включения в список компетенций, оцениваемых в процессе защиты ВКР, служила их универсальность. Не включались те из профессиональных компетенций, которые могут быть продемонстрированы только в отдельных ВКР. Например: «владеет навыками анализа и прогнозирования таможенных платежей в бюджет государства» (ПК-38); «умеет оценивать состояние и перспективы развития таможенных органов, планировать и прогнозировать деятельность их структурных подразделений» (ПК-27); «умеет оценивать качество и эффективность деятельности таможенных органов» (ПК-24); «умеет оценить угрозы экономической и иных видов национальной безопасности РФ и реализовать меры по их предупреждению или устранению» (ПК-20); «способен обеспечивать экономическую безопасность страны при осуществлении профессиональной деятельности» (ПК-15).
Таким образом, на первом этапе эксперимента было принято решение ограничиться только научно-исследовательскими и отдельными информационно-аналитическими профессиональными компетенциями. Большинство правоохранительных (ПК-17 - ПК-22), управленческих (ПК-23 - ПК-30), информационно-аналитических (ПК-31 - ПК-38) компетенций, а также компетенции, связанные с применением таможенных процедур, взиманием таможенных платежей и осуществлением таможенного контроля (ПК-1 - ПК-16), проблематично диагностировать на этапе защиты ВКР. Такие компетенции целесообразно проверять при проведении государственного экзамена по специальности посредством выполнения практических заданий.
В процессе публичной защиты ВКР можно диагностировать только отдельные из перечисленных компетенций. Во-первых, можно отобрать наиболее значимые из них, имеющие отношение к большинству тем ВКР. В случаях, когда тема ВКР не позволяет сделать однозначное суждение относительно какой-либо из профессиональных компетенций, последнюю предлагается не оценивать. Во-вторых, можно разработать оценочные листы членов ГАК, применяемые для оценки студентов конкретной специализации. Аналогичная ситуация конкретизации средств оценки и диагностики выпускников имеет место при процедуре итогового государственного экзамена. Третий теоретический вопрос экзаменационного билета и практическое задание варьируются в зависимости от специализации выпускника.
Для каждой из выбранных компетенций были сформулированы характеристики, оцениваемые экспертом. Например, для оценивания компетенции «умеет разрабатывать планы и программы проведения научных исследований в области таможенного дела» (ПК-39) были предложены следующие характеристики: «актуальность темы ВКР», «оценка структуры работы и логики изложения материала», «степень аргументации выводов и предложений».
Характеристики компетенций формулировались с учетом применяемых в настоящее время бланков оценочных листов членов ГАК для определения качества выполнения и защиты ВКР. Формулировки характеристик, оцениваемых рецензентом, также учитывали рекомендации по рецензированию ВКР, изложенные в методических рекомендациях «Оценочные и диагностические средства итоговой государственной аттестации студентов по специальности «Таможенное дело» [4]. Таким образом при проведении эксперимента по оцениванию компетенций выпускников обеспечивалась преемственность процедур государственной аттестации.
По сравнению с применяемым при ИГА бланком оценочный лист содержит три новых критерия; четыре критерия заимствованы; незначительно изменена формулировка четырех критериев (без фактического изменения их содержания). Анализ критериев традиционного бланка показал, что критерии «владение материалом работы, умение защитить свою точку зрения» и «ответы на вопросы» близки по содержанию.
Характеристики компетенций использовались в качестве критериев ВКР, оцениваемых членом ГАК либо рецензентом. Для каждого критерия были описаны уровни соответствия оценкам «отлично», «хорошо», «удовлетворительно», «неудовлетворительно». Например, для критерия «актуальность темы ВКР» были предложены следующие уровни оценок:
- «тема актуальна, представляет значительный интерес для практической деятельности таможенных органов» («отлично»);
- «тема связана с практической деятельностью таможенных органов» («хорошо»);
- «тема в основном соответствует тематике перспективных исследований РТА» («удовлетворительно»);
- «тема не связана с практической деятельностью таможенных органов, с тематикой перспективных исследований» («неудовлетворительно»).
Как видно из приведенного примера, приоритетом оценивания является уровень компетентности выпускника, связанный с подготовленностью его к практической деятельности в таможенных органах.
Помимо таблицы, содержащей критерии оценки и характеристики уровней оценки, в оценочном листе содержатся графы, в которых рецензент может отразить в произвольной форме замечания по содержанию работы, а член ГАК - высказать особое мнение. Также имеется графа «итоговая оценка», вывод о присвоении квалификации (заслуживает /не заслуживает).
Выбранные для оценивания компетенций выпускника критерии можно классифицировать следующим образом:
- критерии, характеризующие содержание ВКР («актуальность темы», «оценка структуры работы и логики изложения материала», «степень аргументации выводов и предложений»);
- критерии, характеризующие результаты исследования («уровень внедрения», «уровень практической значимости»);
- критерии, характеризующие представление ВКР («качество оформления», «качество информационного сопровождения»);
- критерии, характеризующие образованность выпускника («уровень применения научных методик», «уровень эрудиции», «культура защиты», «аргументация ответов»).
Полужирным шрифтом отмечены компетенции, при оценивании которых наблюдается значительный разброс мнений экспертов, курсивом - расхождение мнений экспертов. Информационный массив для подведения итогов эксперимента представляли анкеты 27 студентов, аттестованных ГАК. Анализ результатов проведения эксперимента показывает, что оценочные листы, несмотря на их объемность (3 стр. текста размером 12 пт), удобны в применении, дают содержательное представление о ВКР и ее авторе, которое позволяет судить об уровне профессиональной компетентности последнего.
Применение оценочного листа рецензента позволяет в большей степени, чем организационные процедуры (критерии отбора рецензентов, согласование списка рецензентов с таможенным органом, методические рекомендации по составлению рецензии), повысить содержательность отзыва рецензента. В ходе эксперимента рецензент, помимо заполнения оценочного листа, составляет рецензию по традиционной форме.
Проведенный анализ анкет экспертов (оценочных листов) показал, что в 55,6% случаев было высказано единое мнение об уровне итоговой оценки выпускника; в 22,2% случаев имело место расхождение в оценках рецензентов и комиссии ГАК; в 44,4% случаев отмечен значительный разброс мнений членов комиссии ГАК по отдельным характеристикам.
Необходимо подчеркнуть, что при проведении эксперимента не было сформулировано правило вычисления итоговой оценки на основе набора оценок критериев. Подразумевалось, что итоговая оценка будет соответствовать оценке, которая чаще всего применялась при оценке критериев. Например, оценочный лист члена ГАК содержит 11 критериев. Следовательно, если не менее шести критериев имеют оценку «отлично», общая оценка - «отлично». Однако, во-первых, имели место ситуации, которые нельзя разрешить этим способом. В частности, эксперт указал пять оценок - «отлично», пять оценок «хорошо», одну - «удовлетворительно». Во-вторых, отдельного обсуждения заслуживает вопрос, считать ли все заявленные критерии равновесными при оценивании уровня компетентности выпускника, так как в некоторых ситуациях итоговая оценка эксперта не коррели-ровалась с суммой баллов.
В отдельных случаях имела место значительная дифференциация мнений экспертов. Поэтому необходимо еще проанализировать, насколько точны формулировки характеристик уровней оценок критериев с тем, чтобы гарантировать их безусловное различие.
Наиболее часто ставилась оценка «удовлетворительно» по следующим критериям:
- внедрение (характерен разброс мнений, в том числе несовпадение с мнением рецензента);
- актуальность;
- аргументация выводов (работы);
- аргументация ответов.
В этой связи следует также отметить, что не всегда оценка эксперта была объективной. Причиной могла быть и формулировка отдельных характеристик оценок. Например, оценка «отлично» критерия «уровень внедрения» характеризуется так: «Результаты ВКР внедрены (справка о внедрении), опубликованы или рекомендованы к внедрению». Некорректность формулировки заключается в том,
что неясно, кто именно рекомендовал. Надо полагать, что рекомендация имела место на момент представления работы к публичному обсуждению, например, в отзыве рецензента.
В ходе эксперимента некоторые эксперты выразили предположение, что нужно указывать собственную рекомендацию. Поэтому, на наш взгляд, следует изменить формулировку и в листе рецензента следующим образом:
- «отлично» - результат внедрен либо опубликован;
- «хорошо» - результат рекомендуется рецензентом к внедрению;
- «удовлетворительно» - внедрение отсутствует;
- «неудовлетворительно» - предложения не имеют практической значимости.
Таким образом, корректировка формулировок нуждается в уточнении для обеспечения согласованности и полноты описания всех возможных ситуаций. В качестве примера недостаточно удачной формулировки можно привести оценку критерия «уровень применения научных методик» - «обработка фактического материала носит формальный характер» (уровень «удовлетворительно»).
Также в ряде случаев некоторые члены ГАК затруднялись дать оценку отдельным критериям. Например, не всегда публичное выступление дает основания для однозначного суждения о таком критерии, как «уровень эрудиции». В ходе обсуждения ВКР могут быть недостаточно выявлены заявленные в оценочном листе характеристики.
На основании полученных результатов можно рекомендовать провести второй этап эксперимента, для чего следует обсудить итоги первого этапа, изучить предложения по совершенствованию методики, инструментов (оценочных листов), внести необходимые коррективы.
Так, анализ результатов эксперимента показал, что целесообразно включить в оценочный лист члена ГАК графы «рекомендация по применению», «рекомендация по участию в конкурсе ВКР». Необходимо также изучить вопрос о целесообразности расширения списка оцениваемых компетенций, определить, обеспечивают ли выбранные критерии полноту суждения об уровне компетентности выпускника. Следует расширить целевую аудиторию для получения более объективных суждений об адекватности процедуры оценивания компетенций заявленным целям. В рамках второго этапа целесообразно выполнить исследование по вопросу оценивания компетенций ФГОС ВПО в ходе государственного экзамена.
Помимо эксперимента по оцениванию компетенций студентов в ходе подготовки и защиты ВКР, проведен эксперимент по оценке уровня сформированности компетенций на промежуточном этапе обучения. В качестве контрольной точки учебного процесса для выполнения анализа уровня подготовленности студентов к выполнению профессиональных обязанностей была выбрана производственная практика.
Производственная практика представляет собой форму организации учебного процесса, непосредственно ориентированную на профессионально-деятельностную подготовку студентов, завершающую определенный этап теоретического обучения. К моменту завершения практики студент обязан знать конкретный объем теоретического материала, уметь выполнять установленный набор действий, демонстрировать владение определенными методами и методиками. Поэтому руководитель практики от таможни и комиссия по защите отчетов по практике в состоянии оценить степень сформированности отдельных компетенций. С этой целью была разработана и апробирована анкета для руководителей
производственной практики студентов 4-го курса специализации «Товароведение и таможенная экспертиза».
Программа практики была разработана в соответствии с компетентностной моделью специалиста таможенного дела [3, 4]. Целью прохождения производственной практики является возможность применения полученных студентами знаний, умений и навыков при изучении профилирующих дисциплин специализации, для выполнения профессиональных обязанностей должностных лиц различных функциональных отделов таможенных органов. Важнейшими задачами практики являются:
- приобретение студентами профессиональных навыков и практического опыта работы в качестве инспектора-стажера функционального отдела таможенного органа;
- развитие навыков взаимодействия с региональным филиалом экспертно-криминалистической службы Центрального экспертно-криминалистического таможенного управления (ЦЭКТУ);
- развитие навыков по оценке заключений экспертов;
- сбор и систематизация практических материалов для написания курсовых работ по дисциплине «Товароведческая экспертиза»;
- предварительное определение темы выпускной квалификационной работы;
- сбор и обработка материалов для подготовки докладов и сообщений на студенческих научных конференциях.
Программа практики содержит приложение, в котором представлена методика оценки заключения экспертов. Это позволяет студентам отработать навыки оценивания экспертных заключений.
Анкета, разработанная для руководителей практики от таможни, предназначена для оценивания профессиональных и общекультурных компетенций студентов по итогам прохождения практики. Исходя из цели и задач практики, были выбраны следующие профессиональные компетенции: «владеет навыками применения основных правил интерпретации ТН ВЭД и умеет осуществлять контроль достоверности классификации товаров в соответствии с ТН ВЭД» (ПК-4); «владеет навыками заполнения и контроля таможенной документации» (ПК-7); «владеет навыками применения в таможенном деле информационных технологий» (ПК-3); «владеет навыками применения методов сбора и анализа данных таможенной статистики» (ПК-32). Среди общекультурных компетенций были отобраны ОК-1, ОК-2, ОК-3, ОК-7: «ответственное отношение к исполнению обязанностей»; «владеет культурой взаимоотношений, взаимопонимания и сотрудничества, способен предотвращать конфликтные ситуации, уважительно относиться к окружающим»; «способен совершенствовать и развивать свой интеллектуальный, общекультурный и морально-психологический уровень»; «способен применять иностранный язык в сфере профессиональной деятельности».
В качестве критериев анкеты были предложены фрагменты оцениваемых компетенций. Руководителю практики нужно было охарактеризовать компетентность студентов в баллах и отметить допущенные практикантом ошибки. Анализ ошибок выполнялся кафедрой в процессе подведения итогов и позволил судить о пробелах в теоретических знаниях и достаточности уровня отработанных умений и навыков.
Помимо оценивания компетентности студентов, руководитель практики должен был отметить объем выполнения практикантом конкретных задач, перечисленных в соответствующем разделе анкеты.
вестник российской таможенной академии • № 4 • 2011
Также руководитель практики мог высказать суждение по вопросам исследовательской деятельности студента: актуальность выбранного направления исследований в курсовой работе и ВКР, перспективность собранного материала для подготовки научного доклада или публикации. С этой целью в анкету включен раздел «Выполнение индивидуального задания». Мнения, высказанные руководителем практики, позволяют формировать предварительную тематику выпускных квалификационных работ. Анкетирование руководителей практики от таможен является основой предварительного согласования тематики ВКР с таможенными органами.
Анализ анкет характеризует компетентность студентов. Оценка профессиональных компетенций показала, что 94% студентов безошибочно владеют навыками использования компьютерной техники; 43% студентов владеют навыками применения Основных правил интерпретации ТН ВЭД на «отлично»; 57% - на «хорошо»; 47% студентов действуют безошибочно при осуществлении контроля достоверности классификации товаров в соответствии с ТН ВЭД (53% студентов допускают незначительные неточности). При оценке навыков заполнения и контроля таможенной документации выявлено, что 53% студентов показали отличные результаты, 47% - хорошие; владение методами анализа данных таможенной статистики оценено на «отлично» у 59% студентов, на «хорошо» - у 41%.
Среди общекультурных компетенций более высоко были оценены профессиональное мировоззрение и уровень культуры (94%), уровень деловой коммуникации (88%). В меньшей степени - способность применения иностранного языка в сфере профессиональной деятельности (47% - «отлично», 53% - «хорошо»).
Большая часть студентов показала отличные знания порядка взаимодействия таможенного органа с региональным филиалом ЦЭКТУ (82%) и демонстрировала навыки оценки заключений экспертов (76%).
Оценка компетентности студентов по итогам производственной практики руководителями установила у студентов 4-го курса специализации «Товароведение и таможенная экспертиза» высокий уровень инструментальных и достаточный уровень отдельных профессиональных компетенций, связанных с классификацией товаров в соответствии с ТН ВЭД. Проведенный эксперимент показал достаточный уровень сформированных компетенций: студенты в целом приобрели профессиональные навыки и практический опыт работы в качестве инспекторов-стажеров отделов товарной номенклатуры и происхождения товаров, таможенного оформления и таможенного контроля, отработали навыки оценки заключений экспертов и взаимодействия с региональным филиалом ЦЭКТУ.
Руководители практики, в свою очередь, высказали ряд замечаний и пожеланий. Отмечена трудоемкость заполнения анкет, которая связана с диагностикой некоторых компетенций. Например, возникали вопросы, как оценить умение студента применять основные правила интерпретации ТН ВЭД при классификации товара; каким образом оценить навыки заполнения таможенной документации или знание иностранного языка. Чтобы оценить навыки по оценке заключений эксперта, руководитель должен был изучить предложенную в программе практики методику, что представляется проблематичным в силу большой загруженности должностных лиц. Перечисление допущенных практикантом ошибок также вызывало затруднения, в частности, формулировка ошибочных действий.
Однако все участники и руководители эксперимента пришли к выводу: эксперимент целесообразно продолжать. Необходимо выполнить корректировку отдельных формулировок критериев анкеты (характеристик компетенций), разработать для руководителей методические указания, содержащие рекомендации по оцениванию профессиональных и общекультурных компетенций. Дополнительно руководители практики от таможен также высказали пожелание включить в методические рекомендации полный перечень компетенций студентов, обучающихся по специальности «Таможенное дело».
Использованные источники
1. Савруцкая Е. П. Межпредметные связи в свете компетентностного подхода // Высшее образование в России: научно-педагогический журнал. 2011. № 3. С. 86-90.
2. Федеральный государственный образовательный стандарт по специальности «Таможенное дело»: проект [Электронный ресурс]. URL: http://rta.customs.ru/rta/index.php?option=com_ content&view=artide&id=499&Itemid=1852.
3. Мамедова Т. Д., Шевкунова В. П. Повышение качества подготовки специалистов таможенного дела на основе компетентностного подхода // Совершенствование качества высшего профессионального образования в современных условиях: материалы Всероссийской научно-методической конференции 10-12 апреля 2007 г. Владивосток / под ред. А. А. Фат-кулина. Владивосток: ДВГТУ, 2007. С. 174-177.
4. Оценочные и диагностические средства итоговой государственной аттестации выпускников по специальности 080115.65 «Таможенное дело»: методические рекомендации / под общ. ред. В.П. Шевкуновой. Владивосток: РИО Владивостокского филиала Российской таможенной академии. 294 с.
