ОЦЕНИВАЕТ КОМПЛЕКСНЫЙ ТЕСТ. КОНТРОЛЬ КАЧЕСТВА ПОДГОТОВКИ ОФИЦЕРОВ ВМФ ПО ВОПРОСАМ ПВО В СИСТЕМЕ ДОПОЛНИТЕЛЬНОГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Текст научной статьи по специальности «Науки об образовании»

B.Н. ДОВЖЕНКО,

C.Ю. РЕНЬШ, H.A. ШУСТОВА

V.N. DOVZHENKO, S.Yu. RENSH, N.A. SHUSTOVA

ОЦЕНИВАЕТ КОМПЛЕКСНЫЙ ТЕСТ

ASSESSMENT THROUGH THE COMPLEX TEST

КОНТРОЛЬ КАЧЕСТВА ПОДГОТОВКИ ОФИЦЕРОВ ВМФ ПО ВОПРОСАМ ПВО В СИСТЕМЕ ДОПОЛНИТЕЛЬНОГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ

QUALITY CONTROL OF NAVAL OFFICERS' TRAINING ON AIR DEFENCE ISSUES IN THE SYSTEM OF ADDITIONAL VOCATIONAL EDUCATION

Сведения об авторах. Довженко Владимир Николаевич - профессор кафедры боевого применения морского подводного вооружения ВУНЦ ВМФ «Военно-морская академия», контр-адмирал в отставке, кандидат военных наук, профессор (г. Санкт-Петербург. E-mail: k477dvn@mail.ru);

Реньш Сергей Юрьевич - профессор кафедры воздушно-космической обороны ВУНЦ ВМФ «Военно-морская академия», капитан 1 ранга запаса, кандидат военных наук, доцент (г. Санкт-Петербург. E-mail: r_sy@mail.ru);

Шустова Наталия Андреевна - методист учебно-методического отдела ВУНЦ ВМФ «Военно-морская академия», кандидат технических наук (г. Санкт-Петербург. E-mail: nashvsok@mail.ru).

Аннотация. В статье рассмотрены: организация автоматизированного сбора данных для оценки обучающихся, реализованная в тактическом тренажере противовоздушной обороны, вариант использования на тренажерах метода многокритериальной оценки эвристической деятельности, целесообразный вариант структуры комплексного теста для оценки уровня подготовки при компетент-ностном подходе.

Ключевые слова: противовоздушная оборона, тактический тренажер, автоматизированный сбор данных, оценка обучающихся, метод многокритериальной оценки, тестирование.

Information about the authors. Vladimir Dovzhenko - Professor of the Subdepartment of Combat Use of Naval Underwater Armaments, Navy's MESC 'Naval Academy', Rear-Admiral (ret.), Cand. Sc. (Mil.), Professor (St. Petersburg, E-mail: k477dvn@mail.ru);

Sergey Rensh - Professor of the Aerospace Defence Subdepartment, Navy's MESC 'Naval Academy', Captain 1 Rank (res.), Cand. Sc. (Mil.), Associate Professor (St. Petersburg, E-mail: r_sy@mail.ru);

Natalia Shustova - Methodologist of the Navy's MESC 'Naval Academy', Cand. Sc. (Tech.) (St. Petersburg, E-mail: nashvsok@mail.ru).

Summary. The article deals with the organization of automated data collection for evaluation of learners implemented in the tactical simulator of air defence, as well as a usable variant of the method of multi-criteria evaluation of heuristic activity on simulators and an expedient version of the complex test structure for assessing the level of training with a competency approach.

Keywords: air defence, tactical simulator, automated data collection, learners evaluation, multi-criteria evaluation method, testing.

Профессия «офицер» требует способности эффективно решать задачи в экстремальных условиях, связанных с риском для жизни, при ограниченном времени на принятие решения, неся ответственность как за свои действия, так и за действия подчиненных. Особого внимания заслуживает сфера деятельности офицеров, проходящих службу в ВМФ, так как от них в особой степени зависит национальная безопасность государства.

Целью образования военно-морских офицеров становится выработка у обучающихся междисциплинарного критического мышления, способности приспосабливаться к требованиям научно-технического прогресса, задачей -научить учиться в течение всей жизни. Основным результатом деятельности образовательного учреждения при принятом в настоящее время компетентностном подходе должна стать интегральная система, включающая знания, умения и навыки военного специалиста, которая проявляется через способность действовать при решении конкретных профессиональных задач. Компетентность включает и компоненты, имеющие надпрофессиональный характер, но в то же время необходимые сегодня в той или иной мере каждому специалисту. Это, в первую очередь, такие качества личности, как самостоятельность, способность принимать ответственные решения, творческий подход к делу, умение доводить любое начинание до конца, постоянно учиться.

Устоявшегося определения для содержания понятия «компетенция» до сих пор нет. Нет и принятой всеми классификации компетенций. Например, одно из многих определений понятия «ком-

петенция» следующее. Компетентность - это характеристика, даваемая человеку в результате оценки результативности его действий, направленных на разрешение определенного круга значимых для данного сообщества задач. Знания, навыки, способности, мотивы, ценности и убеждения рассматриваются как возможные составляющие компетентности. Но сами по себе они не делают человека компетентным. В этом определении усматриваются два подхода к содержанию понятия «компетенция». При первом подходе делается акцент на компетенции как интегральном личностном качестве человека (характеристика человека), при втором - на описании составляющих его деятельности, ее различных аспектов, которые и позволяют ему успешно справляться с решением проблем. Разнообразие определений компетенции существенно затрудняет разработку подходов (процедур, критериев, инструментов) к ее измерению и оценке в качестве результата обучения.

В статье принято определение «компетенции», данное в ФГОС-3. Компетенция - это комплексная характеристика готовности выпускника применять полученные знания, умения и личностные качества в стандартных и изменяющихся ситуациях профессиональной деятельности. Складывается из трех составляющих. Во-первых, это знание о том, как быстро найти нужную информацию, отсеять от ненужной, перевести в опыт собственной деятельности. Можно сказать, что это знание не столько о конкретном предмете, сколько о том, как найти другое нужное знание. Во-вторых, это умение использовать знания в конкретной ситуации

и понимание, каких знаний недостает именно для этой ситуации. В-третьих, это оценка конкретных знаний, их необходимости или ненужности для своей деятельности, а также метода их получения и использования.

Основой для разработки учебных программ являются квалификационные требования, в которых определены цели подготовки. Ранее итоги обучения описывались в виде знаний, умений, навыков, а также определялось и содержание каждой дисциплины. Но в реальной деятельности выпускникам придется применять знания, полученные при изучении разных дисциплин. В настоящее время еще приводятся и компетенции, как цели подготовки по всей программе. Такой подход имеет важные особенности. Компетенции помогают установлению междисциплинарных связей и могут формироваться разными путями, причем набор дисциплин, который будет использован для формирования определенной компетенции, может меняться. Таким образом, сама постановка вопроса о компетенциях, как результате подготовки, ведет к изменениям в содержании и процессе образовательной деятельности.

При этом важно учитывать, что понятие компетенции включает в себя четыре составляющих: когнитивную компетенцию, предполагающую использование теории и понятий, а также знаний, приобретенных на основе практики (знание как понимание); функциональную компетенцию (умения), а именно то, что человек должен уметь делать (знание как действие); личностную компетенцию, предполагающую поведенческие умения в конкретной ситуации; этическую компетенцию,

предполагающую наличие определенных личностных и профессиональных ценностей.

Процесс подготовки требует, в числе прочих условий, постоянного мониторинга качества обучения и непрерывного осуществления обратной связи. Цели подготовки должны быть определены так, чтобы их достижение можно было оценить лучше всего количественно.

При этом обозначение компетенций целью подготовки военных специалистов требует обучать их, упражняя в накоплении компетенций. Для этого в системе дополнительного профессионального образования офицеров ВМФ широко используются тренажеры.

Для подготовки офицеров по вопросам противовоздушной обороны (ПВО) кораблей используется тактический тренажер «Охта», предназначенный для подготовки офицеров к противовоздушной обороне в составе расчетов командных пунктов (КП) ПВО надводных кораблей и пункта управления (ПУ) ПВО так-

тической группы кораблей различных классов.

Опыт использования тренажера показывает, что подготовка к разбору и подготовка данных для оценивания занимают значительное время. Деятельность должностных лиц в ходе противовоздушного боя в значительной степени является эвристической, в которой нельзя, из-за многообразия тактических ситуаций, определить точный алгоритм действий для сохранения боевой устойчивости кораблей. Оценка такой деятельности может быть дана только по конечному результату. Однако на успех этой деятельности оказывают влияние и действия, которые могут быть оценены количественно (например, дальность применения оружия).

Программное обеспечение тренажера по окончании тренировки позволяет воспроизвести всю тренировку или необходимые эпизоды. При этом, стремясь сделать процесс разбора и оценки наглядней, объективней,сократить время в ходе занятия на подготовку к оценке, в тренажер

внедрен механизм автоматизированного сбора необходимых данных для каждого рабочего места обучающихся, а также обобщенных данных для тактической группы кораблей, по принципу фиксирования действий на каждом рабочем месте обучающихся (РМО).

Оценивает слушателей руководитель занятия, имеющий практический опыт и использующий зафиксированные данные о действиях обучающихся.

Ниже, для примера, приведена форма таблицы данных о результатах действий зенитных огневых средств (ЗОС) надводного корабля из состава тактической группы (см. таблицу 1) в ходе противовоздушного боя.

На флагманском корабле формируется обобщенная таблица результатов действий ЗОС кораблей тактической группы.

Для удобства и наглядности при разборе предусмотрена возможность селекции и отображения данных результатов действий ЗОС по каждой цели на фоне планшета ближ-

Таблица1

Данные о результатах действий ЗОС надводного корабля

Способ постановки задачи

> О с во

с

ф

5

та ф

сх сг

о о

н н

ф ф

и и

О ш

с

<и с ю

л &

о £

С

О

го

а д

во

ф

сг

са ф

0

1

са

ф

с

О

£

кчо сат

с—я

ф сг

са ф

0

1

са

ф

а

О

& „ гоо2

уКС фИФ

1-Х и

сс

ей ~

ф сх

са ф

0

1

са

ф

а

О

ф *

а а о

ф *

а а о п

л с

ф

л

с

^

з

ф

Причины непоражения цели

о сх с

0

1

ф

^

ф

ч

ф

сг а

о

и о

по

ч

та

I

ф

X

та СХ О

С

XI ^

ф

Условия оценки задачи

Критическая оценка выполнения задачи

Моделирующее устройство

Блок нормативов

Сравнение динамических параметров с номативами

Выработка оценок динамических параметров

Суммарно-параметрическая оценка по динамическим параметрам

Множительный блок

Итоговая оценкам

Схема 1. Обобщенная модель выработки итоговой оценки

ней воздушной обстановки. Важно, что в таблице фиксируются причины непоражения воздушных целей. К каждому моменту, зафиксированному в таблицах, можно открыть и просмотреть, в том числе в динамике, действия сил на фоне карты. Данный механизм в значительной степени позволяет повысить объективность при разборе и оценке действий обучающихся.

В развитие вышеизложенного целесообразно, учитывая уже реализованный механизм, применить метод многокритериальной оценки подготовленности обучающихся на тактических тренажерах.

Задачи, отрабатываемые на тренажере, могут быть разбита на элементарные действия, направленные на достижение промежуточного результата. А элементарные действия могут быть оценены количественно. Несмотря на то, что для каждой задачи они индивидуальны, вполне возможно определить их перечень и оценку каждого действия для

контрольных, заранее сформированных вариантов.

Требуется механизм объединения оценок по многим показателям (порой самого различного характера) в общую оценку. Все оценочные параметры (показатели) подготовленности обучающихся предлагается разделить на два вида.

Первый вид - это критичные оценки, определяющие успех или неуспех решения поставленной перед обучающимся задачи, например, сохранение боевой устойчивости кораблей в ходе противовоздушного боя. В цифровом ис-

числении они соответствуют единице или нулю.

Ко второму виду относятся оценки, определяющие величину отклонения от норматива или от правил. Например, можно оценить дальности выдачи целеуказания зенитным огневым средствам.

Оценки могут иметь различные физические размерности. При этом получение неудовлетворительной оценки по одному из параметров может не сказаться на критичной оценке. Расчет оценки должен производиться на основании оценок, учитывающих отклонения от нормативов по каждому принятому для данной задачи параметру.

Итоговая оценка действий обучающихся на тренажере представляет собой произведение критичной и суммарно-параметрической оценок.

Обобщенная модель выработки итоговой оценки на тренажере представлена выше (см. схему 1).

Далее в самом общем сокращенном виде, для примера, приведена оценка отражения удара средств воздушного нападения кораблями.

Оценку сохранения боевой устойчивости кораблей для решения поставленной боевой задачи по предназначению примем за критичную, т.е. при получении нулевого результата по ней итоговая оценка будет неудовлетво-

Таблица2

Оцениваемые параметры действий расчетов

№ п/п Параметр

1. Повышение боевой готовности

2. Выполнение противовоздушного маневрирования

3. Выполнение мероприятий тактической маскировки

4. Выработка плана целераспределения ЗОС

5. Выдача целеуказания ЗОС (реализация плана целераспределения)

6. Использование средств РЭБ

рительной. На тренажере можно оценивать и варианты достижения цели противовоздушного боя. Например, сохранены: все корабли тактической группы - 1; охраняемые корабли - 0,8; часть охраняемых кораблей, позволяющая решать задачу по предназначению, - 0,6. Это соответствует оценкам «отлично», «хорошо», «удовлетворительно».

Предположим, что в ходе противовоздушного боя сохранены все корабли тактической группы, т.е. критичная оценка равна 1. Своевременность, целесообразность и правильность действий расчетов ПУ ПВО и КП ПВО кораблей, для примера, оценим по параметрам, допустив, что все они равноценны (см. таблицу 2 на с. 23).

За каждое нарушение (отклонение) предусматривается снижение оценки.

Для совместной обработки различных параметров и получения суммарно-параметрической оценки предлагается графоаналитический метод. Суть его в том, что

сравниваются две площади диаграммы, построенной на осях, представляющих собой графическое выражение параметров. Каждый луч в идеале означает правильное решение задачи по данному параметру, а определенное количество отклонений соответственно укорачивает этот луч.

Пусть параметры, приведенные выше, приняли значения, представленные ниже (см. таблицу 3). Тогда многоугольник оцениваемых динамических параметров будет иметь вид заштрихованной фигуры, вписанной в правильный многоугольник максимальных динамических параметров (см. схему 2).

Сравнив площади идеального и фактического (заштрихованного) многоугольников, на основании полученного коэффициента определяем оценку. Соотношение многоугольников (коэффициент) равно 0,53, итоговая оценка (см. таблицу 4) за тренировку -«хорошо». Однако диаграмма показывает, что в подготовке расчетов есть недостатки (параметры 1 и 6). Предложенный

Таблица 3

Значения оцениваемых динамических параметров

Номера параметров Значения параметров

1 0,3

2 0,7

3 0,8

4 1

5 0,4

б 0

Суммарно-параметрическая оценка хорошо

Таблица 4 Оценочная таблица

Коэффициент Оценка

К > 0,5б отлично

0,3б < К < 0,55 хорошо

0,28 < К < 0,35 удовлетворительно

К < 0,27 неудовлетворительно

подход позволит объективней оценивать уровень подготовленности обучающихся преподавателем и обеспечит контроль со стороны обучающихся за уровнем своей подготовки.

Также одним из инструментов контроля качества подготовки обучающихся является тестирование. Собственный опыт использования тестирования, анализ некоторых публикаций в качестве его преимуществ позволяет отметить:

- возможность проверки знаний по всей дисциплине;

- обеспечение более точной оценки знаний (обеспечивается большим количеством заданий);

- стандартизация тестовых заданий и процедуры тестирования, что позволяет сравнительно оценивать уровень знаний по дисциплине слушателей разных учебных групп;

- объективность контроля (все слушатели находятся в равных условиях как в процессе самого тестирования, так и при обработке результатов, субъективизм преподавателя исключен);

- оперативность проведения и обработки результатов (особенно при компьютерном тестировании);

- возможность использования результатов тестирования для корректуры учебных программ, выбора образовательных технологий;

- меньшие затраты на проведение и проверку знаний, чем при проведении устного экзамена (без учета затрат на разработку самих тестовых заданий).

К недостаткам тестирования, которые являются продолжением его достоинств, можно отнести следующее:

- разработка качественных тестовых заданий является длительным и трудоемким

процессом, а изменение (корректура) дисциплин влечет за собой изменение тестов;

- декларируемая широта охвата материала имеет обратную сторону, так как хотя и требует от слушателя знакомства со всем материалом, но весьма поверхностного;

- присутствие элемента случайности, причинами которой могут быть непроизвольная ошибка или, что случается гораздо чаще, угадывание ответа;

- невозможность оценить нестандартное, нешаблонное мышление.

Тестирование не позволяет слушателям продемонстрировать их умение думать, и этот недостаток наиболее существенный.

Что же касается объективности тестирования, то многие практикующие его подчеркивают, что тест объективен постольку, поскольку освобождает от субъективизма преподавателя, но объективной оценки не дает.

Определить точный вклад отдельной дисциплины в формирование какой-либо компетенции сложно, поэтому сумма результатов тестирования по отдельным дисциплинам не может быть оценкой качества подготовки выпускника.

При компетентностном подходе необходимо создание тестов интегрированных, позволяющих оценить уровень подготовки в целом или по отдельным циклам дисциплин. Задания для таких тестов (части из них) должны быть открытого типа, то есть требующие свободного изложения ответа с необходимым обоснованием. Это позволит смоделировать ситуации, которые встретятся слушателю на флоте.

Вариант комплексного теста может включать три части. Первая часть включает вопросы, нацеленные на выявление знания основных, базовых по-

Схема 2. Многоугольник оцениваемых динамических параметров

нятий учебной дисциплины (модуля). Слушатель ставится в условия, когда исключается возможность угадывания ответа. Вторая часть теста требует от слушателя умений и навыков решения за ограниченное время большого количества относительно простых задач в объеме всего курса. Чтобы ответить на вопросы, придется применять знания для выбора правильных ответов среди альтернатив. Третья часть включает раздел комплексного теста, при выполнении которого слушатель, основываясь на приобретенных знаниях, самостоятельно решает конкретную проблемную задачу или несколько задач и защищает свой вариант решения. Итоги выполнения задания проверяет и оценивает комиссия. Предлагаемая структура комплексных тестов нацелена на оценку сформированности компетенций, развитие коммуникативных способностей

слушателей, которые должны знать не только верный, по их мнению, ответ, но и уметь объяснить, почему он верный. °

ЛИТЕРАТУРА

1. Андреев А.Л. Компетент-ностная парадигма в образовании: опыт философско-методоло-гичекого анализа // Педагогика, 2005. № 4.

2. Косухин В., Логинова Г., Логинова И. Роль и место тестирования в деятельности вуза // Высшее образование в России, 2008. № 1.

3. Овечкин А.Н. Реформа военно-морского образования в условиях глобализации общества // Морской сборник, 2002. № 1.

4. ПраховаМ.Ю., Коловерт-нов Г.Ю., Шаловников Э.А. О месте тестирования как инструмента оценки знаний в вузе // Высшее образование в России, 2012. № 7.