CC BY
96
УДК 355.54
ЭКСПЕРИМЕНТАЛЬНЫЕ ИССЛЕДОВАНИЯ ЭФФЕКТИВНОСТИ
КОМПЛЕКТА УЧЕБНО-ТРЕНИРОВОЧНЫХ СРЕДСТВ И РЕЗУЛЬТАТЫ ИХ ОЦЕНКИ
С. А. Завидов
Рассмотрены вопросы планирования экспериментальных исследований по оценке эффективности комплекта учебно-тренировочных средств и результаты оценки его эффективности, полученные на основе метода оценки комплектов учебно-тренировочных средств.
Ключевые слова: комплект учебно-тренировочных средств, оценка эффективности, бронетанковое вооружение и техника, показатель.
Экспериментальные исследования являются основным средством получения достоверных данных качественного освоения техники экипажами с применением при подготовке комплекта учебно-тренировочных средств (УТС).
Проведение экспериментальных исследований, как правило, осуществляется в три этапа: планирование, реализация плана эксперимента и обработка результатов эксперимента [1-2]. Целью проведения экспериментальных исследований является определение исходных данных для расчета показателей оценки эффективности комплекта УТС и верификация математических моделей процесса освоения экипажем бронетанкового вооружения и техники (БТВТ).
При проведении исследований использовались методы организации и планирования научных военно-технических экспериментов, изложенные в работах [3-4], а также положения математической статистики, теории надежности и эффективности технических систем.
Определяющим этапом планирования эксперимента является выбор факторов и откликов, основанный на априорной информации о физической сути исследуемого явления. После выбора факторов и откликов планируемого эксперимента, составляется план его проведения.
Основными факторами, влияющими на результат экспериментальных исследований по оценке достигнутых уровней освоения экипажами БТВТ по решению огневых задач, вождению и технической подготовке являются период службы членов экипажей х1, а также использование при подготовке комплекта УТС х2. Для равномерности охвата области варьирования факторов, их уровень выбирался для периода службы членов экипажей после окончания учебного центра и завершение службы.
Таким образом, для двух факторов полный факторный эксперимент можно представить матрицей (табл. 1).
48
Таблица 1
Матрица полного факторного эксперимента
Номер эксперимента Фактор Х\ Фактор Х2 Выходная переменная у
1 -1 -1 У\
2 +1 -1 У2
3 -1 + 1 Уъ
4 +1 + 1 У4
Уровню -1 фактора Х\ соответствует период службы членов экипажей после окончания учебного центра, уровню +1 фактора XI - период завершение службы.
Уровню -1 фактора х2 соответствует вариант подготовки с использованием комплекта УТС, уровню +1 фактора х2 - вариант подготовки без использования комплекта УТС.
Через у\, у2, уз и у4 обозначены значения функции отклика, полученные при выполнении экспериментов. При определении достигнутого уровня освоения экипажем БТВТ по вождению откликом будет являться средняя скорость движения объекта, при определении достигнутого уровня освоения экипажем БТВТ по решению огневых задач в качестве отклика принимается среднее время решения огневой задачи, а при определении достигнутого уровня освоения по технической подготовке - среднее значение количества учебной информации, принятой обучаемым.
Для компенсации влияния случайных погрешностей каждый эксперимент рекомендуется повторить п раз. Принимается допущение о минимально необходимом количестве измерений. Учитывая, что при 6-7 наблюдениях случайное появление монотонной последовательности или одного значения, резко выделяющегося от остальных, достаточно маловероятно, в работе число п параллельных экспериментов принято равным 7.
Для каждой строки матрицы планирования по результатам п параллельных экспериментов необходимо найти среднее арифметическое значение параметра оптимизации у]
— 1 п
УJ=-■Y,УJu^ (!)
п и=1
где и - номер параллельного эксперимента; у]и - значение результата в и-м параллельном экспериментеу-й строки матрицы.
Необходимость такой операции обусловлена тем, что измерения отклика у] носят случайный характер.
С целью оценки отклонений параметра оптимизации от его среднего значения для каждой строки матрицы планирования необходимо вычислить дисперсию эксперимента Б? по данным п параллельных экспериментов. Статистической дисперсией называют среднее значение квадрата отклонений случайной величины от ее среднего значения
(2)
И"1 и=1
где п - число параллельных экспериментов; и - номер параллельного эксперимента (и=\,2,...,п);у1и - результат в и-м параллельном эксперименте /-й строки матрицы; у] - среднее значение функции отклика по всем параллельным экспериментам.
Однородность ряда дисперсий проверяют по критерию Кохрена или по критерию Бартлета. При равномерном дублировании экспериментов, то есть когда число опытов в каждой эксперименте одинаково и равно п, однородность ряда дисперсий проверяют с помощью G-кpитepия Кохрена, представляющего собой отношение максимальной дисперсии к сумме всех дисперсий
о 2 о 2
__^'тах__ ^тах
+ + - + ^ £(2 7=1 7
Если (/<(/,;1бл , то дисперсия для заданного уровня значимости (в технике чаще всего принимаемом равным 5%) считается однородной. В приведенном выражении (3) - максимальная дисперсия по всем экспериментам.
Здесь N - количество дисперсий, равное количеству экспериментов, п - количество параллельных опытов. Таким образом, в данной работе
атабл=0,7679.
В ходе проведения экспериментальных исследований были сформированы четыре группы по семь экипажей в каждой. К эксперименту привлекались штатные экипажи.
Определение весовых коэффициентов показателей эффективности комплекта УТС для подготовки экипажа БТВТ проводилось методом экспертной оценки, при этом количество экспертов, участвующих в эксперименте должно быть не менее семи человек [5]. С этой целью был проведен опрос 10 экспертов Военного института (общевойскового) ВУНЦ СВ «ОВА ВС РФ» с опытом подготовки специалистов в области эксплуатации БТВТ от 5 до 25 лет, а также 10 экспертов НИИЦ БТ 3 ЦНИИ Минобороны России с опытом проведения исследований и испытаний БТВТ от 5 до 25 лет. Предварительно с экспертами были проведены занятия по методике
оценки, а также разъяснен физический смысл каждого из показателей. В предложенных анкетах экспертами определялись балльные значения весовых коэффициентов показателей эффективности комплекта У ТС.
С целью получения обобщенного мнения экспертов была проведена обработка значений экспертных оценок. Нормирование полученных индивидуальных коэффициентов весомостей проводилось по следующей формуле [5]
Ж-
*}=-Г!-. (4)
7=1
где - нормированный индивидуальный весовой коэффициент /-го показателя; Щ - индивидуальный весовой коэффициент /-го показателя; п - количество показателей.
В результате нормирования сумма весовых коэффициентов показателей, относящихся к одной однородной группе, составила 100 для каждого эксперта.
Характеристикой рассеивания индивидуальных весовых коэффициентов ]-то показателя служит коэффициент вариации, вычисляемый по следующей формуле
_ ^
^вар ~ (5)
где - среднее квадратическое отклонение; И^-1 - среднее арифметическое нормированных индивидуальных весовых коэффициентов у-го показателя всех экспертов (обобщенный нормированный весовой коэффициент).
Среднее квадратическое отклонение вычисляемое по формуле
1
/77-1
т , ч
(6)
7=1
где т - число экспертов; Ж^ - нормированный индивидуальный весовой коэффициент j-тo показателя для /-го эксперта.
Обобщенный нормированный весовой коэффициент Ш^1 определяется выражением
| тп
(7)
ш г=1
После обработки экспертных оценок значения коэффициента вариации не превысило 0,25, что свидетельствует о достаточной согласованности назначенных экспертами индивидуальных весовых коэффициентов.
В результате анализа полученных данных было выявлено, что:
51
эксперты наиболее весомым показателем для оценки эффективности считают показатель качества освоения БТВТ экипажем с использованием комплекта У ТС;
из составляющих показателя технического уровня исполнения выделяют коэффициенты соответствия имитируемых динамических характеристик и алгоритмов действий членов экипажа в процессе выполнения задач;
из составляющих показателя дидактических возможностей тренажера для подготовки экипажа эксперты особо выделили коэффициенты возможности отработки на тренажере упражнений КС СО, БМ и Т-2003, возможности тренажера автоматически формировать верную оценку за выполнение упражнений КС СО, БМ и Т-2003;
эксперты уделяют особое значение показателям эффективности класса учебного компьютерного технической подготовки.
Проведенный анализ существующих подходов к оценке эффективности УТС свидетельствуют об отсутствии единой системы количественной оценки. Не во всех методиках характеристикам придается вес, что не позволяет учесть степень их влияния на общую оценку эффективности средства обучения.
Функционирование системы «экипаж - комплект УТС» непосредственно связано с функциями движения, стрельбы и усвоением знаний о конструкции и эксплуатации изучаемого объекта при тесном взаимодействии всех членов экипажа. Поэтому эффективность функционирования данной системы может определяться достаточно представительными показателями - средней скоростью движения (Кср), временем решения огневой задачи (Г03), а также количеством учебной информации, принятой и усвоенной обучаемыми (1уи)-
Сущность применения средней скорости движения (Уср) и времени решения огневой задачи (Г03) в качестве показателей эффективности функционирования тренажеров для подготовки экипажа БТВТ, вождения и огневой подготовки заключается в следующем: чем адекватнее процесс приобретения навыков экипажем при подготовке на тренажерах реальному процессу подготовки на БТВТ (рост средней скорости движения на тренажере, уменьшение времени решения огневой задачи и увеличение количества пораженных целей при решении задачи управления огнем в процессе подготовки экипажа), тем лучше тренажеры при заданных условиях подготовки и выполнении принятых ограничений. Выбранные показатели можно считать достаточно представительными, так как они позволяют отслеживать динамику роста эффективности системы «экипаж - комплект УТС» на всем протяжении процесса подготовки экипажа.
Поскольку целостное функционирование системы «экипаж - комплект УТС» складывается из множества элементов взаимодействия компонентов системы, которые в процессе подготовки экипажа меняются коли-
чественно и качественно, то упорядочить и описать их можно через обобщенный показатель, отражающий динамику изменения эффективности системы.
Анализ развития и применения тренажеров, методов их оценки, позволили обосновать комплекс показателей и критериев оценки эффективности комплекта УТС для подготовки экипажа БТВТ, представленных на рис. 1, таких как:
показатель технического уровня исполнения комплекта УТС, характеризующий соответствие имитируемых характеристик агрегатов и систем БТВТ, а также алгоритмов деятельности членов экипажа;
показатель дидактических возможностей комплекта УТС, который характеризует его возможности по отработке задач программы боевой подготовки, КВБ и СМ СВ-2011, КС СО БМ и Т-2003 и нормативов;
показатель качества освоения БТВТ экипажем с использованием комплекта УТС, характеризующий степень подобия процессов выработки слаженных действий экипажа при совместных тренировках, а также процессов приобретения навыков обучаемых по вождению, решению огневых задач и технической подготовке;
показатель экономической эффективности применения комплекта УТС при подготовке экипажа БТВТ, характеризующий степень снижения затрат на подготовку экипажа с использованием в процессе подготовки комплекта УТС;
обобщенный показатель эффективности, который характеризует собой результат функционирования системы «экипаж-комплект УТС» в процессе подготовки экипажа и учитывает воздействие всех факторов системы подготовки.
Рис. 1. Показатели и критерии эффективности комплекта УТС для подготовки экипажа БТВТ
53
Значения всех показателей изменяются в пределах от 0 до 1. При этом значение 0 - худшая оценка УТС, значение 1, соответственно, лучшая оценка и является предельно желаемой.
Критерием оценки показателей технического уровня исполнения, качества освоения БТВТ экипажем с использованием комплекта УТС, дидактических возможностей, выступает правило, основанное на понятии дифференциального порога чувствительности. Согласно [6] члены экипажа посредством сенсорного канала при помощи анализаторов получают информацию о состоянии БТВТ или УТС, и способны воспринимать отличия в характеристиках - дифференциальный порог. Дифференциальный порог устанавливается на уровне минимального различия между двумя раздражителями, либо между двумя состояниями одного раздражителя, вызывающими едва заметное различие ощущений [6]. В соответствии с рекомендациями указанных источников, принимается, что дифференциальный порог не должен превышать 10 % - рубеж, предотвращающий формирование ложных навыков при подготовке экипажа БТВТ. Таким образом, значения рту, рко, рдв должны быть больше или равны 0,9.
Показатель экономической эффективности применения комплекта УТС для подготовки экипажа БТВТ и обобщенный показатель стремятся к максимуму.
В табл. 2 представлены результаты оценки эффективности комплекта УТС для подготовки экипажа БТВТ на этапе проведения государственных испытаний, рассчитанные с помощью разработанного метода оценки.
Таблица 2
Результаты оценки эффективности комплекта УТС для подготовки
экипажа БТВТ
Объект Показатели оценки эффективности
р 1 ту р ^дв р 1 ко р 1 ээ У
Комплект УТС ОКР «Бароскоп» 0,91 0,92 0,90 0,62 0,86
Тренажер экипажа компьютерный 0,93 0,94 0,90 0,64 0,88
Тренажер огневой подготовки компьютерный 0,87 0,90 0,85 0,60 0,83
Тренажер вождения компьютерный 0,92 0,90 0,93 0,55 0,85
Класс учебный компьютерный технической подготовки 0,93 0,92 0,91 0,70 0,88
Результаты оценки эффективности комплекта УТС для подготовки экипажа БТВТ с помощью разработанного метода позволяют сделать следующие выводы:
- значение показателя технического уровня исполнения соответствует выбранному критерию эффективности по данному показателю;
- достаточно высокое значение показателя дидактических возможностей комплекта УТС свидетельствует о том, что в специальном программном обеспечении тренажеров задачи, упражнения и нормативы, связанные с подготовкой в составе экипажа реализованы практически в полном объеме;
- полученное значение показателя качества освоения БТВТ экипажем с использованием комплекта УТС говорит о том, что процесс освоения при подготовке на БТВТ и с использованием комплекта УТС практически аналогичен;
- значение показателя экономической эффективности, свидетельствует о том, что до настоящего времени комплекты УТС для подготовки экипажа БТВТ не использовались в процессе подготовки.
На основании полученных значений уровней освоения экипажами БТВТ по технической подготовке, вождению и решению огневой задачи были построены графики, иллюстрирующие изменения уровня освоения экипажем БТВТ в зависимости от срока службы, для математической модели, рассчитанной на основе статистических данных, а также для математических моделей, рассчитанных на основе экспериментальных данных для комплекта УТС и БТВТ соответственно.
Указанные графики представлены на рис. 2-4.
Сравнение построенных зависимостей позволило определить значения сходимости указанных функций.
Так, значение сходимости функций (Л(У'С |)
- для статистической модели и экспериментальной модели комплекта УТС составило = 0,012;
- для статистической модели и экспериментальной модели танка составило Ед = 0,06;
Рис. 2. Определение значений сходимости функций достигнутого уровня освоения экипажем БТВТ по вождению
Рис. 3. Определение значений сходимости функций достигнутого уровня освоения экипажем БТВТ по решению огневой задачи
Рис. 4. Определение значений сходимости функций достигнутого уровня освоения экипажем БТВТ по технической подготовке
<2о1Тсл).
- для статистической модели и экспериментальной модели комплекта УТС составило 1п = 0,032;
Чоз '
- для статистической модели и экспериментальной модели танка составило = ОД 2;
(ЛпС/'сл).
- для статистической модели и экспериментальной модели комплекта УТС составило 1п = 0,03;
Чтп
- для статистической модели и экспериментальной модели танка составило 1п =0,108.
Чтп
Полученные зависимости и результаты полностью подтверждают адекватность разработанных математических моделей освоения экипажем БТВТ и позволяют использовать их на ранних этапах ОКР на основе статистических данных, а на более поздних этапах ОКР - на основе экспериментальных данных.
Результаты верификации математических моделей процесса освоения экипажем БТВТ по вождению, решению огневой задачи и технической подготовке свидетельствуют о возможности использования математической модели, основанной на статистических данных, при оценке эффективности комплекта УТС для подготовки экипажа БТВТ на ранних этапах ОКР.
Список литературы
1. Шенк Х. Теория инженерного эксперимента. М.: Мир, 1972.
381 с.
2. Лавренчик В.Н. Постановка физического эксперимента и статистическая обработка его результатов. М.: Энергоатомиздат, 1986. 272 с.
3. Румшиский Л.З. Математическая обработка результатов эксперимента: справочное пособие. М.: Наука, 1971. 192 с.
4. Асатурян В.И. Теория планирования эксперимента. М.: Радио и связь. 1983. 87 с.
5. Анисимов-Спиридонов Д. Д. Методы и модели больших систем оптимального планирования и управления. М.: Наука, 1969. 355 с.
6. Руководство по эргономическому обеспечению создания и эксплуатации вооружения, военной техники и техники гражданской авиации. Межведомственное (РЭО-83-М). Ч. 2. К. 6. М.: Издательство стандартов, 1985. 192 с.
Завидов Сергей Анатольевич, канд. техн. наук, доц., _francuz 76@list.ru, Россия, Кубинка, Научно-исследовательский испытательный центр бронетанковой техники 3 Центрального научно-исследовательского института МО РФ
EXPERIMENTAL STUDIES OF THE EFFECTIVENESS OF A SET OF TRAINING MEANS AND THE RESULTS OF THEIR EVALUATION
S.A. Zavidov
Сonsidered the questions of planning of experimental studies on evaluation the effectiveness of the kit training means and the results of evaluation of its efficiency.
Key words: set of training means, evaluation of effectiveness, armored vehicles, index.
Zavidov Sergey Anatolievich, candidate of technical sciences, docent, fran-cuz_76@list.ru, Russia, Kubinca, NIIC BT3 CNIIMO RF
