CC BY
79
Разработка технологий совершенствования профессиональной подготовки кадров по вопросам гражданской обороны на основе комплексного использования современных технических средств
С.Н. Грязнов, канд. социол. наук, Д.Б. Икрамов, канд. социол. наук,
ЦСИ ГЗ МЧС России
Научно-техническая проблема разработки современных технологий совершенствования профессиональной подготовки кадров и образования в целом является одной из задач образования в Российской Федерации. В последнее время в нашей стране ее пытаются решать в рамках федеральных программ с использованием программноцелевого метода. К таким программам необходимо отнести Федеральную программу развития образования (срок реализации - 2000-2005 гг.), утвержденную Федеральным законом от 10.04.2000 г. № 51-ФЗ, в которой одним из основных мероприятий является развитие, разработка и реализация информационных образовательных технологий и методов обучения, в том числе дистанционных.
Положение, сформулированное в Федеральной программе «Реформирование государственной службы Российской Федерации (2003-2005 год)», о том, что в настоящее время «сохраняется тенденция к увеличению числа государственных служащих, чье профессиональное образование не соответствует квалификационным требованиям по замещаемой должности»1, стало основанием постановки новых задач перед государственными органами. Одна из них - «создание системы непрерывного профессионального образования государственных служащих, совершенствование стандартов и программ подготовки и профессионального развития кадров государственной службы...; осуществление управления развитием профессиональных качеств государственных служа-2
щих...» .
В условиях стремительного развития спасательного оборудования, технологий, способов и средств ведения гражданской обороны, основной задачей системы профессиональной подготовки кадров для МЧС России по вопросам гражданской обороны должна стать подготовка специалистов, отвечающих установленным квалификационным требованиям, способных с высокой эффективностью решать задачи гражданской обороны.
Развитие системы образования, адекватно удовлетворяющей основной задаче в области профессиональной подготовки кадров МЧС России по вопросам гражданской обороны, определяется Концепцией кадровой политики МЧС России, утвержденной приказом МЧС России от 19.05.2004 г. № 225.
Коллегия МЧС России от 13.02.2004 г. «О совершенствовании системы органов управления МЧС России на уровне субъектов Российской Федерации» (протокол № 4/11), рассмотрев вопрос «О концепции кадровой политики МЧС России», отметила, что в системе Министерства, начиная с 2002 года, значительно возросли численность и состав профессионально подготовленных кадров, расширилась и видоизменилась система подготовки кадров, поставлены новые задачи по созданию и реорганизации образовательных учреждений, переработке образовательных стандартов, организации воспитательной, психологической и методической работы, подготовки научно-педагогических кадров.
В рамках административной реформы, проводимой в Российской Федерации осуществляется перераспределение служебных нагрузок на персонал МЧС России,
1 Федеральная программа «Реформирование государственной службы Российской Федерации (2003-2005 год), утвержденная Указом Президента РФ от 19 ноября 2002 г. № 1336.
2 Федеральная программа «Реформирование государственной службы Российской Федерации (2003-2005 год), утвержденная Указом Президента РФ от 19 ноября 2002 г. № 1336.
проводятся мероприятия по сокращению его численности. В этой связи главным резервом в работе с кадрами становится повышение эффективности труда сотрудников, более высокая квалификация и интенсификация их труда.
Концепция кадровой политики МЧС России рассматривает принципиальные положения кадровой политики, проводимой в системе Министерства, на период до 2008 года в целях создания стройной и эффективной системы подготовки, расстановки, продвижения и воспитания специалистов-профессионалов, обеспечивающих выполнение всего комплекса задач по проблемам подготовки и ведения гражданской обороны, защиты населения и территорий от чрезвычайных ситуаций природного и техногенного характера, обеспечения пожарной безопасности, организации поиска и спасения людей во внутренних водах и территориальном море Российской Федерации.
Сложившаяся к настоящему времени социально-экономическая обстановка в государстве, характеризующаяся развитием рыночных отношений, появлением организаций и предприятий различных организационно-правовых форм и форм собственности, децентрализацией управления экономикой и материально-техническим снабжением организаций в системе МЧС России, разделением полномочий в сфере гражданской обороны в Российской Федерации между структурами федерального уровня, в субъектах Российской Федерации и муниципальных образованиях, вызывает объективные трудности при выполнении задач по гражданской обороне, стоящих перед должностными лицами в системе МЧС России.
Анализ данного положения, а также изменение облика гражданской обороны в Российской Федерации в последние годы предопределяют, что в современных условиях способность системы МЧС России решать возложенные на нее задачи по гражданской обороне находится в прямой зависимости от уровня профессиональной подготовки кадров МЧС России по вопросам гражданской обороны.
Установлено, что кардинальные экономические преобразования, изменения в законодательстве Российской Федерации в области гражданской обороны, а также развитие теории и практики вооруженной борьбы, появление принципиально новых систем вооружения, группировок войск и способов их боевого применения таких, как: обеспечение ядерного сдерживания, проведение миротворческих и контртеррористических операций, локализация вооруженных конфликтов, оказывают превентивное влияние на изменение приоритетов задач гражданской обороны, изменение облика и качественное развитие системы гражданской обороны, а также вызывают диалектическое повышение требований к уровню профессиональной подготовки кадров.
По этой причине теория эффективности подготовки кадров МЧС России по гражданской обороне должна постоянно развиваться.
Необходимо учитывать, что процесс подготовки специалистов в вузах МЧС России, являясь составной частью системы профессионального образования, находится в столь же сложной и часто меняющейся обстановке, так как подвержен, с одной стороны, действиям протекающих в стране экономических преобразований, с другой, - изменениям, происходящим в военном деле, в подготовке и ведении гражданской обороны в современных условиях.
Исходя из этого, основным направлением в процессе профессиональной подготовки кадров МЧС России по вопросам гражданской обороны должно стать обеспечение его полного соответствия новому облику гражданской обороны.
Однако уровень профессиональной подготовки кадров МЧС России по вопросам гражданской обороны не вполне соответствует содержанию предъявляемых к ним требований, особенностям организации и ведения гражданской обороны в современных условиях, а также мировым стандартам образования.
Профессиональная подготовка в вузах МЧС России, Институте развития МЧС России и учебно-методических центрах еще не стали единым образовательным процессом, не отработана методика формирования в процессе обучения необходимых методи-
ческих навыков, управленческих и личных качеств.
Указанные недостатки в профессиональной подготовке кадров МЧС России во многом обусловлены несовершенством методик обучения, которые недостаточно ориентированы на развитие творческих способностей и тактического мышления выпускников, формирование у них умения всесторонне анализировать обстановку, искать и принимать оптимальные управленческие решения в сложных условиях, решение нестандартных профессиональных задач.
Вместе с тем широкое внедрение новых информационных технологий обучения сдерживается недостатком и разнотипностью вычислительной техники, а также ограниченным объемом финансовых средств для обеспечения ее эксплуатации и обновления.
В современных условиях система профессиональной подготовки кадров МЧС России в не меньшей степени, чем в гражданской сфере образования, нуждается в постоянном развитии, ускоренном доведении ее до состояния, отвечающего мировому уровню развития профессионального образования.
В последнее время в процессе реформы образовательной сферы в стране перед вузами МЧС России встает одна из серьезнейших проблем: в каком соотношении должно находиться военное и гражданское образование, чтобы обеспечивалось устойчивое развитие системы профессиональной подготовки кадров МЧС России и поддержание ее на требуемом уровне.
Одними из направлений решения этой проблемы являются:
- определение новых квалификационных требований к выпускникам вузов МЧС России с расчетом на перспективу и подготовку специалистов в области гражданской обороны;
- сокращение количества военных специальностей и приближение их к гражданским аналогам;
- разработка принципиально новых учебных планов и корректировка содержания программ профессиональной подготовки кадров МЧС России с учетом требований государственных образовательных стандартов, современных экономических условий и изменения облика гражданской обороны.
Известно, что подготовка любого специалиста в вузе начинается с разработки и реализации квалификационных требований.
Для каждой военной специальности квалификационные требования являются государственным нормативным документом, который выполняет роль ведомственного образовательного стандарта и представляет собой научно-обоснованный заказ на подготовку выпускника.
Квалификационные требования по специальностям высшего военноспециального образования разрабатываются в качестве дополнения к государственным образовательным стандартам высшего профессионального образования по соответствующим гражданским специальностям.
Следовательно, квалификационные требования должны обеспечить подготовку офицеров войск гражданской обороны, как по военной, так и по гражданской специальности в одной из родственных или смежных отраслей экономики. При этом содержание обучения гражданской специальности должно отвечать требованиям государственных образовательных стандартов.
В современных условиях отличительной особенностью квалификационных требований к профессиональной подготовке выпускников в вузах МЧС России должен стать «деятельностный подход» и определение конечных целей обучения.
Содержание и структура квалификационных требований должны ориентировать вузы на формирование у выпускников умений решать конкретные задачи по направлениям и видам профессиональной деятельности специалистов МЧС России, в том числе по вопросам гражданской обороны.
Исходя из этого, следует разрабатывать систему обобщенных задач по гражданской обороне, к решению которых должен быть готов выпускник с указанием уровня его подготовленности. Такой подход позволяет при разработке учебных планов и программ оптимизировать объем и содержание учебного материала, выбрать более эффективные способы и методы обучения, исходя из интересов профессиональной деятельности, к которой готовится выпускник.
Важной чертой квалификационных требований должна стать их диагностич-ность: возможность объективно оценивать подготовленность выпускников к конкретной профессиональной деятельности, степень достижения конечных целей образовательного процесса в вузе МЧС России. Значительным шагом по сравнению с предыдущим поколением квалификационных требований должно стать включение перспективных и проблемных задач, учитывающих реалии времени, социально-экономических и военно-политических изменений в стране и за рубежом.
Вместе с тем сегодня целесообразно воздерживаться от жестких, директивных требований к методике формирования квалификационного заказа.
В зависимости от конкретной специальности, опыта, компетенции и квалификации разработчиков, четких представлений о профессиональной деятельности выпускников и умения правильно представить ее в виде набора квалификационных задач могут быть использованы как уже известные, апробированные подходы, так и другие перспективные методы формирования квалификационных требований, направленные на повышение эффективности подготовки специалистов в вузах МЧС России.
В целом формирование квалификационных требований предполагает комплексный и системный подход по всем составляющим профессиональной деятельности специалистов в современных условиях, тщательный отбор обязательных для освоения в процессе учебы типовых задач, их оптимизацию по количеству и уровням усвоения за установленный срок обучения.
Механизм обоснования уровня подготовки выпускника вуза МЧС России должен обрести форму строгих функциональных схем, разработанных на основе экспертного опроса компетентных кадров МЧС России в области гражданской обороны, объективно представляющих сферу их профессиональной деятельности и имеющих богатый опыт практической работы на первичных и вышестоящих должностях.
При этом необходимо помнить, что в основе квалификационных характеристик должны лежать требования к выпускнику на момент его выпуска из вуза, поэтому по ряду показателей они неизбежно будут отличаться от требований к полностью сформировавшемуся специалисту в области гражданской обороны, получившему опыт практической деятельности в системе МЧС России.
Выполненные исследования показали, что под эффективностью профессиональной подготовки кадров МЧС России следует понимать влияние системы профессиональной подготовки кадров (СППК) на достижение обобщенных целей профессиональной подготовки и степень использования полученных знаний, умений и навыков при выполнении стоящих перед ними задач в конкретной обстановке. Характер этих задач определяет общую и частные цели и соответствующую им эффективность профессиональной подготовки кадров МЧС России по вопросам гражданской обороны.
Таким образом, различают общую и частную эффективность.
Частная эффективность характеризует результативность достижения отдельных целей профессиональной подготовки, а общая - отражает степень достижения её общей цели или совокупности частных целей.
Естественно, что общая эффективность профессиональной подготовки кадров МЧС России по вопросам гражданской обороны зависит от эффективности её отдельных составляющих и должна оцениваться через показатели (критерии) частной эффективности, которые можно сгруппировать в два вида: единичные (абсолютные) и частные (относительные).
Первая группа рассматривается с точки зрения абсолютных значений показателей выполнения отдельных задач (уровня достижения целей) профессиональной деятельности кадров МЧС России, а также затрат материальных и денежных средств в процессе подготовки специалиста в вузе МЧС России.
Вторая группа оценивает эффективность подготовки выпускника (профессиональную и экономическую) и характеризует степень достижения цели (экономичности) относительно директивного показателя. Эта группа критериев является определяющей.
Таким образом, количественной мерой эффективности подготовки специалистов в вузах МЧС России служит множество характеристик: единичных или абсолютных показателей эффективности (достижения цели) (далее - АПЭ) - УО, определяющих степень выраженности по отношению к специфичной для каждой цели шкале измерений. Множество характеристик системы профессиональной подготовки кадров (далее -СППК) отражает ее внутреннее содержание, структуру и принципы функционирования или существования, а также выделяют ее среди других систем.
Характеристики системы находятся в функциональной зависимости от ее параметров, которые отражают в основном внешние признаки СППК, степень ее взаимосвязи и взаимодействия с другими системами профессионального образования и системой гражданской обороны, а также степень реализации системы в различных экономических условиях.
Любой сотрудник МЧС России выполняет свои профессиональные обязанности в некоторой среде, то есть он проявляет свои знания, умения и навыки под влиянием внешних факторов, которые также характеризуются некоторыми значениями-параметрами (обстановка чрезвычайной ситуации, степень воздействия противника, физико-географические и экономические условия и др.)
При этом множество факторов внешних воздействий - X может включать как способствующие достижению цели воздействия - полезные, так и препятствующие ее выполнению - возмущающие.
Исследования показали, что каждый АПЭ системы профессиональной подготовки специалистов МЧС России {У 01} С У о определяется ограниченным подмножеством внутренних факторов (соответствие квалификационным требованиям, качество учебных планов и программ, используемые методы и технологии обучения и др.) {Б0;} С Б0. Остальные факторы практически не влияют или влияют незначительно на значение данного показателя. Следовательно, при определенных внешних воздействиях {ХОп} С X, на определенном временном интервале Т, для исследуемых показателей эффективности {У01} С У0 будет характерна зависимость:
Уо1 = f ({30:}, {Хоп}, Т), (1)
при этом Б01 = ф(5т0, Х0п = (Хтп), Т = шТт ,
где ш - масштабный коэффициент на всем интервале (0, Тт), отражающем продолжительность подготовки специалиста в вузе или отдельные периоды времени подготовки -по частным задачам (целям).
Таким образом, интервал Т отражает исследуемый период существования СППК, определенную фазу ее «жизненного цикла» - активного функционирования. Если на указанном интервале Т значение внешних воздействий изменяется, то они задаются как функции времени Х0п (1), а в более общем случае как функции времени и пространства Х0п (1, Б). Исследования показали, что при анализе, модернизации существующей или синтезе перспективной системы профессиональной подготовки кадров МЧС России по вопросам гражданской обороны встает задача, по каким показателям и критериям оценивать ее эффективность, а также как определять связь между качеством и эффективностью системы.
Сделать это необходимо еще до появления новой СППК или на этапе планирования реорганизаций, нововведений в рамках существующей системы, и если может быть создано несколько вариантов, то из них требуется выбрать наилучший.
Решить данную задачу можно, разработав такую модель оценки эффективности, которая дает количественное описание качественных сторон профессиональной подготовки кадров в вузах МЧС России и устанавливает определенную зависимость между значением показателя эффективности достижения частной цели обучения (У0;) и его оценкой (К;).
Для подавляющего большинства целей справедливо предположение, что их оценка зависит от значений соответствующих абсолютных показателей эффективности: оцениваемого (фактического или вероятного), рассчитанного по реальным (моделируемым) данным, и директивного, или требуемого значения показателя, которое задается в руководящих документах или же определяется на основании выполненных расчетов прогнозируемого уровня профессиональной подготовленности специалистов МЧС России и объемов задач гражданской обороны.
Таким образом, оценку любой цели, которая выражается через понятие частного (относительного) критерия (показателя) эффективности (ЧПЭ) можно записать:
К; = X (У0; , У* ) , (2)
где: У0; - значение оцениваемого абсолютного показателя достижения цели, ед. изм.;
У* - значение директивного (требуемого) показателя, ед. изм.
При этом выполняется условие нормированности частных критериев (1=1, п), что позволяет исключить влияние разной размерности.
Наиболее сложным элементом при разработке научно-методического аппарата для практических расчетов оценки эффективности профессиональной подготовки кадров МЧС России по вопросам гражданской обороны является выбор частного и общего критериев эффективности.
Это объясняется тем, что, исходя из большого количества задач гражданской обороны, к решению которых должен быть подготовлен выпускник вуза МЧС России, частные критерии имеют разный физический смысл, различные размерности и оказывают неодинаковое воздействие на интегральный (обобщенный) критерий. Кроме того, часть из них вообще не имеет численной меры и не может быть оценена по количественным показателям.
Что же собой представляют критерии эффективности профессиональной подготовки специалистов МЧС России по вопросам гражданской обороны?
На наш взгляд, критерий эффективности профессиональной подготовки специалистов МЧС России по гражданской обороне - это показатель, признак или правило, по которому можно судить о степени достижения поставленных целей подготовки специалиста МЧС России к решению задач гражданской обороны, стоящих перед ним в процессе профессиональной деятельности, а также выбрать лучшую (оптимальную) СППК из альтернатив.
Критерий должен обеспечивать лицу, принимающему решение (ЛПР), полное представление о степени достижения цели в каждом из сравниваемых вариантов (альтернатив), отражать в общей форме все виды затрат и обеспечивать сравнение получаемого целевого эффекта от подготовки специалиста с вложенными затратами материальных и денежных средств.
Из определения критерия ясно, что он не существует без цели. Поэтому прежде, чем выбрать критерии, необходимо сформулировать общую цель подготовки специалиста, произвести ее декомпозицию по частным целям, а также определить условия их реализации.
Анализ педагогических исследований в области целеобразования процесса обучения показал, что общая цель профессиональной подготовки кадров МЧС России по вопросам гражданской обороны (Цоо) может быть сформулирована как подготовленность сотрудника МЧС России (наличие у него необходимых знаний, умений и навыков) к решению задач, стоящих перед ним в процессе профессиональной деятельности по решению задач гражданской обороны.
Декомпозиция общей цели профессиональной подготовки сотрудника МЧС России по вопросам гражданской обороны на частные, выполненная на дереве целей с использованием перечня обобщенных задач профессиональной деятельности представлена на рис. 1.
При этом совокупность частных целей (цели первого уровня (Ці1)) формулируется как подготовленность по видам деятельности:
1 - управленческо-организаторской;
2 - обучающей и воспитательной;
3 - эксплуатационной.
Рис. 1. Декомпозиция целей профессиональной подготовки кадров МЧС России по
вопросам гражданской обороны
2
Частные цели (цели второго уровня (Ц )) будут, в отличие от задач, формулироваться как знания, умения и наличие навыков. Например:
1.3 - знание и умение планирования мероприятий гражданской обороны;
3.4 - знание и наличие навыков ведения учета, составления установленной отчетности и т.д.
Исследования показали, что в настоящее время не существует какой-либо законченной методики или формальных правил, по которым производится формирование критериев эффективности или выбора альтернатив СППК.
Назначение критериев без достаточного основания на интуитивном уровне (только с учетом предшествующего опыта) может привести к необъективной оценке и выбору не только неоптимального (нерационального), но даже наихудшего с практической точки зрения варианта системы.
Исходным этапом формирования критериев эффективности профессиональной подготовки кадров МЧС России по вопросам гражданской обороны должен стать этап анализа частных целей, реализуемый в процессе декомпозиции (рис. 1).
На следующем этапе для каждой цели полученной иерархии формируется набор показателей, которые имеют четко фиксированные значения или признаки, которые удовлетворяют требованиям к критериям. Из полученного набора показателей формируются частные критерии (К;), а оставшаяся их часть переходит в ограничения (О,). Схема формирования критериев представлена на рис. 2.
Такая процедура формирования критериев позволяет указать, какие цели отражаются принятыми критериями, какие - ограничениями и какие показатели, характеризующие те или иные цели, не учитываются вовсе.
о
Условия, в которых реализуется цель
Критерии
Ограничения
Рис. 2. Последовательность формирования критериев эффективности профессиональной подготовки кадров МЧС России по вопросам ГО
Следует различать понятия: «ограничение» и «критерий». Разница между ними иллюстрируется на рис. 3. Показатели X и У являются ограничениями, если любой вариант СППК МЧС России, оцениваемый парой (X; ;У;}, не выйдет за предельные («пороговые») значения ни по одному из этих показателей. Это условие можно записать неравенствами:
Х1 — Хтах ; У; — Утах
(или X; > Хтш ; У; ^ Утт) . (3)
На рис. 3 ограничениями по оси У является линия АВ, описываемая зависимостью: Утах = а+Ук , а по X - линия ВС, выражаемая зависимостью:
Хтах В •
Все множество точек (значений показателей эффективности) считается удовлетворяющим условию (3), а следовательно, является приемлемым. Критерий позволяет выбрать из этого множества одно или несколько лучших решений. Если У=f(X) - критерий, то лучшее значение показателя эффективности соответствует экстремальному значению У, т.е.:
У = f (X) ^ тах (тт). (4)
На рис. 3 лучшим по критерию (4) является вариант СППК, соответствующий
точке К = ( Хк ; Ук }. Эта точка (К) и есть оптимальное значение показателя эффектив-
ности.
Поскольку, по определению, эффективность профессиональной подготовки кадров МЧС России по вопросам гражданской обороны на основе комплексного использования современных технических средств характеризуется совокупностью достижения ее обобщенных целей, то она представляет собой общую эффективность.
Рис. 3. Иллюстрация физического смысла понятий «критерий» и «ограничение» в
СППК
Следовательно, нельзя выдать объективную оценку или с уверенностью определить более рациональный вариант СППК МЧС России по одному частному критерию. Для этой цели понадобятся обобщенные комплексные или интегральные критерии оценки.
Комплексный критерий (показатель) эффективности профессиональной подготовки кадров МЧС России по вопросам гражданской обороны (далее - КПЭ) - это вектор, компоненты которого есть показатели достижения ее отдельных целей, представляющие собой частные критерии эффективности. Он выражается, как правило, в шкале отношений и количественно характеризует степень достижения совокупных частных целей профессиональной подготовки кадров МЧС России по вопросам гражданской обороны - уровень подготовленности или суммарный целевой эффект (эффективность гражданской обороны):
Кк = ] (К,;'0, (5)
где: К; - частный показатель эффективности по 1-ой цели;
- весовой коэффициент 1-го критерия, входящего в состав комплексного.
Анализ выполненных работ в области оценки качества и эффективности сложных систем и процессов профессиональной подготовки специалистов в вузах показал, что КПЭ может использоваться для оценки эффективности профессиональной подготовки кадров МЧС России по вопросам гражданской обороны, то есть в тех случаях, когда исследователя или заказчика не интересуют стоимостные показатели.
Вместе с тем, этот вопрос нельзя не учитывать при проектировании СППК и планировании ее совершенствования на современном этапе, когда наше государство обладает ограниченными экономическими возможностями по всестороннему обеспечению процесса профессиональной подготовки кадров МЧС России по вопросам гражданской обороны на основе современных информационных технологий.
На создание такой системы и функционирование вузов МЧС России расходуются значительные финансовые и материальные ресурсы, которые оказывают непосредственное влияние на эффективность профессиональной подготовки кадров МЧС России.
Поэтому для получения объективного результата при оценке и управлении эффективностью профессиональной подготовки кадров МЧС России по вопросам гражданской обороны на основе комплексного использования современных технических средств целесообразно в роли оценочных показателей использовать не частные или комплексные, а интегральный критерий (показатель) (далее - ИПЭ). Он отражает соотношение суммарного целевого эффекта профессиональной подготовки кадров МЧС России (Кк) и совокупных затрат (С) на ее осуществление или на создание и функционирование СППК в вузе или в МЧС России в целом:
Ки = ф (Кк , С) . (6)
Следовательно, ИПЭ может быть выражен через понятие экономической эффективности, которая учитывает экономичность и оцениваемый уровень подготовленности специалистов МЧС России.
В ходе исследования установлено, что критерии эффективности профессиональной подготовки кадров МЧС России по вопросам гражданской обороны должны удовлетворять определенным условиям.
Они характеризуются руководящими правилами, вытекающими из принятых (закрепленных в руководящих документах или положенных в основу исследования) концепций и принципов оценивания, реализуемыми при принятии того или иного решения (проектного, организационного, управленческого и т. п.) об эффективности СППК МЧС России по вопросам гражданской обороны на основе комплексного использования современных технических средств.
Исследования показали, что при оценивании эффективности такой системы, описываемой планомерным векторным показателем, реализуется совокупность критериев, каждый из которых в общем случае может относится к одному из трех классов: пригодности ^), оптимальности (О) или превосходства (Б).
Пусть У; J [1 = 1 (1) п; ] = 1 (1)т] - показатель эффективности ] -ой системы (варианта системы по 1-ой характеристике), то есть ИПЭ (КПЭ), есть вектор У (п) = (У1 \ Y2J ... УП); { У1 ё} - множество (область) допустимых значений показателя У 1: (Уё (п)} = {(У1ё, У2ё,... Упё)}.
Тогда математические формулировки перечисленных выше классов критериев примут следующий вид.
Критерий пригодности:
П ■ А
^}: п (У1 С{У1ё}) * и, Ц = 1 (1)т], (7)
г= 1
где: п - символ булева пересечения событий;
и - достоверное событие.
Системы, для которых выполняются условия (7), пригодны для использования по назначению. При этом считается, что все они обладают одинаковой эффективностью.
Критерий оптимальности:
п
О: п (У1 С {У1ё}) п п (У к = Укор*) * и [по= 1 (1)п ; ] =1(1) т]) , (8)
г=1
к С {к по}
где: Укор - оптимальное значение показателя к-ой характеристики;
по - объем множества {к по} (число) оптимизируемых характеристик системы.
Система может быть оптимальна по к-ой характеристике или по - характеристикам, естественно, что она должна быть и пригодной.
Критерий превосходства:
т п п
Б: п п (У! С {У1ё}) п п п (У1Г > У?) и, [г = 1 (1)т], (9)
7=1 1=1 1=1 у Фг
где г- номер превосходной системы.
Система, для которой выполняются условия (9), превосходит по эффективности
все остальные системы.
Приведенные выше формулировки критериев предназначены для сравнительного оценивания эффективности проектируемых (перспективных) СППК МЧС России по вопросам гражданской обороны и оптимизации их характеристик на дискретнонепрерывных множествах {{ У1ё }^} их значений (ЧПЭ).
Поскольку на этапах испытания и оценивания эффективности конкретной системы конкурируют ее гипотетические варианты одного класса, определяемые конкретными значениями показателей характеристик, число которых (т) в принципе не ограничено, то в этом случае индекс ] при показателе У, теряет смысл.
В целях дальнейшей детализации научно-методического аппарата оценки эффективности системы профессиональной подготовки кадров МЧС России по вопросам гражданской обороны на основе комплексного использования современных технических средств необходимо разработать математическую модель и обобщенный алгоритм ее реализации.
Проведенные исследования позволили сделать вывод, что представление математической модели эффективности подготовки специалистов МЧС России в виде интегрального показателя (6) представляется наиболее актуальным, так как позволяет получить комплексную оценку эффективности профессиональной подготовки кадров МЧС России по вопросам гражданской обороны в зависимости от ее финансирования, использования тех или иных образовательных технологий и различных других воздействующих факторов.
Установлено, что для наглядного представления интегрального критерия эффективности необходима иерархическая декомпозиция целей профессиональной подготовки кадров МЧС России на «дереве целей» (рис. 1), при которой каждая цель высшего (го) уровня может рассматриваться состоящей из некоторого числа целей низшего (' + 1) уровня.
Таким образом, ЧПЭ _]-го уровня являются комплексными по отношению к целям (]+1) уровня. Декомпозиция может осуществляться до элементарных составляющих - простых целей или до целей (]-го) уровня, при этом «дерево целей» будет являться соответственно полным или неполным (усеченным). Анализ иерархической модели целей профессиональной подготовки кадров МЧС России подтвердил сделанный вывод о невозможности применения существующих аналитических моделей и методов для количественной оценки ее эффективности вследствие большого числа критериев, их неадекватности и различной размерности.
Данное положение объясняется также объективными трудностями, связанными с определением суммарных затрат на профессиональную подготовку кадров МЧС России по вопросам гражданской обороны или на применение СППК в вузах МЧС России, а также количественного расчета целевого эффекта (эффективности гражданской обороны Российской Федерации в целом).
Для их преодоления разработан обобщенный алгоритм оценки эффективности профессиональной подготовки кадров МЧС России по вопросам гражданской обороны с применением экспертных методов, который отражает последовательность и основные этапы исследования (рис. 4).
В общем виде для ИПЭ характерна зависимость вида (6). Однако для адекватной математической модели такой записи недостаточно, потому что требуется ее дальнейшая детализация, обеспечивающая вычисление значения ИПЭ как для существующих, так и для перспективных СППК:
К = К +А/< к , (10)
где: Кк - комплексный критерий эффективности, выраженный в шкале отношений;
ДКк - общая погрешность определения КПЭ;
Рис. 4. Обобщенный алгоритм оценки эффективности профес-сиональной подготовки кадров МЧС России по вопросам ГО
С - приведенные суммарные затраты на подготовку выпускника вуза МЧС России или на создание и применение СППК МЧС России по вопросам гражданской обороны на основе комплексного использования современных технических средств.
Для определения погрешности КПЭ может быть использована зависимость:
ДКк = { Дкь Дк2, Дкз, ДкД (11)
где: Дкх - погрешность при использовании усеченного дерева целей;
Дк2 - погрешность при определении значений коэффициентов весомости критериев;
Дк3 - погрешность при определении ЧПЭ;
Дк4 - погрешность при определении КПЭ.
Для определения суммарных затрат на подготовку выпускника или на создание и применение СППК в вузе МЧС России необходимо установить затраты, связанные с всесторонним обеспечением учебного процесса и повседневной деятельности вуза, с проектированием, формированием СППК (капиталовложения на создание, комплектование основных структурных элементов, внедрение современных технологий и т.п.), ее функционированием в ходе подготовки специалиста (затраты учебного процесса), а также продолжительность жизненного цикла системы.
Эта задача очень сложная и требует проведения специальных экономических исследований. Поэтому в рамках данной работы предлагается ее решение в общем виде:
С = {(Сп, Сф, Сс, Тж), (12)
где: Сп - показатель приведенных затрат на проектирование СППК в вузе;
Сс - показатель приведенных затрат на создание СППК;
Сф - показатель затрат на функционирование системы в ходе подготовки выпускника вуза;
Тж - расчетный период существования системы (жизненного цикла).
В соответствии с приведенным алгоритмом (рис.4) для определения эффективности профессиональной подготовки кадров МЧС России по вопросам гражданской обороны необходимо, прежде всего, произвести классификацию критериев, осуществить выбор наиболее существенных из них, определить коэффициенты их весомости и значения ЧПЭ.
Классификация критериев эффективности произведена в процессе декомпозиции целей, на ее основании принято решение о построении математической модели эффективности подготовки кадров МЧС России по вопросам гражданской обороны на неполном и усеченном (1 = 2) «дереве целей», представленном набором основных профессиональных задач специалиста МЧС России (по видам деятельности).
Следующая задача является наиболее важной, так как от правильности выбора критериев и их весомости в значительной степени зависит достоверность результатов комплексной оценки эффективности. Вместе с тем она не поддается формализации, не позволяет применить какой-либо из существующих методов вследствие специфики предметной области (большого количества) оцениваемых критериев и вызывает необходимость использования экспертных методов после преодоления ряда объективных трудностей, связанных с их применением (трудоемкости и продолжительности во времени, вероятности субъективизма суждений и др.).
Поэтому для решения этой задачи разработан метод экспертной оценки критериев эффективности, который будет рассмотрен в следующем подразделе. Он позволяет на основе новой машинной технологии осуществлять выбор критериев, а также устанавливать их весомость при формировании математической модели эффективности профессиональной подготовки кадров МЧС России по вопросам гражданской обороны и оценке уровня профессиональной подготовленности выпускников вузов МЧС России.
Исследования показали, что для определения комплексного показателя эффективности сложных систем используются, как правило, обобщенные средние величины и показатели: среднеарифметический, среднегеометрический и среднегармонический.
Однако для определения КПЭ профессиональной подготовки кадров МЧС России по вопросам гражданской обороны наиболее целесообразным является представление его в аддитивной форме, отражающей зависимость суммарного целевого (полезного) эффекта от достижения всех учитываемых целей:
п
К = л (к, )-£щк,+м4 , (13)
, = 1
где: 1 = 1... п - количество учитываемых критериев;
Дк4 - погрешность определения КПЭ;
Х(К) - коэффициент вето.
Включение в (13) «коэффициента вето» является авторским. Он исключает вероятность перекрытия недостатка одних критериев другими и принимает только два значения Л(К) = 0 при К < К;бр или Л(К) = 1 при К; > К;6р.
Таким образом, обеспечивается падение до нуля значений КПЭ (ИПЭ), если ЧПЭ, хотя бы по одной из атрибутивных целей, опускается ниже допустимого значения (К;6Р).
Анализ проведенных исследований в области оценки эффективности профессиональной подготовки кадров МЧС России по гражданской обороне, опыт командноштабных учений и действий по предупреждению и ликвидации чрезвычайных ситуаций показывает, что для атрибутивных целей профессиональной подготовки кадров МЧС России по вопросам гражданской обороны нижняя граница частных критериев эффективности не должна опускаться ниже К;бр= 0,2-0,3.
В противном случае не имеет смысла вести речь об оценке эффективности профессиональной подготовки кадров МЧС России по вопросам гражданской обороны, так как профессиональные задачи окажутся невыполненными.
Таким образом, можно сделать вывод, что основная задача, которая должна быть решена для определения эффективности профессиональной подготовки кадров МЧС России по вопросам гражданской обороны, - определение частных критериев - степени достижения отдельных целей.
При известных значениях директивного показателя (У а;) она может быть сведена к определению оцениваемого абсолютного показателя (У0;) и установлению зависимости (2), которая, в свою очередь, для отдельных целей выражается в линейной ^ \ Г бр\ С ( -у0'Л
к=—
V
нелинейной
ч
к = Ут - У,
УУ,
бр
I J
или экспоненциальной
К = е
V )
формах,
2 у — ( ушах — утт )
где угбр - нижнее допустимое значение АПЭ для 1-ой цели, у0 = —------!---—---- у;тах
утах — уГ
и у;т;п соответственно верхний и нижний пределы значений показателя для 1 -ой цели.
Однако для оценки эффективности существующей СППК МЧС России по вопросам гражданской обороны в современных экономических условиях или проектируемой системы часто приходится пользоваться не директивными, а требуемыми значениями АПЭ, которые рассчитываются по тем же моделируемым (прогнозируемым) данным, что и оцениваемый показатель.
При этом установление объективных аналитических зависимостей вида (1,2), а также необходимых статистических данных для определения абсолютных и частых показателей эффективности по отдельным целям, является весьма трудоемкой, а порой и невыполнимой задачей.
Установлено, что в этом случае поиск математических зависимостей для определения значений критериев эффективности целесообразно осуществлять по совокупности эвристических (экспертных) и экспериментальных данных, полученных в процессе моделирования, либо для отдельных целей принимаются качественные критерии, не имеющие количественного выражения.
Проведенные исследования позволят выделить в общем виде критерии для основных целей профессиональной подготовки кадров МЧС России по вопросам гражданской обороны на основе комплексного использования современных технических средств.
Концептуальная модель профессиональной деятельности специалиста МЧС России должна формироваться с учетом квалификационных требований к конкретным должностям, а также содержания обобщенных задач, к решению которых он должен быть подготовлен, и психологических свойств (качеств) личности.
Таким образом, основным элементом концептуальной модели является профессиональная направленность, ориентированная на достижение наиболее полного соответствия качеств личности специалиста МЧС России нормативным требованиям его служебной деятельности и определяющая специфические способности, которыми он должен обладать.
Анализ практики профессиональной подготовки кадров показал, что наиболее целесообразной и адекватной формой представления концептуальной модели профессиональной деятельности специалиста МЧС России является профессиограмма соответствующей воинской специальности (специальности), в которой представлено всестороннее описание по определенной схеме различных объективных характеристик профессии и совокупности её требований к индивидуально-психологическим особенностям человека.
В настоящее время разработано и применяется на практике большое количество экспертных методов. Однако их использование при решении задачи мониторинга эффективности профессиональной подготовки кадров МЧС России по вопросам гражданской обороны затруднено, так как многие из них имеют специфические (узкие) области применения или требуют сложных и протяженных во времени процедур. Наличие большого количества критериев эффективности профессиональной подготовки кадров МЧС России по вопросам гражданской обороны не позволяет осуществлять ее комплексную оценку с использованием квалиметрических шкал. Кроме того, в проведенных ранее исследованиях подобные методы подробно не рассматривались, хотя и делался вывод о необходимости их применения.
В связи с этим для мониторинга уровня профессиональной подготовленности кадров МЧС России по вопросам гражданской обороны (КПЭ) необходимо, прежде всего, произвести выбор критериев оценки эффективности профессиональной подготовки кадров МЧС России по вопросам гражданской обороны, для чего должна быть разработана методика, основанная на синтезе нескольких методов организации, проведения и анализа экспертных оценок, что позволит обеспечить относительную простоту ее применения, а также достаточную достоверность полученных результатов и возможность реализации на ПЭВМ.
Предлагаемая методика включает три основных этапа: подготовительный, проведение образовательного эксперимента, обработка и анализ результатов.
На первом этапе должны быть сформированы рабочая и экспертная группы, сформулированы цели экспертного опроса, разработаны алгоритмы его проведения и оценки результатов.
В рабочую группу, задачей которой является подготовка экспертного опроса, помощь в его проведении, обработка, анализ и обобщение результатов в зависимости от класса сложности оцениваемого контингента, целесообразно включать 2-5 человек (организатор, специалист в области гражданской обороны, технические работники).
Организатор осуществляет методическое руководство работой на всех ее этапах. Он должен квалифицированно разбираться в методологии экспертной оценки, в основных вопросах повышения эффективности профессиональной подготовки кадров МЧС России по вопросам гражданской обороны, знать тенденции ее развития, уметь поставить задачу на формальном языке. Организатор составляет программу работ, участвует
в работе экспертов, анализирует результаты, формулирует выводы и рекомендации.
Специалист в области эффективности профессиональной подготовки кадров МЧС России по вопросам гражданской обороны выбирается из числа высококвалифицированных специалистов в области гражданской обороны и образовательной деятельности. Он должен обладать универсальными знаниями и практическим опытом профессиональной подготовки. Его основная задача заключается в анализе информации, полученной от экспертов, для корректирования программы дальнейшей работы.
Технические работники привлекаются для подготовки и проведения опроса экспертов, обработки полученных результатов. Они должны обеспечить выполнение необходимых машинописных, чертежных, оформительских, вычислительных, а также других работ вспомогательного характера. Если для обработки экспертных оценок, в целях уменьшения их трудоемкости и привлечения максимально надежной и полной информации, планируется применение ПЭВМ, то в состав технических работников включается программист. Он выбирает и отлаживает стандартные программы или разрабатывает новые.
Формирование экспертной группы является основной задачей в подготовке любых экспертных оценок. Она заключается в выявлении высококвалифицированных специалистов в нужной области и отборе из них экспертов после определения необходимого их количества и оценки компетентности.
Экспертная группа может формироваться из представителей одного или нескольких вузов МЧС России, а также структурных подразделений центрального аппарата МЧС России: Департамента гражданской защиты, Департамента кадровой политики и др. Правильный отбор специалистов для участия в работе экспертной группы очень важен, так как он в значительной степени определяет достоверность полученных оценок.
Для составления априорного списка экспертов может быть использован широко применяемый за рубежом "метод снежного кома".
Организатору должен быть заведомо известен хотя бы один специалист в нужной области, которого просят назвать известных ему специалистов, последние, в свою очередь, называют специалистов, известных им, и так далее. На каком-то этапе следует определить необходимое количество экспертов, для того чтобы в группу потенциальных экспертов набрать на 2-5 человек больше. Окончательное формирование экспертной группы осуществляется на основании оценки их компетентности по максимальным показателям.
Проведение экспертных оценок связано со значительными затратами труда высококвалифицированных специалистов. Поэтому возникает потребность уменьшения количества экспертов, но точность и надежность полученных оценок не должна опускаться ниже заданного уровня.
Необходимое число экспертов (К) с заданной доверительной вероятностью (а) и погрешностью (8) представляется целесообразным определить, используя основы теории вероятностей:
.2 ^2
N = Ц- , (14)
е
где: 5 - среднее квадратичное отклонение оценки;
- аргумент, значение которого дано в таблицах;
е - абсолютная погрешность.
В том случае, когда экспертная группа формируется заново, ее опрос еще не проводился, 5 - неизвестно, так как отсутствует возможность ее косвенного определения по результатам предыдущих опросов, тогда:
t2
N = -2 , (15)
где в\ - задаваемая до начала опроса предельно допустимая относительная ошибка, выраженная в долях 5:
е = § . (16)
Если данная экспертная группа уже давала оценки по сходной проблеме, 5 можно считать известной величиной. Приближенно определить 5 можно также проведя до начала основного опроса пробный контрольный опрос отобранных потенциальных экспертов по сокращенной программе. В этом случае можно, кроме того, определить коэффициент вариации:
с
V = Р , (17)
-
где р - среднее значение экспертной оценки 1-го параметра.
Тогда для определения необходимого числа экспертов можно использовать выражение:
Г 2У2
N = , (18)
е11
( е Л
где ец - относительная погрешность, которая задается в долях Р: е11 = — .
V р)
Выражения (14, 15, 18) позволяют определить необходимое количество экспертов с точки зрения точности и надежности экспертных оценок. Однако на численность экспертной группы могут оказывать влияние и другие факторы. Например, допустимая трудоемкость опроса (Ктр), возможность управления экспертной группой (Купр), возможностей вузов МЧС России или структурных подразделений центрального аппарата МЧС России, где формируется экспертная группа (Корг), которые накладывают ограничение на увеличение числа экспертов.
Таким образом, можно записать:
N = { (а, е, Ктр, Купр, Корг) . (19)
Но так как на практике не всегда бывает возможным определить необходимое количество экспертов с учетом всех факторов, выбирают более существенные из них. Кроме факторов, характеризующих точность (е) и надежность (а), как правило, необходимо принимать во внимание возможности организаций МЧС России (Корг).
В самом деле, количество квалифицированных специалистов, которые потенциально могут быть экспертами, естественно, ограничено рамками системы МЧС России, в которой формируется экспертная группа, следовательно, по мере увеличения ее численности к экспертизе будут привлекаться эксперты все более низкой квалификации, что в конечном итоге может привести к снижению точности итоговых оценок.
Исходя из анализа возможностей учреждений и практического опыта проведения экспертиз, можно рекомендовать формировать экспертную группу в составе 6-14 чел.
Высокое качество экспертов, участвующих в опросе, оказывает решающее влияние на получение точных и надежных результатов. Поэтому вопросу оценки компетентности экспертов и формирования экспертной группы на основании полученных результатов необходимо уделять самое серьезное внимание.
В специальной литературе широко освещены предъявляемые к экспертам требования (профессиональная компетентность, заинтересованность, деловитость, объективность, оригинальность мышления, творческое воображение, креативность, эвристич-ность, прединаторность), а также различные методы определения их компетентности (самооценка специалистов, взаимная перекрестная оценка, судейский метод, документальный, тестовый).
В последнее время все большую популярность приобретает сочетание докумен-
тального, тестового метода, а также взаимной оценки компетентности экспертов в соответствии с перечисленными выше методами.
На первом этапе (документальный метод) осуществляется изучение анкетных данных потенциального эксперта: послужной список, занимаемая должность, педагогический стаж, практический опыт работы, ученая степень и звание, перечень научных трудов и т.д. На втором этапе заслушиваются взаимные оценки соответствия экспертов предъявляемым к ним требованиям с составлением матрицы мнений.
На третьем этапе осуществляется тестирование экспертов при помощи специально разработанных анкет или программ на ЭВМ. Представляет также интерес применение тестового метода с оценкой воспроизводимости результата на основании проведения перед основным - контрольного (пробного) экспертного опроса.
Например, проводятся два тура экспертного определения коэффициентов весомости критериев эффективности профессиональной подготовки кадров МЧС России по вопросам гражданской обороны.
При этом промежуток времени между двумя турами должен быть сравнительно невелик, чтобы исключить возможность получения экспертами новой информации, и в то же время достаточен, чтобы они забыли значения коэффициента весомости, назначенные в I туре.
Если эксперты вычисляют численные значения коэффициентов весомости, компетентность ]-го эксперта (Кком/) определяется по отклонению (Р,) от среднего значения экспертной группы с учетом десятибалльной шкалы:
0 < Кком/ < 10 , (20)
Кком/ = 10(1-Р/) , (21)
1 т г т
р = 2 XIм;- - м'], (22)
21=1
где М'. и М” - значения 1-го коэффициента весомости, назначенные ]-м экспертом
соответственно в I и II турах.
Если экспертами осуществляется определение не численных значений коэффициентов весомости, а только их ранжирование по степени значимости, то оценка компетентности производится при помощи коэффициентов ранговой корреляции (^,) (по Спирмену) между ранжировками двух туров:
Кком( = 10^ при Щ = 0 - 1 , (23)
т
*;
К'= 1 —И------ , (24)
т - т
где: сТц - разность между рангами, присвоенными 1-му коэффициенту весомости ]-м
экспертом в I и II турах опроса;
т - количество коэффициентов.
В зависимости от типа поставленной задачи экспертные методы могут быть использованы в качестве самостоятельного инструментария ее решения, например, при непосредственной оценке эффективности профессиональной подготовки кадров МЧС России по вопросам гражданской обороны на основе комплексного использования технических средств или на отдельных этапах в сочетании с другими методами (математической статистики, теории вероятностей, планирования эксперимента и др.).
Следовательно, и цели экспертной оценки могут быть более или менее широкими. Однако в любом случае их достижение должно обеспечиваться необходимой достоверностью получаемых оценок.
Исследования показали, что достоверность экспертных оценок, получаемых в номинальных или порядковых шкалах, во многом зависит от количества оцениваемых критериев.
Большое число критериев затрудняет их различимость с точки зрения экспертов.
Поэтому целесообразно перед непосредственной оценкой (ранжированием или назначением коэффициентов весомости) провести предварительную оценку существенности параметров по качественному признаку в целях составления и сокращения априорного списка, что позволяет при незначительных потерях во времени на 20-30% повысить достоверность экспертных оценок.
Установлено, что при оценке атрибутивных критериев, включаемых в модель комплексного показателя эффективности профессиональной подготовки кадров МЧС России по вопросам гражданской обороны, должны быть последовательно достигнуты следующие цели:
1. Составление списка критериев эффективности профессиональной подготовки кадров МЧС России по вопросам гражданской обороны.
2. Определение коэффициентов весомости искомых критериев эффективности.
В соответствии с поставленными целями экспертной оценки осуществляется выбор или разработка методологического аппарата ее проведения.
Для достижения первой цели предлагается использовать процедуру групповой экспертной оценки с индивидуальной обратной связью (модифицированный метод Дельфи).
Тип оценки - выбор некоторого неизвестного заранее числа атрибутивных критериев эффективности профессиональной подготовки кадров МЧС России по вопросам гражданской обороны из заданного априорного списка, в качестве которого должен быть сформулирован перечень обобщенных задач по гражданской обороне, к решению которых должен быть подготовлен сотрудник МЧС России.
Вид экспертного суждения - список параметров.
Схема взаимодействия экспертов - передача по обратной связи суждения одного эксперта (рис. 5).
Экспертный опрос проводится в несколько туров. В Ьм туре каждый эксперт получает анкету, в которой сформулирована проблема, дана исходная обстановка и предложено уточнить априорный список критериев эффективности профессиональной подготовки кадров МЧС России по вопросам гражданской обороны.
Во П-м и последующих турах выбирается мнение (наиболее информативное и компетентное) одного эксперта, причем в каждом туре - другого, и передается анонимно каждому из экспертов (индивидуальная обратная связь). Эксперты анализируют полученную информацию и корректируют или оставляют прежним свой априорный список.
Анализ полученных в каждом туре данных служит основанием продолжения или прекращения итераций, а также составления итогового списка по 3-м показателям: существенности параметра (81), общей согласованности суждений экспертов (82) и мере стабилизации оценок (83).
Существенность критерия определяется через отношение числа экспертов, высказавшихся за данный параметр (Ы+) к общему числу экспертов (К):
N+
51 = — . (25)
N
Существенность выражается в долях единицы и повышается при 81 =>1.
Согласованность суждений экспертов можно определить при сравнении пар
множеств свойств /-го (1 = 1, т ) и/-го (/ = 1, п ) экспертов.
Обозначив эти множества, соответственно, через 1/ и //, оценку их близости можно выразить через меру Хемминга Р/у = ///V///, означающую число элементов в симметричной разности при условии равномощности множеств. Последнее можно достичь, дополняя меньшее по мощности множество до числа элементов в большем по мощности множестве нулевыми элементами.
343
а) с индивидуальной обратной связью
Ь*с
|М„ I = М„ = Яр
Э; - единичный эксперт, 1= I, 2 ... п ,
Яс - вектор цели экспертизы,
Яр - вектор результата экспертизы,
И - исследователь (координатор),
М;11 - индивидуальные оценки 1-го эксперта в Н-ом туре,
| М;111 - матрица оценок групповой экспертизы Н-па тура, М11 - вектор обобщенных оценок Н-па тура.
Рис. 5. Схема механизма экспертной оценки
Однако в этом случае не учитываются мощности сравниваемых множеств, поэтому одно и то же значение Р может быть получено для пары множеств как большой, так и малой мощности. Это противоречие устраняется, если меру Хемминга отнести к числу элементов в объединении рассматриваемых множеств:
= /т// =_р^_ .
/ниі// /ниі//
Матрица значений Р симметрична относительно главной диагонали, на которой содержатся нули.
Для характеристики общей согласованности всех мнений принимается среднее значение Р, т.е. отношение суммы значений Р к общему числу всех возможных пар
14 Л
множеств
п(п -1)
V 2 у
2Е р,ч
5 2 = -^---- , (27)
п(п -1)
где п - число экспертов.
Общая согласованность может принимать значения от 0 - полное согласие, до 1 -полное несогласие. Следовательно, она повышается при Б2=>0.
Мера стабилизации оценок определяется в к-туре опроса относительно предыдущего (к-1)-го тура как отношение суммарного изменения суждений всех экспертов к их числу:
т
Е д;'
53 = -И----- . (28)
п
Так как в нашем случае суждение - это список критериев эффективности, то для оценки близости между списками различных экспертов можно принять меру, аналогичную Р'у, это:
/11к У11к-1 /
/н киик-1 /
где Ик и 11кЛ - множества переменных 1-го эксперта (1 = 1, т) на к-ом и (к-1) - турах
соответственно.
Мера стабилизации оценок повышается при £3 => 0 в случае, когда значения 53 между турами экспертизы изменяются незначительно.
Таким образом, составление итогового списка атрибутивных критериев эффективности профессиональной подготовки кадров МЧС России по вопросам гражданской обороны на основе комплексного использования современных технических средств можно считать законченным и цель экспертного опроса достигнутой, когда показатель существенности свойств составляет не менее 0,7-0,8, общая согласованность мнений (значение 52) не более 0,3, а мера стабилизации оценок (53) не более 0,2 и между турами экспертизы изменяется незначительно.
Следовательно, можно перейти к решению следующей задачи - определению коэффициентов весомости выбранных критериев для включения в математическую модель оценки эффективности профессиональной подготовки кадров МЧС России по вопросам гражданской обороны, что можно осуществить, используя модифицированный "метод балльных оценок".
Тип оценки - найти относительные коэффициенты весомости критериев эффективности профессиональной подготовки кадров МЧС России по вопросам гражданской обороны с использованием шкалы интервалов.
Вид экспертного суждения - относительные коэффициенты весомости критериев эффективности.
Схема взаимодействия экспертов - однотуровая без непосредственного взаимодействия (рис. 5).
Экспертный опрос проводится в один тур. Экспертам предлагается назначить баллы (’1), выраженные в долях единицы, непосредственно для каждого из атрибутивных критериев эффективности профессиональной подготовки кадров МЧС России по вопросам гражданской обороны.
При этом обязательным является выполнение условия нормированности индивидуальных баллов:
т
=1 , (30)
1=1
где: Жу - оценка, данная 1-тому параметру _]-ым экспертом;
т - число параметров.
Необходимость для экспертов контролировать выполнение условия нормированности принуждает их более ответственно анализировать весь спектр оценок, постоянно сравнивать параметры между собой и корректировать ранее полученные оценки, что в итоге позволяет дать обоснованное экспертное заключение.
В результате опроса п-экспертов по т-критериям получается матрица индивидуальных относительных коэффициентов весомости Жу:
Ж = //Жу//тп . (31)
Групповую оценку весомости /-го параметра (Ж/) можно вычислить путем определения индивидуальных оценок с помощью формулы:
— 1 п
г, = - Хщу . (32)
п у=1
Причем, автоматически выполняется условие (30), т.е. групповые оценки весомости критериев являются нормированными, таким образом, они характеризуют их относительную весомость.
Проверку согласованности экспертных оценок, в данном случае, можно осуществить вычислением относительного размаха:
П _ (^0тах - (^0тт (33)
который служит характеристикой рассеивания индивидуальных коэффициентов весомости 1-го критерия (’1)тах и (’^тш - соответственно наибольшее и наименьшее значение коэффициента весомости по 1-му критерию.
При соблюдении условия п < 1 согласованность назначенных экспертами индивидуальных коэффициентов весомости считается достаточной. Использование относительного размаха вместо применяемого в подобных случаях коэффициента вариации значительно упрощает проверку достоверности экспертных оценок, не снижая ее качество.
Исследования показали, что в процессе определения наиболее эффективной системы профессиональной подготовки кадров МЧС России по вопросам гражданской обороны на основе комплексного использования современных технических средств перед лицом, принимающим решение (экспертом), нередко встает задача ее количественной оценки, которая относится к классу многокритериальных задач, вследствие большого числа атрибутивных критериев. Установлено, что наиболее адекватной формой количественной оценки эффективности профессиональной подготовки специалистов в вузах является определение ее интегрального показателя с использованием модели.
На первом этапе из-за наличия нескольких качественных критериев эффективности, которые не имеют количественного выражения, сложности иерархической структуры целей и оценки экономичности профессиональной подготовки кадров МЧС России по вопросам гражданской обороны, а также ограничений по времени, ее коли-
чественную оценку целесообразно осуществлять на основании комплексного показателя - уровня профессиональной подготовленности кадров МЧС России к решению профессиональных задач гражданской обороны.
Большое количество критериев профессиональной подготовки кадров МЧС России наряду с неопределенностью их проявления у каждого специалиста является одной из важнейших причин, вызывающих необходимость применения экспертных методов при мониторинге эффективности профессиональной подготовки кадров МЧС России по вопросам гражданской обороны как в вузах МЧС России, так и в организациях МЧС России.
Особенность такой оценки заключается в том, что предстоит использовать различные подходы к обобщению показателя качества разнородных критериев эффективности и различные правила проведения экспертного опроса.
В связи с этим аналитическое определение комплексного показателя эффективности профессиональной подготовки кадров МЧС России весьма затруднительно, поэтому является целесообразным его представление в аддитивной форме и определение коэффициентов весомости (’]) на основе групповой экспертной оценки. Формирование экспертной группы может осуществляться в соответствии с приведенной в предыдущем подразделе методикой, а ее вероятная неоднородность приводит к необходимости дополнительного учета весовой оценки компетентности каждого эксперта.
Таким образом, при системном подходе к проведению образовательного эксперимента по определению наиболее эффективного варианта системы профессиональной подготовки кадров МЧС России по вопросам гражданской обороны на основе комплексного использования современных технических средств его алгоритм предполагает наличие следующих процедур:
1. Разработка технологий обучения для альтернативных вариантов, в том числе традиционного и перспективного, системы профессиональной подготовки кадров МЧС России по вопросам гражданской обороны.
2. Составление списка атрибутивных критериев эффективности, которые должны учитываться при оценке каждого варианта СППК МЧС России по вопросам гражданской обороны.
3. Формирование контрольной и экспериментальной групп.
4. Определение весовой оценки компетентности экспертов.
5. Формирование экспертных оценок уровня профессиональной подготовленности кадров МЧС России, участвующих в образовательном эксперименте, по каждому частному критерию.
6. Получение количественной оценки комплексного показателя эффективности профессиональной подготовки каждого участника образовательного эксперимента по каждому варианту СППК до начала и по окончании эксперимента.
7. Определение затрат на формирование необходимых (полезных) профессиональных знаний и навыков у специалистов МЧС России по вопросам гражданской обороны в период их обучения в вузе.
8. Формирование обобщенного показателя эффективности профессиональной подготовки кадров МЧС России по вопросам гражданской обороны по каждому варианту СППК.
При реализации данного алгоритма используется комбинация нескольких методов получения и обработки экспертной информации.
После составления списка атрибутивных критериев эффективности профессиональной подготовки кадров МЧС России по вопросам гражданской обороны, формирования этих критериев и определения коэффициентов их весомости (’1) полученные результаты заносятся в таблицу.
При этом обязательным является выполнение условия нормированности индивидуальных баллов и групповой оценки весомости атрибутивных параметров, которая
для удобства расчетов может быть выражена в процентах.
Весовая оценка компетентности экспертов может быть определена с применением одного из методов коллективной самооценки или тестирования, с использованием специально разработанных анкет или программ для ЭВМ. В такую анкету включается серия вопросов по гражданской обороне, отвечая на которые, эксперты должны показать свою компетенцию и аналитические способности.
Для оценки полученных ответов используется числовая шкала, например, от 1 до 5. Весовая оценка компетентности каждого эксперта (ф) определяется как среднеарифметическая оценок:
Е ф-
^ , (34)
где: ^ - оценкау-го эксперта по 7-му вопросу;
Т - количество вопросов в анкете.
Полученные результаты заносятся в таблицу.
Для формирования экспертных оценок уровня профессиональной подготовленности кадров МЧС России по вопросам гражданской обороны должна быть проведена кропотливая предварительная работа.
В процессе этой работы формируются контрольная и экспериментальная группы, затем по истечении года обучения с использованием традиционных (для КГ) и новых технологий профессиональной подготовки кадров МЧС России по вопросам гражданской обороны (для ЭГ) изучаются индивидуальные знания, умения и навыки с использованием документального и тестового методов.
При документальном методе работы учитываются документально подтвержденные оценки деятельности специалистов МЧС России при решении различных задач гражданской обороны. В ходе тестового метода каждому сотруднику МЧС России предлагается решить ряд задач для оценки его интеллектуальных возможностей, а также определения уровня его подготовленности к решению профессиональных задач по гражданской обороне.
После этого экспертам предлагается заполнить индивидуальную анкету, в которой он дает оценку (а;) (в баллах от 1 до 10) каждому участнику образовательного эксперимента по всем учитываемым критериям. Затем определяется скорректированная оценка комплексного показателя уровня подготовленности сотрудника МЧС России как сумма скорректированных оценок _]-го эксперта:
т
Ка] = • а у , (35)
1=1
где т - количество учитываемых параметров.
Полученные результаты заносятся в таблицу для формирования обобщенного показателя эффективности профессиональной подготовки оцениваемого подразделения (КГ и ЭГ).
Т аким образом, после заполнения всех таблиц производится математическая обработка полученных экспертных данных, по которым определяется групповая оценка комплексного показателя уровня профессиональной подготовленности по вопросам гражданской обороны каждого участника образовательного эксперимента с учетом компетентности экспертов:
п
Е Ка/ • $
Ка = ^--------- , (36)
п
где п - количество экспертов в группе.
Обобщенный показатель эффективности профессиональной подготовки оцениваемого подразделения, состоящего из участников образовательного эксперимента, оп-
ределяется по формуле:
А
Е к
Р = , (37)
А
где а - количество сотрудников МЧС России, участвующих в образовательном эксперименте.
Он определяется для экспериментальной и контрольной групп и служит для количественной оценки прироста эффективности СППК МЧС России по вопросам гражданской обороны на основе новых образовательных технологий:
ЛКк = К -К0 , (38)
где К1 и - комплексный показатель эффективности соответственно исходного и
альтернативного варианта СППК.
Результаты для КГ и ЭГ по каждому варианту СППК заносятся в итоговые таблицы и используются для определения образовательного эффекта.
Таким образом, прирост эффективности профессиональной подготовки кадров МЧС России по вопросам гражданской обороны, уровня его подготовленности к выполнению профессиональных задач может быть обеспечен за счет обоснованного выбора СППК и оптимизации процесса профессиональной подготовки кадров МЧС России по вопросам гражданской обороны как в вузах МЧС России, так и при проведении занятий по профессиональной подготовке различных категорий кадров в организациях МЧС России.
Представленные в настоящей работе методы и практические рекомендации позволяют решить эту задачу в комплексе: произвести оценку и выбор критериев, оказывающих существенное влияние на эффективность профессиональной подготовки кадров МЧС России по вопросам гражданской обороны, получить математическую модель для ее расчета, как функцию управления эффективностью, и осуществить ее оптимизацию по выбранным критериям.
В целях реализации данного подхода предлагается в модель комплексного критерия ввести показатель эффективности профессиональной подготовки кадров МЧС России по вопросам гражданской обороны с характеристиками уровня подготовленности (табл.1). В этом случае эффективность профессиональной подготовки сотрудника МЧС России будет оцениваться степенью овладения им профессией, то есть способностью реализовать свои потенциальные знания, навыки и умения, полученные в процессе профессиональной подготовки и представленные как цели такой подготовки.
Анализ аналогичных экспертных оценок и выполненных ранее исследований позволил выделить следующие оценки эффективности профессиональной подготовки кадров МЧС России по вопросам гражданской обороны в зависимости от значений комплексного критерия (табл. 1).
Таблица 1
Оценка уровня профессиональной подготовленности кадров МЧС России по во-
просам гражданской обороны
Нормативы изменения комплексного критерия эффективности Оценка уровня профессиональной подготовленности
К > 0,8 высокий
0,5 < К < 0,8 достаточный
0,2< К < 0,5 минимально-необходимый
К < 0,2 недопустимый
ЗАКЛЮЧЕНИЕ
Таким образом, в целях разработки методических основ применения современных образовательных технологий в профессиональной подготовке кадров МЧС России по вопросам гражданской обороны на основе анализа существующей законодательной и нормативной правовой базы основных подходов к профессиональной подготовке кадров МЧС России, раскрыты и обоснованы:
- основные подходы к процессу профессиональной подготовки кадров МЧС России по вопросам гражданской обороны;
- показатели и критерии оценки эффективности профессиональной подготовки кадров МЧС России по вопросам гражданской обороны;
- математическая модель и алгоритм оценки эффективности профессиональной подготовки кадров МЧС России по вопросам гражданской обороны;
- методика мониторинга уровня профессиональной подготовленности кадров МЧС России по вопросам гражданской обороны, включая проведение и интерпретацию образовательного эксперимента.
