CC BY
64
Граб В.П.
ОСОБЕННОСТИ ПРИМЕНЕНИЯ ЭКСПЕРТНЫХ МЕТОДОВ ПРИ ОЦЕНИВАНИИ КАЧЕСТВА ПРИКЛАДНЫХ ПРОГРАММНЫХ СРЕДСТВ И СИСТЕМ АВТОМАТИЗАЦИИ ИНФОРМАЦИОННО-МЕТОДИЧЕСКОГО ОБЕСПЕЧЕНИЯ ОБРАЗОВАТЕЛЬНОГО ПРОЦЕССА
И УПРАВЛЕНИЯ ОБРАЗОВАТЕЛЬНЫМ УЧРЕЖДЕНИЕМ
Применение математико-статистических методов значительно расширяет возможности использования информации, полученной от специалистов. Практика последних лет показала, что даже простые статистические методы в сочетании с этой информацией при выборе перспективных решений часто приводят к более успешным результатам, чем «точные» расчеты с ориентацией на средние показатели и экстраполяцию существующих тенденций.
Использование информации, полученной от специалистов, особенно плодотворно, если для ее сбора, обобщения и анализа применяются специальные процедуры, логические приемы и математические методы, получившие название Методы экспертных оценок.
Для того чтобы получаемая экспертная информация была качественной, необходимо выполнение следующих условий:
- наличие экспертной комиссии, состоящей из специалистов, профессионально знакомых с объектом экспертизы, и имеющих опыт работы эксперта; - наличие аналитической группы, профессионально владеющей технологией организации и проведения экспертиз, методами получения и анализа экспертной информации:
-получение достоверной экспертной информации; -корректная обработка и анализ экспертной информации.
Отсутствие любого из перечисленных условий ставит под сомнение эффективность и корректность проводимой экспертизы. Экспертное оценивание представляет собой процесс измерения, который можно определить как процедуру сравнения объектов по выбранным показателям (признакам). В качестве показателей сравнения могут использоваться пространственно-временные, физические, психические и другие Для целей экспертного оценивания возникают следующие базисные задачи:
-построение обобщенной оценки понятий и объектов на основе индивидуальных оценок экспертов; -построение обобщенной оценки на основе парного сравнения объектов каждым из экспертов;
-оценка компетентности экспертов;
-оценка достоверности результатов.
Применение экспертных методов эффективно при оценке актуальности и легитимности, при оценке значений содержательно-педагогических характеристик прикладных программных средств и систем автоматизации информационно-методического обеспечения образовательного процесса и управления образовательным учреждением (далее продукция образовательного назначения (ПОН). Это обусловлено тем, что при квали-метрическом подходе к интегрированной оценке качества инновационной педагогической продукции, наиболее достоверные результаты получаются при применении совокупности комплексных, статистических, экспертных методов наряду с мониторингом и измерениями продукции. Экспериментальная оценка, безусловно, в связи новизной проблемы и в силу отсутствия накопленного опыта проведения оценки качества продукции образовательного назначения приобретает первостепенное значение.
Нормативные документы, используемые при экспертизе продукции, определяют основные требования к проведению экспертного оценивания ПОН, методы и способы проверки их соответствия требованиям.
Экспертным методом получают оценку исследуемых характеристик путем фиксации факта их наличия в заданной форме (в эксплуатационных документах, на экране монитора, на бумажных носителях), оценивают реализацию функций ПОН при их выполнении.
Анализ применяемых экспертных методов показал:
-наиболее простым в применении на практике является метод групповых решений. Метод групповых решений (метод комиссий) при определении показателей по группам изделий и коэффициентов весомости по подгруппам показателей является наиболее доступным, не требует проведения дополнительных мероприятий;
-метод Дельфы, также удобен для применения при экспертном оценивании средств и систем образовательного назначения в сфере информатизации
В основу метода Дельфы положены следующие предпосылки:
-поставленные вопросы должны допускать возможность выражения ответа в виде числа;
-эксперты должны располагать достаточной информацией для того, чтобы дать оценку;
-ответ на каждый из вопросов (оценка) должен быть обоснован экспертом.
Групповая оценка с помощью средних величин (групповой опрос) применима только тогда, когда коллектив экспертов однороден в смысле характера ответов.
Применение метода Дельфы также предполагает учитывать квалификацию экспертов, наличие специальных знаний и подготовки специалистов.
Т.О. при формировании экспертных групп для проведения экспертной оценки качества электронных изданий образовательного назначения руководствуются следующими положениями:
-исходная численность экспертной группы составляет обычно не менее 3-х человек;
-эксперты должны обладать навыками работы с данным видом продукции;
-эксперты должны пройти специальную подготовку и иметь «Аттестаты экспертов» Системы добровольной сертификации аппаратно-программных и информационных комплексов образовательного назначения;
-необходимость проведения оценки достоверности полученных результатов и оценки согласованности мнений экспертов определяет руководитель экспертной группы.
-методические подходы и принципы, применяемые при экспертном оценивании показателей ПОН, для некоторых из групп представлены ниже.
Идентификация и документация ПОН
Экспертный метод включает в себя проведение проверки наличия необходимой документации и проверки содержания по каждому пункту требований.
Характеристиками идентификации являются: эксплуатационные документы; сведения о разработчике и версии; сведения о регистрации;
описание контрольных вариантов для проверки корректности функционирования.
Характеристики ПОН
Экспертным методом осуществляется проверка содержания по каждому пункту требований, проверка соответствия представленных в документации характеристик установленным нормам.
Характеристики ПОН подразделяются: на технико-технологические;
на эргономические; на содержательно-педагогические.
Экспертное оценивание показателей ПОН и значений этих показателей осуществляются по разработанным методикам. Общий подход к проведению экспертиз по группам некоторых наиболее значимых показателей
при оценке характеристик продукции представлен в таблице 2. Таблица 2Состав характеристик и методы их оценки
№ п/п Оцениваемая характеристика Метод оценки
1 Характеристика функционального назначения По каждому нормативному, правовому документу задаются определенные наборы входных данных, результаты оцениваются по содержимому экрана и выходных форм на бумажных носителях
2 Функции обработки данных По каждому пункту требований задается несколько различных наборов данных, результаты оцениваются по содержимому экрана.
3 Характеристика информационной совместимости проверка наличия описания форматов файлов обмена, описания допустимых характеристик; проверка наличия словарей при вводе данных.
4 Характеристика целостности и сохранности программ и данных Непосредственная проверка контроля неизменяемости программ и данных при архивировании и восстановлении архивирования данных по команде администратора и автоматически через заданные промежутки времени, фактического разграничения прав доступа всех категорий пользователей к режимам и данным.
5 Максимальное время:-ожидания отклика на помощь пользователю -поиска по запросу Определение времени: -ожидания отклика на запрос пользователя; - поиска по случайному запросу.
6 Содержание Оценить соответствие издания регламентируемым Министерством образования РФ учебным планам, нормативным требованиям и иным документам
7 Дидактические принципы Оценить соответствие основным дидактическим принципам научности, доступности и т.д.
8 Уровень сложност, учебного материала Убедиться в наличии нескольких уровней сложности, соответствующих уровням усвоения учебного материала и т.д.
Особые требования при экспертном оценивании ПОН предъявляются к эксплуатационным документам
Эксплуатационные документы должны включать:
формуляр;
руководство пользователя;
руководство оператора (руководство администратора, руководство по установке и настройке и др.) -в зависимости от типа и сложности ПОН.
Формуляр должен содержать:
перечень предметных областей, в которых может использоваться ПОН:
(универсальное; для интегрированной предметной области; для конкретной предметной области; для конкретного учебного предмета; для конкретного учебного предмета и класса; для конкретной учебной программы и т. д.);
возможный возраст обучаемого (начальная школа; основная школа; средняя школа; профессиональное образование; высшая школа);
тип (назначение) ПОН (информационно-справочное; обучающее программное средство; программированное учебное пособие; демонстрационное программное средство; практикум (деятельностная среда); тренажер (среда) для создания тестов учителем и проведения тестирования; учебно-игровое программное средство; досуговое программное средство; информационная система для управления образованием; инструментальное программное средство и т.д).
Экспертное заключение составляется по каждой из групп показателей и в целом о качестве ПОН, оформляется не менее чем тремя специалистами той области знания, на которую ориентирована продукция, утверждается директором Института информатизации образования Российской академии образования.
