Научная статья на тему 'Особенности применения экспертных методов при оценивании качества прикладных программных средств и систем автоматизации информационно-методического обеспечения образовательного процесса и управления образовательным учреждением'

Особенности применения экспертных методов при оценивании качества прикладных программных средств и систем автоматизации информационно-методического обеспечения образовательного процесса и управления образовательным учреждением Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
212
51
i Надоели баннеры? Вы всегда можете отключить рекламу.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Граб В. П.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Текст научной работы на тему «Особенности применения экспертных методов при оценивании качества прикладных программных средств и систем автоматизации информационно-методического обеспечения образовательного процесса и управления образовательным учреждением»

Граб В.П.

ОСОБЕННОСТИ ПРИМЕНЕНИЯ ЭКСПЕРТНЫХ МЕТОДОВ ПРИ ОЦЕНИВАНИИ КАЧЕСТВА ПРИКЛАДНЫХ ПРОГРАММНЫХ СРЕДСТВ И СИСТЕМ АВТОМАТИЗАЦИИ ИНФОРМАЦИОННО-МЕТОДИЧЕСКОГО ОБЕСПЕЧЕНИЯ ОБРАЗОВАТЕЛЬНОГО ПРОЦЕССА

И УПРАВЛЕНИЯ ОБРАЗОВАТЕЛЬНЫМ УЧРЕЖДЕНИЕМ

Применение математико-статистических методов значительно расширяет возможности использования информации, полученной от специалистов. Практика последних лет показала, что даже простые статистические методы в сочетании с этой информацией при выборе перспективных решений часто приводят к более успешным результатам, чем «точные» расчеты с ориентацией на средние показатели и экстраполяцию существующих тенденций.

Использование информации, полученной от специалистов, особенно плодотворно, если для ее сбора, обобщения и анализа применяются специальные процедуры, логические приемы и математические методы, получившие название Методы экспертных оценок.

Для того чтобы получаемая экспертная информация была качественной, необходимо выполнение следующих условий:

- наличие экспертной комиссии, состоящей из специалистов, профессионально знакомых с объектом экспертизы, и имеющих опыт работы эксперта; - наличие аналитической группы, профессионально владеющей технологией организации и проведения экспертиз, методами получения и анализа экспертной информации:

-получение достоверной экспертной информации; -корректная обработка и анализ экспертной информации.

Отсутствие любого из перечисленных условий ставит под сомнение эффективность и корректность проводимой экспертизы. Экспертное оценивание представляет собой процесс измерения, который можно определить как процедуру сравнения объектов по выбранным показателям (признакам). В качестве показателей сравнения могут использоваться пространственно-временные, физические, психические и другие Для целей экспертного оценивания возникают следующие базисные задачи:

-построение обобщенной оценки понятий и объектов на основе индивидуальных оценок экспертов; -построение обобщенной оценки на основе парного сравнения объектов каждым из экспертов;

-оценка компетентности экспертов;

-оценка достоверности результатов.

Применение экспертных методов эффективно при оценке актуальности и легитимности, при оценке значений содержательно-педагогических характеристик прикладных программных средств и систем автоматизации информационно-методического обеспечения образовательного процесса и управления образовательным учреждением (далее продукция образовательного назначения (ПОН). Это обусловлено тем, что при квали-метрическом подходе к интегрированной оценке качества инновационной педагогической продукции, наиболее достоверные результаты получаются при применении совокупности комплексных, статистических, экспертных методов наряду с мониторингом и измерениями продукции. Экспериментальная оценка, безусловно, в связи новизной проблемы и в силу отсутствия накопленного опыта проведения оценки качества продукции образовательного назначения приобретает первостепенное значение.

Нормативные документы, используемые при экспертизе продукции, определяют основные требования к проведению экспертного оценивания ПОН, методы и способы проверки их соответствия требованиям.

Экспертным методом получают оценку исследуемых характеристик путем фиксации факта их наличия в заданной форме (в эксплуатационных документах, на экране монитора, на бумажных носителях), оценивают реализацию функций ПОН при их выполнении.

Анализ применяемых экспертных методов показал:

-наиболее простым в применении на практике является метод групповых решений. Метод групповых решений (метод комиссий) при определении показателей по группам изделий и коэффициентов весомости по подгруппам показателей является наиболее доступным, не требует проведения дополнительных мероприятий;

-метод Дельфы, также удобен для применения при экспертном оценивании средств и систем образовательного назначения в сфере информатизации

В основу метода Дельфы положены следующие предпосылки:

-поставленные вопросы должны допускать возможность выражения ответа в виде числа;

-эксперты должны располагать достаточной информацией для того, чтобы дать оценку;

-ответ на каждый из вопросов (оценка) должен быть обоснован экспертом.

Групповая оценка с помощью средних величин (групповой опрос) применима только тогда, когда коллектив экспертов однороден в смысле характера ответов.

Применение метода Дельфы также предполагает учитывать квалификацию экспертов, наличие специальных знаний и подготовки специалистов.

Т.О. при формировании экспертных групп для проведения экспертной оценки качества электронных изданий образовательного назначения руководствуются следующими положениями:

-исходная численность экспертной группы составляет обычно не менее 3-х человек;

-эксперты должны обладать навыками работы с данным видом продукции;

-эксперты должны пройти специальную подготовку и иметь «Аттестаты экспертов» Системы добровольной сертификации аппаратно-программных и информационных комплексов образовательного назначения;

-необходимость проведения оценки достоверности полученных результатов и оценки согласованности мнений экспертов определяет руководитель экспертной группы.

-методические подходы и принципы, применяемые при экспертном оценивании показателей ПОН, для некоторых из групп представлены ниже.

Идентификация и документация ПОН

Экспертный метод включает в себя проведение проверки наличия необходимой документации и проверки содержания по каждому пункту требований.

Характеристиками идентификации являются: эксплуатационные документы; сведения о разработчике и версии; сведения о регистрации;

описание контрольных вариантов для проверки корректности функционирования.

Характеристики ПОН

Экспертным методом осуществляется проверка содержания по каждому пункту требований, проверка соответствия представленных в документации характеристик установленным нормам.

Характеристики ПОН подразделяются: на технико-технологические;

на эргономические; на содержательно-педагогические.

Экспертное оценивание показателей ПОН и значений этих показателей осуществляются по разработанным методикам. Общий подход к проведению экспертиз по группам некоторых наиболее значимых показателей

при оценке характеристик продукции представлен в таблице 2. Таблица 2Состав характеристик и методы их оценки

№ п/п Оцениваемая характеристика Метод оценки

1 Характеристика функционального назначения По каждому нормативному, правовому документу задаются определенные наборы входных данных, результаты оцениваются по содержимому экрана и выходных форм на бумажных носителях

2 Функции обработки данных По каждому пункту требований задается несколько различных наборов данных, результаты оцениваются по содержимому экрана.

3 Характеристика информационной совместимости проверка наличия описания форматов файлов обмена, описания допустимых характеристик; проверка наличия словарей при вводе данных.

4 Характеристика целостности и сохранности программ и данных Непосредственная проверка контроля неизменяемости программ и данных при архивировании и восстановлении архивирования данных по команде администратора и автоматически через заданные промежутки времени, фактического разграничения прав доступа всех категорий пользователей к режимам и данным.

5 Максимальное время:-ожидания отклика на помощь пользователю -поиска по запросу Определение времени: -ожидания отклика на запрос пользователя; - поиска по случайному запросу.

6 Содержание Оценить соответствие издания регламентируемым Министерством образования РФ учебным планам, нормативным требованиям и иным документам

7 Дидактические принципы Оценить соответствие основным дидактическим принципам научности, доступности и т.д.

8 Уровень сложност, учебного материала Убедиться в наличии нескольких уровней сложности, соответствующих уровням усвоения учебного материала и т.д.

Особые требования при экспертном оценивании ПОН предъявляются к эксплуатационным документам

Эксплуатационные документы должны включать:

формуляр;

руководство пользователя;

руководство оператора (руководство администратора, руководство по установке и настройке и др.) -в зависимости от типа и сложности ПОН.

Формуляр должен содержать:

перечень предметных областей, в которых может использоваться ПОН:

(универсальное; для интегрированной предметной области; для конкретной предметной области; для конкретного учебного предмета; для конкретного учебного предмета и класса; для конкретной учебной программы и т. д.);

возможный возраст обучаемого (начальная школа; основная школа; средняя школа; профессиональное образование; высшая школа);

тип (назначение) ПОН (информационно-справочное; обучающее программное средство; программированное учебное пособие; демонстрационное программное средство; практикум (деятельностная среда); тренажер (среда) для создания тестов учителем и проведения тестирования; учебно-игровое программное средство; досуговое программное средство; информационная система для управления образованием; инструментальное программное средство и т.д).

Экспертное заключение составляется по каждой из групп показателей и в целом о качестве ПОН, оформляется не менее чем тремя специалистами той области знания, на которую ориентирована продукция, утверждается директором Института информатизации образования Российской академии образования.

i Надоели баннеры? Вы всегда можете отключить рекламу.