CC BY
42
УДК 381.326
Г.Ф. КРИВУЛЯ, А.С. ШКИЛЬ, Д.Е. КУЧЕРЕНКО, Е.В. ГАРКУША
ДИАГНОСТИКА КОМПЕТЕНТНОСТИ ПОЛЬЗОВАТЕЛЕЙ КОМПЬЮТЕРНЫХ СИСТЕМ
Рассматривается диагностический эксперимент анализа компетентности пользователей компьютерных систем. Предлагается модель структуры ИКТ-компетентностей, формы квалификационных заданий и способы их оценивания. Для оценивания заданий открытой формы с развернутым ответом предлагается использовать математический аппарат правил и процедур нечеткой логики.
Введение
Независимо от сложности компьютерных систем (КС) человек остается главным звеном системы «человек - машина». Именно он ставит цели перед системой, планирует, направляет и контролирует весь процесс ее функционирования. От его деятельности зависит правильность функционирования КС, которая характеризует безошибочность (правильность) решения задач, стоящих перед пользователем КС. Одной из основных причин неправильного функционирования КС предлагается рассматривать ошибки пользователей КС. Последние связывают с уровнем его компетентности в области информационных технологий. В условиях информатизации общества специалист должен обладать не только набором знаний, умений и навыков, но и уметь применять их для решения ряда профессиональных задач, т.е. обладать информационно-коммуникационно-технологической компетентностью (профессиональной ИКТ-компетентностью).
Под профессиональной компетентностью принято понимать совокупность знаний, умений, навыков и способов их применения, которые позволяют личности адекватно воспринимать и обрабатывать информацию в своей предметной области, постигать сущность связей между объектами профессиональной деятельности и принимать адекватные решения в различных стандартных и нештатных ситуациях [1].
Кроме профессиональной компетентности на рынке труда широко используется понятие «квалификация». Квалификация - это степень профессиональной подготовленности к выполнению определенного вида работы, которая выражается в уровне знаний, умений и навыков и устанавливается в виде разряда или категории, которые в свою очередь определены государственными квалификационными характеристиками. Таким образом, квалификация - это комплексная характеристика, позволяющая определить степень соответствия работника должности, его профессиональный уровень. Исследования в области профессионального образования показали [2], что компетентность включает в себя не только элементы квалификации (знания, умения, навыки и способности их применения), но и социально-коммуникативные личностные характеристики, обеспечивающие самостоятельность профессиональной деятельности.
Учитывая, что личностные характеристики индивидуума могут проявляться только в процессе реальной профессиональной деятельности, на этапе анализа компетентности пользователя КС, можно ограничиться только квалификационной частью компетентности, а для ее оценки пользоваться квалификационными заданиями специального вида.
Целью данной работы является описание способов формального оценивания квалификационных заданий различных форм в системе диагностирования компетентности пользователей КС.
1. Диагностический эксперимент по анализу компетентности
Процесс анализа компетентности пользователя КС можно рассматривать как диагностический эксперимент (ДЭ) в человеко-машинной системе, в ходе которого с помощью специальных квалификационных заданий проверяется уровень знаний, умений и навыков пользователя КС, а также его способности адекватно реагировать на различные ситуации, возникающие в процессе работы КС. ДЭ анализа компетентности состоит из подготовки
специальных квалификационных заданий и эталонных (правильных) реакций испытуемого, процесса проведения испытания и сравнения ответов (принятых решений) с эталоном, а затем принятия решения о результате испытания (рис.1).
Если не учитывать возможность проведения натурных экспериментов на реальном оборудовании, а ограничиться только моделированием работы человеко-машинной системы, то такой ДЭ на первый взгляд похож на классическое тестирование знаний в педагогических измерениях. Но ДЭ по анализу компетентности вместе с тем имеет ряд существенных отличий от классического тестирования знаний:
1. Тестирование проверяет, как правило, уровень полученных и усвоенных знаний. Анализ компетентности является более широким процессом и проверяет возможности пользователя применять полученные знания, умения и навыки по многим учебным дисциплинам в штатных и нештатных режимах функционирования КС.
2. Для тестирования используются специальные формы тестовых заданий [3], а для анализа компетентности, кроме тестовых форм могут использоваться квалификационные задания, которые трудно отнести к одной из наиболее распространенных тестовых форм. Такие задания по своей форме и дидактичной нагрузке наиболее близки к заданиям открытой формы с развернутым ответом, которые используются в современном внешнем независимом оценивании (ЗНО) в Украине [4]. Не ставя целью в данной работе обстоятельно рассматривать содержание указанных заданий, отметим, что это могут быть задания по анализу и синтезу текста, на установление и обоснование последовательности математических или графических действий, на написание программного кода и т.д.
3. Для оценки тестовых заданий закрытых форм и заданий открытой формы с коротким ответом используются формальные процедуры, которые могут быть легко автоматизированные, а для оценки квалификационных заданий открытой формы с развернутым ответом невозможно обойтись без эксперта (экспертной системы), так как оценить подобные задания по формальным признакам достаточно сложно.
2. Модель компетентности пользователей КС
В соответствии с компетентностной парадигмой образования каждая из ключевых компетентностей, в частности ИКТ-компетентность, имеет три измерения: предметное измерение (что нужно знать), деятельностное измерение (что нужно уметь) и практическое измерение (в частности, как использовать приобретенные знания и умения при эксплуата-
Структура базы данных квалификационных заданий анализа ИКТ-компетентности пользователя КС определяется моделью предметной области. Предметная область ИКТ-компе-тентности определяет перечень знаний, умений и навыков, которые дают возможность индивидууму квалифицированно использовать компьютерные системы, сети и технологии в хозяйственной и учебной деятельности, в научных исследованиях и в быту, в общении и обмене информацией с другими людьми.
При анализе ИКТ-компетентности используется четырехуровневая иерархическая модель предметной области, определяющая структуру соответствующей компетентности:
Эксперт
Анализ качества заданий
Рис. 1. Структура диагностического эксперимента по проверке компетентности
ции КС) [5].
«КАТЕГОРИЯ КОМПЕТЕНТНОСТИ» -> « ИМЯ РАЗДЕЛА» -> «ИМЯ ТЕМЫ»-> «ЗАДАНИЯ ТЕМЫ».
«КАТЕГОРИЯ КОМПЕТЕНТНОСТИ» - это определенный набор знаний, умений и навыков из разных областей знаний, которые в совокупности определяют уровень ИКТ-компетентности пользователя. Количество категорий компетентности, как правило, фиксировано и определяется квалификационными характеристиками, предъявляемыми к пользователям КС. Предлагается следующая структура категорий ИКТ-компетентности пользователей КС, которая отвечает содержательной структуре ИКТ-компетентности.
1. Информационная компетенция, которая определяет знание основных понятий информатики, функционирования компьютерных систем и сетей (КСС).
2. Техническая компетенция, которая определяет знание основ технического и программного обеспечения КСС.
3. Технологическая компетенция, которая определяет знание технологий, а также аппаратных и программных средств для обработки и преобразования информации.
4. Алгоритмическая компетенция, которая определяет знание основ алгоритмизации и алгоритмических языков.
5. Сетевая и телекоммуникационная компетенция, которая определяет знание основных принципов построения и использования локальных сетей и глобальной сети Internet.
6. Методическая и исследовательская компетенция, которая определяет знания основных принципов использования компьютеров в жизни и деятельности человека, а также в научных исследованиях.
7. Компетенция в вопросах информационной безопасности, которая определяет знания основных информационных атак в КС, принципы защиты данных в КС, аппаратные программные методы защиты информации в КС.
"ИМЯ РАЗДЕЛА " обычно соответствует конкретной области профессиональной деятельности пользователя и соответствует перечню знаний, умений и навыков, определяемых учебными дисциплинами и тренинговыми циклами одного направления. Количество разделов не фиксировано и определяется, как правило, глубиной анализа компетентности.
Например, категория «сетевая и телекоммуникационная компетенция» может быть разделена на следующие разделы:
- принципы и топологии построения локальных сетей;
- правила обмена в сети (протоколы);
- сетевое оборудование и сетевые операционные системы;
- World Wide Web (WWW) и ее основные сервисы;
- клиент-серверные технологии.
"ИМЯ ТЕМЫ" обычно соответствует структурной единице раздела, определенной в рабочей программе учебной дисциплины или разделе квалификационной характеристики.
"ЗАДАНИЯ ТЕМЫ1" - это задания разных форм, содержащие текстовые, графические и мультимедийные компоненты, а также расчетные задания.
Если рассматривать деятельностное измерение ИКТ-компетентности, то можно говорить о таких умениях (способностях):
- алгоритмические, т. е. умения алгоритмизировать задачи и процессы, составлять оптимальные алгоритмы и на их основе писать программный код;
- технологические, т. е. умения использовать готовые программные продукты, устанавливать и эффективно использовать операционные системы;
- технические, т. е. умения выбирать, устанавливать и настраивать аппаратные средства КС;
- исследовательские, т. е. умения собирать и обрабатывать данные, строить компьютерные модели, оценивать корректность и эффективность принятых решений.
Практическое измерение ИКТ-компетентности связано с такими направлениями применения (использования) полученных знаний и умений:
- коммуникативное (аппаратное и программное обеспечение работы в компьютерной сети, организация доступа к сетевым ресурсам);
- комплексировочное (оптимальный выбор и установка аппаратных и программных средств, необходимых для решения поставленных задач);
- эксплуатационное (поддержка работоспособности КС);
- диагностическое (определение технического состояния КС и устранение, при необходимости, возникающих дефектов).
В соответствии с моделью предметной области формируется тестовая база квалификационных заданий разных форм, которые используются при проведении диагностического эксперимента (сеанса диагностирования). Таким образом, тестовая база данных состоит из семи категорий (предметное измерение), внутри которых находятся задания, структурированные по разделам и темам. Внутри каждой темы задания структурированы по остальным двум измерениям (уметь, использовать). Сеанс диагностирования, как правило, состоит из заданий одного раздела со случайным выбором заданий из разных тем, которые в свою очередь должны покрывать все измерения ИКТ-компетентности. Не касаясь в данной работе способов формирования сеанса диагностирования, рассмотрим формы заданий и способы их оценивания.
3. Оценивание квалификационных заданий и шкалирование итоговых
оценок
Диагностический эксперимент (сеанс диагностирования) для каждого испытуемого состоит из N квалификационных заданий разных форм. Рассмотрим принципы оценивания указанных заданий различных форм, пользуясь при этом опытом оценивания заданий разных форм в компьютерной системе тестирования знаний ОрепТБ8Т2 [6].
В заданиях с выбором одного правильного ответа правильный ответ оценивается в 1 балл, а неправильный - 0 баллов. Ответы на задания множественного выбора (соответствия) оцениваются в долю балла, которая обусловлена количеством выбранных правильных альтернатив. Для заданий закрытых форм итоговая оценка корректируется на вероятность угадывания правильного ответа. В заданиях открытой формы с коротким ответом правильный ответ оценивается в 1 балл, а неправильный - 0 баллов, но корректировки на вероятность угадывания не выполняется, так как вероятность угадывания для таких заданий принимается равной нулю.
Для решения проблемы оценивания заданий открытой формы с развернутым ответом воспользуемся аналогией с заданиями с множественным выбором, т. е. ответ на задание с развернутым ответом может оцениваться в долю балла, которая обусловлена степенью правильности выполнения этого задания. Эту долю балла можно представить как процент правильности выполнения такого задания. Для этого нужно определить признаки, по которым определяется степень правильности выполнения задания и градации степени выполнения, которые может определять эксперт. По аналогии со значениями лингвистической переменной «компетентность» [7] можно определить пятиуровневую градацию степеней правильности выполнения задания: "очень низкий", "низкий", "средний", "достаточный", "высокий". Процентные пределы этих диапазонов могут быть фиксированы или определяться экспертами для каждого задания и испытания отдельно. Кроме того, если выполнение задания состоит из нескольких этапов (шагов), эта оценка считается накопительной: чем больше этапов задания выполнил испытуемый, тем выше итоговая оценка за выполнение задания. Признаки, по которым оценивается степень выполнения задания, определяются для каждого задания совместимо автором задания и экспертом. При оценивании такого задания эксперт (экспертная система) анализирует эти признаки и принимает решение об отнесении результата к одному из определенных диапазонов.
Каждое квалификационное задание может иметь вес Б^, выраженный целым положительным числом больше 1. Вес каждого задания в базе квалификационных заданий (Б^) определяется автором задания (экспертом) на этапе составления системы квалификационных заданий раздела соответствующей категории предметной области и отражает его субъективную точку зрения на влияние 1-го задания на общую оценку за сеанс диагностирования.
За результат выполнения каждого квалификационного задания испытуемый получает
N
балл от 0 до Б1. Выражение X Б1 определят балл, набранный испытуемым в ходе всего
1=1 N тах
ДЭ, где N - количество заданий в сеансе диагностирования. Выражение Бтах = X Б^ 128 1=!
определяет максимально возможный балл за сеанс диагностирования. Исходная («первичная») оценка за сеанс диагностирования Вн (набранный балл) определяется как процент правильности выполнения квалификационных заданий:
N
IВ1
Вн (%) --100%.
N
>шах
I вш 1=1
Такое нормирование позволяет свести оценку за сеанс диагностирования к диапазону
[0___100] баллов (процентов) независимо от форм, веса и количества заданий в сеансе
диагностирования.
Под шкалированием тестовых оценок понимается их отнесение к одному из выбранных диапазонов оценивания. Одним из главных факторов, влияющих на способ шкалирования, является форма распределения исходных оценок по оцениваемому диапазону. В педагогических измерениях (рассматриваемый ДЭ также является разновидностью педагогических измерений) принято считать, что большинство распределений исходных оценок лучше всего аппроксимируются кривой нормального закона распределения, с ярко выраженной «центральной тенденцией». Шкалирование оценок (с учетом предположения о нормальном распределении результатов тестирований по шкале оценивания) осуществляется путем деления площади нормализованной кривой распределения испытуемых на Б равных частей, где Б - диапазон шкалы оценивания. Для реализации такого подхода в базу данных
закладывается таблица значений 21 (функция Лапласа) для 99 верхних границ диапазонов 100-балльной шкалы оценивания в порядке возрастания от 1 до 99 [8] .
Для отнесения «первичной» оценки В1 к соответствующему диапазону шкалы оценивания необходимо произвести следующие преобразования.
1. Выполняется стандартизация «исходной» оценки в доверительном интервале 95%:
„ _ ¥к - М
1.53 *с
2. По таблице значений сотых долей 21 в базе данных находится процентное значение
оценки в линейной шкале Р.
3. Оценка в соответствующей линейной шкале оценивания будет определяться номером диапазона, который вычисляется как ближайшее наибольшее целое от номера диапазона шкалы оценивания, т. е.
]1 [_
Р
100
Р* Б
100
Б
Как уже упоминалось выше, итоговая оценка, как правило, шкалируется в соответствии с принятой пятиуровневой градацией (Б=5) определения уровня компетентности: "очень низкая", "низкая", "средняя", "достаточная", "высокая".
4. Оценивание заданий открытой формы с развернутым ответом
В соответствии с принятой концепцией оценивания сеанса диагностирования оценивание заданий открытой формы с развернутым ответом также должно сводиться к определению «процента правильности ответа». Это необходимо учитывать уже на этапе формулировки заданий путем выделения соответствующих критериев оценивания и определения диапазонов оценки за указанные критерии. Веденная система критериев является основой для работы эксперта (экспертной системы) при оценивании таких заданий. Формулировка задания должна соответствовать критериям оценивания экспертов. Это означает, что испытуемый после прочтения задания должен понять, какую задачу ему предстоит выполнить, и с какой полнотой он должен дать ответ для получения максимального балла.
Согласно предложенной концепции при оценке таких заданий будем опираться на оценку эксперта. Информация, предоставляемая экспертами, содержит понятия естественного языка, трудно выражаемые количественными отношениями. Для перехода от словесного описания к численным показателям предлагается использовать аппарат нечёткой логики. Данный подход позволит не только оценить результаты тестирования, но и будет использоваться на этапе экспертной подготовки заданий. Механизм нечёткого вывода в своей основе имеет базу знаний, формируемую специалистами (экспертами) предметной области в виде совокупности нечётких продукционных правил.
Исходя из содержательной основы квалификационных заданий на проверку компетентности, их можно разделить на две группы: коммуникативно-технические и логико-технологические. К первой группе можно отнести работу с программной и технической документацией, составление технических проектов, диагностирование технического состояния объектов. В таких заданиях, как правило, главным является соответствие результатов выбранным критериям, а порядок выполнения действий не является определяющим. Ко второй группе можно отнести алгоритмизацию и решение математических и логических задач, применение технологий обработки информации, соблюдение правил работы с аппаратурой. Для этого класса заданий порядок выполнения действий является определяющим, наряду с правильным результатом выполнения отдельных процедур. Поэтому решающие процедуры нечеткой логики также можно разделить на два класса:
1) одноуровневые процедуры (накопительные), учитывающие степень соответствия выбранным критериям;
2) двухуровневые процедуры (на последовательность действий), учитывающие степень правильности выполнения действия и их последовательность.
Данное деление не является абсолютным: квалификационные задания первой группы, в большинстве своем, являясь одноуровневыми, могут быть и двухуровневыми, а второй группы, в свою очередь, наоборот. Рассмотрим особенности оценивания каждой из групп квалификационных заданий по оценке компетентности.
При применении одноуровневых процедур оценивания выбираются критерии оценки К1 и диапазоны оценивания, а эксперт оценивает каждый из критериев в заданном диапазоне. Итоговая оценка Б вычисляется в соответствии с одной из моделей нечеткого вывода (Мамдами, Сугено, Цукамото).
Рассмотрим в качестве примера задание первой группы следующего типа: «Проанализировать программный код». Для его оценивания введем следующие критерии, по которым эксперт будет определять степень выполнения задания:
- критерий А (синтаксис) - [0...10] баллов;
- критерий Б (использование типов данных) - [0.10] баллов;
- критерий С (выполняемость) - [0.20] баллов;
- критерий Б (правильность результата) - [0.40] баллов;
- критерий Е (представление результата) - [0.20] баллов.
Каждому критерию автор (эксперт) ставит в соответствие нечеткое подмножество в виде соответствующего диапазона баллов. Из условия задания определим пять входных лингвистических переменных (пять критериев оценки задания) и одну выходную переменную (степень правильности выполнения задания или оценка). Каждая из входных нечетких переменных будет иметь по три терма (значения): «плохо», «удовлетворительно» и «хорошо». Изменяться будут лишь границы диапазонов для каждого терма. Примем границы диапазонов всех критериев равными и в пересчете на 100-балльную шкалу определим: «плохо» - [0.40] баллов, «удовлетворительно» - [30.70] баллов и «хорошо» - [60. 100] баллов. Выходная нечеткая переменная (оценка) имеет пять термов (значений): "очень низкая", "низкая", "средняя", "достаточная", "высокая" [7]. Границы диапазонов для нее с учетом "центральной тенденции" в пересчете на 100-балльную шкалу определим следующими: "очень низкая" - [0.30] баллов, "низкая" - [25.45] баллов, "средняя" - [40.60] баллов, "достаточная" - [55.75] баллов и "высокая" - [70. 100] баллов. В соответствии с выбранной моделью нечеткого вывода, будут вычисляться функции принадлежности для всех лингвистических переменных и для всех правил. Один из возможных вариантов продукционных правил представлен ниже:
ЕСЛИ (А = удовлетворительно) И (Б = хорошо) И (С = плохо) И (Б = плохо) И (Е = плохо) ТО (оценка = очень низкая).
ЕСЛИ (А = удовлетворительно) И (Б = хорошо) И (С = удовлетворительно) И (Б = плохо) И (Е = плохо) ТО (оценка = низкая).
ЕСЛИ (А = хорошо) И (Б = хорошо) И (С = удовлетворительно) И (Б = удовлетворительно) И (Е = плохо) ТО (оценка = средняя).
ЕСЛИ (А = хорошо) И (Б = хорошо) И (С = хорошо) И (Б = удовлетворительно) И (Е = удовлетворительно) ТО (оценка = достаточная).
ЕСЛИ (А = хорошо) И (Б = хорошо) И (С = хорошо) И (Б = хорошо) И (Е = удовлетворительно) ТО (оценка = высокая).
Особенностью составления этих продукционных правил является то, что каждое правило должно содержать оценку по всем критериям. Приведенная система правил не является полной, но достаточно отображает принятую концепцию.
При применении двухуровневых процедур оценивания задается последовательность действий для достижения результата, критерии оценивания каждого действия и решающее правило для получения результата.
Рассмотрим в качестве примера задание второй группы следующего типа: «Минимизировать булеву функцию (БФ) методом карт Карно».
Для того чтобы его оценить, рассмотрим следующие признаки, по которым эксперт будет определять степень правильности выполнения задания:
- действие 1 (д1): составление карты Карно по числу переменных БФ - [0...10] баллов;
- действие 2 (д2): заполнение карты Карно по таблице истинности - [0...10] баллов;
- действие 3 (д3): выполнение обведения групп единиц (нулей) - [0.40] баллов;
- действие 4 (д4): составления дизъюнкций (конъюнкций) - [0...20] баллов;
- действие 5 (д5): запись минимизированной БФ в форме ДНФ (КНФ) - [0...20] баллов.
Аналогично с предыдущим примером происходит фаззификация входных лингвистических переменных (д1 - д5) и выходной переменной (оценка), и выбирается соответствующая модель нечеткого вывода, от которой будет зависеть результат обработки продукционных правил.
Представим один из возможных вариантов продукционных правил:
ЕСЛИ (д1 = плохо) ТО (оценка = очень низкая).
ЕСЛИ (д1 = хорошо) И (д2 = плохо) ТО (оценка = низкая).
ЕСЛИ (д1 = хорошо) И (д2 = хорошо) И (д3 = удовлетворительно) ТО (оценка = средняя).
ЕСЛИ (д1 = хорошо) И (д2 = хорошо) И (д3 = удовлетворительно) И (д4 = удовлетворительно) ТО (оценка = достаточная).
ЕСЛИ (д1 = хорошо) И (д2 = хорошо) И (д3 = хорошо) И (д4 = хорошо) И (д5 = удовлетворительно) ТО (оценка = высокая).
Как и в предыдущем примере, приведенная система правил не является полной, но достаточно отображает принятую концепцию. Особенностью же составления правил для двухуровневых процедур оценивания является то, что каждое последующее правило должно содержать положительную оценку всех предыдущих действий.
Для того чтобы можно было использовать предложенные решающие процедуры нечеткой логики при определении результата диагноза в ДЭ, когда входы и выход системы (конечный результат) имеют реальные значения, наиболее простым путем является использование фаззификатора на входе и дефаззификатора на выходе системы нечеткой логики (рис. 2).
Использование этих двух блоков предоставляет возможность естественного перехода от выводов эксперта к нечетким продукционным правилам. Базис разработанных продукционных правил является основной частью системы нечеткой логики, а все другие компоненты используются только для интерпретации этих правил при решении конкретной задачи. Предложенные продукционные правила могут быть положены в основу экспертной системы по оцениванию заданий открытой формы с развернутым ответом. В ходе оценивания результатов диагноза эксперт подает на вход системы нечеткого вывода оценку степени выполнения задания для каждого критерия в границах установленных им диапазо-
нов, а экспертная система формирует итоговую оценку за выполнения задания в диапазоне [0_100] баллов (процент правильности ответа) на основании выбранной модели нечеткого вывода.
Рис. 2. Система нечеткого вывода
Рассмотрим в качестве примера выполнение и оценивание задания с развернутым ответом (первой группы) на проверку сетевой и телекоммуникационной компетенции.
Задание: «предложите проект локальной офисной сети и обоснуйте выбор аппаратного и программного обеспечения для офиса на 20 рабочих мест, расположенных в одном помещении, для работы с программами MS Office и бухгалтерской системой 1С».
Выделим следующие признаки (критерии) оценивания данного задания:
а) работоспособность модели полученной сети - [0...30] баллов;
б) организация одновременной работы с базой данных бухгалтерской системы 1С -[0.20] баллов;
в) обоснование к выбору топологии сети, аппаратного и программного обеспечения для решения конкретной задачи - [0.20] баллов;
г) простота реализации (минимизации потраченных ресурсов без ущерба для поставленной задачи) - [0.20] баллов;
д) масштабируемость модели сети и возможность обслуживания - [0.10] баллов.
Пример продукционных правил для оценки данного задания приведен ниже.
ЕСЛИ (а = плохо) И (б = плохо) И (в = хорошо) И (г = хорошо) И (д = хорошо) ТО (оценка=очень низкая).
ЕСЛИ (а = удовлетворительно) И (б = удовлетворительно) И (в = удовлетворительно) И (г = плохо) И (д = плохо) ТО (оценка = низкая).
ЕСЛИ (а = хорошо) И (б = хорошо) И (в = удовлетворительно) И (г = удовлетворительно) И (д = удовлетворительно) ТО (оценка = средняя).
ЕСЛИ (а = хорошо) И (б = хорошо) И (в = хорошо) И (г = хорошо) И (д = удовлетворительно) ТО (оценка = достаточная).
ЕСЛИ (а = хорошо) И (б = хорошо) И (в = хорошо) И (г = хорошо) И (д = хорошо) ТО (оценка = высокая).
Испытуемый дал следующий ответ.
«Для офиса на 20 рабочих мест, расположенных в одном помещении и работающих с программами MS Office и бухгалтерской системой 1С, предлагается использовать в качестве топологии - топологию "иерархическая звезда". Выбор был остановлен на данной топологии исходя из того, что строим модель сети с использованием нескольких коммутаторов, иерархически соединенных между собой связями типа "звезда". Для обеспечения работоспособности такой сети предлагается использовать следующее аппаратное и программное обеспечение:
1) 20 персональных компьютеров с установленными ОС Windows, MS Office и бухгалтерской системой 1С: Бухгалтерия;
2) 1 сервер;
3) 16-портовые коммутаторы - 2 шт.
Выбор данного обеспечения обуславливается главной задачей, которую должна решать данная сеть, т. е. обеспечение возможности одновременной работы 20 рабочих мест с одним сервером. 16-портовые коммутаторы в количестве 2 штук выбраны по той причине, что это дает нам возможность выполнить коммутацию 20 компьютеров. Выбор программного обеспечения обуславливается характером решаемых задач, поэтому на каждом рабочем месте должна быть установлена операционная система (Windows 2000/XP/vista/7)
для корректной работы с офисом (MS Office 2003/2007/2010), а на сервере - серверная операционная система (Windows Server 2000/2003/2010). База 1С: Бухгалтерия должна располагаться на одном из персональных компьютеров, а для обеспечения доступа к ней на каждое рабочее место должна быть установлена программа-клиент 1С: Бухгалтерия.
Эксперт при оценивании данного задания по каждому критерию выставил следующие баллы: а) 20 баллов; б) 6 баллов; в) 20 баллов; г) 10 баллов; д) 10 баллов.
Для анализа результатов диагностирования использовалась математическая система MATLAB, а именно, специальный пакет нечеткого вывода Fuzzy Logic Toolbox. В качестве модели нечеткого вывода была использована модель Мамдани, согласно которой для обработки продукционных правил используется минимаксная композиция нечетких множеств, а в качестве форм функций принадлежности для всех лингвистических переменных балы выбрана гауссова кривая.
Подавая эти значения на вход системы нечеткого вывода, содержащей 243 продукцион -ных правила (35 = 243- максимально возможное число правил), получаем, что оценка за выполнение задания принадлежит к диапазону «средняя». Используя в качестве метода дефаззификации метод COG (center of gravity, "центр тяжести"), получим результат диагноза: 52,1 балла по 100-балльной шкале, что соответствует диапазону «удовлетворительно» (47 -54%) при пятидиапазонной (квинтельной) стандартизации нормального распределения.
Выводы
Разработанная методика проведения ДЭ по анализу компетентности пользователей КС позволяет перейти к автоматизации этого достаточно сложного и неформального процесса. Предложенная система оценивания квалификационных заданий различных форм позволяет применить единый подход при формировании итоговой оценки (результата диагноза). Наиболее сложной проблемой при этом является оценивание заданий открытой формы с развернутым ответом. На сегодняшний день, несмотря на то, что подобные задания используются даже в ЗНО, их оценивание является непрозрачной и достаточно субъективной процедурой. Предложенная процедура, когда эксперт оценивает формальные критерии в заданных диапазонах, а экспертная система выставляет итоговую оценку, позволит, с точки зрения авторов, построить автоматизированную экспертную систему для получения результата диагноза компетентности пользователей КС.
Список литературы: 1 .Концепщя тесту загально! навчально! компетентносп (ТЗНК) випускнишв за-гальноосвишх навчальних закладав (Проект) // Ысник. Тестування i мониторинг в освт. 2009. № 9. С. 528. 2.ИльязоваМ.Д. Компетентность, компетенция, квалификация - основные направления современных исследований // Научные исследования в образовании. 2008. № 1. С. 28-31. ЗАванесов В.С. Форма тестовых заданий. Учебное пособие, 2 изд. переработанное и расширенное. М.: Центр тестирования, 2005. 156 с. 4.ГорохВ.П. Готуемося до зовшшнього оцшювання з математики // Вюник. Тестування i мониторинг в освт. 2009. № 1. С.25-35. 5.Раков С.А., Вашуленко О.П., Горох В.П., Миляник А.1., Пузирьов В. В. Три вимiри лопко-математично! компетентносп // Вюник. Тестування i мониторинг в освт. 2009. № 12. С. 6-17. 6. Шкиль А., Каук В.. Напрасник С., Цимбалюк Е., Хоменко Р. Новые функциональные возможности компьютерной системы тестирования знаний OPENTEST2 // Педагогические измерения. 2009. № 2. С.86-103. 7.КривуляГ.Ф., КучеренкоД.Е. Интеллектуальные средства диагностирования состояний компьютерных систем управления // Iнформацiйно-керуючi системи на залiзничному транспорта №4. 2009. С. 23-28. 8. Кривуля Г. Ф., Шкиль А. С., Напрасник С.В., Гаркуша Е.В. Представление результатов тестирования в компьютерной системе тестирования знаний OpenTEST2 // Iнформацiйно-керуючi системи на залiзничному транспорт! 2008. №2. С.25-30.
Поступила в редколлегию 25.02.2010 Кривуля Геннадий Федорович, д-р техн. наук, проф. кафедры АПВТ ХНУРЭ. Научные интересы: автоматизация проектирования и диагностика цифровых устройств. Адрес: Украина, 61166, Харьков, пр. Ленина, 14, тел. 702-13-26. E-mail: krivoulya@i.ua.
Шкиль Александр Сергеевич, канд. техн. наук, доцент кафедры АПВТ ХНУРЭ. Научные интересы: дистанционное образование, педагогические измерения, диагностика цифровых систем. Адрес: Украина, 61166, Харьков, пр. Ленина, 14, тел. 702-13-26. E-mail: shkil@opentest.com.ua.
Кучеренко Дария Ефимовна, аспирантка кафедры АПВТ ХНУРЭ. Научные интересы: диагностика компьютерных неисправностей. Адрес: Украина, 61166, Харьков, пр. Ленина, 14, тел. 702-13-26. E-mail: d_zin@ukr.net.
Гаркуша Елена Владимировна, аспирантка кафедры АПВТ ХНУРЭ. Научные интересы:, педагогические измерения, анализ компетентностей пользователей КС. Адрес: Украина, 61166, Харьков, пр. Ленина, 14, тел. 702-13-26.
