Разработка комплекса интерактивных тестов по математике в Adobe Captivate Текст научной статьи по специальности «Компьютерные и информационные науки»

J

УДК 37.046

DOI: 10.15587/2312-8372.2014.34206

ковалева е. а. РАзРАБОТКА КОМПЛЕКСА

интерактивных тестов по математике в adobe captivate

Статья посвящена созданию интерактивных тестов, сущностью которых является непосредственное взаимодействие учащихся и процесса тестирования с дальнейшим автоматическим подсчетом результатов. Модель и алгоритм создания интерактивных тестов, расчет валидности и надежности как устойчивости для интерактивных тестов подробно описаны в данной статье.

Ключевые слова: интерактивный тест, высшая математика, валидность, надежность, Adobe Captivate.

1. Введение

В большинстве ВУЗах, как Украины, так и зарубежных стран огромное внимание уделяется тематическому тестированию знаний студентов по модулям изучаемой дисциплины, в том числе и по высшей математике. Несмотря на определенные трудности, с которыми сталкивается внедрение компьютерного тестирования в практику, данная технология с использованием современных программных сред уже становится стержневой компонентой образования, обеспечивающей современное качество образования и его интеграцию в мировую образовательную систему.

В общем случае интерактивные компьютерные тесты представляют собой интеллектуальный комплекс, способный генерировать и проверять различные типы задач, а так же обучать их решению с помощью развитых интерактивных способностей. К настоящему уже создан и функционирует ряд подобных систем, и задачей преподавателя ВУЗа является выбрать наиболее удобную среду для реализации компьютерного теста.

Однако, несмотря на преимущества современных сред по созданию компьютерных тестов, их использование является достаточно трудоемкой задачей, требующей от преподавателя знаний помимо предметной области еще и в области разработки программного обеспечения. С другой стороны проблема создания универсального решателя математических задач в настоящее время не может быть реализована в полном объеме. Одним из ограничивающих факторов служит вторая теорема Ге-деля о неполноте.

Таким образом, данная статья посвящена созданию «сценариев» будущего компьютерного теста, универсальной алгоритмизации процесса создания компьютерного теста на примере теста по высшей математике, а так же проверке теста на валидность и надежность.

2. Анализ литературных данных и постановка задачи

На сегодняшний день проблеме тестирования обучающихся посвящено немало научных работ, таких как [1-6], в которых приведены различные классификации тестов, уделено внимание форме тестовых заданий [5-8], рас-

смотрены основные функции тестирования, а так же указаны преимущества и недостатки тестирования по сравнению с другими формами контроля знаний [9, 10]. В других работах [11, 12] приведен детальный обзор существующих на сегодняшний день программ, с помощью которых создаются компьютерные интерактивные тесты. Замечено, что многие современные компьютерные среды не учитывались при анализе. Важным моментом является так же и то, что многие компьютерные тесты не проходят проверку на валидность и надежность, что не является корректным [13].

Поэтому, на взгляд автора, эти работы носят лишь обзорный характер, не неся в себе практической значимости вообще, и для преподавателей ВУЗов в частности.

Исходя из анализа литературных данных, а так же проведенных исследований вытекает следующая цель статьи: необходимо разработать ряд «сценариев» тестов, которые обладали бы свойствами надежности, валид-ности и адаптивности. Для проведения адаптивного тестирования требуется сложный программный продукт, в автоматическом режиме которого определяется уровень подготовки испытуемого, выбираются из банка задания соответствующей трудности, производится математи-ко-статистическая обработка результатов тестирования и соответствующая интерпретация этих данных.

Для решения поставленной цели необходимо решить такие задачи:

— выбрать программную среду для проведения адаптивного тестирования, а так же создать руководство по ее использованию;

— создание «сценариев» тестов, обладающих высокой степенью содержательной валидности;

— компьютерный тест должен обладать высокой степенью надежности.

3. Выбор программного обеспечения

Успешное внедрение компьютерных тестов основывается на правильном выборе программного обеспечения для их создания, которые отвечают конкретным требованиям. В табл. 1 представлены наиболее популярные системы, которые могут использоваться для подготовки компьютерных интерактивных тестов [11].

Таблица 1

Среды разработки обучающего демонстрационного контента

Средства мульти-медиа Microsoft Power Point UVScreen Camera Demo-Forge Studio Adobe Captivate SnagIt Corel Presentations Lotus Freelance Graphics Astound Presentation Macromedia Director Shockwave Studio

Импорт в формат Macro media Flash Нет Да Нет Да Да Да Нет Да fla

Стандартные графические пакеты Да Да Да Да Да Да Да Да fla

Собственный редактор Нет Нет Нет Нет Да Да Нет Нет fla

Импорт OLE-объектов Да Нет Нет Да Да Да Да Да fla

Возможность создания интерактивных презентаций Нет Нет Нет Да Нет Нет Нет Да fla

Возможность создания сценариев Нет Нет Нет Да Нет Нет Да Да fla

Видеозахват экрана Нет Да Да Да Да Нет Нет Нет HeT

Интерактивные симуляции Нет Да Нет Да Нет Нет Нет Нет HeT

В результате проведенного анализа средств быстрой разработки профессиональных электронных учебных изданий в общем, а также создания компьютерных интерактивных тестов с автоматическим подсчетом результатов в частности, автор статьи остановил свой выбор на среде Adobe Captivate.

4. Создание компьютерного теста

Во введении было сказано о невозможности создания универсального математического решателя. Естественный путь для разработчика «сценариев» — проверка ограниченного множества класса задач. В данной статье таковым подмножеством является раздел высшей математике «Линейная алгебра». В состав данной дисциплины входит ряд задач, описанных в работе [14], которые и будут служить текстовыми «сценариями» будущих компьютерных заданий. Содержательная валидность этих заданий проверяет соответствие данного задания содержанию проверяемой дисциплины и определяется вычислением коэффициента корреляции результата ответа на определенное задание

с суммарным баллом испытуемого. В табл. 2 приведен список тем «сценариев» теста.

Согласно табл. 2 было разработано 100 текстовых «сценариев», на основании которых была разработана концептуальная модель компьютерного теста (рис. 1).

Согласно концептуальной модели создания теста (рис. 1) и текстовых «сценариев» (табл. 2) в среде Adobe Captivate был выполнен ряд шагов, приведенных на рис. 2, для создания интерактивного комьютерного теста. При этом, любой преподаватель без специальных знаний и навыков в области программирования будет способен создать свой уникальный интерактивный тест в любой области знаний.

Более подробно создание и форматирование тестов в среде Adobe Captivate описано в работе [15]. Таким образом, следуя пошаговой вышеизложенной инструкции, получен готовый программный продукт, который может быть использован на любом персональном компьютере без установки какого-либо дополнительного программного обеспечения, что полностью соответствует одной из поставленных задач данной работы.

Таблица 2

Список тем текстовых «сценариев» компьютерного теста

Тематика теста Multiple Choice True/ False Fill-In-The-Blank Short Answer Matching Hot Spot Sequence Количество возможных баллов

Матрицы: основные определения. Операции над матрицами. Свойства операций над матрицами 4 1 2 — 1 2 — 14,28

Определитель. Понятие минора и алгебраического дополнения. Основные свойства определителя 1 1 1 3 1 2 1 15,28

Системы линейных алгебраических уравнений (СЛАУ). Однородные и неоднородные СЛАУ Совместные/несовместные 2 — 2 — 1 3 2 13,2

Формулы Крамера 1 2 1 — 2 2 2 11

Матричный способ решения СЛАУ Обратная матрица. Невырожденная матрица и ее свойства — 2 2 2 2 2 — 15

Ранг матрицы. Теорема Кронекера-Капелли. Метод элементарных преобразований для определения ранга матрицы СЛАУ 3 — — 3 2 1 1 18,7

Метод Гаусса. Метод Жордана-Гаусса 2 2 — 2 — 2 2 12,54

Общее число используемых типов теста 13 8 8 10 9 14 8 100

J

Результаты тестирования студентов при помощи созданного компьютерного теста приведены в табл. 3.

Таблица 3

Сводная таблица тестирования с экспертными оценками

Рис. 1. Структура компьютерного теста

Номер ученика, 1 Экспертная оценка, Е, Балл при первом тестировании, X, Балл при втором тестировании, Y¡ Общий балл за тест

1 9 7 8 8

2 7 7 7 7

3 8 6 7 7

4 5 3 4 4

5 6 5 5 5

6 8 7 7 7

7 9 9 9 9

8 8 5 6 6

9 7 5 5 5

10 6 5 6 6

Рис. 2. Алгоритм создания компьютерного теста

5. Валидность компьютерного теста

Репрезентативность теста будет выше, если в группу испытуемых будет входить по несколько человек из каждой группы потока. Поэтому далее в статье все расчеты приводятся исходя из вышеизложенного высказывания.

Очевидно, что для компьютерного теста наибольшую значимость представляет именно содержательная валидность. В данной работе автор рассчитывает валид-ность с учетом результатов компьютерного тестирования и экспертных оценок по формуле (1):

Используя формулу (2) найдем следующие величины:

Е = 0,1(9 + 7 + 8 + 5 + 6+8 + 9+8 + 7 + 6) = 7,3, г = 0,1(8 + 7 + 7 + 4 + 5 + 7 + 9 + 6+5 + 6) = 6,4.

Тогда по формуле (3) получим:

Se =

Sz = .

1

n -1

n _ 9

X ( - E)

= 1,3368,

1 n

n-1 X( -E )2 i—Л = 1,5048

Валидность рассчитываем по формуле (1):

V =

1

S ES Z

X EiZi

??

nf .

vv i=1

- EZ

n n-1

(1)

V=

1

SESZ 1

- EZ

n n-1

где Е — среднеарифметическое экспертных оценок; SE — стандартное отклонение этих оценок:

2,0116

X EiZi

vn

vv i=1

(48,3 - 46,72) 1,11 = 0,8717.

- 1 E = -n

Se =

X Er

Таким образом, степень корреляции между результатами теста и внешним критерием (экспертными оценками) (2) достаточно высока и составляет 0,8717. Данный результат говорит о высокой валидности компьютерного теста.

1

n -1

n _ 2

X (Ei - E)

(3)

6. Надежность компьютерного теста как устойчивость

Устойчивость результатов теста — возможность полуАналогично, 2 — среднеарифметическое баллов сту- чения одинаковых результатов у испытуемых в различ-дентов, а SZ — стандартное отклонение этих баллов, ных случаях — особенно актуальна для компьютерных вычисляются по формулам (2) и (3) соответственно. интерактивных тестов. Надежность как устойчивость

измеряется с помощью повторного проведения теста на той же выборке испытуемых, обычно через две недели после первого тестирования. Надежность теста тем выше, чем более согласованы результаты одного и того же человека при повторной проверке знаний посредством того же теста или эквивалентной его формы (параллельного теста). Для нахождения данной характеристики автор предлагает использовать формулу Пирсона:

N ( N V N 4

NXXiYi - XXi XY i=1 V i=l J\i=l J

N ( N \2 N ( N ^

NX X2 - X Xi JnX Y2 - XYi

II i=i Vi=i J у i=i Vi=i j

(4)

где — тестовый балл ¿-го испытуемого при первом измерении; Yi — тестовый балл того же испытуемого при повторном измерении;^ — количество испытуемых.

Для нахождения надежности используем данные табл. 3 и, применяя формулу (4), получим:

10 ■ 399 - 59 ■ 64 ' >/10■ 373-348W10■ 430-4096

= 0,94.

Поскольку значение коэффициента приблизительно равно 0,94, то данный интерактивный тест имеет высокую степень надежности. Значит, с этой точки зрения он составлен очень хорошо.

7. Обсуждение результатов исследования технологий создания интерактивных тестов

На сегодняшний день компьютерное тестирование является достаточно трудоемкой задачей, для решения которой требуются исследования, как предметной области, так и в области IT-технологий. Исследования в данной статье посвящены, во-первых, созданию текстовых «сценариев» тестов, что является базовым этапом при создании интерактивных тестов; во-вторых, выбору программной среды, наиболее адаптированной к поставленной задаче. Исследования показали, что Adobe Captivate является оптимальной средой для разработки компьютерного интерактивного теста, что подтверждают исследования ряда работ ХНЭУ им. С. Кузнеца.

Необходимо добавить, что исходя из анализа литературных данных, заметно, что для компьютерных тестов достаточно редко проводится анализ устойчивости, валидности и других показателей. В то время как в данной работе вышеизложенное исследование было проведено на достаточном уровне.

С другой стороны имеется ряд замечаний по отношению к данному исследованию: кроме валиднос-ти и надежности к компьютерному тесту необходимо предъявить и другие требования, что не вошло в данное исследование, однако предполагается в дальнейших исследованиях.

8. Выводы

В результате проведенных исследований из достаточно обширного количества программных продуктов была выбрана программная среда Adobe Captivate для создания компьютерных тестов, как по высшей математике, так и для других предметных областей, что делает ее универсальной. В статье так же приведен алгоритм создания тестов с использованием данной среды, что представляет собой практическую значимость статьи.

Составление теста базировалось на 100 «сценариях», обладающих составом, целостностью и структурой. В статье разработаны правила их применения в виде соотношения со встроенными типами тестов в Adobe Captivate.

Проведенная адаптация тестов в статье показала высокую степень валидности и его надежности, следовательно, компьютерное тестирование является одним из самых перспективных методов контроля и повышения знаний.

Литература

1. Wilson, M. Constructing Measures: An Item Response Modeling Approach [Text] / M. Wilson. — New Jersey: Lawrence Erlbaum associates, Mahwah, 2004. — 248 p. doi:10.4324/9781410611697

2. Ковалева, Е. А. Разработка тренировочного упражнения решения систем линейных алгебраических уравнений в Adobe Captivate [Текст] / Е. А. Ковалева // Восточно-Европейский журнал передовых технологий. — 2013. — № 5/3(65). — С. 9-12. — Режим доступа: \www/URL: http://journals.uran.ua/ eejet/article/view/18456/16266

3. Батурин, Н. А. Технология разработки тестов: часть I [Текст] / Н. А. Батурин, Н. Н. Мельникова // Вестник ЮУрГУ. Серия: Психология. — 2009. — № 30(163). — С. 4-14.

4. Ким, В. Измерение латентных параметров испытуемых и тестовых заданий [Текст] / В. Ким // Мат. IX Всерос. научно-практ. конф. «Теория и практика измерения латентных переменных в образовании», 21-23 июня 2007 г. — Славянск-на-Кубани: Изд. центр СГПИ, 2007. — С. 70-71.

5. Горовая, Т. Современные системы компьютерного тестирования: аналитический обзор [Текст] / Т. Горовая // ИСОМ. — 2013. — № 1(17). — С. 79-81.

6. Smith, E. V. An introduction to Rasch measurement for scale development and person assessment [Text] / E. V. Smith, K. M. Conrad, K. Chang, J. Piazza // Journal of Nursing Measurement. — 2002. — Vol. 10, № 3. — P. 189-206. doi:10.1891/ jnum.10.3.189.52562

7. Фалалеева, О. Оценивание учебных достижений методом мягкого тестирования [Текст] / О. Фалалеева // Вестник МГОУ. Серия «Открытое образование». — 2006. — № 2(33), Том 2. — С. 126-130.

8. Батурин, Н. А. Технология разработки тестов: часть II [Текст] / Н. А. Батурин, Н. Н. Мельникова // Вестник ЮУрГУ. Серия: Психология. — 2009. — № 42(175). — С. 5-13.

9. Pender, F. T. The testing of clinical skills in dietetic students prior to entering clinical placement [Text] / F. T. Pender, A. E. Looy // Journal of Human Nutrition and Dietetics. — 2004. — Vol. 17, № 1. — P 17-24. doi:10.1046/j.1365-277x.2003.00474.x

10. Wood, T. Assessment not only drives learning, it may also help learning [Text] / T. Wood // Medical Education. — 2009. — Vol. 43, № 1. — P. 5-6. doi:10.1111/j.1365-2923.2008.03237.x

11. Spearman, C. Correlation calculated from faulty data [Text] / C. Spearman // British Journal of Psychology, 1904-1920. — 1910. — Vol. 3, № 3. — P. 271-295. doi:10.1111/j.2044-8295.1910. tb00206.x

12. Richard, H. W. Charles Spearman: British Behavioral Scientist [Text] / H. W. Richard, W. Z. Donald, D. Z. Bruno, R. Donald // Human Nature Review. — 2003. — № 3. — P. 114-118.

13. Карпенко, А. П. Тестовый метод контроля качества обучения и критерии качества образовательных тестов. Обзор [Электронный ресурс] / А. П. Карпенко, А. С. Домников, В. В. Белоус // Электронный журнал. — Апрель 2011. — № 4. — Режим доступа: \www/URL: http://technomag.bmstu.ru/ doc/184741.html

r =

2

14. Малугин, В. А. Математика для экономистов: Линейная алгебра [Текст]: курс лекций / В. А. Малугин. — М.: Экс-мо, 2006. — 224.

15. Березовский, В. С. Создание электронных учебных ресурсов и онлайновое обучение [Текст]: учебн. пособ. / В. С. Березовский, И. В. Стеценко. — К.: Изд. группа BHV, 2013. — 176 с.

РОЗРОБКА КОМПЛЕКСУ 1НТЕРАКТИВНИХ ТЕСТ1В ПО МАТЕМАТИЦ1 В ADOBE CAPTIVATE

Стаття присвячена створенню штерактивних тестев, суттю яких е безпосередня взаeмодiя учшв i процесу тестування з подальшим автоматичним пiдрахунком результатiв. Модель i алгоритм створення iнтерактивних тестiв, розрахунок ва-лiдностi i надiйностi як стшкосл для iнтерактивних тестiв детально описаш в цiй статтi.

Ключовi слова: iнтерактивний тест, вища математика, ва-лiднiсть, надшшсть, Adobe Captivate.

Ковалева Екатерина Александровна, кандидат технических наук, преподаватель, кафедра высшей математики и экономико-математическихметодов, Харьковский национальный экономический университет им. Семена Кузнеца, Украина, e-mail: katenokk84@mail.ru.

Ковальова Катерина Олександрiвна, кандидат техтчних наук, викладач, кафедра вищог математики i економжо-мате-матичних методiв, Харквський нащональний економiчний ут-верситет ш. Семена Кузнеця, Украта.

Kovalova Kateryna, Simon Kuznets Kharkiv National University of Economics, Ukraine, e-mail: katenokk84@mail.ru

УДК 681.326

БШ: 10.15587/2312-8372.2014.34490

ВЫБОР И ОБОСНОВАНИЕ КРИТЕРИЕВ ОЦЕНКИ ЭФФЕКТИВНОСТИ БЕСПРОВОДНОЙ ИНФОРМАЦИОННОЙ СИСТЕМЫ

В статье предложены критерии оценки качества проектируемой беспроводной информационной системы с использованием широкополосной технологии. Предложена математическая модель проектирования беспроводной информационной системы, которая представлена рядом условий-ограничений. Предложенный метод позволяет решать задачу выбора оптимальной инфраструктуры беспроводной информационной системы с повышенными требованиями к структурной скрытности, конфиденциальности и достоверности информации.

Ключевые слова: математическая модель, критерии оценки эффективности проектируемой системы, векторная оптимизация.

Филиппенко И. В.

1. Введение

При разработке систем беспроводной информационной системы идентификации для решения задач логистики возникает вопрос выбора параметров, таких как: дальность записи и считывания, заданная помехоустойчивость и скрытность системы. При заданных одинаковых начальных условиях проектируемой системы, может быть получено множество возможных вариантов проектируемой системы. Наиболее актуальными задачами, являются задачи обеспечения электромагнитной совместимости, помехоустойчивости, информационной скрытности и проблема коллизий.

В настоящее время проектирование таких систем осуществляется на основе эмпирического подхода, который является неэффективным, требующим значительных материальных и временных затрат. В свою очередь стремление к оптимальности принимаемых решений и минимизации затрачиваемых ресурсов приводят к необходимости создания гибких средств быстрого и эффективного проектирования систем.

Исходя из вышеизложенного, актуальной задачей является разработка метода, который позволит решать

задачу выбора оптимальной инфраструктуры беспроводной информационной системы с повышенными требованиями к структурной скрытности, конфиденциальности и достоверности информации.

2. Цель и задачи работы

Целью работы является разработка метода проектирования беспроводной информационной системы, которая представлена рядом условий-ограничений.

Для достижения поставленной цели необходимо:

— провести анализ требований к техническим параметрам беспроводных информационных систем;

— обосновать критерии оценки эффективности проектируемой системы, использующей технологию кодового разделения каналов;

— разработать математическую модель проектирования беспроводной информационной системы.

3. Анализ литературных данных

Процесс разработки начинается с формулирования целей и задач, ставящихся перед беспроводной