CC BY
78
Раздел VII. Проблемы образования
УДК 681.3.062:007:159.955
А.Ю. Афанасьев, В.М. Глушань, В.П. Карелин
ИССЛЕДОВАНИЕ АЛГОРИТМОВ ОПТИМИЗАЦИИ ТЕСТОВЫХ ЗАДАНИЙ*
Исследуются три алгоритма оптимизации тестовых заданий, предложенные авторами: последовательный, параллельный и оптимизированный. Критерием оптимизации является сложность формируемых тестовых заданий. Цель оптимизации - получение тестовых заданий равной сложности. В качестве количественной оценки оптимальности используется дисперсия сложности заданий. Установлено, что наименьшей дисперсией и временной сложностью обладает оптимизированный алгоритм.
Алгоритм; тестовое задание; оптимизация; дисперсия; временная сложность.
A.J. Afanasev, V.M. Glushan, V.P. Karelin RESEARCH OF ALGORITHMS OF OPTIMIZATION OF TEST TASKS
Three algorithms of optimisation of the test tasks, offered by authors are investigated: consecutive, parallel and optimised. Criterion of optimisation is complexity of formed test tasks. The optimisation purpose — reception of test tasks of equal complexity. As a quantitative estimation of an optimality the dispersion of complexity of tasks is used. It is established, that the least dispersion and time complexity the optimised algorithm processes.
Algorithm; the test task; optimization; a dispersion; time complexity.
Введение. Итогом любого процесса обучения является контроль знаний обучающихся. Он осуществляется по определенным образом сформированным тестовым заданиям. К настоящему времени в системе образования существует сформировавшаяся теория и практика создания тестов [1-3]. Однако исследования в этой области интенсивно продолжаются, что связано, в первую очередь, с широким внедрением в процесс образования компьютерных технологий. В [4] предлагается алгоритм и реализованная на его основе компьютерная программа построения тестов равной сложности, а также приводятся экспериментальные исследования этого алгоритма.
Проведенные исследования показали, что дисперсия сложности тестовых заданий при их формировании по предложенному алгоритму существенно возрастает при формировании одного или нескольких последних тестовых заданий, что является недостатком данного алгоритма.
В настоящей работе предлагаются и экспериментально исследуются два новых алгоритма формирования тестовых заданий, обладающие лучшими характеристиками.
Оптимальный вариант распределения вопросов по тестовым заданиям можно получить полным перебором всех вариантов. Однако при полном переборе вариантов и оценке их сложности с целью выбора наилучшего могут потребоваться
* Работа выполнена при поддержке: РФФИ (грант № 10-07-00538), г/б № 2.1.2.1652.
огромные временные ресурсы. Действительно, если вопросы не распределены по изучаемым темам, то число вариантов распределения вопросов по тестовым заданиям может подсчитываться как число сочетаний из заданного числа вопросов п по числу вопросов т в каждом тестовом задании, то есть по формуле
Алгоритмы формирования различных сочетаний известны [5], но их применение в данном случае не представляется возможным. Так, например, при реальном числе вопросов п = 100 и числе вопросов в тестовых заданиях т = 5 число вариантов будет составлять величину, большую чем 7,5. 107. Ситуация еще больше усложняется, если вопросы распределены по разным темам. Можно показать, что в этом случае, если все темы содержат одинаковое число вопросов и из каждой темы в тестовые задания отбираются только по одному вопросу, то число вариантов тестовых заданий будет составлять величину 1к где k - число тем, а l - число вопросов в темах. Например, при тех же п = 100, но распределенных по 10 темам, число вариантов тестовых заданий будет равно 1010.
Сформировать и проанализировать такое число сочетаний даже на современном компьютере за приемлемое время практически невозможно. Это говорит о том, что для решения рассматриваемой задачи необходимо применять специальные эвристические алгоритмы.
Алгоритмы компоновки тестовых заданий. Все многообразие алгоритмов распределения вопросов по заданиям можно разбить на два класса: класс последовательных алгоритмов и класс параллельных алгоритмов.
Алгоритм, предложенный в [4], относится к классу последовательных. Все тестовые задания заполняются последовательно вопросами из множества вопросов V = {у , У2 у }, которому соответствует множество бальных оценок для всех
вопросов С = {с, с2, . ., с } . В каждое задание включается одинаковое число
вопросов, равное величине V / \Г\, где Г ={/ь t2,..., ^} - множество тестовых заданий. В основу выбора очередного вопроса в тестовое задание ^ положена следующая эвристика. Для всех еще нераспределенных к /-му шагу вопросов уе Т = IТ |\| Т-1! выбирается такой вопрос tI■, бальная сложность которого равна (или меньше всего отличается от этой величины):
где Q - расчетная средняя бальная оценка сложности одного задания, определяемая по формуле:
£ - сумма бальных оценок вопросов, уже вошедших в задание и рассчитывае-
мая по формуле:
Таким образом, значение величины С определяет тот вопрос, бальная оценка которого наиболее благоприятна для включения в формируемое на і-м шаге тестовое задание.
С = п!/т!(п-т)1-
п
Приведенные в [4] экспериментальные исследования алгоритма показали, что сформированные им тестовые задания могут иметь существенную дисперсию сложности. Особенно заметно это проявляется к концу формирования заданий.
Для устранения отмеченного недостатка последовательного алгоритма предлагаются две его модификации. В первой из них, все тестовые задания предлагается формировать одновременно (параллельно). В этом случае на каждом шаге работы такого алгоритма все задания будут получать по одному вопросу одновременно. Тогда к концу процесса формирования заданий в неблагоприятной ситуации окажется не одно, два последних задания, а все задания. Но такая неблагоприятная ситуация окажется сглаженной, распределенной по всем заданиям. В конечном итоге, это позволит, если не полностью избежать, то, по крайней мере, уменынить неравномерность распределения вопросов по заданиям.
Сущность второй модификации состоит в том, что сложность С. следующего
вопроса, который войдет в тестовое задание не рассчитывать изначально, а брать наибольшую из нераспределенных вопросов. Отсюда очевидно, что параллельное распределение вопросов следует начинать с самых сложных вопросов и заканчивать самыми легкими.
Действительно, распределив сначала самые сложные вопросы, затем будет легче варьировать самыми легкими вопросами для достижения сбалансированности суммарной сложности задания. В процессе распределения целесообразно также учитывать, в какое задание нужно распределить самый сложный вопрос на шаге п. Кроме того, после распределения целесообразно отсортировать порядок распределения вопросов по заданиям относительно найденного максимального вопроса.
Результаты экспериментальных исследований алгоритмов. Для всех алгоритмов были разработаны соответствующие коды программ. При проведении экспериментов задавались следующие условия их проведения: различное число вопросов, различное число тестовых заданий, различные оценки сложности вопросов, а также различное число изучаемых тем. Целью первой серии экспериментов было установление дисперсии сложности сформированных тестовых заданий тремя предложенными алгоритмами. Для обеспечения надежности экспериментов варьировались условия проведения экспериментов в каждой серии. Первый вариант условий в первой серии задан в табл. 1.
Таблица 1
Кол-во зада- ний Кол-во вопросов в задании Макс. слож- ность вопроса Кол-во тем Мат. ожида- ние Дисперсия результатов для алгоритмов
Последо- ватель- ный Парал- лель- ный Оптими- зирован- ный
5 5 5 1 14,4 1,84 0,24 0,24
5 5 5 1 12,4 0,64 0,64 0,24
5 5 5 1 11,4 2,24 0,24 0,24
5 5 5 1 14,6 1,84 0,64 0,24
5 5 5 1 13,6 0,24 0,24 0,24
В таблице (см. табл. 1) и во всех последующих таблицах в явном виде не указывается сложность вопросов. Она формируется программно случайным образом, а в соответствующей графе таблицы указывается лишь математическое ожидание сложности всех участвующих в эксперименте тестовых заданий.
На рис. 1 приведены графические зависимости дисперсии результатов распределения вопросов по билетам, соответствующие исходным данным из таблицы (см. табл. 1).
- Послед. Паралл. Оптим.
Рис. 1. Дисперсия результатов по данным таблицы (см. табл. 1)
В табл. 2 приведены исходные данные для случая наличия пяти тем и другие значения получившейся дисперсии сложности вопросов, а соответствующие графические зависимости приведены на рис. 2
Таблица 2
Кол-во зада- ний Кол-во вопросов в задании Макс. слож- ность вопроса Кол-во тем Мат. ожида- ние Дисперсия результатов для алгоритмов
Последо- ватель- ный Парал- лель- ный Оптими- зирован- ный
5 5 5 5 10,8 2,16 1,36 0,16
5 5 5 5 9,8 0,56 0,16 0,16
5 5 5 5 12,6 1,84 0,24 0,24
5 5 5 5 14,2 2,96 0,96 0,16
5 5 5 5 14,6 1,04 0,64 0,24
- Посл. Паралл. Оптим.
Рис. 2. Дисперсия результатов по данным таблицы (см. табл. 2)
В табл. 3 приведены исходные данные для случая пяти тем, 15 заданий, 10 вопросов в задании при максимальной сложности вопроса, равной 10. На рис. 3 приведены соответствующие графические зависимости.
Таблица 3
Кол-во биле- тов Кол-во вопросов в билете Макс. слож- ность вопроса Кол-во тем Мат. ожида- ние Дисперсия результатов для алгоритмов
После- дователь- ный Парал- лель- ный Оптими- зирован- ный
15 10 10 5 49,13 4,51 3,44 0,11
15 10 10 5 50,2 4,63 3,22 0,16
15 10 10 5 57 5,86 3,46 0
15 10 10 5 47,8 2,96 2,82 0,16
15 10 10 5 57 3,73 3,2 0
Рис. 3. Дисперсия результатов по данным таблицы (см. табл. 3)
Целью второй серии экспериментов является установление временной сложности алгоритмов. Для достижения этой цели в код программы был инжектирован модуль оценки временной сложности алгоритма, с помощью которого фиксировалось время работы алгоритма при увеличении количества заданий и количества вопросов в них, максимально возможной сложности задания и принадлежности вопросов определенным темам. Серия экспериментов состояла из нескольких групп, а каждая группа формировала тестовые задания последовательным, параллельным и оптимизированным алгоритмами. Результаты экспериментов обрабатывались с помощью пакета программ МаШСа^ Ниже приведены результаты двух наиболее репрезентативных групп из второй серии экспериментов.
Количество заданий в первой группе экспериментов изменялось от 20 до 30, количество вопросов в задании изменялось с 10 до 25, максимальная сложность вопроса оценивалась в 10 баллов, деление на темы отсутствовало. По оси абсцисс откладывалось количество заданий, а по оси ординат - абсолютное время в миллисекундах. При этом в диапазоне изменения количества заданий от 20 до 30 строились реальные зависимости, а в диапазонах от 0 до 20, и от 30 до 70 зависимости предсказывались путем экстраполяции пакетом программ МаШСа^ Такой подход был использован, с одной стороны, с целью сокращения объема экспериментальных исследований, а с другой стороны, с целью выявления тенденции изменения временной сложности алгоритмов в зависимости от соотношения числа заданий и числа вопросов в них. В связи с этим на рис. 4-9 выделяются четыре облака точек. Пунктирная кривая есть усредненное значение тенденции изменения сложности соответствующего алгоритма в зависимости от соотношения числа заданий и числа вопросов.
уїСО
Рис. 4. Алгоритм последовательного формирования заданий: деление на темы
отсутствует
Рис. 5. Алгоритм параллельного формирования заданий: деление на темы
отсутствует
0 20 40 60
ххскД
Рис. 6. Оптимизированный алгоритм формирования заданий: деление на темы
отсутствует
0 20 40 60
Рис. 7. Алгоритм последовательного формирования заданий: вопросы распределены по 10 темам
Рис. 8. Алгоритм параллельного формирования заданий: вопросы распределены по
10 темам
Рис. 9. Оптимизированный алгоритм формирования заданий: вопросы распределены по 10 темам
Анализ результатов экспериментальных исследований. Из рисунках (см. рис. 1-3) однозначно следует, что последовательный алгоритм дает наибольшую дисперсию сложности формируемых тестовых заданий, а оптимизированный алгоритм - наименьшую. Параллельный алгоритм занимает промежуточное положение между этими двумя алгоритмами. Анализ (см. рис. 4-9) показывает, что оптимизированный алгоритм обладает и меньшей временной сложностью.
Выяснилось также, что при разбиении вопросов по темам временная сложность исследуемых алгоритмов увеличивается. Кроме того, выявилась четкая тенденция зависимости временной сложности алгоритмов от соотношения числа заданий и числа вопросов в них. При отсутсвии распределения вопросов по темам для последовательного и параллельного алгоритмов наблюдается слабый линейный рост (не учитывая начальный участок). Оптимизированный же алгоритм дает практически постоянные рузультаты.
В случае тематического разделения вопросов временная сложность всех алгоритмов увелививается. Однако ее рост остается практически линейным, но с большим угловым коэффициентом. Но и в этом случае оптимизированный алгоритм обладает абсолютно лучшими рассматриваемыми характеристиками.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Майоров А.Н. Теория и практика создания тестов для системы образования. - М.: Интеллект-центр, 2001. - 296 с.
2. МихайлычевЕ.А. Дидактическая тестология. - М.: Народное образование, 2001. - 432 с.
3. Тесты проверки знаний: этапы разработки / Сост. Н.П. Радчикова. - Минск: РИВШ, 2007. - 30 с.
4. Глушань В.М., Липало Н.Н., Малютин В.А. Оптимизация тестовых заданий при контроле знаний // Вестник Таганрогского государственного педагогического института. Естественные науки. - Таганрог: Изд-во ТГПИ, 2007. - № 1.
5. Курейчик В.М. и др. Комбинаторные аппаратные модели и алгоритмы в САПР / В.М. Курейчик, В.М. Глушань, Л.И. Щербаков. - М.: Радио и связь, 1990. - 216 с.
6. Курейчик В.М., Писаренко В.И., Кравченко Ю.А. Инновационные образовательные технологии в построении систем поддержки принятия групповых решений // Известия ЮФУ. Технические науки. - 2008. - № 4 (81). - С. 216-22l.
Афанасьев Антон Юрьевич
Технологический институт федерального государственного автономного образовательного учреждения высшего профессионального образования «Южный федеральный университет» в г. Таганроге.
E-mail: anton@tagaz.ru. г. Таганрог, ул. Чехова, 49, кв. 41.
Тел.: 88634371651.
Кафедра кафедра систем автоматизированного проектирования; аспирант.
Глушань Валентин Михайлович
E-mail: gluval07@rambler.ru.
347922, г. Таганрог, пер. 1-й Крепостной, 34, кв. 182.
Тел.: 88634360793.
Кафедра кафедра систем автоматизированного проектирования; д.т.н.; профессор.
Карелин Владимир Петрович
Таганрогский институт управления и экономики.
347900, г. Таганрог, ул. А. Глушко, 28/1, кв. 87.
E-mail: v.karelin@tmei.ru.
Тел.: 88634383203.
Кафедра математики и информатики; заведующий кафедрой; д.т.н.; профессор. Afanasev Anton Jurevich
Taganrog Institute of Technology - Federal State-Owned Autonomy Educational Establishment of Higher Vocational Education “Southern Federal University”.
E-mail: anton@tagaz.ru.
49, Chehov Street, ap. 41, Taganrog, Russia.
The Department of Computer Aided Design; Postgraduate Student.
Glushan Valentin Mixajlovich
E-mail: gluval07@rambler.ru.
34, 1 Krepostnoi Street, ap. 182, Taganrog, 347922, Russia.
The Department of Computer Aided Design; Dr. of Eng. Sc.; Professor.
Karelin Владимир Петрович
Taganrog Management and Economics Institute.
E-mail: v.karelin@tmei.ru.
28/1, A. Glushko Street, ap. 87, Taganrog, 347900, Russia.
The Department of Mathematics and Information Science; Dr. of Eng. Sc.; Professor.
УДК 37.012
А.В. Непомнящий
ТРИНИТАРНЫЙ ПОДХОД К ПОСТАНОВКЕ ЗАДАЧ СОВРЕМЕННОГО
ОБРАЗОВАНИЯ
Обсуждается роль современного образования в обеспечении развития личности и общества в условиях вызовов и угроз, стоящих перед каждым человеком и человечеством в целом. Используя метод триад, как своеобразных архетипов человеческого сознания, формулируются инвариантные задачи образовательных систем, решение которых необходимо для преодоления кризисных явлений в обществе и жизнедеятельности каждого человека.
Образование; вызовы; угрозы; кризис; задачи; образовательные системы; архетип; тринитарный подход.
A.V. Nepomnyashchiy
THE TRIADS APPROACH TO STATEMENT OF MODERN EDUCATION
TASKS
The role of modern education in maintenance of development of the person and a society in conditions of calls and the threats facing to each person and mankind as a whole is discussed. Using a method of triads as original archetypes human consciousness, invariant tasks of educational systems which decision is necessary for overcoming the crisis phenomena in a society and the life of each person are formulated.
Еducation; calls; threats; crisis; tasks;, educational systems; archetype; triad approach.
В сознании каждого человека присутствуют структуры, которые вслед за древними греками и К.Г. Юнгом можно определить как архетипы - начальные образы. Среди совокупности этих образов мы находим и довольно конкретные и абстрактные. К последним относятся геометрические фигуры, показывающие структурную организацию Мира: точка, диполь, триада, квадрат, пентаграмма ... окружность и т.д. Сколько настоящий человек, соответствующий своему определению (чела - ученик, век - усреднённый срок существования человека в форме конкретной личности, как проекции индивидуальности), помнит себя, он всегда занимался интерпретацией этих древних символов, стараясь понять, с помощью периодически приходящих на Землю Учителей, заложенный в них смысл, чтобы сделать своё бытие более осознанным, соответствующим и сообразным замыслу Творца.
Если точка, подобно фридмону, являет собой максимум абстракции, вмещая в себя всё мироздание, то уже диполь (диада) показывает нам базовую характеристику мировосприятия обычного человека - дуальность: высокое - низкое; белое -
