Особенности использования многослойного персептрона при автоматизированном контроле знаний в электронных учебных курсах Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.588

Леванов Дмитрий Николаевич

ООО «Центр разработки мультимедийных материалов»

Россия, Москва1 Тестировщик Интернет-проектов E-Mail: [email protected]

Феоктистов Николай Алексеевич

ФГБОУ ВПО «Московский государственный университет дизайна и технологии»

Россия, Москва Профессор, доктор технических наук E-Mail: [email protected]

Особенности использования многослойного персептрона при автоматизированном контроле знаний в электронных учебных курсах

Аннотация: В статье приведено моделирование многослойного персептрона для решения задачи классификации тестируемых пользователей. Выбрана структура сети, подготовлена обучающая последовательность и проведена настройка (обучение) нейросети. Построена математическая модель и проведен ее анализ. Исследовано поведение персептрона при выставлении оценки за тест, состоящий из десяти вопросов, на примере четырёхбалльного контроля знаний. Подтверждена адекватность реакции на выходе персептрона при подаче на вход данных, не использовавшиеся при настройке сети. В результате сложились основания полагать возможным использование нейронных сетей в решении задач классификации пользователей. В ходе обсуждения поставлен вопрос о целесообразности применения технологии нейронных сетей в задачах многокритериальной классификации пользователей по множеству характеристик. С постоянно расширяющимся множеством характеристик пользователя, которые могут быть отслежены компьютерной системой, также, возникает вопрос о внедрении новых, альтернативных существующим, методов обработки информации. С этой позиции нейронные сети, с учетом сложности обоснования выбора архитектуры и трудоемкости формирования репрезентативной обучающей выборки, имеют место быть рассмотрены в качестве одного из возможных направлений на пути разрешения данной проблемы. Модель может быть использована на этапах тестирования в электронных учебных курсах для дистанционного обучения с целью индивидуализации процесса обучения и повышения объективности оценки знаний.

Ключевые слова: Образование; дистанционное обучение; система управления обучением; электронный учебный курс; нейронные сети; компьютерное тестирование знаний; классификация пользователей.

Идентификационный номер статьи в журнале 94ТУЫ214

1 ул. Маршала Савицкого, д.26, Москва, Россия, 117148 1

Введение

Проблема объективности оценки знаний, умений и навыков пользователя компьютерной системой заставляет разработчиков прибегать к анализу дополнительных критериев (характеристик пользователя), с учетом которых выставляется результирующая оценка. С возрастанием числа факторов, которые могут быть отслежены/учтены при тестировании пользователя компьютерной системой, трудоемкостью реализации такого подхода, а также ориентацией дистанционного тестирования на массовую аудиторию, очевидна необходимость оптимизации процессов обработки результатов тестирования как в системах управления обучением, так и на уровне электронных учебных курсов.

По существу, ставится задача преобразования m-мерного массива входных данных (результатов взаимодействия с пользователем во время тестирования) в n-мерный выходной массив данных (результатов за тест, выраженных в баллах или как процент успеваемости). Процессу разработки системы выставления оценки по множеству критериев, пороговые значения или интервалы которых требуется обрабатывать посредством нетривиальных программных модулей, может быть альтернативой нейронная сеть, действующая по принципу модели «черного ящика». В статье проведено исследование возможности многокритериальной классификации тестируемых пользователей многослойным персептроном [1-4].

Исходные данные и моделирование персептрона

Предположим, что пользователь завершил изучение какой-либо главы учебного курса, после чего ему предлагается ответить на 10 вопросов по пройденной теме. Пользователь отвечает на все вопросы, и система генерирует двоичный вектор результатов из десяти элементов соответственно, где 1 - означает, что студент ответил на вопрос правильно, а 0 -означает, что студент ошибся. Сгенерированный вектор ответов студента подается на входы обученной нейросети, которая вычисляет результат (выставляет оценку). Оценки могут быть четырех типов:

• «отлично» (1 0 0 0 - соответствующий оценке выходной сигнал);

• «хорошо» (0 1 0 0);

• «удовлетворительно» (0 0 1 0);

• «неудовлетворительно» (0 0 0 1).

Таким образом, необходимо спроектировать нейронную сеть, способную анализировать ответы студента и правильно выставлять оценку.

Используем пакет прикладных программ Neural Network Toolbox (Нейронные сети) мощной среды математического моделирования MATLAB.

Следует обратить внимание на структуру сети, проектирование которой будет проводиться. Для решения задачи компьютерного контроля знаний может быть использована сеть прямого распространения информации - многослойный персептрон. Многослойный персептрон непосредственно подходит для решаемой задачи, так как имеет достаточно гибкую структуру и для его обучения имеется широкий диапазон алгоритмов.

Начальная конфигурация нейронной сети прямого распространения выбрана на основе следующего эвристического правила: количество нейронов скрытого слоя равно половине суммарного количества входных и выходных нейронов. Тогда, если входных нейронов 10 (число вопросов), выходных нейронов 4 (число оценок), то скрытых нейронов 7. Архитектура многослойного персептрона, которую необходимо построить, представлена на рис. 1.

Входной Скрытый Выходной

слой слой слой

Рис. 1. Двухслойный персептрон (разработано автором)

Важно заметить, что для каждого слоя (скрытого и выходного) изображенной на рисунке нейронной сети имеется вектор смещений (на рис. 1 векторы смещений не показаны). Для нейронов скрытого слоя обозначим вектор смещений b1 (состоит из 7 элементов), а для нейронов выходного слоя b2 (состоит из 4 элементов). Смещение каждого нейрона суммируется со взвешенным входом и результат этой суммы является аргументом функции активации нейрона.

Далее сформируем обучающий набор наблюдений. Известен ряд эвристических правил. Воспользуемся одним из таких правил: количество наблюдений должно примерно составлять 3/5 от максимально возможного числа наблюдений. Входной вектор состоит из 10 бинарных элементов. Таким образом, число всевозможных его комбинаций составляет 210 = 1024. Значит, обучающая последовательность должна быть представлена примерно 600 входными образами и таким же числом ожидаемых оценок {inputs; targets}, где inputs -векторы входов, targets - векторы целей.

Векторов входа, соответствующих оценке «отлично» всего 11, соответствующих оценке «хорошо» - 165, «удовлетворительно» - 462, «неудовлетворительно» - 386. Входной вектор из 10 двоичных элементов соответствует оценке «отлично», если все его компоненты равны 1, либо хотя бы одна компонента равна 0, то есть тестируемый пользователь получает оценку 5 тогда, когда отвечает на все вопросы верно, или тогда, когда ошибается только на один какой-либо вопрос. Таким образом, векторы входа, соответствующие оценке «отлично» имеют вид:

векторы входа

0 1 1 1 11111

1 0 1 1 1 1 1 1 1 11111 11111

1 1 1 1 1 1 1 1 1 1 1 0 1 1 0 1 1 11111 11111 11111 11111

1 1 , 1 1 1 1 1 1 1 1 1 1 1 11111 0 1111 10 111

1 1 1 1 110 11

1 1 1 1 1110 1

ожидаемый выход неиросети для каждого вектора входа

1

О

О

О

Рис. 2. Векторы входа, соответствующие оценке «отлично»

(разработано автором)

Векторы входа, соответствующие оценке «хорошо» формируются исходя из того, что студент ошибся на 2 или 3 вопроса из 10, то есть нулевых компонент в векторах входа,

соответствующих ожидаемому выходу нейросети (0 1 0 0)т, будет 2 или 3. Векторы входа для оценки «удовлетворительно» будут иметь 4 или 5 нулей, а для оценки «неудовлетворительно» - 6 и более нулей.

Сформируем обучающую последовательность, которая будет состоять из 600 прототипов (всего имеется 1024 прототипа). Из оставшихся 424 прототипов 44 будут использованы при проверке нейросети на адекватность. Тестирование с помощью образов, не использованных при обучении, продемонстрирует способность нейросети к обобщению, т.е. корректному отклику на новую информацию.

Для определения значений весов и смещений, которые минимизируют ошибку обучения следует обучить нейросеть. Все алгоритмы обучения функционируют пошагово и эти шаги принято называть эпохами (циклами). На каждом цикле на вход сети последовательно подаются все элементы обучающей последовательности, затем вычисляется выходные значения сети, сравниваются с целевыми и вычисляется функционал ошибки. Значения функционала, а также его градиента используются для корректировки весов и смещений, после чего все действия повторяются. Начальные значения весов и смещений выбираются случайным образом, а процесс обучения прекращается, когда выполнено определенное количество циклов, либо когда ошибка достигнет некоторого малого значения или перестанет уменьшаться.

При такой формализации задачи обучения предполагаются известными желаемые (целевые) реакции сети на выходные сигналы, что ассоциируется с присутствием учителя, а поэтому такой процесс обучения называют обучением с учителем. Именно такая парадигма будет использована при обучении в нашем случае. Иногда алгоритмы обучения с учителем называют также алгоритмами с поощрением [2, 5, 6].

Настройка персептрона и разработка математической модели

Для обучения сети был выбран градиентный алгоритм обучения под названием Rprop (Resilient propagation. Выбор данного алгоритма для обучения нейронный сети, решающей задачу компьютерного контроля знаний, обусловлен тем, что алгоритм Rprop является самым быстрым из всех градиентных алгоритмов обучения, имеющихся в арсенале MATLAB [6-8].

Для нейронов скрытого и выходного слоев выберем логарифмические сигмоидальные функции активации. Такого типа функция активации выбрана потому, что диапазон выходных сигналов для этой функции определен от 0 до 1, и этого достаточно, чтобы сформировать значения выходного вектора.

Создадим двухслойную нейронную сеть прямой передачи сигнала с сигмоидальными функциями активации для обучения по методу обратного распространения ошибки:

пв^пежЩО 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1]. [7. 4],{*1од81д|. Тодад},

Сеть использует 1 вектор входа с десятью элементами, имеющими одинаковые допустимые границы значений [0 1]; использует 2 слоя с семью нейронами в первом (скрытом) слое и четырьмя нейронами во втором (выходном) слое; используемые функции активации: logsig - в первом слое, logsig - во втором слое; используемая функция обучения -trainrp. Теперь следует настроить некоторые параметры алгоритма обучения:

Здесь goal - предельное значение критерия обучения (ошибка сети), show - интервал вывода информации, epochs - максимальное количество циклов обучения.

Обучающая последовательность представляет собой 600 векторов входа из 10 элементов каждый и столько же соответствующих им векторов ожидаемых целей из 4 элементов каждый.

Итак, сеть построена, сформирована обучающая последовательность, выбран алгоритм обучения и настроены его параметры. Приступим к процессу обучения:

net = train(inputs, targets);

После ввода данного выражения в командную строку системы MATLAB, открылось окно процесса обучения, показанное на рис. 3. В этом окне видно, что процесс обучения завершился по достижении заданной точности за 547 эпох. Время, затраченное на обучение сети - 14 секунд. График зависимости ошибки сети от числа циклов представлен на рис. 4.

Рис. 3. Окно процесса обучения (разработано автором с помощью системы МЛТЬЛВ)

Рис. 4. График ошибки обучения (разработано автором с помощью системы МЛТЬЛВ)

Перейдем к этапу тестирования сети. Из имеющихся 1024 вариантов вектора входа в процессе обучения не использовались 424. Из этого числа были специально отобраны для контроля 44 вектора (рис. 5).

Рис. 5. Данные для тестирования (разработано автором)

Проверка реакции нейросети на тестовые образы (входные векторы):

test = [1 10011000101010010101 1110111 1100100001

1 1 1 00 0;

10100001110000001111101110011001101100 0 1 0 0 0 0;

100111 1011 1010100001010000010000010101 0 0 1110;

11100000011100010101011000110010100000 0 1110 0;

001 1010000010100100100001010100110011 1 1110 10;

00100000110101111100111001111001010101 0 11111;

00100100110011011101110001110011111010 0 11110;

01110101001001111001110100110111110101 10 0 110;

10101010110110011101011001110000110000 0 10 110;

11111100010100000100001011111100001100 110 10 0]; sim(net.test) ans =

Columns 1 through 11 0.0000 0 0.0026 0 0 0.0000 0 0 0

0.0000 0 0.9807 0 0 0.0003 0 0 0.0000

0.9828 0.0007 0.0000 0.0001 0.0006 0.9921 0.0000 0.0000 0.9999

0.0000 1.0000 0 1.0000 1.0000 0.0000 1.0000 1.0000 0.0000

В результате нейросеть не совершила ни одной ошибки, все 44 поданных на вход образа были классифицированы верно.

Построим математическую модель смоделированной двухслойной нейронной сети прямого распространения. Для этого воспользуемся математической системой автоматизированного проектирования МаШСАО [9].

В результате моделирования двухслойной нейросети прямого распространения были получены две матрицы весовых коэффициентов І-для скрытого слоя и Ц/У - для выходного слоя, а также два вектора смещений Ы - для скрытого слоя нейронов и Ь2 - для выходного слоя нейронов. Необходимо построить математическую модель заданной нейросети и провести анализ ее функционирования.

Исходные данные:

Матрица весовых коэффициентов первого слоя:

{ 0.3223 -3.9069 40.5613 0.9076 1.0216 1.2612 0.3963 1.0722 0.9479 -1.5932^

3.1227 3.0640 3.7011 3.4244 4.0045 3.6759 4.1243 3.7236 3.4145 4.0746

-1.9134 -1.3344 -1.9113 -1.9060 -1.3264 -1.3599 -1.9249 -1.3649 -1.9051 -1.3+65

-0.6599 -0.6500 -0.5376 -0.6601 -0.5510 -0.5934 -0.5172 -0.5766 -0.6105 -0.6325

4.7406 5.2511 -4.7363 4.0953 5.5230 4.3792 5.3410 4.6213 4.7774 5.5320

4.0160 3.6741 4.3217 4.1234 5.0225 4.7319 -16.4419 4.6194 4.2263

^ 0.3939 0.0335 -1.5137 0.5336 -2.7120 -1.5032 -2.0361 -1.3340 1.0315

Матрица весовых коэффициентов второго слоя:

5.2649 2.3243 у

LW :=

6 -2 -7 1

-15 -5

-3 -1247

-25343 -123 -5663 160

-130 69

293 3

2

1

2

-23

-3

4

2

о у

Вектор смещений первого слоя: 5.6943 "

-23.3671

65040

Ы := 2.9406

-13.0764

0.4071

2.4663 )

Вектор смещений второго слоя: г 9.7133 Л

Ь2:=

-4.5760 -3.9939 _-11.5662 j

Сигмоидальная функция активации для ка>едого вычислительного нейрона:

f(s) :=----------

1 + ехр(-х)

По итогам проведенного анализа, математическую модель двухслойной нейронной сети прямого распространения можно записать в следующем виде:

Здесь P - вектор входа из 10 элементов, IW - матрица весовых коэффициентов связей (синапсов) нейронов первого (скрытого) слоя со входами, Ь1 - вектор смещений нейронов первого слоя, LW - матрица весовых коэффициентов связей нейронов второго (выходного) слоя с нейронами первого слоя, Ь2 - вектор смещений нейронов выходного слоя, Дк) -логарифмическая сигмоидальная функция активации для всех нейронов сети, Y - выходной вектор сигналов нейросети (включает 4 элемента).

Выводы и рекомендации

Проведенный анализ показал, что задача классификации тестируемых пользователей по множеству входных параметров может быть адекватно решена нейронной сетью прямого распространения информации (персептроном). Однако сложности при использовании такого подхода могут быть в выборе архитектуры нейросети и подготовке репрезентативной обучающей выборки для настройки нейросети. Таким образом, использование нейронных сетей в качестве альтернативы существующим алгоритмам выставления оценки за тест, значительно усложняющимся с возрастанием числа анализируемых входных данных, вполне возможно.

81 = Р*1\У + Ь1 А = ^51)

82 = А * + Ь2

У = £(82)

или

У = ОДР * Г№ + Ы) * 1ЛУ + Ь2)

ЛИТЕРАТУРА

1. Башмаков А.И., Башмаков И.А. Разработка компьютерных учебников и

обучающих систем. [Текст] - М.: Информационно-издательский дом «Филинъ», 2003. - 616 с.

2. Галушкин А.И. Теория нейронных сетей. Кн. 1: Учеб. пособие для вузов /

Общая ред. А.И.Галушкина. - М.: ИПРЖР, 2000. - 416 с.: ил.

(Нейрокомпьютеры и их применение).

3. Ибрагимов И.М. Информационные технологии и средства дистанционного обучения: учеб. пособие для студ. высш. учеб. заведений / И.М.Ибрагимов; под ред. А.Н.Ковшова. - 2-е изд., стер. - М.: Издательский центр «Академия», 2007.

- 336 с.

4. Свиридов А.П. Статистическая теория обучения: монография. - М.:

Издательство РГСУ, 2009. - 576 с.

5. Рассел, Стюарт, Норвиг, Питер. Искусственный интеллект: современный

подход, 2-е изд.: Пер. с англ. - М.: Издательский дом “Вильямс”, 2006. - 1408 с.: ил.

6. Медведев В.С., Потемкин В.Г. Нейронные сети. MATLAB 6 / Под общ. ред. к.т.н. В.Г.Потемкина. - М.: ДИАЛОГ-МИФИ, 2002. - 496 с. - (Пакеты прикладных программ; Кн. 4).

7. Маслобоев Ю.П. Введение в Neural Network Toolbox [Электронный ресурс] -Режим доступа: http://matlab.exponenta.ru/neuralnetwork/book1/index.php

8. Нейронные сети [Электронный ресурс] - Режим доступа: http://neurocomp.ru/2009/07/01/nejronnye-seti/

9. Шушкевич Г.Ч. Введение в MathCAD 2000: Учеб. пособие / Г.Ч.Шушкевич, С.В.Шушкевич. - Гродно: ГрГУ, 2001. - 138 с.

Рецензент: Мохов Андрей Игоревич, доктор технических наук, профессор, декан факультета информационных технологий, НОУ ВПО ИГУПИТ.

Dmitriy Levanov

Tsentr Razrabotki Multimediynykh Material ov

Russia, Moscow E-Mail: [email protected]

Nikolay Feoktistov

Moscow State University of Design and Technology

Russia, Moscow E-Mail: [email protected]

Features of use of multilayer perceptron for automated control of knowledge in e-learning courses

Abstract: This article contains a simulation of multilayer perceptron for solving the problem of classification of users during testing. Structure of neural network is selected, prepared and conducted training setting (teaching) neural network. Built a mathematical model and carried out the analysis. Held the analysis of behavior of the perceptron for the test assessment consisting of ten questions on the example knowledge control on four-point rating scale. Confirmed the adequacy of the reaction at the output of the perceptron when applied to the input data is not used when configuring the network. As a result there is reason to believe it possible to use neural networks for solving classification problems users. During the discussion raised the question of the appropriateness uses of neural network technology in multicriteria classification problems of a variety of user characteristics. With an ever expanding set of characteristics of the user, which can be tracked by the computer system, also raises the question of the introduction of new, alternative to existing methods of information processing. From this position, neural networks, given the complexity of the architecture and justify the selection of the complexity of forming a representative sample of the training , there are to be considered as one of the possible directions on how to resolve this problem. Model can be used in the testing phase in e-learning courses for distance learning with a view to customize adaptive the learning process and improve the objectivity of knowledge assessment.

Keywords: Education; e-learning; Learning Management System; electronic learning course; neural networks; computer testing knowledge; classification of users.

Identification number of article 94TVN214

1.

2.

3.

4.

5.

6.

7.

8. 9.

REFERENCES

Clogs AI, IA Bashmakov Development of computer textbooks and training systems. [Text] - M.: Information and Publishing House "Filin", 2003. - 616 p.

Galushkin AI The theory of neural networks. Book. 1: Textbook manual for schools / General Ed. A.I.Galushkina. - M.: IPRZhR, 2000. - 416 p.: (Neurocomputers and their application).

Ibragimov IM Information technology and distance learning: studies allowance for stud. vyssh. Textbook institutions / I.M.Ibragimov; ed. A.N.Kovshova. - 2nd ed., Sr. -Moscow: Publishing Center "Academy", 2007. - 336 p.

Sviridov A.P. Statistical learning theory: a monograph. - M.: Publishing RSSU 2009.

- 576 p.

Russell Stewart, Norvig, Peter. Artificial Intelligence: A Modern Approach, 2nd ed. Russ. from English. - Moscow: Publishing House "Williams", 2006. - 1408 p.

V.S. Medvedev, V.G. Potemkin. Neural networks . MATLAB 6 / Under total. Ed. Ph.D. V.G.Potemkina. - M.: DIALOG- MiFi 2002. - 496 p. - (Application Packages; Bk. 4).

Masloboev Y.P. Introduction to Neural Network Toolbox [ electronic resource] -Access mode : http://matlab.exponenta.ru/neuralnetwork/book1/index.php

Neural networks [electronic resource] - Access mode: http://neurocomp.ru/2009/07/01/nejronnye-seti/

Shushkevich G.C. Introduction to MathCAD 2000: Proc. Benefit / G.Ch.Shushkevich,

S.V.Shushkevich. - Grodno Grodno State University, 2001. - 138 p.