CC BY
59
УДК 519.95
МОДЕЛИРОВАНИЕ ПСИХОЛОГИЧЕСКОГО ТЕСТА С ПОМОЩЬЮ АППАРАТА ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ
© А.А. Арзамасцев, Н.А. Зенкова
Arzamastsev A.A., Zenkova N.A. Modelling a psychological test with the aid of the apparatus of artificial neuron nets. A model of L.A. Yovaishi’s psychological test is developed with the aid of the apparatus of artificial neuron nets (ANNs). The application of the model allows determining the inner structure of the test. The results of the modelling testify to the possibility to use ANNs in developing new systems of psychological testing and personal characteristics identification.
В данной работе осуществлена проверка возможности использования аппарата искусственных нейронных сетей (ИНС) в решении задач идентификации внутренней структуры психолого-педагогических объектов и предпринята попытка моделирования теста по выявлению склонностей индивидов к различным сферам деятельности. Тест представляет собой компьютерный вариант методики JI.A. Иовайши. Он разработан в Севастопольском городском центре занятости и получен как freeware с сайта www.psychology.net.ru.
Психологический тест был выбран в качестве объекта моделирования по следующим причинам. Во-первых, тест представляет собой модель определенных свойств (качеств) некоторой абстрактной усредненной личности. Поэтому, если с помощью аппарата ИНС удастся построить адекватную модель такого объекта, то это фактически означает, что данный математический аппарат в принципе можно использовать для моделирования, прогнозирования, идентификации внутренней структуры и получения оценок свойств самой личности. Во-вторых, такой модельный объект, как тест, в значительной степени более удобен в исследованиях, чем человек. При работе с ним снимаются проблемы достоверности ответов, а полученные оценки являются осредненными для значительных групп, что снимает проблему их представительности. В-третьих, при работе с человеком, для получения значительной по объему матрицы наблюдений, необходимы существенные временные затраты, а тест без особых трудностей можно прогонять многократно и создавать обучающую выборку большого размера для ИНС.
Предварительно тест Л.А. Иовайши был исследован на стационарность и валидность получаемых оценок. Для этой цели тестировали десятерых сотрудников института математики, физики и информатики ТГУ имени Г.Р. Державина, для которых по опыту их работы были предварительно получены объективные оценки их личностных качеств. После тестирования коэффициент корреляции объективных и тестированных значений склонностей к различным сферам деятельности превысил 0,7, что было сочтено нами как удовлетворительный результат.
В качестве искусственной нейронной сети была выбрана программа типа freeware - Neural Network Constructor (NNC), version 3.01, 2001, разработанная в
ВЦ РАН. Автор программы В.В. Крепец. Ее рабочая версия доступна в сети Internet по адресу http://vkrepets.chat.ru/NNC.exe. Данная программа позволяет использовать до 60 входных нейронов, варьировать функцией нейрона, количеством слоев и связей сети. Она содержит в себе готовые алгоритмы обучения по методам покоординатного спуска, случайного поиска, Ньютона, статистического градиента и их комбинациям.
Всю последовательность работ по формированию первичной ИНС модели проводили в точном соответствии с методологией, разработанной в [1].
Полный перечень вопросов теста Л.А. Иовайши приведен в табл. 1. Тестируемый должен выбрать один из четырех вариантов ответа: < Конечно А >, < Конечно Б >, < Скорее А, чем Б >, < Скорее Б, чем А >. После того, как ответы на все тридцать вопросов получены, программа осуществляет вывод оценок склонностей к различным сферам деятельности (рис. 1).
Выборку для обучения искусственной нейронной сети формировали следующим образом. Сначала были сгенерированы по методу Монте-Карло 109 различных возможных последовательностей ответов. Полностью эти последовательности приведены в приложениях к работе [2]. Возможные варианты ответов на вопросы обозначали цифрами: < Конечно А > - 1, < Конечно Б > - 2, < Скорее А, чем Б > - 3, < Скорее Б, чем А > - 4. В результате многократного прогона теста из него были получены значения тестируемых свойств (склонность к работе с людьми; умственным видам работ; работе на производстве; эстетике и искусству; подвижным видам деятельности; планово-экономическим видам работ, или степень материальной заинтересованности). Численные значения указанных свойств также приведены в приложениях к работе [2].
В качестве начального варианта структуры искусственной нейронной сети была выбрана конструкция, называемая перцептроном: тридцать входных (input) нейронов (по числу вопросов теста), соединенных с нейроном с линейной функцией, и один выходной (output) нейрон. Такая простая конфигурация ИНС была выбрана в качестве начального варианта, однако, его дальнейшее тестирование показало, что для данной задачи указанная структура является вполне приемлемой.
Таблица 1
Вопросы теста Л.А. Йовайши
Номер вопроса Содержание вопроса
1 Правы те люди, которые считают, что важнее: А. Много знать. Б. Создавать материальные блага
2 Что Вас больше всего привлекает при чтении книг: А. Прекрасный литературный стиль. Б. Яркое изображение смелости и храбрости героев
3 Какое награждение Вас больше всего обрадовало бы: А. За научное изобретение Б. За общественную деятельность на общее благо
4 Если бы представилась возможность, какой пост Вы бы выбрали: А. Директора универмага. Б. Главного инженера завода
5 Что следует больше ценить у участников самодеятельности: А. То, что они несут людям искусство и красоту. Б. То, что выполняют общественно-полезную работу
6 Какая область деятельности человека в будущем будет иметь доминирующее значение: А. Физика. Б. Физическая культура
7 Если бы Вам предоставили пост директора школы, на что бы Вы обратили больше внимания: А. На создание необходимых удобств (удобная столовая и т. д.). Б. На сплочение дружеского и трудолюбивого коллектива
8 Вы на выставке. Что Вас больше всего привлекает: А. Цвет и совершенство формы экспонатов. Б. Их внутреннее устройство (как и из чего они сделаны)
9 Какие черты характера в человеке Вам больше нравятся: А. Мужество, смелость, выносливость. Б. Дружелюбие, чуткость, отсутствие корысти
10 Представьте себе, что Вы профессор университета. Какому предмету Вы отдали бы предпочтение в свободное время: А. Занятиям по литературе. Б. Опытам по физике, химии
11 Вам предоставляется возможность посетить разные страны. В качестве кого Вы бы охотно поехали: А. Как известный спортсмен на международные соревнования. Б. Как известный менеджер для покупки товаров
12 Какая из статей в газете вызвала бы у Вас больший интерес: А. Статья о машине нового типа. Б. Статья о новой научной теории
13 Вы смотрите парад. Что больше привлекает Ваше внимание: А. Слаженность ходьбы, бодрость, грациозность участников. Б. Внешнее оформление колонн (знамена, одежда и т. д.)
14 Представьте, что у Вас много свободного времени. Чем бы Вы охотнее занялись: А. Чем-либо практическим (ручным трудом). Б. Общественной работой (на добровольных началах)
15 Какую выставку Вы посмотрели бы с большим удовольствием: А. Выставку новых продовольственных товаров. Б. Выставку новинок научной аппаратуры (физики, биологии)
16 Если бы в школе были только два кружка, какой бы Вы выбрали: А. Технический. Б. Музыкальный
17 Как Вам кажется, на что следовало бы обратить больше внимания в школе: А. На успеваемость учащихся - это необходимо для их будущего. Б. На спорт - это необходимо для укрепления их здоровья
18 Какие журналы Вы читали бы с большим удовольствием: А. Научно-популярные. Б. Литературнохудожественные
19 Какая из двух работ на свежем воздухе Вас больше бы привлекла: А. Работа с машинами и механизмами. Б. Ходячая работа (агроном, лесничий, дорожный мастер)
20 На Ваш взгляд, для школы важнее подготовить учащихся: А. К практической деятельности (создавать материальные блага). Б. К работе с людьми, чтобы они могли помогать другим в этом
21 Трудами каких выдающихся ученых Вы больше интересуетесь: А. Попова, Циолковского. Б. Менделеева, Павлова
22 Что важнее для человека: А. Создать себе благополучный, удобный быт. Б. Иметь возможность пользоваться духовными ценностями
23 Что важнее для благополучного будущего цивилизации: А. Правосудие. Б. Техника
24 Какую из двух книг Вы с большим удовольствием читали бы: А. О достижениях спортсменов. Б. О развитии промышленности
25 Что принесет обществу больше пользы: А. Забота о благосостоянии граждан. Б. Изучение поведения людей
26 Что, на Ваш взгляд, более целесообразно: А. Больше развивать службу быта. Б. Создать технику, которой можно было бы пользоваться самим
27 Какие лекции Вы слушали бы с большим удовольствием: А. О выдающихся ученых. Б. О выдающихся художниках
28 Какого характера научную работу Вы бы выбрали: А. Работу с книгами в библиотеке. Б. Работу на свежем воздухе в экспедиции
29 Что бы Вас больше заинтересовало в печати: А. Сообщение о выигрыше денежно-вещевой лотереи. Б. Сообщение о состоявшейся художественной выставке
30 Какой профессии Вы отдали бы предпочтение: А. Физкультуре или работе,связанной с движением. Б. Работе малоподвижной, но по созданию новой техники
Чен вышз Ваш бал по топу ипи инопу показателю, теп лучик развита склонность к той или иной сфере деятельности.
В - склонность к работе с лкюьпи;
Б - склонность к упственнып видан работ;
В - склонность к работе на производстве;
Г - склонность к эстетике и искусству;
Д - склонность к подвияшп видап деятельности;
Е - склонность к ппаноБО-эконопическип видан работ или степень материальной заинтересованности.
Рис. I. Результаты тестирования по методике Л.А. Йовайши
У4
У3
ь
У1
а)
XХ2 Х3 Х4 *
Х1 х4 Х2 Х3
Рис. 2. а) Линейная зависимость между факторами х и у. Ь) Неверный выбор последовательности факторов хь х2, х3 и х* превращает линейную зависимость в параболическую
Первые же попытки обучения ИНС показали, что функция невязки между расчетным и экспериментальным значениями векторов выходных координат быстро уменьшается. Однако окончательное значение невязки составляет 7,43, что далеко он нулевого уровня. Попытки варьирования активационной функцией нейрона показали, что значительно уменьшить значение невязки (до значения 6,45) позволяет лишь активационная функция, представляющая собой параболическую зависимость третьей степени. Было сделано заключение о том, что, возможно, имеет место неверный выбор последовательности аргументов (см. рис. 2). В связи с этим была предпринята попытка поменять местами номера ответов на каждое задание следующим образом: 1 —> 1, 2—> 4, 3 -» 2, 4 —> 3. Если в исходном случае четыре возможных варианта ответов на каждое задание были выстроены в последовательности: < Конечно А >, < Конечно Б >, < Скорее А, чем Б >, < Скорее Б, чем А >, то после замены эта последовательность ответов была проранжирована по принципу от меньшего к большему, т. с.; < Конечно А > — 1, < Ско-рее А, чем Б > - 2, < Скорее Б, чем А > - 3, < Конечно Б > - 4 (табл. 2).
После такой коррекции нейронная сеть хорошо и быстро обучалась. При использовании в качестве активационной функции линейной зависимости значение невязки составило порядка 1(Г9, что соответствовало максимальной относительной погрешности модели по сравнению с обучающей выборкой всего в 0,2 %. На рис. 3-8 показаны коэффициенты передачи нейронов, полученные при моделировании различных свойств
(личностных качеств), краткое обозначение которых приведено в табл. 3. Схемы, показанные на рис. 3-8, названы нами первичной ИНС моделью теста Л.А. Йовайши.
Анализ первичной ИНС модели теста (рис. 3-8) на основе абсолютных величин коэффициентов передачи каналов позволяет сделать следующие выводы.
Уровни абсолютных величин коэффициентов передачи каналов отличаются более чем на шесть порядков. При этом они кластеризуются около значений порядка 10~6 и 0,1-0,4. Каналы нейронной сети, имеющие коэффициенты передачи порядка 10~6, не оказывают существенного влияния на выходную величину, в связи с чем они могут быть истолкованы как незначимые.
Каждый из имеющихся вопросов является значимым для оценки какого-либо личностного качества, т. е. в отношении всего теста. Только по десять вопросов из тридцати являются значимыми для определения каждого качества личности в отдельности. Это хорошо видно по абсолютным величинам коэффициентов передачи каналов (рис. 3-8). Ответ респондента на каждый из тридцати вопросов используется в тесте дважды, т. е. для идентификации двух различных качеств личности, причем, если в одном случае ответ имеет положительный, то в другом случае отрицательный весовые коэффициенты. Это означает, что при выборе ответа на вопрос мы увеличиваем результат тестирования одного качества и при этом обязательно уменьшаем результат тестирования другого качества. Например, ответ на десятый вопрос (представьте себе, что Вы профессор университета; какому предмету Вы отдали бы предпочтение в свободное время: А. занятиям по литературе; Б. опытам по физике, химии; см. табл. 1) имеет положительный коэффициент передачи 0,38 при оценке качества Б (склонность к умственным видам работ, см. рис. 4) и отрицательный коэффициент передачи -0,36 при оценке качества Г (склонность к эстетике и искусству, см. рис. 6). Во всех остальных случаях
Таблица 2
Соответствие вариантов ответов на вопросы теста
Л.А. Йовайши и номеров ответов в ИНС модели
Варианты ответа Номера ответов
Конечно А 1
Скорее А, чем Б 2
Скорее Б, чем А 3
Конечно Б 4
Таблица 3
Обозначения качеств личности теста Л.А. Йовайши
Качества личности Обозначение
Склонность к работе с людьми Качество А
Склонность к умственным видам работ Качество Б
Склонность к работе на производстве Качество В
Склонность к эстетике и искусству Качество Г
Склонность к подвижным видам деятельности Качество Д
Склонность к планово-экономическим видам работ или степень материальной заинтересованности Качество Е
(рис. 3, 5, 7, 8) ответ на десятый вопрос является незначимым. Это означает, что, если респондент ответит на десятый вопрос < Конечно А >, что соответствует номеру 1 (см. табл. 2), то это приведет к увеличению оценки качества Б, но одновременно уменьшит оценку качества Г. Если же респондент ответит на десятый вопрос < Конечно Б >, что соответствует номеру 4 (см. табл. 2), то это приведет к увеличению оценки качества Г, но одновременно уменьшит оценку качества Б.
В табл. 4 указаны значимые вопросы в определении качеств А-Е. Ее использование совместно с рис. 9 позволяет проводить эксперименты с тестом таким образом, чтобы максимизировать или минимизировать оценку какого-либо качества. Например, при оценке
качества Б значимыми являются только ответы на вопросы 1, 3, 6, 10, 12, 15, 18, 21, 25 и 28 теста. Причем, для максимизации оценки качества Б при ответе на вопросы теста, на вопросы, имеющие отрицательные коэффициенты передачи (1, 3, 6, 18 и 28), необходимо отвечать - < Конечно А >, а на вопросы, имеющие положительные коэффициенты передачи (10, 12, 15, 21 и 25), необходимо отвечать - < Конечно Б >. При этом оценка качества Б будет равняться 30 баллам. Ответы на другие вопросы теста не оказывают влияния на оценку качества Б. Для минимизации оценок качества Б необходимо поступать наоборот - т. е. отвечать < Конечно Б > на вопросы (1, 3, 6, 18 и 28) и < Конечно А > на вопросы (10, 12, 15, 21 и 25). При этом оценка качества Б будет равняться нулю баллов.
Рис. 3. Первичная ИНС модель качества А (склонность к ра- Рис. 4. Первичная ИНС модель качества Б (склонность к умст-боте с людьми). Средняя квадратичная ошибка модели в срав- венным видам работ). Средняя квадратичная ошибка модели в нении с тестом - 9,69-10 9 сравнении с тестом - 9,6-10 9
Рис. 5. Первичная ИНС модель качества В (склонность к работе на производстве). Средняя квадратичная ошибка модели в сравнении с тестом - 9,71-10 9
Рис. 6. Первичная ИНС модель качества Г (склонность к эстетике и искусству). Средняя квадратичная ошибка модели в сравнении с тестом - 9,36-10 9
Таблица 4
Значимость вопросов при тестировании качеств личности по методике Л.А. Йовайши
Тестируемое качество личности Значимые вопросы
Качество А (склонность к работе с людьми) 3, 5, 7, 9, 14, 17, 20, 23, 25, 27 (всего 10 значимых вопросов)
Качество Б (склонность к умственным видам работ) 1, 3, 6, 10, 12, 15, 18, 21, 25, 28 (всего 10 значимых вопросов)
Качество В (склонность к работе на производстве) 4, 8, 12, 14, 16, 19, 21, 23, 26, 30 (всего 10 значимых вопросов)
Качество Г (склонность к эстетике и искусству) 2, 5, 8, 10, 13, 16, 18, 22, 27, 29 (всего 10 значимых вопросов)
Качество Д (склонность к подвижным видам деятельности) 2, 6, 9, 11, 13, 17, 19, 24, 28, 30 (всего 10 значимых вопросов)
Качество Е (склонность к планово-экономическим видам работ или степень материальной заинтересованности) 1, 4, 7, 11, 15, 20, 22, 24, 26, 29 (всего 10 значимых вопросов)
Рис. 7. Первичная ИНС модель качества Д (склонность к подвижным видам деятельности). Средняя квадратичная ошибка модели в сравнении с тестом - 9,59-10 9
Рис. 8. Первичная ИНС модель качества Е (склонность к планово-экономическим видам работ или степень материальной заинтересованности). Средняя квадратичная ошибка модели в сравнении с тестом - 8,56-10~9
Модели качеств А-Е (рис. 9) теперь можно объединить в общую ИНС модель теста Л.А. Иовайши Эта модель показана на рис. 10.
Проверку адекватности модели проводили с использованием новой случайной выборки ответов на вопросы теста (такая последовательность ответов не использовалась в обучающей выборке). В табл. 5 показаны рассчитанные по ИНС модели оценки качеств А-Е в сравнении со значениями, полученными из теста. Средняя относительная погрешность модели составила около 2,7 %, что может быть интерпретировано как удовлетворительный результат. ИНС модель, показанная на рис. 10, может быть признана адекватной.
Таблица 5
Проверка адекватности ИНС модель теста Л.А. Иовайши
Показатель Качество А Качество Б Качество В Качество Г Качество Д Качество Е
Тест 14 15 14 17 14
Расчет 13,5 14,7 13,5 15,7 15,8 13,4
Отн. погр., % 3,5 2,1 3,8 7,4 1,3 4,1
Тест 12 11 13 14 18 22
Расчет 11,3 10,1 12,3 14,5 18,2 22,7
Отн. погр., % 5,7 8,5 5,4 3,9 1,2 3,1
Тест 16 12 15 16 10 21
Расчет 15,8 11,2 14,6 15,3 8,7 21,5
Отн. погр., % 1,2 6,6 2,8 4,3 12,6 2,3
X
©
©
©
(10)
63
■0,40498 -0,37091 -0,37379 0,38742 0,402 0,36767
(18^6801 0 0,35506 0 0,38282 0-0,38935
Качество Б
. 0,34844
Качество В
X
,0,41468
Качество Е
Рис. 9. Фрагменты ИНС модели с удаленными несущественными связями. Средняя квадратичная ошибка фрагментов в сравнении с тестом: для качества А - 4,68-10-6; для качества Б - 2,85-10~6; для качества В - 6,41 -10-6; для качества Г - 5,55-Ю-6; для качества Д - 3,61 • 10~6; для качества Е — 3,86-10-6
Рис. 10. Полная ИНС модель теста Л.А. Йовайши
Интересно отметить следующий факт. Полное число комбинаций ответов по тесту Л.А. Йовайши есть: 430 = 1152921504606846976. Здесь 4 - число вариантов ответа на один вопрос; 30 - общее число вопросов. Поскольку матрица обучающей выборки включала всего 109 строк, то аппарат ИНС позволил получить адекватную модель по 109/1152921504606846976 = = 9,454-1017 части генеральной совокупности данных. Такую способность ИНС к построению адекватной модели в условиях недостатка исходных данных можно считать просто потрясающей!
Таким образом, эксперименты с построением ИНС модели психологического теста показали принципи-
альную возможность использования аппарата искусственных нейронных сетей в решении задач идентификации внутренней структуры психолого-педагогических объектов.
ЛИТЕРАТУРА
1. Арзамасцев Л.А., Зенкова Н.А. Моделирование в психологии на основе искусственных нейронных сетей. Тамбов: Изд-во ТГУ им. Г.Р. Державина, 2003. 106 с.
2. Зенкова Н.А. Психологическая модель готовности студентов первого курса к обучению в вузе: дис. ... канд. психол. наук. Тамбов, 2003.
Поступила в редакцию 15 апреля 2005 г.
