CC BY
67
УДК 519.95
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ СОЦИАЛЬНОГО ОБЪЕКТА С ИСПОЛЬЗОВАНИЕМ КЛАСТЕРНЫХ СИСТЕМ
© А.А. Арзамасцев, О.В. Крючин, Н.А. Зенкова, Д.В. Слетков
Ключевые слова: искусственные нейронные сети; моделирование социальных объектов; кластерные системы; параллельные вычисления; градиентный метод определения весовых коэффициентов.
В данной статье приводятся результаты моделирования социального объекта, представляющего собой зависимость профессиональной предрасположенности школьников от их личностных качеств. В качестве средства моделирования используется аппарат искусственных нейронных сетей (ИНС). Приведены результаты сравнения временных затрат на подбор весовых коэффициентов ИНС-модели последовательным и параллельным алгоритмами.
ВВЕДЕНИЕ
В настоящее время для моделирования социальных объектов разработано достаточно большое количество методологических приемов и технологий, такие как искусственные нейронные сети, мультиагентный подход и др. [1].
Аппарат искусственных нейронных сетей (ИНС) нашел широкое применение в различных областях науки, а именно в тех случаях, когда необходимо разработать математическую модель объекта, структура которой не может быть определена существующими в данных областях законами и закономерностями [2].
На наш взгляд, большой интерес представляет использование аппарата искусственных нейронных сетей в социальной сфере. В проведенных нами ранее исследованиях было установлено, что аппарат ИНС является эффективным математическим аппаратом для моделирования объектов в психологической и социальной сферах [3-5]. Также было разработано специальное программное обеспечение, позволяющее моделировать объекты, имеющие социальную природу [6]. Основным недостатком данной технологии являются значительные временные затраты на построение ИНС-модели. Использование кластерных систем позволяет существенно снизить такие затраты [7].
Целью данной работы является построение ИНС-модели, способной определить зависимость профессиональной предрасположенности школьников от их личностных качеств и сравнение скорости ее построения с использованием последовательных и параллельных методов.
ПОДГОТОВКА ОБУЧАЮЩЕЙ ВЫБОРКИ
Для построения ИНС-модели были использованы данные, полученные в 2004-2005 гг. сотрудниками кафедры компьютерного и математического моделирования ИМФИ ТГУ им. Г.Р. Державина [8].
В качестве метода исследования было выбрано анкетирование. Анкета включала в себя вопросы, выявляющие различные личностные и профессиональные
качества старшеклассников. В исследовании приняли участие три государственные типовые школы (№» 3, 26, 36) и один лицей (№» 6). Основная доля респондентов (99,4 %) находится в возрастном диапазоне от 14 до 18 лет (14 лет - 20,8 %, 15 лет - 34,4 %; 16 лет - 32,3 %; 17 лет - 11,6 %; 18 лет - 0,3 %). Юноши составили 49,0 %, девушки - 51,0 % опрошенных [8].
По результатам анкетирования была сформирована обучающая выборка, содержащая 57 входных столбцов (по количеству вопросов анкеты) и 1 выходной (соответствующий выбранному профессиональному направлению). Данные выборки были пронормированы в диапазоне М [9 10].
ПОСТРОЕНИЕ ИНС-МОДЕЛИ
Задача определения зависимости профессиональной предрасположенности школьников от их лично ст-ных качеств сводится к нахождению параметров й функции Р из формулы (1) так, чтобы значение невязки ев формуле (2) было минимальным.
Уг=Р(Х„й) , (1)
1 Ы
е = е()=2 (((, й)- ё)2. (2)
,=1
Здесь х, - номера вариантов ответа из I -й анкеты, й - вектор весовых коэффициентов, ё, - номер выбранного профессионального направления из I -й анкеты, N - количество анкет.
В качестве структуры ИНС-модели был выбран многослойный персептрон, содержащий 3 слоя - входной, выходной и скрытый. Входной слой содержит 57 нейронов (по количеству столбцов в обучающей выборке), выходной - 1 нейрон, а количество нейронов на скрытом слое подбиралось автоматически. Изначально был взят 1 нейрон на скрытом слое, а затем их количе -
ство постепенно увеличивалось. При добавлении нейрона на скрытый слой производился подбор весовых коэффициентов и вычислялось значение невязки е (2).
Для проверки адекватности построенной ИНС-модели было вычислено количество строк обучающей выборки, в которых выходные соответствуют выходным значения ИНС у1 - М . Погрешность (строк, в
которых выходное значение из обучающей выборки не совпадает с выходным значением, полученным ИНС) вычисляется по формуле (3). Для адекватной сети это значение не должно превышать 10 % [9].
М
N
(3)
График зависимости значения погрешности от количества нейронов на скрытом слое изображен на рис. 1. Как видно из этого графика, значение погрешности изменялось от 90 % (при 1 нейроне на скрытом слое) до 10 % (при 99 нейронах на скрытом слое). Структура ИНС, полученная в результате обучения, представлена на рис. 2.
В данной работе для подбора весовых коэффициентов был использован градиентный метод наискорейшего спуска для минимизации функции (2). При использовании данного алгоритма вычисляется значение градиента (4), а затем происходит изменение весовых ко -эффициентов в противоположном ему направлении по формуле (5)
Г
і (іг)= УЕ
дЕ(м') дЕ((р) дЕ(н)
дн^ ’ дн1 ’ ’ дн
і -1 . н )
(4)
Рис. 1. График зависимости погрешности от количества нейронов на скрытом слое
Рис. 2. Структура многослойного персептрона, используемого при обучении
М>(к). =М>(к - 1), + Ай(к). =М>(к - 1), -^(к)^к); , (5)
где (к) - коэффициент обучения (шаг), к - номер
итерации (эпохи) обучения, / - индекс весового коэффициента. Для успешной сходимости алгоритма на-„ (0) следует устанавливать равным
чальное значение 5,
1, а затем уменьшать по формуле (6). (к) = 5С • (к — 1) 5С< 1.
(6)
ИСПОЛЬЗОВАНИЕ КЛАСТЕРНЫХ СИСТЕМ
В качестве параллельного алгоритма обучения был использован градиентный алгоритм, адаптированный для кластерных систем.
Для вычисления значения н(к) необходимы только значения вектора н(к — 1), т. е., зная значения весовых коэффициентов на (к — 1 )-й итерации, можно вычислить значения на к -й итерации независимо друг от друга.
При наличии п процессоров можно разделить вектор весовых коэффициентов на п частей (рис. 3). Часть, доставшаяся ведущему процессору, содержит
весовых коэффициентов, а остальные - по ін весовых коэффициентов (7), (8) [11].
к
(п — О'
Nн =1н — 1н (п — 1) .
(7)
(8)
На рис. 4-5 изображены диаграммы алгоритмов подбора весовых коэффициентов градиентным методом. На рис. 4 представлена диаграмма алгоритма подбора весовых коэффициентов на управляющем процессоре. Цифрами обозначены следующие блоки.
1) Получение нейросетевой структуры. Формирование активационных функций. Инициализация весовых коэффициентов.
2) Рассылка структуры на все процессоры с 1 по и-1.
Процессор 0
Процессор 1
Процессор 2
Процессор п-1
Рис. 3. Схема размещения вектора весовых коэффициентов по процессорам
Є
р
3-4) Вычисление по формуле (5) новых значений весовых коэффициентов, размещенных на ведущем процессоре.
5-6) Получение с других процессоров вычисленных ими весовых коэффициентов.
7-8) Рассылка новых значений весовых коэффициентов на все процессоры.
9) Проверка критерия необходимости продолжения обучения (по количеству итераций, погрешности и т. п.) и отправка на все процессоры.
На рис. 5 представлена диаграмма алгоритма подбора весовых коэффициентов на неуправляющем процессоре. Цифрами обозначены следующие блоки.
1) Получение с ведущего процессора нейросетевой структуры.
2-3) Вычисление по формуле (5) новых значений весовых коэффициентов, размещенных на данном про-
цессоре. Значения A и B вычисляются следующим образом: Л = (к -1) + NК , Б = (к) + NК -1.
4) Отправка весовых коэффициентов на ведущий процессор.
5) Получение с ведущего процессора новых значений весовых коэффициентов.
6) Получение новых значений весовых коэффициентов.
7) Получение сообщения о необходимости продолжать или прекратить подбор весовых коэффициентов.
Результатом выполнения операций, представленных на рис. 4 -5, является набор значений весовых коэффициентов, оптимальных для данной ИНС-модели.
При обучении ИНС был использован вычислительный кластер ТГУ им. Г.Р. Державина, состоящий из 8 вычислительных узлов (каждый вычислительный узел содержит 2 процессора).
Рис. 4. Диаграмма алгоритма подбора весовых коэффициентов на управляющем процессоре 1462
Рис. 5. Диаграмма алгоритма подбора весовых коэффициентов на неуправляющем процессоре
В качестве программного обеспечения использовался универсальный симулятор, базирующийся на технологии искусственных нейронных сетей, способный работать на кластерных системах [12].
На рис. 6 изображен график зависимости временных затрат от количества используемых процессоров. Как видно из этого графика, при использовании последовательной версии алгоритма обучения построение ИНС-модели заняло примерно 347 часов, при использовании параллельной версии обучения и двух процессоров - уже 184 часа, а при использовании 16 процессоров - 23 часа. Для определения эффективности параллельных алгоритмов необходимо посчитать количество мультипликативных и аддитивных операций, вы-
полняемых последовательным и параллельным алгоритмом. Коэффициент эффективности можно рассчитать по формуле (9):
а = -
2 +
П тах (2к+ <к)
(9)
где 2 - количество мультипликативных операций, выполняемых последовательной версией алгоритма обучения, Zk - количество мультипликативных операций, выполняемых параллельной версией алгоритма обучения на к-м процессоре, ^ - количество аддитивных операций, выполняемых последовательной версии
Рис. 6. График зависимости времени, затраченного на обучение ИНС от количества используемых процессоров
Таблица 1
Значения коэффициента эффективности параллельных алгоритмов при различном количестве используемых процессоров
Количество процессоров Значение коэффициента эффективности, %
2 92,12 і 0,01
4 92,12 і 0,01
б 92,12 і 0,01
8 92,11 і 0,01
10 92,11 і 0,01
12 92,11 і 0,01
14 92,10 і 0,01
1б 92,10 і 0,01
ей алгоритма обучения, ^к - количество аддитивных операций, выполняемых параллельной версией алгоритма обучения на к-м процессоре, а - коэффициент, показывающий, во сколько раз мультипликативная операция занимает больше времени, чем аддитивная (одну мультипликативную операцию можно заменить на а аддитивных).
Поскольку использование формулы (9) затруднительно, то количество операций можно заменить на временные затраты (поскольку временные затраты почти прямо пропорциональны количеству операций). В этом случае формулу (9) можно заменить на (10).
t
n т
(n )
(10)
где ? - время, затраченное последовательным алгоритмом, т(п) - время, затраченное параллельным алгоритмом при использовании п процессоров.
В табл. 1 приведены значения коэффициента эффективности параллельных алгоритмов при различном количестве используемых процессоров. Как видно из этого рисунка, при использовании вычислительного кластера ТГУ им. Г.Р. Державина коэффициент эффективности а « 92,1. Такое значение коэффициента эффективности говорит о целесообразности использования кластерных систем при решении подобных задач.
ВЫВОД
Построена ИНС-модель, которая способна определять зависимость профессиональной предрасположенности школьников от их личностных качеств. Приведено сравнение последовательных и параллельных алгоритмов построения ИНС-модели, которое показывает эффективность использования кластерных систем при моделировании социальных объектов. Таким образом, можно сделать вывод о том, что использование кластерных систем целесообразно при нейросетевом моделировании объектов социальных объектов.
ЛИТЕРАТУРА
1. Gillbert N., Troitzsch K. Simulation for the Social Scientist. 2005. 295 p.
2. Осовский С. Нейронные сети для обработки информации / пер. с пол. И.Д. Рудинского. М.: Финансы и статистика, 2002. 344 с.
3. Арзамасцев А.А., Зенкова НА. Моделирование в психологии на основе искусственных нейронных сетей. Тамбов: ТГУ им.
Г.Р. Державина, 2003. 106 с.
4. Зенкова Н. А. Моделирование на основе искусственных нейронных сетей как метод исследования в психологической науке // Вестн. Тамб. ун-та. Сер. Естеств. и техн. науки. Тамбов, 2009. Т. 14. Вып. 3. С. 577-590.
5. Зенкова Н.А. Разработка компьютерной модели социального объекта на основе искусственной нейронной сети // Вестн. Тамб. ун-та. Сер. Естеств. и техн. науки. Тамбов, 2007. Т. 12. Вып. 1. С. 113-114.
6. Арзамасцев А.А., Крючин О.В., Азарова П.А., Зенкова НА. Универсальный программный комплекс для компьютерного моделирования на основе искусственной нейронной сети с самоорганизацией структуры // Вестн. Тамб. ун-та. Сер. Естеств. и техн. науки. Тамбов, 2006. Т. 11. Вып. 4. С. 564-570.
7. Букатов А А., Дацюк В.Н., Жугуло А.И. Программирование многопроцессорных вычислительных систем. Ростов н/Д: Изд-во ООО «ЦВВР», 2003. 208 с.
8. Арзамасцев А.А., Гостилович Т.А., Безрученко И.Е., Зенкова НА. Личностные качества, профессиональная предрасположенность и социальная активность школьников старших классов. Тамбов: Изд-во ТГУ им. Г.Р. Державина, 2004. 103 с.
9. Крючин О.В. Экспертная система, определяющая профессиональную предрасположенность школьников // Демидовские чтения: материалы ежегодной науч.-практ. конф. с междунар. участием. Ч. 2. Тула: Изд-во «Папирус», 2009. С. 16-19.
10. Крючин О.В., Зенкова Н.А. Использование информационных технологий для оценки личностных качеств и профессиональной предрасположенности школьников тамбовской области // Информационные технологии в общем образовании («ИТО - Саратов-2009»): сб. тр. участников Всерос. науч.-практ. конф. Саратов: Изд-во ГОУ ДПО «СарИПКиПРО», 2009. С. 158-159.
11. Крючин О.В. Разработка параллельных градиентных алгоритмов обучения искусственной нейронной сети // Исследовано в России: электронный журнал. 2009. 096. С. 1208-1221. URL: http://zhurnal. ape.relarn.ru/articles/2009/096.pdf
12. Крючин О.В., Арзамасцев А.А., Королев А.Н., Горбачев С.И., Семенов Н. О. Универсальный симулятор, базирующийся на технологии искусственных нейронных сетей, способный работать на параллельных машинах // Вестн. Тамб. ун-та. Сер. Естеств. и техн. науки. Тамбов, 2008. Т. 13. Вып. 5. С. 372-375.
Поступила в редакцию 25 августа 2010 г.
Arzamastsev A.A., Kryuchin O.V, Zenkova N.A., Sletkov D.V Simulation of the social object on the basis of the artificial neural networks with use of cluster’s systems
The article contains the results of simulation of the social object. The social object is represents dependence of professional predisposition of the schoolchildren from their personal qualities. The device of artificial neural networks (ANN) is used as means of simulation. The results of comparison of time expenses for weight coefficients determination of ANN-model with the consecutive and parallel algorithms are showed.
Key words: artificial neural networks; simulation of social objects; cluster’s systems; parallel calculations; gradient method of weight coefficients determination.
а
