CC BY
40
УДК 331.446.3 Дата подачи статьи: 11.07.16
Б01: 10.15827/0236-235Х.030.1.112-118 2017. Т. 30. № 1. С. 112-118
ПРОГРАММНЫЙ АГЕНТ ОПРЕДЕЛЕНИЯ ПСИХОЛОГИЧЕСКОГО СОСТОЯНИЯ ОБУЧАЕМОГО В СИСТЕМАХ ДИСТАНЦИОННОГО ОБУЧЕНИЯ
Е.Л. Хрянин, аспирант, главный инженер, evgeshah@list.ru (Вологодский государственный университет, ул. Ленина, 15, г. Вологда, 160000, Россия; Банк «Вологжанин», ул. Батюшкова, 11, г. Вологда, 160000, Россия); А.Н. Швецов, д.т.н., профессор, smvthv@mail.ru (Вологодский государственный университет, ул. Ленина, 15, г. Вологда, 160000, Россия)
Рассматривается проблема применения программных агентов для оценки психологического состояния студентов в системе дистанционного обучения. Гипотеза исследования: чем лучше психологически материал подходит обучаемому, тем быстрее и качественнее он будет усвоен. Требуется разработать автоматический алгоритм подбора материала. Описывается разработанная система дистанционного обучения, создаваемая более 5 лет и апробированная в одном из государственных вузов.
Кратко описана реализация системы дистанционного обучения: схема взаимодействия агентов, основные таблицы БД, реализация серверной и пользовательской частей. Описываются метод и алгоритм определения перцептивной модальности обучаемого в ходе психологического тестирования. Использованы статистические методы для предсказания вероятности входа в систему обучаемым (на основе данных статистики). Предложены весовые коэффициенты частоты использования системы дистанционного обучения обучаемыми для принятия решений агентом определения психологического состояния.
Создан алгоритм автоматического решения о необходимости тестирования. Проведено исследование на основе трех групп с участием более 90 человек: контрольная группа, группа с рекомендацией в выборе материала и группа, для которой агент сам выбирает материал. Выведены формулы расчета перцептивной модальности для нескольких последовательных измерений. Приведен пример уточнения расчета при получении противоречивых данных. Эксперимент показал положительные результаты при работе в рекомендательном режиме. С контрольным тестом справились более 61 % обучаемых, а усложненную задачу решили более половины группы (около 42 % и 12 % в контрольной группе соответственно).
Сделан вывод о целесообразности применения агента определения психологического состояния в системах дистанционного обучения.
Ключевые слова: агентно-ориентированный подход, интеллектуальная система, система дистанционного обучения, диагностика психологического состояния, перцептивная модальность, оценка результатов обучения, PHP, MySQL, MVC.
Объем знаний, необходимых для успешного обучения и последующего карьерного роста, увеличивается с каждым годом. Сложность и количество изучаемого материала растут, при этом сроки обучения остаются неизменными или сокращаются. Обычной практикой в вузе стало использование систем дистанционного обучения (СДО) [1]. Последние десятилетия активно используются СДО, построенные на агентно-ориентированном подходе [2-4]. Для обеспечения индивидуального подхода в предоставлении материалов необходим агент определения психологического состояния обучаемого в СДО.
В связи с этим целесообразно исследовать возможности агента, определяющего психологическое состояние обучаемого и предлагающего адаптированный материал для обучения. Гипотеза состоит в следующем: если дать обучаемому материал, который психологически лучше ему подходит, то обучение будет происходить быстрее и с лучшим усвоением, в результате на каждую тему обучения будет тратиться меньше времени. Вопросы оценки состояния рассматривались в других работах [5, 6], но применение такого агента к СДО не исследовано.
Объект работы - многофункциональная дистанционная агентно-ориентированная система обучения. Рассматриваемый агент является частью данной СДО [7]. Система позволяет вести базу образовательного материала, публиковать и принимать контрольные работы, проводить тестирование в рамках лекций, тем и дисциплин. Дополнительными возможностями системы являются учет посещаемости студентов на основе данных от нескольких независимых источников и отслеживание результатов их обучения. В систему интегрированы функции оповещения обучаемых и преподавателей о событиях, происходящих в ней.
Программная реализация СДО
Система представляет собой совокупность агентов различной направленности. Агенты анализируют собственное предметное поле, общаются между собой и дают пользователю то, что ему требуется в данный момент времени [8]. Комплекс состоит из следующих агентов: агент администрирования, агент учетных записей, агент обучаемого, агент преподавателя, агент процесса обучения, агент доступа к учебным материалам, агент кон-
Все пользователи
Администратор
Староста
Преподаватель
Обучаемый
БД Сервер сообщений
Рис. 1. Схема взаимодействия агентов (отображены только важнейшие связи) Fig. 1. Agent interaction pattern (indicates only important connections)
трольных работ, агент тестирования, агент посещаемости, агент оповещения, статистический агент, агент психологического анализа, функциональный агент и поисковый агент (рис. 1).
Система была апробирована в одном из государственных вузов, где использовалась при очном и заочном обучении.
СДО написана на языке PHP без использования различных фреймворков для ускорения работы. Благодаря этому система моментально генерирует HTML-страницы на скромном оборудовании: ОС CentOS 6, процессор уровня Celeron 2000 МГц, 512 МБ ОЗУ, 30 МБ HDD для установки СДО.
В качестве основной СУБД используется MySQL, обеспечивающая достаточную производительность для решаемых задач. Тем не менее есть возможность быстро конвертировать ее для работы с СУБД PostgreSQL. Схема с основными таблицами в БД размещена по ссылке http://www.swsys. ru/uploaded/image/2017_1/2017-1-dop/1.jpg.
Основная таблица - Пользователи, так как весь контент сосредоточен вокруг них. Пользователь может быть администратором, преподавателем, студентом, старостой, при этом уровни доступа можно комбинировать. В зависимости от уровня доступа пользователь располагает теми или иными функциями и возможностями. Сама БД является нормализованной, что исключает избыточность данных и потенциально исключает ошибки. Право
записи в каждую из таблиц закреплено за определенными агентами. Например, агент преподавателя не может создавать пользователей, однако имеет возможность добавлять записи в таблицу дисциплин и изменять их. Для быстрой работы агентов требуются временные таблицы, которые они генерируют во время своей работы. Это обеспечивает обработку данных агентами независимо друг от друга, а также защиту основной БД от некорректных записей.
В качестве фронтенда используются HTML5, CSS3 и jQuery. Для реализации пользовательского интерфейса были применены фреймворк Bootstrap с некоторыми изменениями, а также интеграция с Google Docs (http://www.swsys.ru/uploaded/image/ 2017_1/2017-1-dop/2.jpg).
Система является кроссплатформенной как для серверной части, так и для клиентской, а поддержка современных технологий позволяет комфортно ею пользоваться и на стационарных компьютерах, и на смартфонах. СДО изначально создавалась с использованием идеологии MVC, поэтому имеет модульную архитектуру и возможность развиваться без изменения существующей кодовой базы.
За три года работы системы размер основной БД составил около 50 МБ: более 1 500 пользователей, более 500 дисциплин, 1 000 лекций, 750 контрольных работ, 1 000 вопросов для тестов. Размер
файлового хранилища для лекций, контрольных работ и их решений - более 4 Гб при почти 19 тыс. загруженных файлов. Среднегодовое количество обучаемых - около 800 человек.
Исследование. Исследование проводилось на базе СДО. Рассматривалось влияние на успеваемость рекомендаций от агента определения психологического состояния обучаемого. Изучалось, насколько эффективно агент определяет тип восприятия обучаемого и может предложить для него подходящий материал. В СДО могут применяться следующие обучающие материалы: видеолекции, презентации, разбор примеров, аудиолекции, общение с преподавателем, текст, тест, обучение в виде игры, представления в виде слайдов, графиков и формул [9].
Для определения перцептивной модальности обучаемых использовались несколько методик, адаптированных для СДО. За основу взяты методики Н.Л. Васильевой [10] и С. Ефремцевой [11].
Для трех групп обучаемых, участвовавших в исследовании, были включены различные возможности и ограничения в СДО. Для первой группы были доступны материалы всех типов, и обучаемые могли самостоятельно выбирать материал для изучения. Это контрольная группа, на которую не оказывалось никакого влияния. Для второй группы агент анализировал тип восприятия обучаемого и выдавал рекомендацию по выбору типа материала. Другие типы материалов были также доступны. Для третьей группы агент, как и для второй группы, анализировал тип восприятия студента, но при этом он сам решал, какой материал следует изучать. Доступ к другим типам материала ограничивался. Разбор задач повышенной сложности и усложненные задачи были доступны всем студентам без ограничений.
Работа агента заключалась в сборе предварительной информации о студентах (определение типа восприятия обучаемого, выявление психологического состояния и мотивации в начале дистанционного обучения) и в предложении ему лучшего варианта обучения на основании его психологического состояния (рис. 2).
В систему изначально был заложен функционал сбора статистики всех происходящих в ней событий. К таким событиям можно отнести входы пользователей в систему и выходы из нее, открытие тем, лекций и контрольных работ, прохождение тестов, изучение различных типов материала, время, потраченное на изучение материала. Помимо этого, ведется подробная статистика достигнутых студентами результатов: быстрота сдачи контрольной работы, количество пересдач, количество пройденных тестов, количество успешно пройденных тестов, время, затрачиваемое на тесты (в том числе среднее).
Для проведения психологического тестирования с требуемым количеством повторений требова-
лось максимально точно предугадать частоту использования студентами СДО и предложить им требуемое количество прохождений тестов, определяющих модальность.
Так как в распоряжении авторов была статистика входов в систему исследуемых студентов за несколько лет работы в СДО, простым вариантом казался следующий: время регистрации в СДО (в днях) разделить на количество входов в систему за этот период, результат покажет средний интервал между входами в систему.
К сожалению, у данного подхода выявились недостатки. Полученные значения были слишком низкими, так как у студентов заочной формы обучения велики перерывы в обучении, когда они не учатся, а также праздничные дни и каникулы. Требовалось исключить эти периоды из расчетов. Также не каждый вход в систему ведет к учебной деятельности, например, вход произведен, но никакое учебное действие не зафиксировано, поэтому целесообразно определить весовые коэффициенты, оценивающие вход в систему в том или ином случае (табл. 1).
Коэффициенты могут складываться в пределах одного входа, но суммарно не более 1.
Далее с учетом всех показателей была выведена формула для подсчета среднего интервала (в днях) между входами в СДО:
1 = —^—, (1)
1=1
где t - суммарное количество учебных дней, проведенных в системе СДО с момента первого входа (в днях); п - количество входов; k - суммарный коэффициент.
По итогам сбора первичной статистики агент вычисляет, сколько раз он сможет провести тестирование.
В СДО уже присутствовала полноценная система проверки знаний на основе тестов, обслужи-
Агент психоло ги ческого тестирования
Агент администрирования
Агент ^ тестирования
БД
Рис. 2. Взаимодействие агента психологического тестирования с другими агентами
Fig. 2. Interaction between a psychologic testing agent and other agents
Таблица 1
Весовые коэффициенты входа в систему
Table 1
Log-in weight coefficients
Показатель (за 1 сеанс) Коэффициент Обоснование
Вход в систему во внеучебное время 0,4 Вход в систему во внеучебное время нетипичен, поэтому стоит учитывать его отдельным показателем. Такие входы редки, так как в таком случае работают с СДО либо дополнительно, либо в целях пересдачи
Вход в систему 0,2 Сам по себе вход в систему мало что дает, но открывает путь к другим коэффициентам
Вход в систему без учебной деятельности 0 Так как учебная деятельность не была зафиксирована, такой вход считается «случайным». Например, открытие браузера, в котором в одной из вкладок закреплена СДО. В таком случае система автоматически загружается, но пользователь может даже не подозревать об этом
Посещение одной или нескольких лекций не менее 60 минут 0,4 Система проверяет активность пользователя каждые 3 минуты, поэтому может фиксировать время, которое он провел за изучением предметов. Если активность на странице прекратилась, СДО приостанавливает учет времени.
Провести за изучением материала не менее одного часа - хорошая подготовительная работа
Посещение одной или нескольких лекций не менее 30 минут 0,3 За полчаса можно поверхностно ознакомиться с материалами лекции
Посещение одной или нескольких лекций не менее 10 минут 0,1 За 10 минут можно только повторить материал. Изучить и осмыслить за это время что-то новое проблематично
Принятие контрольной работы 0,2 Студент входит в новую для себя контрольную работу и получает ее задание. Для этого действия не требуется много времени, и само выполнение контрольной работы не всегда связано с СДО
Сдача/пересдача контрольной работы 0,2 Сдача контрольной работы подразумевает прикрепление и отправку документа в контрольной работе. Также не требует много времени
Полное решение двух и более тестов 0,4 Решение двух и более тестов требует достаточно много времени в СДО
Полное решение одного теста 0,3 Решение одного теста занимает до 30 минут
Начато решение теста 0,1 Тест не завершен. В СДО всегда можно вернуться и дорешать начатый тест (кроме тестов на время)
Закончено решение теста 0,1 Ранее начатый в СДО тест успешно завершен
Решение теста на положительную оценку 0,1 Тест завершен с показателем, превышающим 50 %
ваемая агентом тестирования, поэтому было принято решение сделать психологическое тестирование одним из вариантов обычного тестирования. Интерфейс, элементы управления и структура БД были использованы повторно (http://www.swsys.ru/ uploaded/image/2017_ 1/2017-1 -dop/3 .jpg).
Определение типа восприятия обучаемого проводилось методом предварительного прохождения психологического теста в системе. Студенты в течение 4 недель до начала эксперимента при входе в СДО получали тест на определение перцептивной модальности. Тест выдавался не чаще одного раза в день. Отказаться от его прохождения было
нельзя, дальнейшая работа в СДО блокировалась
(http://www.swsys.ru/uploaded/image/2017_1/2017-
1-dopZ4.jpg).
Если агент считал, что вход осуществляется достаточно часто (не менее 1 раза в неделю), то предлагал тест один раз в неделю. Если же обучаемый заходил редко (менее 1 раза за 2 недели), агент использовал каждый возможный случай, чтобы заставить обучаемого пройти тест. Задача агента - провести не менее 2, но не более 5 тестов для каждого студента (рис. 3). В исследовании не ставилась задача подсчета погрешности агента в определении частоты входов.
Начало. Определение типа восприятия
Получение да нных
о частоте входа обучаемого в СДО
С
Конец
>
Д четыре раза за последние ^N,28 дней Т^г Нет ♦
Заблокировать СДО.
Пройти тест
Рис. 3. Алгоритм прохождения теста на тип восприятия
Fig. 3. An experience type test pass algorithm
После сбора статистической информации была включена основная функция агента - рекомендация вида материала на основании типа восприятия обучаемого.
Усредненная оценка по совокупности тестов принималась агентом в качестве входного параметра. Алгоритм расчета усредненного параметра включает несколько формул: простую, учитывающую только суммарные результаты проведенных тестов, и усложненную, когда простая формула не дает точного результата.
Предположим, в начале эксперимента у агента имелись данные, приведенные в таблице 2. В каждом отдельном тесте результат рассчитывается по формуле наибольшего соответствия психологическому типу:
V, если (х > у) и (х > г), А, если (у > х) и (у > г),
£ (х, у, г ) = ]Г, если (г > х) и (г > У), (2) Б, если (х « у) и (х « г)
и (у » г) и (Ах,у,г < 2),
где V - результат модальности «визуал»; А - результат модальности «аудиал»; К - результат модальности «кинестетик»; Б - результат модальности «дискрет»; х, у, 2 - сумма реакций, определяющих перцептивную модальность.
Рассмотрим случай первого студента - здесь во всех испытаниях преобладает оценка одной модальности, поэтому можно получить итоговую оценку по простой формуле
£ f (x' У,z )(
f . -É!_
Ja ~
(3)
В случае со вторым студентом получены противоречивые данные, все контрольные измерения показали разные результаты, включая неопределенное состояние. Чтобы из этих данных получить результирующий показатель, обратимся к следующей формуле:
fa
V,если
( X"™1 п X"™1 п А
£,£,y.-
у x у z
£ i .1 ' £ i .1 '
A, если
K, если
f п п \
£ i=1У.- ^ £ i.1Х.
f п п \
£ i=1У. £ i=1Zi
( п п \
£ z ■ £ x ¿—1 i=1 ' ¿—1 i =1
^ п п \
£ i=\\> £ i =1yi
D, если
(4)
Еп ( п ( п
i=1xi £ i .y £ i=1zi
< 2
В результате агент при должном количестве измерений может давать более точный результат измерения перцептивной модальности (http://www. swsys.ru/uploaded/image/2017_1/2017-1-dop/8.jpg).
По итогам проведенного исследования сделан вывод о целесообразности внедрения агента психологического анализа в СДО (табл. 3).
Студенты, изучавшие подходящий им материал, лучше его усвоили и прошли контрольный тест. Дополнительным фактором, указывающим на
п
и
и
и
и
и
и
Таблица 2
Данные для определения итогового восприятия
Table 2
Data to define resulting perception
Испытуемый Номер теста Сумма реакций, определяющих пер эцептивную модальность Результат
Визуал Аудиал Кинестетик
Студент 1 1 11 6 7 Визуал
2 12 6 8 Визуал
3 11 5 7 Визуал
Итого 11,3 5,6 7,3 Визуал
Студент 2 1 4 10 8 Аудиал
2 5 10 13 Кинестетик
3 4 11 11 Дискрет
Итого 4,3 10,3 10,6 Дискрет
Студент 3 1 7 7 8 Кинестетик
2 9 8 8 Кинестетик
3 13 8 8 Визуал
Итого 9,6 7,6 8 Кинестетик
лучшее понимание основного материала, является самостоятельный переход студентов к изучению более сложных задач. Кроме того, эксперимент показал, что агент лучше помогает студентам, работая в рекомендательном режиме. Студенты, не имеющие возможности выбора, подготовились с более низким результатом, чем те, для кого система работала в рекомендательном режиме. С другой стороны, без использования рекомендаций студенты справились хуже, и в основном для изучения темы предпочтение отдавалось видеоматериалам (30 студентов из 33). Таким образом, не стоит применять запрет на выбор типа информации, так как это искусственно ограничивает обучаемых в их стремлении к знаниям.
Таблица 3
Результаты тестирования
Table 3
Test results
Исследование показало, что использование агента, определяющего тип восприятия студента, повышает эффективность СДО. Продолжение исследования направлено на повышение интеллектуальных свойств агента и поиск возможностей применения подобного подхода в системах корпоративного обучения.
Литература
1. Швецов А.Н., Сибирцев Е.В., Андрианов И.А. Компьютерные обучающие системы: мультиагентный подход // XII Все-росс. совещание по проблемам управления (ВСПУ-2014): сб. докл. Изд-во ИПУ РАН, 2014. С. 4048-4059.
2. Пашкин М.П. Многоагентная интеллектуальная система дистанционного обучения // Труды СПИИ РАН. 2006. Т. 1. Вып. 3. С. 126-137.
3. Тарасов В.Б. От многоагентных систем к интеллектуальным организациям: философия, психология, информатика. М.: Эдиториал УРСС, 2002. 352 с.
4. Андреев В.В., Виттих В.А., Батищев С.В. Методы и средства создания открытых мультиагентных систем для поддержки процессов принятия решений // Изв. РАН: Теория и системы управления. 2003. С. 126-137.
5. Бакаева А.С., Компаниец В.С. Сравнительный анализ психометрических тестов для автоматизированной диагностики перцептивной модальности обучающихся // Новое слово в науке: перспективы развития: матер. II Междунар. науч. -прак-тич. конф. (30 дек. 2014 г., Чебоксары). Чебоксары: Интерактив плюс, 2014. С. 32-34.
6. Овчаренко О.М. Влияние перцептивной модальности на качество знаний и успеваемости. СПб: 2013. URL: http:// nsportal.ru/shkola/biologiya/library/2013/12/01/vliyanie-pertseptiv noy-modalnosti-na-kachestvo-znaniy-i (дата обращения: 10.07.2016).
7. Хрянин Е.Л. Эффективная организация образовательного процесса в вузе с использованием системы дистанционного обучения // Вузовская наука - региону: сб. матер. XII Все-рос. науч.-технич. конф. Вологда: Изд-во Вологодского гос. унта, 2014. С. 69.
8. Стефанюк В.Л. Поведение многоагентных систем: парадигма координации // Новости искусственного интеллекта. 1997. № 4. С. 92-104.
9. Кузьмина Е.С., Свенцицкий А.Л. Промышленная социальная психология. Л.: Изд-во ЛГУ, 1982. С. 285.
10. Эйдемиллер Э., Юстицкис В. Психология и психотерапия семьи. СПб: Питер, 2008. С. 577-579.
11. Фетискин Н.П., Козлов В.В., Мануйлов Г.М. Социально-психологическая диагностика развития личности и малых групп. М.: Изд-во Ин-та психотерапии, 2002. 490 с.
Группа Прошли тестирование Решение усложненной задачи
Контрольная группа (33 чел.) 42,4 % (14 чел.) 12,1 % (4 чел.)
Рекомендательный режим работы агента (39 чел.) 61,5 % (24 чел.) 51,3 % (20 чел.)
Обязывающий режим работы агента (36 чел.) 52,8 % (19 чел.) 41,7 % (15 чел.)
Software & Systems
DOI: 10.15S27/0236-235X.030.1.112-11S
Received 11.07.16 2017, vol. 30, no. 1, pp. 112-11S
A SOFTWARE AGENT TO DETERMINE STUDENT'S PSYCHOLOGICAL STATE
IN E-LEARNING SYSTEMS
E.L. Khryanin1' 2, Postgraduate Student, Chief Engineer, evgeshah@list.ru A.N. Shvetsov1, Dr.Sc. (Engineering), Professor, smithv@mail.ru
1 Vologda State University, Lenin St. 15, Vologda 160000, Russian Federation
2 Bank "Vologzhanin", Batyushkov St. 11, Vologda, 160000, Russian Federation
Abstract. The article considers the problem of using software agents to assess students' psychological state in an e-learning system. The hypothesis of the study is the following: the more psychologically acceptable material for a student' the faster and better it is learned. It is required to develop an automatic algorithm for selection of material.
The article describes the developed e-learning system' which has been developed over 5 years and tested in one of the state universities. There is a brief description of e-learning system implementation that includes the agent interaction scheme' main database tables' backend and frontend implementation. The paper also describes a method and an algorithm to determine student's perceptual modality during psychological testing. It uses statistical methods to predict the probability of logging-in (based on statistics). The authors propose weight coefficients of frequency of using e-learning system by students for the agent' which determines their psychological state' to make decisions.
The paper describes the created algorithm of an automatic decision on the need in testing. The study involved 3 groups: a control group' a group with recommendation of material and a group with material chosen by an agent. The study involved more than 90 people. The study has formed formulas for perceptual modality calculation for several consecutive measurements. There is an example of calculation clarification for contradictory data. The experiment has shown positive results when using a recommendation mode. More than 61 % of students have passed the control test' and more than a half of the group has solved a difficult task (about 42 % and 12 % in the control group respectively).
There is a conclusion on expediency of using the psychological state definition agent in e-learning systems.
Keywords: agent-oriented approach' intelligent system' learning management system' psychological state diagnostics' perceptual modality' learning outcome assessment' PHP' MySQL' MVC.
1. Shvetsov A.N.' Sibirtsev E.V.' Andrianov I.A. Computer learning systems: multiagent approach. XII Vseross. sove-shchanie po problemam upravleniya VSPU-2014 [All-Russian Conf. on Management Problems VSPU-2014]. V.A. Trapezni-kov Institute of Control Sciences of RAS Publ.' 2014' pp. 4048-4059 (in Russ.).
2. Pashkin M.P. Multi-agent intelligent distance learning system. Trudy SPIIRAN[SPIIRAS Proc.]. RAN SPIIRAN Publ.' St. Petersburg' 2006' vol. 1' no. 3' pp. 126-137.
3. Tarasov V.B. Otmnogoagentnykh sistem kintellektualnym organizatsiyam: filosofiya, psikhologiya, informatika [From multiagent systems to intelligent companies: philosophy' psykhology' computer science]. Moscow' Editorial URSS Publ.' 2002.
4. Andreev V.V.' Vittikh V.A.' Batishchev S.V. Methods i means of creating open multiagent systems to support decisionmaking processes. Izvestiya RAN. Teoriya i systemy upravleniya [Journal of Computer and Systems Sciences Int.]. 2003' pp. 126-137 (in Russ.).
5. Bakaeva A.S., Kompaniets V.S. Comparative analysis of psychometric tests for automated diagnostics of students' perceptual modality. Novoe slovo v nauke: perspektivy razvitiya: mater. IIMezhdunar. nauch.-praktich. konf. [A New Word in Science: Development Prospects: Proc. 2nd Science and Practice Conf.]. Cheboksary' Interaktiv plyus Publ.' 2014 (in Russ.).
6. Ovcharenko O.M. Vliyanie pertseptivnoy modalnosti na kachestvo znany i uspevaemosti [The impact of perceptual modality on the quality of knowledge and progress]. St. Petersburg' 2013. Available at: http://nsportal.ru/shkola/biologiya/li-brary/2013/12/01/vliyanie-pertseptivnoy-modalnosti-na-kachestvo-znaniy-i (accessed July 10' 2016).
7. Khryanin E.L. Effective organization of an educational process in a university using a e-learning system. Vuzovskaya nauka regionu: materialy XII Vseross. nauch.-tekhnich. konf. [From Academic Science to a Region: Proc. 12th All-Russ. Science and Practice Conf.]. Vologda' Vologodsky gos. univ. Publ.' 2014' p. 69 (in Russ.).
8. Stefanyuk V.L. The behavior of multiagent systems: coordination paradigm. Novosti iskusstvennogo intellekta [Artificial Intelligence News]. 1997' no. 4' pp. 92-104 (in Russ.).
9. Kuzmina E.S.' Sventsitsky A.L. Promyshlennaya sotsialnayapsikhologiya [Industrial Social Psychology]. Leningrad' LGU Publ.' 1982' 285 p.
10. Eydemiller E.' Yustitskis V. Psikhologiya ipsikhoterapiya semi [Family Phychology and Psychotherapy]. 4th ed.' St. Petersburg' Piter Publ.' 2008' 672 p.
11. Fetiskin N.P.' Kozlov V.V.' Manuylov G.M. Sotsialno-psikhologicheskaya diagnostika razvitiya lichnosti i malykh grupp [Social-psychological diagnostics of personality and little group development]. Moscow' Institut Psikhoterapii Publ.' 2002.
References
