CC BY
44ISSN 0868-5886
НАУЧНОЕ ПРИБОРОСТРОЕНИЕ, 2016, том 26, № 4, c. 85-93
=ИНФОРМАТИКА, ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА
И УПРАВЛЕНИЕ
УДК 391.694: 681.3.06 © А. П. Григорьев, В. Я. Мамаев
ОПЫТ ИСПОЛЬЗОВАНИЯ НЕЙРОННЫХ СЕТЕЙ В АНАЛИЗЕ И СТРУКТУРНОМ ВОССОЗДАНИИ ПРЕДМЕТНЫХ
ЗНАНИЙ СПЕЦИАЛИСТА
В статье на конкретном примере предметной области строится графосемантическая модель знаний этой области. С ее использованием рассматривается задача автоматизированного анализа текущего состояния графа знаний экзаменуемого (обучаемого) специалиста. Результатом анализа является индикация имеющихся "пробелов" в знании — выпавших элементов и связей графосемантической модели, что позволяет целевым образом их восстановить дополнительным обучением. В качестве инструмента автоматизации процесса предлагается использовать нейронные сети типа персептрон. По результатам нейросетевого тестирования осуществляется контроль, диагностика, восстановление знаний и построение индивидуальной траектории изучения учебного материала с обеспечением надежного выявления ошибок и объективности оценивания знаний, адаптивности за счет процедуры восстановления знаний.
Кл. сл.: графосемантическая модель, искусственные нейронные сети, тестирование знаний
ВВЕДЕНИЕ
Разработка автоматизированной обучающей системы (АОС) представляет собой сложный и трудоемкий процесс. Любая АОС — это система, основанная на знаниях и обрабатывающая знания. База знаний обучающей системы в первую очередь должна содержать предметные знания. Свойство адаптивности АОС во многом определяется способами структурирования учебного материала (УМ). Чем больше у системы возможностей обеспечить пользователю индивидуальный маршрут изучения УМ, тем более гибким и адаптивным является ее поведение. Таким образом, вопросы структурирования, представления и доступа к знаниям являются центральными при разработке современной АОС [1].
Важным шагом на пути выявления структуры, присущей знаниям, является построение моделей, в которых в явной форме выделены объекты, образующие эту структуру [2, 3]. В основе этих моделей лежит понятие сети, состоящей из вершин, или узлов, соединенных дугами. С вершинами этой сети сопоставляются понятия (объекты, события, процессы, явления и др.), а с дугами — связи, или отношения, существующие между этими понятиями. Графическое исполнение элементов сети произвольное. Объекты могут изображаться точками, кружками, прямоугольниками и другими способами, дуги могут быть прямыми, ломаными, кривыми линиями. Семантические сети (СС), с одной стороны, имитируют естествен-
ное понимание языка человеком, а с другой стороны, придают фактическим знаниям графовую структурированную организацию, они представляют собой так называемые ориентированные графы [4, 5, 6]. Построение СС как графа способствует процессу осмысления знаний, способствует их конкретизации, выявлению противоречий, обнаружению недостающей информации и т. п. Вначале СС использовались в психологии для моделирования долговременной памяти человека и только затем они перешли в инженерию знаний в качестве одного из основных методов представления знаний в АОС. В качестве понятий семантической сети обычно выступают абстрактные или конкретные объекты. Отношения могут быть самого разного типа, что позволяет в достаточной мере обеспечить в СС такой признак знаний, как связность. Семантические сети легко передают как отношения "абстрактное—конкретное", так и "целое—часть".
НАВИГАЦИОННЫЙ ТРЕУГОЛЬНИК СКОРОСТЕЙ
Рассмотрим, как с помощью СС представить систему знаний по параграфу "Навигационный треугольник скоростей" главы "Учет влияния ветра на полет летательного аппарата" учебного пособия для штурмана [13]. Навигационный треугольник скоростей (НТС), рис. 1, — треугольник, образованный векторами воздушной V, путевой W
СмЖ
\U
Рис. 1. Навигационный треугольник скоростей
и его элементы.
Обозначены:
См — северное направление магнитного меридиана; МК — магнитный курс; МПУ — магнитный путевой угол; НВ — направление ветра; КУВ — курсовой угол ветра; УВ — угол ветра; УС — угол сноса; V — воздушная скорость; W — путевая скорость; U — скорость ветра
скоростей воздушного судна (ВС) и скорости ветра и при полете с боковой составляющей ветра.
В состав НТС (рис. 1) входят следующие элементы:
МК — магнитный курс ВС;
V — воздушная скорость;
МПУ — магнитный путевой угол (может быть заданным ЗМПУ и фактическим ФМПУ);
W — путевая скорость;
НВ — навигационное направление ветра;
и — скорость ветра;
УС — угол сноса;
УВ — угол ветра [7].
Зависимости, существующие между элементами НТС, имеют следующий вид:
МК = ЗМПУ - (±УС);
УВ = 3 ± 180° - ЗМПУ;
ФМПУ = МК + (±УС);
КУВ = УВ + (± УС);
УС = ФМПУ - МК;
3 = ФМПУ + УВ ± 180°;
W = Vcos(Y С) + и^(УВ).
ПОСТРОЕНИЕ СЕМАНТИЧЕСКОГО ГРАФА
На базе изложенного УМ строится семантический граф (СГ), вершинами которого являются понятия предметной области (ПрО) — учебные элементы (УЭ), а дугами — их отношения и взаимосвязи (рис. 2).
У 39
4 уровень
УЭ6
Рис. 2. Семантический граф навигационного треугольника скоростей.
Обозначены элементы:
УЭ1 — д (метеорологическое направление ветра); УЭ2 — у (курс полета МК); УЭ3 — X (угол сноса УС); УЭ4 — (А + у); УЭ5 — в (путевой угол МПУ); УЭ6 — (д - р); УЭ7 — е (угол ветра УВ); УЭ8 — (е + А); УЭ9 — у (курсовой угол ветра КУВ)
ра),
На рис. 2 введены следующие обозначения: УЭ1 — 3 (метеорологическое направление вет-
УЭ2 — у (курс полета МК), УЭ3 — X (угол сноса УС), УЭ4 — (X + у),
УЭ5 — [в (путевой угол МПУ), УЭ6 — (3 - в), УЭ7 — £ (угол ветра УВ), УЭ8 — (£ + X),
УЭ9 — щ (курсовой угол ветра КУВ).
Граф, приведенный на рис. 2, можно представить в виде квадратной матрицы А, состоящей из
элементов а^. Размер матрицы равен количеству УЭ — в нашем случае /, ] = 9. Все элементы матрицы принимают бинарные значения — (1 или 0). Единица характеризует наличие связи (однонаправленной или двунаправленной) между УЭ, ноль — отсутствие связи между УЭ. Например УЭ1 связан с УЭ6 (рис. 2), и поэтому эту связь характеризуют элемент а^ матрицы А. Элемент а^ располагается на пересечении строки с номером 1 = 1 и столбца с номером ] = 6 матрицы А. Так как УЭ1 и УЭ6 связаны, то элемент а^ = 1. Матрица, соответствующая СГ рис. 2, представлена (1):
Л =
0 0 0 0 0 УЭ 3 ^1,6 0 0 0 " "0 0 0 0 0 1 0 0 0
0 0 0 УЭ 2,4 0 0 0 0 0 0 0 0 1 0 0 0 0 0
0 0 0 УЭ У ^3,4 0 0 0 УЭ 3 3,8 0 0 0 0 1 0 0 0 1 0
0 0 0 0 УЭ 3 4,5 0 0 0 0 0 0 0 0 1 0 0 0 0
0 0 0 0 0 УЭ 5,6 0 0 0 ^Л = 0 0 0 0 0 1 0 0 0
0 0 0 0 0 0 УЭ 3 6,7 0 0 0 0 0 0 0 0 1 0 0
0 0 0 0 0 0 0 УЭ 7,8 0 0 0 0 0 0 0 0 1 0
0 0 0 0 0 0 0 0 УЭ 0 0 0 0 0 0 0 0 1
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
. (1)
Пусть испытуемому дано тестовое задание (ТЗ), состоящее из девяти вопросов закрытого типа [8]. Каждый вопрос ТЗ построен по СГ и ориентирован на выявление знания определенного УЭ. Результаты тестирования можно представить в виде матрицы ответов В на каждое ТЗ (пример — зависимость (2))
^0 0000000 0^ 000000000 000100000 000010000 В =000001000, (2)
000000100 0 0 0 0 0 0 0 1 0 000000001 000000000
состоящей из единиц и нулей. Единице соответствует правильный ответ на вопрос ТЗ, нулю — неправильный. Методики разработки ТЗ и обработки
результатов тестирования подробно изложены в [9] и [10], а известные модели тестирования — в [11].
По матрице ответов испытуемого можно построить СГ (рис. 3), который будет соответствовать объему его знаний по предмету. По нему также будет видно, какие УЭ и какие связи между УЭ утрачены испытуемым.
Рис. 3. Граф по результатам тестирования
Получим разность С между матрицами А и В:
C = 1 lAll -I |Bll =
0 0 0 0 0 1 0 0 0
0 0 0 1 0 0 0 0 0
0 0 0 0 0 0 0 1 0
0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0
(3)
Матрицу А (см. зависимость (1)), построенную по эталонному графу (рис. 2), можно рассматривать как эталонную; матрицу ответов испытуемого на каждое ТЗ — В (см. зависимость (2)) — рассмотрим как фактическую матрицу знаний. По матрице С (см. зависимость (3)), являющейся разностью матриц (1) и (2), можно построить СГ, характеризующий индивидуальную траекторию требуемого обучения (рис. 4). Данный граф будет учитывать только те УЭ и только те связи между УЭ, которые конкретный испытуемый по результатам тестирования не усвоил (или утратил в своих знаниях). Таким образом, можно индивидуализировать процесс обучения на стадии теоретической подготовки и организовать процесс восстановления знаний после тестового контроля. Под восстановлением знаний понимается процедура, при которой по результатам деятельности обучаемого можно не только определить, какие знания недостаточны
Рис 4. Граф, соответствующий индивидуальной траектории обучения
или ошибочны, но и вернуть его на соответствующий раздел теории или практики либо дать дополнительные разъяснения.
ВУЗУАЛИЗАЦИЯ И КОНТРОЛЬНОЕ МОДЕЛИРОВАНИЕ СЕМАНТИЧЕСКИХ ГРАФОВ
Для визуализации и контрольного моделирования разработанного СГ целесообразно использовать язык программирования JavaScript совместно с библиотекой визуализации Arbor.js. Данный подход не только позволяет относительно просто создавать функции отрисовки каждой вершины и грани графа, но и обеспечивает создаваемому приложению корректную работу в глобальной сети Интернет, что немаловажно при реализации
Рис. 5. Конструирование и контрольное моделирование семантического графа
дистанционного и адаптивного процесса обучения. На рис. 5 представлено окно программы, позволяющей в реальном масштабе времени конструировать и моделировать СГ любого вида и размерности, а также производить над моделями простейшие арифметические операции.
Конструирование графа осуществляется в следующем порядке. C персонального компьютера (ПК) производится запуск исполняемого файла программы, при этом автоматически осуществляется загрузка интернет-браузера (по умолчанию, Internet Explorer).
В появившемся диалоговом окне программы необходимо задать число вершин (n) графа. Подтверждаем свой выбор нажатием левой клавиши манипулятора типа "мышь"; на рабочем поле программы должна сформироваться единичная матрица связи размерностью n*n. (см. рис. 5). Далее в сформированной матрице с клавиатуры следует задать следующие виды связи: 1 — вершины графа связаны между собой, 0 — связь между вершинами отсутствует. Нажать левой клавишей манипулятора типа "мышь" на кнопку "показать". Главное поле программы заполнится информацией о связи узлов графа. Для визуализации графо-семантической модели необходимо с помощью клавиатуры нажать на кнопку "Enter". В результате описанного действия на экране ПК появится диалоговое окно программы в соответствии с рис. 5. Разработанная программа также позволяет строить графовые модели в автоматическом режиме.
Наиболее прогрессивными в настоящее время являются адаптивные модели тестирования [12]. Основным критерием для адаптации является сложность ТЗ, для определения которой также может быть использован рассмотренный ранее СГ [1].
В данном СГ (см. рис. 3) различают входные, внутренние и выходные концепты. Входные концепты — это понятия или же определения раздела знаний (S — направление ветра, у — курс полета, X — угол сноса и т. д.), внутренние концепты используются для определения других понятий раздела, являются следующим уровнем графа (ß — путевой угол, е — угол ветра и т. д.), и выходные концепты — понятия, не использующиеся для определения других понятий курса (^ — курсовой угол). Очевидно, что концепт, связанный с большим количеством других концептов, позиционируется как более сложный. В данном конкретном случае вопросы, ориентированные на знания входных концептов (1-й уровень), считаются наиболее простыми. Это, как правило, фундаментальные определения и понятия курса "Воздушная навигация". Данным вопросам присваивается наи-
меньший вес. Вопросы, ориентированные на знания концептов высших уровней — 2, 3, 4 — соответственно считаются более сложными и, как следствие, имеют больший вес. Таким образом, нетрудно моделировать задания различного уровня сложности.
Адаптивное тестирование (АТ) предполагает, что выбор следующего задания зависит от ответа испытуемого на предыдущий вопрос. Анализ ответов проводится электронным инструктором. Функции электронного инструктора могут быть реализованы на основе использования аппарата "жесткой логики", аппарата "размытых" (нечетких) множеств [13] с использованием искусственных нейронных сетей (ИНС) [14, 15]. При использовании нечеткой логики появляется возможность оценить степень приближения ответа обучаемого к эталону [16], использовать нечеткую 12-балльную шкалу оценивания [17], что немаловажно при реализации в качестве сценариев обучения ТЗ открытого типа [11] и адаптивных тестовых заданий (АТЗ). Аппарат ИНС может быть применен как эффективное средство автоматизации диагностики знаний обучаемого.
ПРИМЕР КОМБИНИРОВАННОГО НЕЙРОГРАФОСЕМАНТИЧЕСКОГО ПОДХОДА
Рассмотрим в качестве примера решение с использованием аппарата ИНС задачи о "разрезании" эталонного СГ (рис. 2) и построении индивидуальной траектории обучения. Ранее было показано, что индивидуальную траекторию обучения можно определить в виде отдельных, связанных между собой ребрами, элементов эталонного СГ (рис. 2). Представим эталонный СГ в виде сети (рис. 6), в которой каждому конкретному УЭ будет соответствовать искусственный нейрон, ребра СГ являются входными и выходными связями нейрона. На рис. 6 представлена слабосвязная однослойная ИНС прямого распространения на базе персептронного нейрона (ПН) [18].
Математическая модель ПН описывается соотношениями (4) и (5).
Текущее состояние нейрона будет иметь вид
* = & • ^, (4)
1=1
где w1 — вес синапса, 1 = 1...п; х1 — компонент входного вектора (входной сигнал), п — число входов нейрона, * — результирующая функция. В качестве результирующей функции может быть использована любая арифметическая или логическая операция (обычно используется взвешенная сумма).
Выход ПН есть функция его состояния
У = f (*), (5)
где у — выходной сигнал нейрона; f— пороговая функция активации, описываемая соотношением (6):
Г1, 5 > Т;
У = /С?) = \ (6)
[0, 5 < Т,
где Т — некоторое пороговое значение.
Очевидно, что ПН полностью описывается своими весами Wi и активационной функцией /(5). Получив набор чисел (вектор или матрицу) х в качестве входов, нейрон выдает 0 или 1 на выходе.
Так как процесс функционирования ИНС, т. е. сущность действий, которые она способна выполнять, зависит от весов синаптических связей, то, задавшись определенной структурой (топологией, архитектурой) ИНС, отвечающей какой-либо задаче, разработчик должен найти оптимальные значения всех переменных весовых коэффициентов. Этот этап называется обучением сети, и от того, насколько качественно он будет выполнен, зависит способность сети решать поставленные перед ней задачи во время функционирования [15].
ПРОЦЕСС ОБУЧЕНИЯ ИСКУССТВЕННОЙ НЕЙРОННОЙ СЕТИ
Алгоритм обучения — это набор формул, который позволяет по вектору ошибки вычислить требуемые поправки для весов сети. Оказывается, что после многократного предъявления примеров веса сети стабилизируются, причем сеть дает правиль-
ные ответы на все (или почти все) примеры из базы данных. В таком случае говорят, что "сеть выучила все примеры", "сеть обучена" или "сеть натренирована" . В программных реализациях можно видеть, что в процессе обучения функция ошибки (например, сумма квадратов ошибок по всем выходам) постепенно уменьшается. Когда функция ошибки достигает нуля или приемлемого малого уровня, тренировку останавливают (рис. 7).
Алгоритм обучения однослойной персептрон-ной сети подробно описан в [14, 15, 19]. После завершения процесса обучения полученную сеть считают натренированной и готовой к применению.
Контроль, диагностика и восстановление знаний посредством графосемантического и нейросе-тевого подходов осуществляется следующим образом: обучаемому предлагается ТЗ закрытого типа [8], каждый вопрос которого связан с определенным УЭ эталонного СГ (рис. 2). По результатам тестового контроля ответы обучаемого представляются в виде фактической матрицы, состоящей из бинарных элементов. Бинарной единице соответствует правильный ответ обучаемого, бинарному нулю — неправильный.
Фактическая матрица (2), составленная из ответов обучаемого на тест, подается на вход обученной ИНС. Сеть осуществляет автоматизированный контроль знаний, выставляя оценку за ТЗ в соответствии со шкалой оценивания [17] (обычно используется классическая 4-балльная шкала). Диагностика знаний нейросетью осуществляется за счет возможности получать матрицу связности (МС) сети [15]. МС получается в результате обучения сети и характеризует связь и передачу сиг-
налов от нейрона к нейрону; по МС можно судить о том, какие нейроны в сети были в состоянии возбуждения. Все выходы ПН принимают значения 0 и 1, единице соответствует возбужденное состояние (осуществляется передача сигнала), нулю — состояние покоя (сигнала нет). Так как каждый ПН сети соотнесен с УЭ из эталонного СГ (рис. 2), и на каждый УЭ задается вопрос из ТЗ, то по состоянию того или иного нейрона в МС можно установить, на какой вопрос обучаемый не ответил, соотнести этот вопрос с номером УЭ, на знание которого он был задан, дать дополнительные разъяснения, связав УЭ с ПрО, и отослать обучаемого к соответствующему разделу теории. По разности эталонной матрицы (1) и МС сети, можно построить матрицу, реализующую СГ, которая представляет собой индивидуальную траекторию обучения предметной области, что позволяет реализовывать адаптивное обучение.
Таким образом, очевидно, что совместное использование графосемантического и нейросетево-го подходов позволяет осуществлять адаптацию и индивидуализацию освоения и усвоения УМ изучаемой дисциплины [7], реализовывать различные сценарии обучения (ТЗ закрытого типа, АТ), использовать широкую номенклатуру шкал оценивания (как классических, так и нечетких) [16]. С помощью данного гибридного подхода появляется возможность осуществлять не только контроль, но и диагностику с последующим восстановлением знаний.
СПИСОК ЛИТЕРАТУРЫ
1. Лаптев В.В. Модель предметной области и оценка ее сложности в обучающей системе по программированию // Вестник АГТУ. Сер.: Управление, вычислительная техника и информатика. 2010. № 2. С. 35-44.
2. Атанов Г.А., Пустынникова И.Н. Обучение и искусственный интеллект, или основы современной дидактики высшей школы. Донецк: Изд-во ДОУ, 2002. 504 с.
3. Подбельский В.В. Язык Си. Учеб. пособие. 5-е изд. М.: Финансы и статистика, 2003. 560 с.
4. Касьянов В.Н., Евстигнеев В.А. Графы в программировании: обработка, визуализация и применение. СПб.: БХВ-Петербург, 2003. 1104 с.
5. Любарский Ю.Я. Интеллектуальные информационные системы. М.: Наука, 1990. 227 с.
6. Поспелов Г.С. Искусственный интеллект — основа
новой информационной технологии. М.: Наука, 1988. 280 с.
7. Мамаев В.Я., СиняковА.Н., Петров К.К., Горбунов Д.А. Воздушная навигация и элементы самолетовождения. Учебное пособие. СПб.: ГУАП, 2002. 256 с.
8. Челышкова М.Б. Разработка педагогических тестов на основе современных математических моделей. Учебное пособие. М.: "Логос", 1995. 32 с.
9. Аванесов B.C. Композиция тестовых заданий. М.: АДЕПТ, 1998. 217 с.
10. Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов. М.: Прометей, 2000. 169 с.
11. Глова В.И., Дуплик С.В. Модели педагогического тестирования обучаемых // Вестник Казан. гос. техн. унта им. А.Н. Туполева. 2003. № 2. С. 74-79.
12. Зайцева Л.В. Модели и методы адаптации к учащимся в системах компьютерного обучения // Educational Technology & Society. 2003. Т. 6, № 3. С. 204-212.
13. Дли М.И. Нечеткая логика и искусственные нейронные сети. М.: Физматлит, 2002. 225 с.
14. Галушкин А.И. Теория нейронных сетей. Кн. 1. Учеб. пособие для вузов. М.: Изд. предпр. ред. ж. "Радиотехника", 2000. 416 с.
15. Хайкин С. Нейронные сети: полный курс. 2-е изд. Пер. с англ. М.: ООО "Изд. дом Вильямс", 2006. 1104 с.
16. Дуплик С.В. Модель адаптивного тестирования на нечеткой математике // Информатика и образование. 2004. № 11. С. 57-65.
17. Васильев В.И., Тягунова Т.Н., Хлебников В.А. Триадная сущность шкалы оценивания // Дистанционное образование. 2000. № 6. С. 19-25.
18. Сивохин А.В., Лушников А.А., Шибанов С.В. Искусственные нейронные сети. Лабораторный практикум. Пенза: Изд. Пенз. гос. ун-та, 2004. 136 с.
19. Короткин А.А. Математические модели искусственных нейронных сетей. Уч. пособие. Ярославль: ЯрГу, 2000. 54 с.
Санкт-Петербургский государственный университет аэрокосмического приборостроения (ГУАП)
Контакты: Григорьев Александр Павлович, akxgrig-1986@таП. т
Материал поступил в редакцию: 19.09.2016
ISSN 0868-5886
NAUCHNOE PRIBOROSTROENIE, 2016, Vol. 26, No. 4, pp. 85-93
EXPERIENCE OF USE OF NEURAL NETWORKS IN THE ANALYSIS AND THE STRUCTURAL RECONSTRUCTION OF SUBJECT KNOWLEDGE OF THE SPECIALIST
A. Grigoryev, V. Mamaev
State University of Aerospace Instrumentation, Saint-Petersburg, Russia
The paper reviews in a specific context of subjective field of knowledge the construction of graphic semantic model of that field. With the use of this model the task of automated analysis of current state of graph of knowledge of examinee (trainee) is considered. The result of analysis is the indication of gaps of knowledge - fell out elements and links of the graphic semantic model, which allows to recover it with additional target-method training. As an instrument of the automatization authors propose to use neural networks of the perceptron type. Monitoring, diagnostics, knowledge recovery and individual learning material studying paths ensuring reliability of error detection, objective knowledge evaluation and adaptivity by means of knowledge recovery procedure are performed based on the results of neural-network testing.
Keywords: graphic semantic model, artificial neural networks, knowledge testing
REFERENCES
1. Laptev V.V. [Model of subject domain and assessment of its complexity in the training system on programming]. Vestnik Astrachanskogo gosudarstvennogo technichesko-go universiteta. Seriya: upravlenie, vychislitel'naya technika i informatika [bulletin of astrakhan state technical university. series: management, computer science and informatics], 2010, no. 2, pp. 35-44. (In Russ.).
2. Atanov G.A., Pustynnikova I.N. Obuchenie i iskusstven-nyy intellekt, ili osnovy sovremennoy didaktiki vysshey shkoly [Training and artificial intelligence, or fundamentals of modern didactics of the higher school]. Donezk, DOU Publ., 2002. 504 p. (In Russ.).
3. Podbel'skiy V.V. Yazyk Si. Ucheb. posobie [C language. Manual]. 5th ed. Moscow, Finansy i statistika Publ., 2003. 560 p. (In Russ.).
4. Kas'yanov V.N., Evstigneev V.A. Grafy v programmiro-vanii: obrabotka, vizualizaziya i primenenie [Graphs in programming: processing, visualization and application]. St. Petersburg, BChV-Peterburg Publ., 2003. 1104 p. (In Russ.).
5. Lyubarskiy Yu.Ya. Intellektual'nye informazionnye siste-my [Intellectual information systems]. Moscow, Nauka Publ., 1990. 227 p. (In Russ.).
6. Pospelov G.S. Iskusstvennyy intellekt — osnova novoy in-formazionnoy technologii [Artificial intelligence — a basis of new information technology]. Moscow, Nauka Publ., 1988. 280 p. (In Russ.).
7. Mamaev V.Ya., Sinyakov A.N., Petrov K.K., Gorbunov D.A. Vozdushnaya navigaciya i ehlementy sa-moletovozhdeniya. Uchebnoe posobie [Air navigation and elements of piloting. Education book]. Saint Petersburg State University of Aerospace Instrumentation, 2002. 256 p. (In Russ.).
8. Chelyshkova M.B. Razrabotka pedagogicheskich testov
na osnove sovremennych matematicheskich modeley. Uchebnoe posobie [Development of pedagogical tests on the basis of modern mathematical models. Manual]. Moscow, Логос Publ., 1995. 32 p. (In Russ.).
9. Avanesov B.C. Kompoziziya testovych zadaniy [Composition of test tasks]. Moscow, ADEPT Publ., 1998. 217 p. (In Russ.).
10. Neyman Yu.M., Chlebnikov V.A. Vvedenie v teoriyu modelirovaniya i parametrizazii pedagogicheskich testov [Introduction to the theory of modeling and parametriza-tion of pedagogical tests]. Moscow, Prometey Publ., 2000. 169 p. (In Russ.).
11. Glova V.I., Duplik S.V. [Models of pedagogical testing of trainees]. Vestnik KGTU im. A.N. Tupoleva [Proceedings of Kazan Aviation Institute], 2003, no. 2, pp. 74-79. (In Russ.).
12. Zaitseva L.V. [Models and methods of adaptation to pupils in systems of computer training]. Educational Technology & Society, 2003, vol. 6, no. 3, pp. 204-212. (In Russ.).
13. Dli M.I. Nechetkaya logika i iskusstvennye nejronnye seti [Fuzzy logic and artificial neural networks]. Moscow, Fizmatlit Publ., 2002. 225 p. (In Russ.).
14. Galushkin A.I. Teoriya nejronnyh setej. Kn. 1. Ucheb.posobie dlya vuzov [Theory of neural networks. Book 1. Studies. Education book for higher education institutions]. Moscow, Radiotekhnika Publ., 2000. 416 p. (In Russ.).
15. Haykin S. Neural Networks: A Comprehensive Foundation. 2nd ed. Canada, Hamilton, Pearson Education Inc., 1999. 823 p. (Russ Ed.: Hajkin S. Nejronnye seti: polnyj kurs. 2-е izd. Translate N.N. Kussul', A.Yu. Shelestova, eds. N.N. Kussul'. Moscow, Vil'yams Publ., 2006. 1104 p.).
16. Duplik S.V. [Model of adaptive testing on indistinct mathematics]. Informatika i obrazovanie [Informatics and
Education], 2004, no. 11, pp. 57-65. (In Russ.).
17. Vasil'ev V.I., Tyagunova T.N., Hlebnikov V.A. [Triad essence of a scale of estimation]. Distancionnoe obrazova-nie [Remote education], 2000, no. 6, pp. 19-25. (In Russ.).
18. Sivohin A.V., Lushnikov A.A., Shibanov S.V. Iskusstven-nye nejronnye seti. Laboratornyj praktikum [Artificial neural networks. Laboratory practical work]. Penza, Izda-tel'stvo Penzenskogo gosudarstvennogo universiteta,
2004. 136 p. (In Russ.).
19. Korotkin A.A. Matematicheskie modeli iskusstvennyh ne-jronnyh setej. Uchebnoe posobie [Mathematical models of artificial neural networks. Education book]. Yaroslavl, P.G. Demidov Yaroslavl State University, 2000. 54 p. (In Russ.).
Contacts: Grigoryev Aleksandr Pavlovich, alexgrig-1986@mail. ru
Article received in edition: 19.09.2016
HAYHHOE nPHEOPOCTPOEHHE, 2016, tom 26, № 4
