CC BY
54
Наука к Образование
МГТУ им. Н.Э. Баумана
Сетевое научное издание
ISSN 1994-0408 УДК 378.146
Рациональное упорядочение модулей учебного курса на основе нечеткой исходной информации
ДОМНИКОВ А. С.1'", Белоус В. В.1 "asdomiiikoffffniaüju
1МГТУ им. Н.Э. Баумана, Москва, Россия
Наука и Образование. МГТУ им. Н.Э. Баумана. Электрон. журн. 2015. № 04. С. 215-227.
DOI: 10.7463/0415.0765620
Представлена в редакцию: 17.04.2015
© МГТУ им. Н.Э. Баумана
Обсуждается задача синтеза рационального порядка учебных модулей электронного курса. Исходную информацию упорядочения модулей доставляет нечеткий граф предшествования, построенный на основе субъективных предпочтений эксперта. Рассмотрено несколько вариантов решения поставленной задачи. Показан способ преобразования матрицы смежности нечеткого графа к вероятностной калибровке. Это позволяет применить для решения поставленной задачи многочисленные методы ранжирования объектов, разработанные в теории принятия решений. Рассматривается оригинальный метод ранжирования модулей, основанный на поиске минимального множества уровня, обладающего свойством ацикличности. Ациклические бинарные отношения могут быть преобразованы в линейный порядок без значительных искажений исходной структуры.
Ключевые слова: электронный курс, рациональное упорядочение, нечеткий граф, отношение порядка, ранжировка, электронное обучение
Электронное образование в наши дни переживает этап бурного и экстенсивного развития. Стремительно увеличивается количество образовательных учреждений, предоставляющих электронные образовательные услуги. Растет число публикаций, в которых обсуждаются различные педагогические, научные и технические аспекты дистанционного образования.
Введение
Подавляющее большинство современных систем электронного образования используют модульную организацию учебных материалов. В этих системах учебных курсы формируются из автономных и относительно замкнутых блоков учебного материала, именуемых модулями. В общем случае, модули могут включать в себя текстовые, графические, мультимедийные фрагменты и содержать ссылки на другие блоки учебного материала. Как правило, модули хранятся в общем репозитории и служат элементарными разделяемыми единицами контента для различных учебных материалов, которые собираются из этих элементарных блоков. Стандарт SCORM (Sharable Content
Object Reference Model), который является стандартом де-факто для современных инициатив в области электронного образования, основан на модульной организации учебных материалов. Он позволяет обеспечить совместимость обучающих модулей и возможность их многократного использования.
Все современные электронные курсы снабжены гипертекстовой ссылочной структурой, которая допускает нелинейную последовательность изучения с возможными возвратами и ревизией ранее пройденного материала. Однако линейная последовательность имеет множество методических и организационных преимуществ, по сравнению с другими «маршрутами обучения». Так в форме линейного упорядочения учебные курсы представляются в методических документах, учебных программах, рекламных материалах, индивидуальных планах и др. Эта форма используется в оперативном управлении учебным процессом, при выборе индивидуальной стратегии обучения, для решение множества логистических и организационных задач, обеспечивающих учебный процесс [6].
Основной массив теоретических исследований в области синтеза рациональной структуры электронных учебных курсов посвящен задаче формирования модульного состава курсов [5,7,8]. Важная проблема рационального упорядочения учебных модулей исследована недостаточно. В работе [6] она ставится как поиск наилучшего аппроксимации структуры модулей в классе всех линейных порядков. Более точно, считается, что информация о связи модулей учебного курса задана в виде ориентированного графа G=(X,D), где X = {Xj}f=1 - множество модулей учебного курса, а D = {dif} - множество дуг. Дуга dj соединяет вершину xi с вершиной Xj тогда и только тогда, когда изучение модуля Xi должно предшествовать изучению модуля Xj. Требуется найти наилучшее приближение G=(X,D) в классе всех линейных порядков на множестве X. Решением является линейный порядок, который в максимальной степени согласуется с множеством дуг исходной структуры.
В теории принятия решений задачи этого типа изучены достаточно глубоко и нашли широкое применение в эконометрике, экспертном анализе, структурном синтезе, теоретическом программировании и др. В [6] рассматриваются три способа синтеза рационального линейного порядка на множестве учебных модулей: разрывание контуров, упаковка контуров и разделение исходной структуры на псевдопорядковый и сильносвязный фрагменты. Во всех этих постановках предполагается, что получена достоверная информация о предшествовании модулей, которая формализуется в виде дуг графа G=(X,D).
Во многих случаях анализ модульной структуры проводится в условиях высокой неопределенности и для этого используются индивидуальные предпочтения эксперта. Полученная экспертная информация является качественной и отличается принципиально неустранимой субъективностью и неопределенностью. Ее формализация в виде графа или бинарного отношения не будет обладать высокой адекватностью во многих реальных
ситуациях. Для обработки данных такого сорта лучше использовать глубоко развитый аппарат нечеткой математики.
Постановка задачи
Пусть информация о предшествовании модулей учебного курса задана в виде нечеткого графа = (Х,Б) , где X = {х^}[1=1 - множество модулей учебного курса, а Б = {йц} - множество дуг. Дуга ё] соединяет вершину х^ с вершиной X] тогда и только тогда, когда изучение модуля х^ должно предшествовать изучению модуля хКроме того, каждая дуга ё взвешена числом лежащим в диапазоне от 0 до 1. Эта величина представляет собой значение функции принадлежности /л: Б —> [0,1], которая дает численную оценку вхождения дуги во множество дуг нечеткого графа.
Рис. 1. Нечеткий граф предшествования модулей
На рис.1 показан нечеткий граф, описывающий отношение предшествование между модулями электронного курса «Искусственный интеллект». Номера на этом рисунке обозначают основные разделы курса: 1 - Фреймы; 2 - Семантические сети; 3 - Онтологии; 4 - Продукционные системы; 5 - Язык Лисп; 6 - Язык Пролог; 7 - Поиск в пространстве состояний; 8 - Исчисление предикатов; 9 - Исчисление высказываний; 10 -Программирование роботов; 11 - Программирование игр. Дуги взвешены значениями функции принадлежности. Для упрощения рисунка дуги с нулевым весом опущены.
Если фиксировать множество вершин, то нечеткий граф можно задать простым перечислением его дуг вместе со значениями функции принадлежности. Следующий список задает нечеткий граф, приведенный на рис. 1: (2,1)/0,9; (3,2)/0,1; (2,3)/0,8; (8,2)/0,4;
(7,2)/0,5; (2,10)/0,7; (5,10)/0,8; (5,11)/0,8; (4,11)/0,9; (4,10)/0,95; (7,4)/0,8; (7,11)/0,9; (7,9)/0,5; (7,6)/0,75; (9,6)/0,9; (9,8)/1; (6,10)/0,85; (6,11)/0,85; (8,6)/0,95.
Более наглядный и удобный для ручной обработки способ представления нечетких графов дает матрица смежности А( С) = | | д ¿у | | ^^, где /л- - значение функции
принадлежности дуги, соединяющей вершину х^ с вершиной х,. Следующая таблица представляет матрицу смежности нечеткого графа, показанного на рис. 1.
Таблица 1. Матрица смежности нечеткого графа
1 2 3 4 5 6 7 8 9 10 11
1
2 0,8 0,7
3 0,1
4 0,95 0,9
5 0,8 0,8
6 0,85 0,85
7 0,5 0,8 0,75 0,5 0,9
8 0,4 0,95
9 0,9 1
10
11
Нечеткий граф предшествования модулей создается по результатам экспертного опроса специалистов (специалиста) в данной предметной области. Разнообразные процедуры генерации и верификации экспертной информации описаны в публикациях по принятию решений и теории экономического анализа ([1,10, 11]), поэтому в данной работе не рассматриваются. Далее будем обсуждать только возможные решения задачи синтеза рационального порядка на множестве модулей.
Рациональное упорядочение модулей как задача принятия решений
В теории принятия решений (ТПР) рассматривается общая задача рационального упорядочения п объектов произвольной природы по исходной информации, заданной матрицей парных сравнений А = | | а^ | | ^^ [3]. Требуется найти частичный или линейный
порядок на множестве объектов , который в максимальной степени согласуется с мнением ЛИР, выраженным матрицей парных сравнений.
На элементы этой матрицы накладываются два условия:
1. а- > а-и если объект х^ доминирует (лучше, старше, сильнее и пр.) объект х-;
2. калибровочное условие, зависящее от вида экспертизы и способа обработки экспертных данных.
Существуют пять основных типов калибровок:
2.1.Простая калибровка (ПК):
(1, если x¿ > Xj
V i аi,= j n .
J J l] (О, если Xj > x¿
В некоторых случаях простая калибровка включает в себя дополнительное условие а i j = 1/2, если х i н е с р а в н и м о с Ху.
2.2. Турнирная калибровка (Т):
V/, j aij > 0 a¿y + ají = const.
2.3. Степенная калибровка (С):
Vi, j aij > 0 a¿y X ají = 1.
2.4.Кососимметрическая калибровка (К):
Vi, j CLij + üji = 0.
2.5.Вероятностная калибровка (В):
Vi, j 0 < a¿y < 1 a¿y + ají = 1.
Методы решения общей задачи рационального упорядочения в значительной степени определяются калибровочным условием. Например, метод Бержа, который дает хорошие результаты в большинстве практических случаев, применим к матрицам парных сравнений с простой калибровкой, а эффективный с вычислительной точки зрения метод Жуковина обрабатывает только матрицы с кососимметрической калибровкой [3].
Матрица смежности А(G) = | | ^ у | | ^^ нечеткого графа предшествования модулей
удовлетворяет условию 1 по определению. Действительно, все распространенные подходы к построению функций принадлежности нечетких отношений и графов (энтропийный, метрический, вероятностный и экспертный) продуцируют матрицы такого вида [1,11]. Однако, в общем случае, для А ( G) = | | ¡iij| | ^^ не выполняется ни одна из
калибровок, поэтому к задаче ранжирования модулей в приведенной постановке не могут быть применены методы рационального упорядочения, разработанными в теории принятия решений.
Для решения задач упорядочения исходные калибровочные условия часто преобразуются в некоторые желаемые в данной ситуации. Например, калибровки Т, В, К, и С сводятся к ПК следующим способом: Ъij = [s ign(аij — ау i) + l] / 2 , где by - элемент модифицированной матрицы. Известны и иные варианты сведения калибровочных условий [3]. Этот прием позволяет применить тот метод упорядочения, который не способен обрабатывать данные исходной матрицы парных сравнений.
Преобразуем элементы матрицы смежности А ( С) = | | /¿у | | ^^ следующим образом Ъ¿у =—^—, V Ф }. Легко видеть, что в полученной матрице В = | | Ъ¿у | | сумма
а ^+&j ^ Т1 х ть
любых элементов, симметричных относительно главной диагонали, равна 1, то есть она удовлетворяет вероятностному калибровочному условию.
Проведен анализ методов рационального упорядочения, предназначенных для обработки матрицы парных сравнений с вероятностной калибровкой. Оказалось, что среди многочисленных методов ранжировки объектов только немногие способны обрабатывать такие матрицы непосредственно, без предварительного изменения калибровки. Таковыми являются метод функции доминируемости, стохастический метод Ушакова и метод ближайшей расплывчатой квазисерии [3].
Последние два метода накладывают жесткие ограничения на свойства обрабатываемых данных. Так, метод ближайшей расплывчатой квазисерии применяется только к обратимым матрицам с вероятностной калибровкой. В методе Ушакова необходимо гарантировать разложимость стохастической матрицы, которая формируется из исходной матрицы парных сравнений по некоторым простым правилам. В общем случае, нечеткий граф предшествования модулей описывается матрицами общего вида, для которых невозможно обеспечить выполнимость перечисленных условий.
Метод, основанный на использовании функции доминируемости, свободен от перечисленных ограничений и может быть применен непосредственно к матрице смежности А (с) = | | /¿у | | ^^ нечеткого графа без ее сведения к вероятностной калибровке. Рассмотри этот метод.
Значение функции принадлежности / ( й ¿у ) = /¿у ребра й ¿у = ^¿,Ху) нечеткого графа О можно рассматривать как степень доминации (превосходства) вершины х^ над вершиной х-. Для каждой вершины x¿ £ X( С) определим функцию доминируемости I(^¿) = , как максимальную силу, с которой данная вершина доминируется остальными вершинами нечеткого графа. Если 1(х)=0, то вершина х не доминируется, если 1(х)=1, то абсолютно доминируется, если 0 < 1(х) <1, то говорят о слабом доминировании. Для упорядочения объектов используется следующее решающее правило:
XI > Ху <=> 1(Х[) < 1{ху).
Кроме очевидной вычислительной простоты этот метод упорядочения обладает несколькими значительными достоинствами. Для него выполняются следующие важнейшие свойства моделей упорядочения: инвариантность к растяжению, инвариантность к сдвигу, устойчивость в малом, положительной реакции и сохранение доминирования [10].
Если носитель исходной информации нечеткий граф рассматривать как обычный орграф со взвешенными дугами и не учитывать нечеткую природу носителя, то для решения поставленной задачи можно применить метод максимального согласования, который прошел глубокую практическую проверку в различных ситуациях рационального упорядочения. Суть метода заключается в поиске такой сортировки строк и столбцом
матрицы парных сравнений А = | | а ¿у | | ^^, которая минимизирует сумму поддиагональных
(максимизирует сумму наддиагональных ) элементов. В матричной алгебре эта задача известна под названием задачи о наилучшей приближенной триангуляции (нп-триангуляции) матрицы.
Более точно, пусть I - некоторое линейное упорядочение (перестановка) объектов множества. Говорят, что упорядочение I имеет элементарное несогласие с матрицей А = | | а ¿ у | | , если а- > а--, а в I объект х- > хг-. Оптимальным будем такое упорядочение,
которое является максимально согласованным с матрицей парных сравнений. Для матриц
общего вида этот критерий можно записать следующим образом:
71-1 п
г=15=Г+1
где I* - множество всех допустимых перестановок объектов из X.
Метод максимального согласования прошел успешную проверку в решении множества проблемы упорядочения объектов различной физической природы. К этой постановке сводятся задачи ранжирования объектов по экспертной информации, оптимизации межотраслевого баланса, структурного синтеза сложных систем и др.
Известно что в приведенной постановке этот метод имеет вычислительную сложность класса ЫР. Точное решение этой задачи при помощи алгоритмов, основанных на целочисленном линейном программировании или методе ветвей и границ возможно только для матриц небольших размеров [9]. Для поиска субоптимальных решений используются алгоритмы локального и случайного поиска, а также генетические алгоритмы [2,4].
Несмотря на то, что метода максимального согласования широко и успешно применяется для решения множества задач рационального упорядочения, его использование для обработки нечетких графов предшествования, к сожалению, представляется не вполне обоснованным по нескольким причинам. Во-первых, критерий оптимальности данной модели Оф представляет собой сумму наддиагональных элементов матрицы парных сравнений. Тогда как элементы матрицы смежности нечеткого графа - это значении функции принадлежности. В некоторых случаях они являются элементами полной дистрибутивной решетки, и их прямое арифметическое сложение -это некорректная операция.
Во-вторых, этот метод выделяет из исходной структуры предпочтений порядок максимального суммарного веса. Это хорошо согласуется с интуитивным представлением о правильном решении задачи, но противоречит нечеткой природе исходного носителя. Порядок, как его понимают в теории обычных (четких) бинарных отношений, представляет собой транзитивное отношение, то есть если х > у и у > г, то х > г. Тогда как для нечетких бинарных отношений понятие транзитивности имеет многочисленные иные толкования. Так нечеткое порядковое отношение может быть слабо транзитивным, отрицательно транзитивным, вероятностно транзитивным, сильно транзитивным,
метрически транзитивным ультраметрически транзитивным и др. [12]. Вопрос о типе транзитивности, который адекватно описывает решение задачи рационального упорядочения модулей электронного курса, по всей видимости, не имеет априорного ответа и нуждается в дополнительном исследовании.
Поиск упорядочения разложением нечеткого отношения на уровни
Рассмотрим другой способ решения поставленной задачи. Одно из важнейших преимуществ нечетких отношений состоит в том, что они могут быть представлены в виде ансамбля обычных отношений, которые иерархически вложены друг в друга. Более точно, пусть И[0, 1 ] - нечеткое бинарное отношение на множестве X. Множеством уровня а нечеткого отношения Я называется обычное (четкое) отношение Яа, которое задается следующим образом:
Легко видеть, что множества различных уровней удовлетворяют следующему условию: , то есть представляют собой совокупность вложенных в друг
друга четких бинарных отношений.
В теории нечетких множеств доказана теорема о декомпозиции, гласящая, что любое нечеткое бинарное отношение может быть представлено в виде объединения всех своих множеств уровня:
Между нечетким множеством Я и его множествами уровня Яа существует обоюдное наследование основных свойств бинарных отношений. Показано, что Я обладает свойствами рефлексивности, антирефлексивности, симметричности, антисимметричности, асимметричности и транзитивности тогда и только тогда, когда ими обладает все семейство множеств уровня Яа. [12].
Эта теорема и техника разложения на уровни дает основания для нескольких содержательных постановок задачи синтеза рационального упорядочения по исходной структуре предпочтений, заданной в виде нечеткого графа предшествования. В этих постановках требуется найти минимальное значение уровня а, для которого множество уровня Яа представляет собой порядковую структуру или является ее рациональным приближением, хорошо описывающим данную ситуацию. В различных случаях Яа как бинарное отношение может быть строгим или нестрогим порядком, предпорядком, линейным порядком, ациклическим или транзитивным отношением. Каждое их этих
Яа = {(х,у) Е X х ХЩ^х.у) > а Это определение можно записать в виде:
Ка{х.у) = [
( 1, если й(х,у) > а (О, в противном случае.
а
отношений может быть доопределено до полного порядка или просто преобразовано в него простыми топологическими или перестановочными операциями.
0,2
а
Рис. 2. Нечеткое отношение и его множество уровня
Например, на рис. 2 показано нечеткое отношение Я в виде графа (дуги с нулевыми значениями функции принадлежности опущены). В правой части рисунка приведено изображение множества уровня Я03 для а = 0,3. Это ациклическое бинарное отношение, которое может быть легко преобразовано в линейный (полный) порядок на данном множестве элементов. Так, одно из решений дает перестановка (ё,Ъ,а,е). Легко видеть, что Яо,25 представляет собой антисимметрическое отношение, которое также может быть трансформировано в порядок без значительных искажений исходной структуры Я.
Рассмотрим более подробно задачу генерации множества уровня, обладающего свойством ацикличности. Будем считать, что вершины нечеткого графа предшествования С°= (Х,П) занумерованы целыми числами от 1 до п=\Х\. Если вершины графа расположить последовательно на одной линии, то множество номеров будет представлять некоторую перестановку (1и12,...,1п). Следуя [4], определим потенциал перестановки по формуле
Потенциал перестановки дает численную оценку множества дуг обратного направления, ведущих от последующих вершин перестановки к предшествующим. Разрушение этих дуг ликвидирует все ориентированные циклы графа, то есть приводит его к ациклическому виду. В задаче требуется найти
Эта задача, применительно к взвешенным ориентированным графам общего вида, многократно обсуждалась в публикациях по дискретной математики. Ее алгоритмическая сторона исследована достаточно глубоко и предложено несколько точных и приближенных методов решения. В классической работе [4] приводится решение этой задачи методом границ и ветвей, в фундаментальной монографии [9] описан метод, основанный на многократном поиске максимального потока в производном
(¿!,/2, - ¿„) е 1п\У(.(.н>к. - ¿п) т1п-
п 1-1
1=2 к=1
ориентированном графе, построенном по исходному носителю, в [2] приводится эффективный генетический алгоритм, дающий приближенное решение задачи.
Выводы
1. Рассмотрена задача рационального упорядочения модулей электронного курса на основе исходной информации о предшествовании, заданной в виде нечеткого графа предшествования.
2. Показано, что эта задача может быть поставлена как поиска наилучшей аппроксимации исходной структуры предпочтений в классе линейных порядков на исходном множестве объектов.
3. Предложен простой способ преобразования значений функции принадлежности, приводящий матрицу смежности нечеткого графа к вероятностному калибровочному условию.
4. Исследованы методы рационального упорядочения, способные обрабатывать матрицы парных сравнений с вероятностной калибровкой, и обосновано применение метода упорядочения, который в качестве ранжирующего фактора использует функцию доминируемости.
5. Предлагается способ решения задачи, основанный на разложении нечеткого множества на уровни и генерации множества минимального уровня, обладающего свойствами ацикличности. Показано, что эта задача сводится к поиску такой перестановки вершин, которая имеет наименьший возможный потенциал среди всех перестановок объектов.
Список литературы
1. Adam F., Humphreys P. Encyclopedia of Decision Making and Decision Support Technologies. New York, Hershey, 2008. 1020 p.
2. Абаев Л.Ч. Экспертное упорядочение альтернатив в задачах большой размерности // Управление большими системами: сб. тр. Вып. 40. М.: ИПУ РАН, 2012. С. 5-34.
3. Белкин А.Р., Левин М.Ш. Принятие решений: комбинаторные модели аппроксимации информации. М.: Наука, 1990. 160 с.
4. Бурков В.Н., Гроппен В.О. Разрезы в сильносвязных графах и потенциалы перестановок // Автоматика и телемеханика. 1972. № 6. С. 23-27.
5. Галямова Е.В. Оценка качества электронного учебного материала // Международная научно-методическая конференция «Управление качеством инженерного образования и инновационные образовательные технологии» (Москва, 28-30 октября 2008 г.): сб. докл. Ч. 2. М.: МГТУ им. Н.Э.Баумана, 2008. С. 29-34.
6. Домников А.С., Белоус В.В. Рациональное упорядочение модулей учебного курса // Наука и образование. МГТУ им. Н.Э. Баумана. Электрон. журн. 2014. № 5. С. 192-205. DOI: 10.7463/0514.0710096
7. Карпенко А.П., Соколов Н.К. Контроль понятийных знаний субъекта обучения с помощью когнитивных карт // Международная научно-методическая конференция «Управление качеством инженерного образования и инновационные образовательные технологии» (Москва, 28-30 октября 2008 г.): сб. докл. Ч. 2. М.: МГТУ им. Н.Э.Баумана, 2008. С. 55-57.
8. Карпенко А.П., Соколов Н.К. Оценка сложности семантической сети в обучающей системе // Наука и образование. МГТУ им. Н.Э. Баумана. Электрон. журн. 2008. № 11. Режим доступа: http://technomag.bmstu.ru/doc/106658.html (дата обращения 01.03.2015).
9. Касьянов В.Н., Евстигнеев В.А. Графы в программировании. Обработка, визуализация и применение. СПб.: БХВ, 2003. 1104 с.
10. Козлов В.Н. Системный анализ и принятие решений. СПб.: Изд-во СПбГПУ, 2008. 220 с.
11. Ларичев О.И. Теория и методы принятия решений. М.: Логос, 2002. 392 с.
12. Юдин Д.Б. Вычислительные методы теории принятия решений. М.: Наука, 1989. 320 с.
Science and Education of the Bauman MSTU, 2015, no. 04, pp. 215-227.
DOI: 10.7463/0415.0765620
Received:
17.04.2015
Science^Education
of the Bauman MSTU
ISS N 1994-0408 © Bauman Moscow State Technical Unversity
Fuzzy Input Information-based Rational Ordering of Curriculum Modules
A.S. Domnikov1*, V.V. Belous1
a sdomnik o ff@mail ju :Bauman Moscow State Technical University, Moscow, Russia
Keywords: E-course, rational ordering fuzzy graph, binary relation of order, ranking, e-learning
All modern e-learning systems and standards support a module-based structure of the training materials. It means that independent and rather closed modules of training material form the courses of study. As compared to the unstructured arrangement of training material, the module-based structure has a number of apparent advantages. In particular, it is highly flexible and allows a reuse of educational modules as a part of various courses and trainings.
The main cohort of theoretical researches in synthesis of e-learning course structure concerns a problem of designing a module-based structure. The important problem of rational ordering of the curriculum modules is investigated insufficiently. This is the second article of the cycle related to the rational ranking of the e-course modules. The work supposes that initial information is set as a fuzzy graph of preferences, which formalizes expert's subjective information on precedence of module pairs. It is required to find a linear order, which is a good approximant of the initial structure of preferences.
The article offers a simple way for transforming values of membership function to lead an adjacency matrix of the fuzzy graph to a probabilistic calibration condition. It investigates the rational ordering methods capable to process matrixes of pair comparisons with probabilistic calibration and justifies an application of the ordering method, which uses a dominating function as a ranking factor. The proposed way to solve the task is based on decomposition of a fuzzy set into the levels and generations of a set of the minimum level that possesses acyclic properties. It is shown that this task is reduced to the search of such a shift of tops, which has the smallest possible potential among all the shifts of objects.
References
1. Adam F., Humphreys P. Encyclopedia of Decision Making and Decision Support Technologies. New York, Hershey, 2008. 1020 p.
2. Abaev L.Ch. Expert ranking of alternatives in the problems of big dimension. Upravlenie bol'shimi sistemami: sb. tr. = Large-scale Systems Control. Iss. 40. Moscow, V.A. Trapeznikov Institute of Control Sciences of RAS Publ., 2012, pp. 5-34. (in Russian).
3. Belkin A.R., Levin M.Sh. Prinyatie reshenii: kombinatornye modeli approksimatsii informatsii [Decision making: combinatorial models of approximation of information]. Moscow, Nauka Publ., 1990. 160 p. (in Russian).
4. Burkov V.N., Groppen V.O. Cross-sections in strongly connected graphs and permutation potentials. Avtomatika i telemekhanika, 1972, no. 6, pp. 23-27. (English version of journal: Automation and Remote Control, 1972, vol. 33, no. 6, pp. 983-991.).
5. Galyamova E.V. The assessment of quality of e-learning material. Mezhdunarodnaya nauchno-metodicheskaya konferentsiya "Upravlenie kachestvom inzhenernogo obrazovaniya i innovatsionnye obrazovatel'nye tekhnologii" [Proc. of the International Scientific and Methodical Conference "Management of quality of engineering education and innovative educational technologies"], Moscow, October 28-30, 2008. Pt. 2. Moscow, Bauman MSTU Publ., 2008, pp. 29-34. (in Russian).
6. Domnikov A.S., Belous V.V. Rational orderliness of study course modules. Nauka i obrazovanie MGTU im. N.E. Baumana = Science and Education of the Bauman MSTU, 2014, no. 5, pp. 192-205. DOI: 10.7463/0514.0710096
7. Karpenko A.P., Sokolov N.K. Control of conceptual knowledge of student with the help of cognitive maps. Mezhdunarodnaya nauchno-metodicheskaya konferentsiya "Upravlenie kachestvom inzhenernogo obrazovaniya i innovatsionnye obrazovatel'nye tekhnologii" [Proc. of the International Scientific and Methodical Conference "Management of quality of engineering education and innovative educational technologies"], Moscow, October 28-30, 2008. Pt. 2. Moscow, Bauman MSTU Publ., 2008, pp. 55-57. (in Russian).
8. Karpenko A.P., Sokolov N.K. Evaluation of complexity of semantic network in learning system. Nauka i obrazovanie MGTU im. N.E. Baumana = Science and Education of the Bauman MSTU, 2008, no. 11. Available at: http://technomag.bmstu.ru/doc/106658.html , accessed 01.03.2015. (in Russian).
9. Kas'yanov V.N., Evstigneev V.A. Grafy v programmirovanii. Obrabotka, vizualizatsiya i primenenie [Graphs in programming. Processing, visualization and application]. St. Petersburg, BKhV Publ., 2003. 1104 p. (in Russian).
10. Kozlov V.N. Sistemnyi analiz i prinyatie reshenii [System analysis and decision-making]. St. Petersburg, SPbSPU Publ., 2008. 220 p. (in Russian).
11. Larichev O.I. Teoriya i metodyprinyatiya resheniy [Theory and methods of decision-making]. Moscow, Logos Publ., 2002. 392 p. (in Russian).
12. Yudin D.B. Vychislitel'nye metody teorii prinyatiya resheniy [Computational methods of decision-making theory]. Moscow, Nauka Publ., 1989. 320 p. (in Russian).
