В.В. Нечаев, В.М. Панченко, А.И. Комаров
Межпредметный системообразующий базис организации процесса подготовки специалистов по научным направлениям
В докладе рассматривается междисциплинарный системообразующий базис рациональных и эмпирических комплексов общей теории систем, примеры формирования новых форм баз учебных материалов, а также различные подходы к организации процессов формирования знаний на основе индивидуализации и управления учебной деятельностью обучаемого в условиях применения информационных технологий.
Ключевые слова: системология, междисциплинарный подход, управление учебной деятельностью.
INTERDISCIPLINARY “SYSTEM-FORMING” BASIS OF EDUCATIONAL PROCESS ORGANIZATION ACCORDING TO STUDIES DIRECTION
The report discusses interdisciplinary “system-forming” basis of rational and empirical complexes of general system theory, examples of the creating the new forms of training materials database, also various approaches to organization of formation knowledge processes based on personalization and management of student education activities under condition of using information technologies.
Keywords: systematology, interdisciplinary approach, education management.
УДК 378.02:519.711.3 ГРНТИ 14.01.77: 28.23.26
Введение
В настоящее время в МГТУ МИРЭА осуществляется переход от пятилетней подготовки специалистов по базовым специальностям на основе выпускающих базовых кафедр к двухступенчатому обучению по научным направлениям с последующим узким профилированием: от уровня бакалавров (четыре года обучения) до уровня программ магистров (ещё плюс минимум два года обучения).
В такой ситуации становится актуальным решение проблем формирования междисциплинарного подхода к разработке новых учебных материалов, ориентированных на определённое научное направление, т.е. на межпредметную систему понятий и отношений.
При подготовке бакалавров по четырёхлетнему жизненному циклу обучения определяющим фактором является время. Для сравнения в качестве ориентира возьмём Массачусетский технологический институт (МТИ), который за четыре года готовит специалистов высшей квалификации. В 2012 году МТИ вышел на первое место по рейтингу в списке лучших учебных заведений в мире.
Особенностью в организации процесса подготовки специалистов в МТИ является структурное постоянство численного состава контингента, то есть в течение десятилетий принята постоянно действующая система приёма и подготовки кадров. На первом, втором, третьем и четвертом курсе обучают-
ся по одной тысяче студентов (всего четыре тысячи). В аспирантуре продолжают обучение и научную работу порядка шести тысяч. Численность преподавательского состава в пределах одной тысячи человек. Следует также учесть самостоятельность американских институтов и университетов, каждый из которых представляет собой центр научно-исследовательских разработок. Процессы обучения в подобных центрах совмещаются с договорной научно-исследовательской работой, выполняемой по заказам и ассигнованиям отдельных фирм и министерств. Поэтому оплата в МТИ за обучение (в среднем 57 тысяч долларов в год с учётом общежития), как правило, перекрывается оплатой студентам, аспирантам и преподава-
В.В. Нечаев,
д.т.н, проф., зав. каф. интеллектуальные технологии и системы Тел.: 8 (495) 434-74-47 E-mail: [email protected] Московский государственный технический университет радиотехники, электроники и автоматики (МГТУМИРЭА) www.mirea.ru
В.М. Панченко,
к.т.н., проф. кафедрыИТС Тел.: 8 (495) 434-74-47 E-mail: [email protected] Московский государственный технический университет радиотехники, электроники и автоматики (МГТУ МИРЭА) www.mirea.ru
А.И. Комаров,
асп. кафедры ИТС Тел.:8 (903) 747-53-58 E-mail:[email protected] Московский государственный технический университет радиотехники, электроники и автоматики (МГТУМИРЭА) www.mirea.ru
телям по НИР Отбор претендентов на обучение ведётся заочно по всему миру. На очное собеседование приглашаются претенденты, отвечающие требованиям по общей подготовленности, но главное, способные к самостоятельной и активной деятельности. Актуальным при отборе и подготовке специалистов становится вопрос развития дистанционных форм обучения. С начала года на первые в истории онлайн-курсы МТИ записались 90 000 человек. В настоящее время МТИ совместно с Гарвардским университетом открывает общую платформу для онлайн-обучения.
1. Обучение в системе образования; направления для исследований
Понятие «обучение» традиционно определяется как «основной путь получения образования; целенаправленно организованный, планомерно и систематически осуществляемый процесс овладения знаниями, умениями и навыками под руководством педагогов, наставников и т.д., тесно связано с воспитанием и ведётся в учебных заведениях и в ходе производственной деятельности...» [1]. Обучение является частью образовательного процесса.
На рис. 1 на теоретикомножественном уровне описания дана интерпретация составляющих понятия «образование». Для этого используется диаграмма Эйле-ра-Венна в случае общего положения множеств, где А - обучение; B - воспитание; С - развитие.
Таким образом, образование как комплексная система Е1 может быть формально представлено в виде составляющих системы по определению (опр.), т.е.:
опр
X1 о образование = А + В + С + 0.
На рис. 1 показана область Л • B • C - взаимного пересечения система множеств на множестве областей при общем положении множеств. Отдельные подобласти могут быть выделены с помощью аддитивной или мультипликативной операций. Для алгебры множеств это операции объединения и пересечения.
Рис. 1. Интерпретация составляющих понятия образования на уровне теоретикомножественного описания
Теоретико-множественный уровень описания (см. рис. 1) дополним знаково-лингвистической интерпретацией. На рис. 2 приведена система и структура уровней знания £2, составляющих понятия «обучение», как управляемого процесса целенаправленной познавательной деятельности.
На рис. 2 знаком обозначен коэффициент усвоения знаний. При возможен переход от репродуктивной формы обучения к продуктивной и далее к творчеству, а следовательно, и к более высоким уровням оценки компетентности обучаемого.
Традиционная шкала наименований [2] «знания - умения - навыки» получила в настоящее время «расширение» в направлении развития компетенций, опирающихся на развитие мышления и становление творчества. Это связано с необходимостью создания образовательных услуг, стимулирующих креативную (творческую) активность обучаемого [3]. Полезно рассматривать составляющие понятия «обучение» в виде приведённых к линейной шкале наименований системы понятий £2 (см. рис. 2):
I 2:
навыки _ умения _ знания _ мышление _
_ творчество d:
^ е D - множество видов деятельности.
Данная шкала наименований определяет, по сути, целевую и деятельностную составляющие и направленность управляемого обучения. Шкала нечёткая по своим свойствам.
d
d
d
d
Рис. 2. Структура составляющих понятие обучения
Как следует из рис. 1, «обучение» как часть целого отличается от «образования» на теоретикомножественном уровне формализации тремя гипотетическими формами минитермов; в обучении отсутствуют минитермы: А • В • С - «чистое» воспитание; А • В • С - воспитание и развитие (без образования); А • В • С - «чистое» развитие.
При этом мощность множества элементов, образующих покрытие множества А (обучение), равна 5 подмножествам, минитермы которых указаны на символе Венна (см. рис1): А • В • С; А • В • С ; А • В • С; А • В • С и 0 (пустое множество).
Мощность множества элементов, образующих покрытие области «образование», равна 8 элементам, считая {0} , определяемое минитермом А • В • С.
Естественно, что по минитермам, характеризующим качественно понятия «обучение» и «образование», можно сделать заключение, что оба понятия имеют много общего (формально оценка степени пересечения понятий равна 5/8).
В работах Н.А. Селезневой и А.И. Субетто Исследовательского центра проблем качества подготовки специалистов выделены исходные принципы повышения качества обучения:
• принципы всеобщего управления качеством определяются качеством жизненного цикла обучения (ЖЦО) в вузе и его составляющих (подциклов предметных, семестровых ...);
• принцип дуальности организации и управления в обучении интерпретируется, например, в форме самотестировании, совмещения процессов изучения и применения моделей (в условиях удовлетворения искусственно создаваемых потребностей пользователя), организации условий работы лево- и правополушарного мышления и восприятия информации;
• принцип комплексной автоматизации управленческих процессов обеспечивается средствами информационно-компьютерных систем поддержки процесса обучения.
Основные направления научных исследований в области проблем качества обучения связаны с решением задач:
• оценки и анализа динамики обучения на разных этапах и циклах обучения;
• разработки критериев формирования учебных материалов, организации учебного процесса и оценки обучения в целом;
• формирования моделей обучения индивидуума и учебной группы в условиях ДО и систем открытого образования (СОО);
• научно-методического обеспечения и проектирования оценочных средств и технологии аттестации студентов-выпускников;
• создания системы самооценки деятельности обучаемых;
• создания системы поэтапных испытаний и аттестации студентов.
Таким образом, можно утверждать, что проблемы компьютеризации и повышения качества образования служат источником для стимуляции и порождения к исследованию новых задач обучения, но не сводятся к ним.
2. Межпредметный системообразующий базис
Предыстория вопроса. Впервые системообразующая концепция знаний была представлена Берталанфи в научных изданиях за 1945 год. Работая с 1946 года в США и Канаде, Берталанфи создает общество своих единомышленников со своей программой деятельности. Программа исследований была определена в уставе общества в следующих основных пунктах:
• Исследовать изоморфизм понятий, законов и моделей, применяемых в различных областях знаний, с целью взаимного обмена полученными результатами.
• Способствовать развитию тех областей науки, в которых ощущается недостаток в моделях и теориях.
• Минимизировать дублирование теоретических исследований.
• Содействовать интеграции знаний через установление связи между специалистами разных профилей.
В 1968 г. составляющими общей теории систем (ОТС) по Бер-таланфи были следующие научные направления и дисциплины:
1. Теоретические (множества, графы, сети, автоматы).
2. Специальные (теории: массового обслуживания, информации, игр, статистических решений, распознавания и классификации).
3. Прикладные (кибернетика, вычислительная техни-ка, системотехника, исследование операций, социальная психология, лингвистика, метасистемы, системы знаний).
Естественно, что в XXI веке подобная классификация не может быть парадигмой ОТС. Многие дисциплины за это время превратились в самостоятельные научные направления, например, вычислительная техника, лингвистика. Ряд
специальных дисциплин сформировал прикладное направление в науке, получившее название «Исследование операций и системный анализ». В настоящее время и математика ориентирована на дискретные методы и машинные средства обработки информации.
Пункты программы исследований по Берталанфи направлены на активацию междисциплинарных исследований накопленных знаний в различных предметных областях научной и практической познавательной деятельности, начиная с интуитивных эвристик и гипотез. Например, в [4] дан перечень 75 вариантов эвристических методов, методик и алгоритмов активации творческого мышления.
На сегодняшний день структуралистский подход и системогенетический анализ определяют основы междисциплинарного построения диалога и выбора метода для формирования моделей обучения, в частности, на основе методологии рационально-эмпирических комплексов систем (РЭКС), как системного, комплексного и конструктивного направления развития общей теории систем, системообразующего базиса организации процессов обучения [5-7].
Системология структуралистского подхода к анализу предметных областей знаний и деятельности, по меткому выражению Дж. Клира [5], создаёт «второе» (междисциплинарное) средство измерения накопленного опыта и знаний, определяет эффективный механизм, связанный с проблемой упорядочения, интеграции и сжатия информационного многопредметного многообразия и интерпретации знаний.
Формирование пространства покрытия ПОЗ системами отражает практику развития в науке и в образовании. Уровень построения общих систем, т.е. не интерпретированных обобщённых абстракций системологии, предоставляет возможность строить междисциплинарный процесс сжатия конкретных интерпретаций систем для различных предметных областей, независимо от их применения (в науке или образовании).
Для эмпирических систем, систем класса ПОД, подобные структуры, в частности, рассмотрены и исследованы Клиром [5].
Для рациональных систем, систем класса ПОЗ, подобные структуры рассмотрены А.И. Кухтенко [7].
Взаимодополняемость систем рационального и эмпирического типа порождает качественно новые системные свойства, и, следовательно, определяет новый метаобъект идентификации по отношению к понятию качества, как набору признаков и отличительных свойств, идентифицирующих системы рационально-эмпирических моделей объекта наблюдений.
Составляющие системы и их рационально-эмпирические комплексы систем (РЭКС) являются одной из композиций порождения структуралистского направления в системологии. По своей роли они
относятся к системам класса напо-минателей и решателей и рекомендуются в качестве средства и метода активизации творческого мышления в процессе решения учебных и научных задач [5, 7-9].
На рис. 3 на знаково-лингвистическом уровне определено базовое ядро системы порождения РЭКС.
Таким образом, в основы методологии наблюдений и исследования, изучения объекта и формирования материалов обучения могут быть положены принципы и подходы теории и практики развития системологии, системогенетики и теории циклов.
3. Отношения субъекта и объекта в практике наблюдений
Общая схема объект-субъект-ных отношений для случая, когда задача субъекта связана с построением моделей объекта мониторин-
Рис. 3. Ядро системы рационально-эмпирических комплексов систем (РЭКС)
Рис. 4. Система субъект-объектных отношений
га: {М[Ъ/Ь]} - здесь {М} - множество моделей, (Ъ/Ь) - аргумент/ условие, т.е. моделей объекта наблюдений, построенных субъектом, приведена на рис. 4.
Объект в практике субъект-объектных отношений - это часть мира, выделенная субъектом в его предметно-познавательной деятельности.
Субъективный характер выделения объекта наблюдений (студент, преподаватель, администратор или их совокупная система) в расчет при определении объекта не берется, например:
• по отношению к студенту объектом служит изучаемая область предметных знаний;
• по отношению к преподавателю студент часто является объектом наблюдений (относительно результатов его предметно-познавательной деятельности);
• по отношению к внешнему наблюдателю объектом может быть система «студент - преподаватель» или «преподаватель -предметная область».
В динамике наблюдений может происходить смена ролей объект-субъектных отношений на субъект-субъектные, например, между преподавателем и студентом. При необходимости специально производится уточнение ролей объект-субъектных отношений на рассматриваемом этапе деятельности.
4. Блоки напоминателей системных задач
В качестве методологического метабазиса построения моделей объектов наблюдений на основе структуралистского конструктивного направления развития общей теории систем и системологии предлагается использовать структуру «Напоминателя», представленную на рис. 5.
Логика работы по схеме «На-поминателя» связана с определенными уровнями предметносодержательной конкретизации абстракций рациональных и эмпирических комплексов и систем, рассмотренных ранее на рис. 3.
Обратимся к рис. 5. Входной поток информации на объект (субъект) обучения поступает из блока 1, условно названного «Задачи планирования и проведения мониторинга качества обучения», например в объемах, предусмотренных планами единичных экспериментов.
Под единичным понимается эксперимент, проводимый в условиях рабочей программы и расписания занятий по каждой дисциплине по согласованной программе испытаний.
В цикле из блоков 1, 4, 7 преподаватель (Ь) имеет возможность строить Мд[Ъд/Ь] - модели дисциплины и деятельности обучаемых (индекс «д»).
Согласно воздействию, предусмотренному моделью обучения
М формируется реакция обучаемого, проявляемая и фиксируемая в виде выделенных для наблюдений свойств (параметров и переменных).
Наблюдатель имеет возможность воспользоваться блоком 5 для идентификации реакции обучаемых и их формализации в виде моделей, характеризующих деятельность объекта обучения на уровне комплексов: (3; Y1) - исходная система и ее описание на знаковолингвистическом уровне; (Б ^2) -система данных и ее представление на теоретико-множественном уровне классификации и распознавания данных; (Ж^3^4) - построить порождающие системы ^) средствами логико-алгебраических уровней описания систем.
Через блок 3 реализуется система обратных связей при построении моделей {М[Ъ/Ь]} как для входных потоков - объектов наблюдения со стороны стимулов, так и для потоков реакции на стимулы объекта мониторинга.
Блок 6 связан с проведением системно-комплексного анализа по всей цепочке идентификации объекта наблюдений и, по возможности, представлением объекта в виде формализованной системы реляционного, алгебраического или смешанного типа.
Блок 7 предназначен для «напоминания» о необходимости вносить коррекцию в модели при изменении планов «единичных экспериментов».
Блок 8 предполагает проведение топологического анализа пространственно-подобных и вре-мяподобных отношений, формируемых моделей наблюдения.
5. Задачный подход по Дж. Клиру
Рационально-эмпирическая методология решения проблем описания объекта непосредственно связана с задачным подходом, при котором «системы и условия, относящиеся к этим системам, образуют классы системных задач» [5, с. 440].
Системная задача является промежуточной абстракцией между «проблемой» и множеством реальных задач, гомоморфно отображаемых в таковую не интерпретированную задачу.
Рис. 5. Концептуальная структура поддержки процесса формирования М[Ъ/Ь] на метабазе РЭКС
На рис. 6 показано классификационное ядро из двадцати системных задач по системологии Клира.
Заметим, что ядро системных задач является удобной иллюстрацией на абстрактно-эмпирическом уровне понятия «системная парадигма».
Формализация семантики и логики общесистемных понятий в структуре ядра определяет достаточно гибкий аппарат для описания широкого спектра» конкретных задач.
В таблице приведена категориальная кластеризация системных задач по эпистемологическим типам относительно перенумерованного множества задач ядра (см. рис. 6).
6. Постановка новых задач двойственной кластеризации обучаемых
Естественно, что время, затрачиваемое на диалог обучаемого с системой, зависит от языка моделей и методов описания изучаемой предметной области. Авторами в работе «Дидактическая формализация современных обучающих систем» был рассмотрен ряд особенностей современных систем обучения [10]. Динамика познавательного восхождения зависит от степени абстракции используемого языка, моделей и методов при описании предметной
области знаний (ПОЗ) и предметной области деятельности (ПОД), определяющих время диалога и самоди-алога информационного обмена.
Необходимо учитывать новые возможности современных средств вычислительной техники вести специальные базы данных (БД) и базы знаний (БЗ) для постановки и решения новых задач двойственной кластеризации, а именно, информационных модулей по времени их освоения и кластеров обучаемых по выделенным кластерам
учебных модулей. Для математической кластеризации по статистической близости кластеров модулей и кластеров обучаемых применимы средства факторного анализа [11].
Модуль представляется как система, которая может содержать однородные комплексные формы представления семантической информации текстовую (Г - форма), аудиальную (^ - форма: речь, звуки), визуальную (д - форма: мимика, жесты, пластика), графическую изобразительную (С - форма: рисунки, таблицы, фотографии). [12].
Аналогом формального описания модуля может служить комплексный кортеж, элементами которого выступают символы алфавита {Г; д; С}. Если описание
модуля сравнивалось с обычным предложением из слов, то получается формальное предложение, ассоциативно разделяемое скобками, в которых выделяются подмножества кортежей - слов из заданного алфавита.
Например, структура модуля М:
StrM ^ (Г; С; ^; С; Г); д; Г, (Г; Г; Г)...), (1)
где кортеж (1) определяет последовательность информации в виде: (текст; графика; (речь, таблица, текст); визуализация; снова текст; (текст; текст; текст)...). Здесь SГrM (структура модуля) определяется заданной последовательностью, моделью представления информационного потока, воздействующего на обучаемого в реальном вре-
Рис. 6. Классификационное ядро системных задач по системологии Клира
Таблица
Категории системных задач
Класс Категория класса задач Краткая характеристика
К1 Категория задач 1 - 6 (ЭСЗ и БСЗ) Простейшие типы задач (ЭСЗ). Базовые задачи типа: упрощения, моделирования, сравнения.
К2 Категория БСЗ: 7 и 8 Данные разбиты относительно рассматриваемых переменных или параметрического множества.
КЗ Категория БСЗ: 9 и 10 Полная система данных определяется из элементов структурированных систем или метасистем. Требуется разрешение несогласованности в данных.
К4 Категория БСЗ: 11 и 13 Данные порождаются более высокими типами систем. Особенность: требуется компьютерное моделирование.
К5 Категория БСЗ: 14 Масочные технологии, наибольшая допустимая маска. Минимизация порождаемой неопределенности и сложности задачи с введением внутренних (внутримасочных) переменных.
К6 Категория БСЗ: 15 и 16 В отличие от задачи 14 требуется повторение для всех элементов структурированной или метасистемы данных.
К7 Категория БСЗ: 17 Задачи реконструирования однозначных реконструкций на различных типах требования.
К8 Категория БСЗ: 18 Задачи моделирования порождающих систем метасистемами различных методологических типов.
К9 Категория БСЗ: 19 Задачи декомпозиции, решаемые при проектировании систем и некоторые задачи реконструкции.
К10 Категория БСЗ: 20 Задачи идентификации параметрических требований, обусловленные изменениями связей между переменными данной порождающей системы.
мени контакта (1), которое, в свою очередь, определяется суммарными затратами на освоение материала конкретным обучаемым.
Объёмы информации по элементам кортежа формально являются аргументами для функции затрат, определяемой интервалами времени на каждый выделенный элемент кортежа. Суммарные затраты определяют требуемое время контакта обучаемого с учебным модулем М. Взаимодействие обучаемого с учебным или тестирующим модулем можно представить как динамическую систему на множестве моделей РЭКС (рациональных и эмпирических комплексов систем) [9].
Для различных видов программируемой деятельности схему процессов в системе «модуль - обучаемый» можно представить в виде рис. 7.
На рис. 7 имеем:
d е D - класс задаваемых обучаемому действий, определяющих
и осознание (освоение) семантики контента «М».
Из исследований по инженерной психологии известны интервалы для: скорости чтения
ж
а = — є (15 ^ 40 букв / сек); скорости V
Ь = — є (1,5 ^ 4,0 букв / сек);
письма
его деятельность с элементами модуля «М»;
Ж - объёмы предъявляемой в элементах информации (текстов, графиков, мультимедийных компонент.);
tч, п t0Cв - оценки затрат времени на выполнение заданной деятельности, например, на чтение и, на переписывание (возможно печатание) заданных фрагментов 4, на процессы освоения (обдумывания и осознания) семантической информации ^св\
V - объём составляемого конспекта (вторичный документ); V = 0,2 Ж;
Т - общие затраты на процесс: Т = tч + 4 + tосв, т.е. на чтение, запись
Ь ~ 0,1а.
Указанные значения позволяют говорить о значимом для наблюдений различии обучаемых даже по простейшим видам деятельности.
Для иллюстрации на рис. 8 приведены фрагменты данных по результатам экспериментов.
Пусть А множество обучаемых, В - множество модулей. Множества связаны программой единичного эксперимента. В результате эксперимента формируется матрица затрат времени на выполнение программы испытаний. Запишем это в виде групповой операции т: А х В ^ Т.
В зависимости от заполнения данными наблюдений или порождёнными данными после обработки исходных данных наблюдений решается задача кластеризации на толерантность (сходство, близость) объектов из подмножеств по строкам или по столбцам из таблицы групповой операции. Таким образом, при соответствующей интерпретации решается двойственная пара задач кластеризации. В качестве примера можно представить данные рис. 8 как графическую форму представления данных двойственной задачи кластеризации обучаемых по скорости чтения информационных модулей.
Заключение
Авторами рассмотрена и проанализирована возможность применения методологии РЭКС, в качестве общесистемного межпредметного системообразующего базиса организации процесса описа-
Учебный или тестовый модуль сі;\У—► Обучаемый
Единица контента Учебная группа
Рис. 7. Параметры и переменные системы наблюдений типа «модуль - обучаемый»
Рис. 8. Распределение скорости чтения для группы студентов
ния моделей предметных областей знаний для формирования учебных модулей.
Построена концептуальная структура «Напоминателя», как основа для проектирования диалоговых систем поддержки процес-
сов формирования моделей наблюдателем по типу и принципам май-евтики Сократа
Определена задача двойственной кластеризации обучаемых и модулей обучения для систем компьютерного обучения, конструк-
тивной особенностью которых является применение методологии программ единичных экспериментов.
Предложена идентификация объекта наблюдений (модулей и обучаемых) как системы управления на основе прогнозности ретроспективных данных, исходя из интуитивно очевидной гипотетической связи оценки затрат времени на труд, затраченный на учебный процесс.
Можно также отметить, что оценка подготовленности обучаемого к восприятию нового материала на базе сформированных на момент наблюдения компетенций, сложившихся в результате прошлого опыта изучения циклов предметов, предусмотренных учебным планом, является важным фактором при формировании уровня подготовленности обучаемого к творческому и активному поиску решений.
Планируется дальнейшее развитие исследований средствами факторного анализа стохастических временных рядов данных, получаемых при изучении структур неоднородных по составу модулей.
Литература
1. Советский энциклопедический словарь / Гл. ред. А.М. Прохоров. - 4-е изд. - М.: Сов. Энциклопедия, 1987. - 1600с.
2. Пфанцагль И. Теория измерений / Пер. с англ. - М.: Мир, 1976. - 248 с.
3. Беспалько В.П. Образование и обучение с участием компьютеров (педагогика третьего тысячелетия). - М.: Изд-во МПСИ; Воронеж: Изд-во НПО «МОДЭК», 2002. - 352 с.
4. Креативная педагогика: методология, теория практика / Под. ред. Ю.Г. Круглова. - М.: МГОПУ им. М.А. Шолохова: Изд.центр «Альфа», 2002. - 240 с.
5. Клир Дж. Системология. Автоматизация решения системных задач. - М.: Радио и Связь, 1990. - 540 с.
6. Кузин Л.Т. Основы кибернетики: В 2-х т. Т. 2: Основы кибернетических моделей: Учебное пособие для вузов. - М.: Энергия, 1979,1991. - 584 с.
7. Кухтенко А.И. Систем общая теория / Энциклопедия кибернетики. Том 2. - Киев: Главная редакция УСЭ, 1974. - С. 335-339.
8. Бусленко Н.П. и др. Лекции по теории сложных систем. - М.: Советское радио, 1973. - 440 с.
9. Панченко В.М. Теория систем. Методологические основы: Учебное пособие / Московский государственный институт радиотехники, электроники и автоматики (технический университет). - М., 2005. - 96 с.
10. Нечаев В.В., Панченко В.М., Комаров А.И. Дидактическая формализация современных обучающих систем: особенности и модели // Открытое образование. - 2010. - №6.
11. Иберла К. Факторный анализ / Пер. с нем. В.М. Ивановой; предисловие А.М. Дуброва. - М.: Статистика, 1980. - 398 с.
12. Соломатин Н.М. Информационные семантические системы. - М.: Высшая школа, 1989. - 127 с.
13. Норенков И.П., Зимин А.М. Информационные технологии в образовании. - М.: Изд-во МГТУ им. Н.Э. Баумана, 2004. - 352 с.
14. Панченко В.М., Комаров А.И., Антропов В.А. Роль систематики в определении задач общей теории систем // Материалы VIII международной научно-практической конференции «Дни науки 2012». - Раздел 23. Педагогика: Прага. Образование и наука. - С. 22-27.