CC BY
60
Интернет-журнал «Науковедение» ISSN 2223-5167 http ://naukovedenie.ru/ Том 7, №6 (2015) http ://naukovedenie. ru/index.php?p=vol7-6 URL статьи: http://naukovedenie.ru/PDF/147TVN615.pdf DOI: 10.15862/147TVN615 (http://dx.doi.org/10.15862/147TVN615)
УДК 65.011.56
Латыпова Виктория Александровна
ФГБОУ ВПО «Уфимский государственный авиационный технический университет»
Россия, Уфа1 Старший преподаватель E-mail: [email protected]
Управление процессом обучения на основе процессного
подхода при автоматизированном проверке сложных
открытых задач
1 450008, Республика Башкортостан, г. Уфа, ул. К. Маркса, д. 12
Аннотация. Многие исследования направлены на решение проблемы низкой эффективности обучения. Использование автоматизированного обучения, адаптивных методик позволяет решить данную проблему лишь частично. Есть случаи, когда, например, нельзя использовать тестирование для проверки уровня усвоения знаний, умений и навыков, а также компетенций. Это происходит, когда в учебном курсе присутствуют сложные открытые задачи. В данном случае управление обучением становится крайне неэффективным, т.к. проверка данных работ производится вручную и статистические данные по их выполнению не накапливаются. В данной работе приведен анализ существующих методик управления процессом обучения и выявлены их недостатки. Описана разработанная автором методика управления процессом обучения на основе процессного подхода при автоматизированной проверке сложных открытых задач. Также данная методика, в отличие от существующих, позволяет осуществлять управление как на оперативном, так и на тактическом уровне. Разработан модуль поддержки принятия решений на базе инструментального средства автоматизированной проверки сложных открытых задач. Данный модуль позволяет осуществлять управление обучением в контуре адаптации. На основе полученных от данного модуля данных преподаватель может осуществлять эффективное управление обучением.
Ключевые слова: сложная открытая задача; автоматизированное обучение, автоматизированная обучающая система; автоматизированная проверка; банк ошибок; процессное управление; управление обучением; контур управления; эффективность обучения.
Ссылка для цитирования этой статьи:
Латыпова В.А. Управление процессом обучения на основе процессного подхода при автоматизированной проверке сложных открытых задач // Интернет-журнал «НАУКОВЕДЕНИЕ» Том 7, №6 (2015) http://naukovedenie.ru/PDF/147TVN615.pdf (доступ свободный). Загл. с экрана. Яз. рус., англ. DOI: 10.15862/147TVN615
Статья опубликована 25.11.2015.
Введение
Проблема низкой эффективности традиционного обучения привела к появлению и развитию автоматизированного обучения, где процессом управляет не преподаватель, а автоматизированная обучающая система (АОС). Первоначально данные системы работали только по жестко раз и навсегда заданному алгоритму. Позже стали разрабатываться методики и АОС, их реализующие, которые используют механизм адаптации, индивидуализирующие обучение (интеллектуальные обучающие системы). В основе методик и систем часто лежит использование различных методов искусственного интеллекта. Данные системы позволяют несколько повысить эффективность обучения по сравнению с традиционной формой. Однако существующие подходы обладают рядом недостатков, которые не позволяют значительно повысить эффективность обучения, а в ряде случаев, когда нельзя использовать такой элемент проверки как тестирование, эффективность управления снижается до уровня традиционного обучения. Поэтому в настоящий момент проблема низкой эффективности обучения остается по-прежнему острой, а ее решение - актуальной задачей. Для решения данной задачи необходимо проанализировать существующие подходы к управлению обучением и выявить их недостатки. Также необходимо разработать методику и средство, которые не содержат данных недостатков и позволяют эффективнее управлять процессом обучения по сравнению с существующими решениями.
1 Существующие методики управления процессом обучения
и сложные открытые задачи
1.1 Существующие методики управления процессом обучения
В автоматизированном обучении для управления процессом обучения используются модели предметной области (учебного материала), модели обучаемых и модели обучения. Обзор различных видов данных моделей представлен в работе [1]. Модель предметной области представляет собой набор понятий и связей между ними. Модели предметной области строятся в виде продукционных моделей, фреймов, формально-логических моделей, онтологий, семантических сетей, фреймо-продукционной модели, и-или дерева, дерева понятий, диаграмм классов на UML [1]. Модели обучаемых отображают знания обучаемых, подмножество знаний предметной области. Они содержат набор параметров: это понятие знает, это - нет. Существуют оверлейные, имитационные, разностные, стереотипные, эвристические, нейросетевые модели, а также модели на основе дифференциальных уравнений [1 ].
Существуют следующие методики управления обучением:
1) методика на основе модели предметной области и модели обучаемого;
2) методика на основе автоматной модели процесса обучения;
3) методика на основе процессной модели обучения.
В работах [2], [3] используется первая методика, т.е. на основе модели предметной области и модели обучаемого строится модель, как учить. Используются вероятностные сети. Данная методика является адаптивной и основана на изменении модели обучаемого и формировании индивидуальной траектории обучения. В работе [4] строится иерархическая понятийная сеть знаний. На основе нескольких построенных графов выбирается оптимальный вариант обучения по нагрузке.
В работах [5], [6] используется вторая методика. Модели процесса обучения строятся на основе сетей Петри (классических, раскрашенных, временных, вложеных), вероятностных сетей на основе теории конечных автоматов [1]. В работе [5] используются временные,
раскрашенные и вложенные сети Петри. Временной механизм используется для оценки времени, затрачиваемого на выполнение модулей в процессе обучения и для составления протокола прохождения курса. Также в данной работе спользуются сети Маркова, автомат с поглощающими состояниями (автомат Цетлина).
Характерно использование уровневого обучения, когда студентам, обладающим низкими результатами дается более простой материал, а количество шагов обучения увеличивается по сравнению со студентами, обладающими высокими баллами за тесты [5]. Эффективность данного подхода вызывает сомнения, т.к. на выходе процесса обучения все студенты должны обладать заданным уровнем знаний, умений и навыков (ЗУН), и компетенций, а при данном подходе уровни у «слабых» и «сильных» студентов будут различны. В первом случае учебный материал будет проработан подробно и упрощенно, а во втором случае, - поверхностно и усложненно.
Небольшое количество работ посвящено третьей методике управления процессом обучения. В работах [7], [8] рассмотрено сквозное курсовое проектирование, когда на протяжении всего периода обучения студент выполняет один проект, состоящий из частей, выполняемых при обучении различным дисциплинам. В данном случае также используется уровневое обучение. По результатам выполнения предыдущей части курсового проекта выдается задание соответствующего уровня сложности. Используются показатели, характеризующие сформированность компетенций разного уровня. Источниками значений показателей являются: тестирование, анкетирование, оценки за выполнение работ [8].
Для всех трех рассмотренных методик характерно управление только на оперативном уровне, когда идет непосредственное управление шагами обучения: выстраивается индивидуальный алгоритм.
1.2 Сложные открытые задачи в управлении процессом обучения
Сложные открытые задачи (СОЗ) [9] - это целый класс задач, который является основой для приобретения ЗУН и компетенций студентами инженерных и естественнонаучных специальностей. Существуют различные методики, которые позволяют проверять лишь небольшую часть таких задач в автоматическом и автоматизированном режиме [10]. Большую часть таких задач автоматически, с помощью тестов, проверить нельзя. Поэтому такие работы проверяются вручную как в очном учебном процессе, так и дистанционном автоматизированном обучении. Ручная проверка не позволяет накапливать статистические данные по процессу обучения, соответственно, не подготавливает данных для принятия управленческих решений.
Большинство работ рассматривает управление процессом обучения в отрыве от СОЗ, данные задачи не принимаются к рассмотрению. Управление обучением происходит только на основе результатов прохождения тестов. Результаты тестирования позволяют осуществить обратную связь в управлении обучением, показывая отклонения в приобретенных ЗУН и компетенций, и накапливать статистические данные по прохождению курса. Однако тесты могут проверить усвояемость лишь небольшой части ЗУН и компетенций. Результаты проверки СОЗ могут храниться в виде оценок. Однако знание оценок малоинформативно для управления процессом обучения.
1.3 Выводы по главе 1
В результате анализа существующих методик управления обучением было выявлено, что существует три подхода к управлению процессом обучения: на основе модели
предметной области и модели обучаемого, на основе автоматной модели процесса обучения, на основе процессной модели обучения.
Первая методика содержит ряд недостатков:
• связью понятий нельзя отобразить все связи, присутствующие в учебном материале, поэтому модели предметной области и модели обучаемого не могут определять последовательность обучения;
• об обучаемом изначально строятся предположения, как он усвоит материал на основе предыдущего. Нельзя на основании этой информации сделать однозначные выводы, поймет ли студент следующий материал;
• учебный материал считается эталонным и не предполагает изменений;
• проверка усвоения ЗУН происходит в автоматическом режиме при помощи тестов. Таким образом, из рассмотрения выпадает целый класс задач: большинство СОЗ.
Нужно строить не модель предметной области и/или обучаемого, а процесса обучения. Промежуточные тесты и возвраты могут и так воссоздать модель обучаемого.
Недостаток методики на основе автоматной модели в том, что автоматная модель строится для отражения динамики и выявления узких мест: наличие циклов, тупиков и др. В данном случае нет акцента на качественных параметрах процесса.
Наиболее предпочтительной является методика на основе процессной модели обучения. Основными в данном случае являются качественные показатели процесса обучения. Процесс обучения строится и изменятся так, чтобы результат обучения был гарантирован в любом случае. Однако существующие подходы не учитывают результаты (что было сделано не так) проверки СОЗ. Также не одна из рассмотренных методик не позволяет управлять процессом обучения на тактическом уровне, а затрагивает лишь оперативный уровень.
Поэтому необходима методика управления, позволяющая:
• управлять процессом обучения на основе модели процесса обучения;
• гарантировать результат усвоения материала любым студентом;
• учитывать результаты проверки СОЗ;
• управлять процессом обучения не только на оперативном, но и на тактическом уровне.
2 Методика управления обучением на основе процессного подхода
с использованием результатов проверки СОЗ
2.1 Общее описание методики
Суть процессного подхода в управлении бизнес-процессами представлена в работе [11]. При процессном подходе обучение рассматривается как процесс, который имеет:
• алгоритм (формализованная методика обучения);
• параметры (показатели);
• содержательное наполнение: состав и содержание учебных и методических материалов.
АОС должна давать стабильный результат. По Хаммеру и Чампи процессный подход позволяет в разы повысить показатели качества при реинжиниринге бизнес-процессов [12]. Если необходимо получить заданное значение показателя эффективности обучения, то гарантируем статистически, что этот показатель будет. Приемлемый статистически устойчивый уровень качества определяется не персональным составом участников этих процессов, а самим процессом. Если процесс правильный, эффективный, то требуемый уровень эффективности обучения будет получен независимо от того «слабые» или «сильные» группы проходят обучение.
Учебный курс при процессном подходе рассматривается как набор процессов (этапов). СОЗ разбивается на подзадачи, а студенты сдают решение каждой из подзадач в заданной последовательности согласно алгоритму обучения.
Выделены следующие контролируемые параметры процесса обучения:
• повторяемость ошибок у разных студентов;
• количество попыток сдачи одной работы (этапа);
• количество ошибок;
• процент ошибок бэкграунда.
Ошибки бэкграунда - это ошибки, связанные с неготовностью студента решать задачу. Они показывают отсутствие бэкграунда (ЗУН и компетенций, приобретенных ранее) у студента.
Преподаватель занимается анализом результатов всего процесса обучения: выявляет с помощью модуля поддержки принятия решений те процессы, которые дают плохой результат: этапы, с плохой осваиваемостью и изменяет их. Если много ошибок, вопросов, значит, контент не содержит знания или содержит их в неявной форме, или вопросы некорректны и т.п.
Управление процессом обучения осуществляется по двум контурам управления: регулирования и адаптации. Управленческие решения являются программируемыми. Используются классы с однозначным и неоднозначным выбором способа устранения отклонения [13].
В контуре регулирования осуществляется оперативное управление, управление шагами экземпляра процесса. Здесь выбор способа устранения отклонений всегда однозначный. На основе результатов выполнения задач, тестов определяется уровень освоения ЗУН и компетенций. Если студент усвоил последние, то он переводится на следующий шаг согласно алгоритму обучения. Если данный шаг был последним, то обучение завершается. Если в ЗУН и компетенциях студента обнаруживаются пробелы (отклонения), то студент повторно проходит этап. Управление может осуществляться в автоматическом и автоматизированном режиме. Если курс не предполагает наличие СОЗ, то управление процессом обучения происходит на основе результатов тестирования автоматически. В противном случае, управление происходит на основе результатов проверки СОЗ, используется автоматизированное управление, т.к. в процессе управления участвует человек: лицо, принимающее решения, - преподаватель. Он проверяет СОЗ, оценивает и выбирает соответствующее управляющее воздействие, осуществляемое в контуре регулирования.
В контуре адаптации происходит сбор статистики, данных по каждому студенту. Управление происходит в автоматизированном режиме. В данном контуре осуществляется тактическое управление процессом обучения: разрабатывается и корректируется модель процесса обучения: алгоритм обучения, содержательное наполнение и состав учебных и
методических материалов и др. На основе собранных данных формируются агрегированные показатели, на основе которых рассчитываются интегральные показатели эффективности для каждого процесса-этапа. Далее происходит сравнение значений данных показателей с эталонным значением. В случае выявления отклонения соответствующий процесс заносится в список процессов, подлежащих корректировке. Далее выявляются возможные причины отклонений и предоставляются преподавателю. В данном контуре выбор способа устранения отклонений не всегда однозначный. На основе полученных данных преподаватель корректирует модель процесса обучения.
Модель системы управления обучением при наличии в учебном курсе СОЗ представлена на рисунке 1.
I---------------------------------------------------т
Рис. 1. Модель системы управления обучением при наличии сложных открытых задач.
Разработано автором
Выделен дополнительный контролируемый параметр процесса обучения: процент ошибок оформления, когда основу курса составляют СОЗ ввиду того, что задачи
выполняются студентами в свободной форме. Оформительные ошибки - это ошибки, связанные с оформлением решения задачи. Примеры: неверно заполненный титульный лист, неверный колонтитул, неразборчивые рисунки, отсутствие обязательных пунктов в решении и т.д.
2.2 Методика и алгоритм управления обучением
в контуре адаптации при наличии СОЗ
Процесс управления обучением в контуре адаптации состоит из последовательности следующих друг за другом этапов:
1. сбор ошибок в процессе автоматизированной проверки СОЗ;
2. предварительная обработка и классификация ошибок;
3. оценка эффективности процесса обучения;
4. выявление отклонений фактических значений показателей процесса обучения от эталонных и их анализ;
5. корректировка модели обучения.
Далее рассмотрим подробнее перечисленные этапы управления.
2.2.1 Сбор, обработка и классификация ошибок
В процессе автоматизированной проверки СОЗ преподаватель вносит ошибки в банк ошибок [14]. Этап сбора ошибок заканчивается при завершении учебного курса очередной группой студентов. Далее преподаватель приступает к обработке накопленных в банке ошибок ошибок.
Предварительная обработка ошибок состоит из следующих шагов:
• устранение дублирования ошибок;
• обобщение ошибок.
Иногда формулировка ошибок и комментариев может быть различна, несмотря на то, что они описывают одну и ту же ошибку, поэтому необходимо искать такие ошибки и устранять избыточность.
Обобщить ошибки можно с помощью добавления шаблонов ошибок, состоящих из повторяющейся части и вариативной части. Или схожие ошибки можно обобщить в более абстрактную ошибку, снабдив ее примером для наглядности.
Процесс классификации ошибок происходит следующим образом: преподаватель группирует по типам шаблоны ошибок и бесшаблонные ошибки. Типы ошибок были определены в результате анализа ошибок в работе [9]. Данными типами ошибок являются:
• ошибки по текущему курсу;
• ошибки бэкграунда;
• ошибки оформления.
Сначала предполагается, что студенты обладают необходимым бэкграундом и теоретической базой по текущему курсу: изучили и усвоили необходимый материал для решения данной конкретной задачи. Но на практике может быть так:
• студенты неверно восприняли знание;
• студенты частично или полностью забыли пройденное ранее.
Кривая забывания по Эббингаузу показывает, как забывается приобретенная информация. Данная кривая представлена на рисунке 2. По диаграмме видно, что сразу после заучивания материала сохраняется в памяти 100% материала, спустя 20 мин - 60%, спустя 9 часов - 40%, а спустя месяц - менее 20%.
Рис. 2. Кривая забывания по Эббингаузу [15]
В связи с этим наличие пробелов в бэкграунде студентов имеет большую вероятность. Преподавателю приходится ручным способом восстанавливать, корректировать или создавать заново необходимый бэкграунд или теоретические знания по текущему курсу, пройденному ранее, для решения очередной задачи. Приходится исписывать тысячи строк комментариев к ошибкам. Особенно это критично в условиях дистанционного обучения, когда количество участников может быть очень велико. Это было выявлено по результатам экспериментов, проводимых в Уфимском государственном авиационном техническом университете на кафедре «Автоматизированные системы управления».
Также можно выделить ошибки по повторяемости:
• повторяемые;
• уникальные.
Ошибки классифицируются по данному признаку автоматически и отображаются в программе проверки работ по-разному для ускорения процесса проверки.
2.2.2 Оценка эффективности, выявление и анализ отклонений
Оценка эффективности процесса обучения, выявление и анализ отклонений в значениях показателей производятся с помощью разработанного автором модуля поддержки принятия решений. Инструментальное средство «Банк ошибок», разработанное раннее [14] было доработано: был добавлен модуль поддержки принятия решений. Данный модуль агрегирует показатели, полученные при проверке работ студентов по заданному учебному курсу, и рассчитывает отклонения от заданных эталонных значений. Далее модуль осуществляет анализ данных отклонений, в результате которого генерируются причины ошибок и их местоположение в курсе.
2.2.3 Корректировка модели обучения
При выборе соответствующего курса преподаватель получает список процессов с неприемлемыми результатами, т.е. подзадач, интегральные показатели которых ниже эталонных. Далее преподаватель работает с каждой подзадачей, содержащей отклонения: анализирует выявленные модулем поддержки принятия решений проблемы и корректирует соответственно модель обучения.
При корректировке модели обучения преподаватель может выполнять следующие действия:
• изменение алгоритма обучения;
• изменение состава и содержания учебных, методических и других материалов;
• изменение сложности задач и объема выполнения.
2.3 Выводы по главе 2
Были разработаны методика процессного управления обучением на основе результатов проверки СОЗ и модуль поддержки принятия решений на базе инструментального средства «Банк ошибок». Данная методика основана на использовании модели обучения, она гарантирует необходимый результат обучения, позволяет учитывать результаты проверки СОЗ, а также позволяет управлять процессом обучения на оперативном и тактическом уровне в отличии от существующих решений. Данная методика и средство могут использоваться и в очном традиционном обучении, и в дистанционном автоматизированном (с небольшим числом участников), а также смешанном обучении.
Выводы
В результате проведенного анализа существующих методик управления обучением был выявлен ряд недостатков, которые не позволяют сделать обучение более эффективным, в них также не учитываются результаты проверки СОЗ.
Была разработана методика управления обучением на основе процессного подхода с использованием результатов проверки СОЗ. Также было доработано инструментальное средство «Банк ошибок» (добавлен модуль поддержки принятия решений), в результате чего стало возможным осуществлять наряду с автоматизированной проверкой СОЗ автоматизированное управление процессом обучения в контуре адаптации.
ЛИТЕРАТУРА
1. Карпенко А.П., Добряков А.А. Модельное обеспечение автоматизированных обучающих систем. Обзор // Информатика и образование №7, 2011. С. 1-60.
2. Шабалина О.А Модели и методы для управления процессом обучения с помощью адаптивных обучающих систем: дис. ... канд. тех. наук: 05.13.10. Астрахань, 2005. 158 с.
3. Глущенко А.И. Разработка метода адаптивного управления обучением по индивидуальной образовательной траектории: дис. ... канд. тех. наук: 05.13.10. Москва, 2009. 167 с.
4. Воробьев Г.А. Формализация задачи управления процессом обучения на основе построения иерархической понятийной сети знания: дис. ... канд. тех. наук: 05.13.10, 05.13.01. Пенза, 2010. 155 с.
5. Доррер А.Г. Моделирование и разработка интерактивных обучающих систем с адаптацией: дис. ... канд. тех. наук: 05.13.01. Красноярск, 2005. 156 с.
6. Горбаченко И.М. Методы моделирования процесса обучения и разработки интерактивных обучающих курсов: дис. ... канд. тех. наук: 05.13.01. Красноярск, 2001. 224 с.
7. Кулыгина Л.А. Инструменты реализации организационно-педагогических условий технологии сквозного курсового проектирования // Инженерное образование. 2013. №13. С. 66-72.
8. Кулыгина Л.А. Интегративная основа качества процессов и результатов обучения студентов вуза // Сибирский педагогический журнал. 2009. №2. С. 6575.
9. Латыпова В.А. Сложные открытые задачи в смешанном и дистанционном автоматизированном обучении // Инженерный Вестник Дона. 2015. №3. URL: ivdon.ru/ru/magazine/archive/ 159N3 y15/.
10. Латыпова В.А. Методики проверки работ со сложным результатом в условиях смешанного и дистанционного автоматизированного обучения // Интернет-журнал «Науковедение». 2015. Том 7. №3. http://naukovedenie.ru/PDF/170TVN315.pdf (доступ свободный). Загл. с экрана. Яз. рус., англ. DOI: 10.15862/170TVN315.
11. Репин В.В., Елиферов В.Г. Процессный подход к управлению. М.: Стандарты и качество, 2004. 398 с.
12. Табачникас Б.И. Концепции реинжиниринга и управление бизнес-процессами // Проблемы современной экономики. 2007. №1 (21). http://www.m-economy.ru/art.php?nArtId=1230 (Доступ свободный). Загл. с экрана. Яз. рус.
13. Юсупов И.Ю. Автоматизированные системы принятия решений. М.: Наука, 1983. 88 с.
14. Латыпова В.А. Методика и инструментальное средство автоматизированной проверки работ со сложным результатом на основе использования банка ошибок // Наука и бизнес: пути развития. 2015. №7 (49). С. 41-47.
15. Bower G.H. (2000). A Brief History of Memory Research // The Oxford Handbook of Memory. Oxford University Press. Pp. 3-32.
Рецензент: Статья рецензирована членами редколлегии журнала.
Latypova Viktoriya Aleksandrovna
Ufa State Aviation Technical University
Russia, Ufa E-mail: [email protected]
Training control based on process approach with complex open ended assignments automated scoring
Abstract. The problem of low learning efficiency is an area of a large amount of research. A use of automated training and adaptive techniques can partially solve the problem. There are some cases when we can not use tests for scoring a level of knowledge, skills, experience and competences. This occurs due to availability of complex open ended assignments. In this case training control becomes very inefficient because of manual assignment assessment and absence of statistics collecting. In the paper existing training control techniques were analyzed and their disadvantage were identified. A training control technique based on process approach with complex open ended assignments automated scoring was described. In contrast to existing research the technique allows to use operative management and tactical management. A decision-making support module based on a tool for automated complex open ended assignment scoring was developed. The data obtained from the module can be used for the effective training control.
Keywords: complex open ended assignment; automated training; automated training system; automated scoring; error bank; process management; training control; control loop; learning efficiency.
REFERENCES
1. Karpenko A.P., Dobryakov A.A. Model'noe obespechenie avtomatizirovannykh obuchayushchikh sistem. Obzor // Informatika i obrazovanie №7, 2011. S. 1-60.
2. Shabalina O.A Modeli i metody dlya upravleniya protsessom obucheniya s pomoshch'yu adaptivnykh obuchayushchikh sistem: dis. ... kand. tekh. nauk: 05.13.10. Astrakhan', 2005. 158 s.
3. Glushchenko A.I. Razrabotka metoda adaptivnogo upravleniya obucheniem po individual'noy obrazovatel'noy traektorii: dis. ... kand. tekh. nauk: 05.13.10. Moskva, 2009. 167 s.
4. Vorob'ev G.A. Formalizatsiya zadachi upravleniya protsessom obucheniya na osnove postroeniya ierarkhicheskoy ponyatiynoy seti znaniya: dis. ... kand. tekh. nauk: 05.13.10, 05.13.01. Penza, 2010. 155 s.
5. Dorrer A.G. Modelirovanie i razrabotka interaktivnykh obuchayushchikh sistem s adaptatsiey: dis. ... kand. tekh. nauk: 05.13.01. Krasnoyarsk, 2005. 156 s.
6. Gorbachenko I.M. Metody modelirovaniya protsessa obucheniya i razrabotki interaktivnykh obuchayushchikh kursov: dis. ... kand. tekh. nauk: 05.13.01. Krasnoyarsk, 2001. 224 s.
7. Kulygina L.A. Instrumenty realizatsii organizatsionno-pedagogicheskikh usloviy tekhnologii skvoznogo kursovogo proektirovaniya // Inzhenernoe obrazovanie. 2013. №13. S. 66-72.
8. Kulygina L.A. Integrativnaya osnova kachestva protsessov i rezul'tatov obucheniya studentov vuza // Sibirskiy pedagogicheskiy zhurnal. 2009. №2. S. 65-75.
9. Latypova V.A. Slozhnye otkrytye zadachi v smeshannom i distantsionnom avtomatizirovannom obuchenii // Inzhenernyy Vestnik Dona. 2015. №3. URL: ivdon.ru/ru/magazine/archive/159N3y15/.
10. Latypova V.A. Metodiki proverki rabot so slozhnym rezul'tatom v usloviyakh smeshannogo i distantsionnogo avtomatizirovannogo obucheniya // Internet-zhurnal «Naukovedenie». 2015. Tom 7. №3. http://naukovedenie.ru/PDF/170TVN315.pdf (dostup svobodnyy). Zagl. s ekrana. Yaz. rus., angl. DOI: 10.15862/170TVN315.
11. Repin V.V., Eliferov V.G. Protsessnyy podkhod k upravleniyu. M.: Standarty i kachestvo, 2004. 398 s.
12. Tabachnikas B.I. Kontseptsii reinzhiniringa i upravlenie biznes-protsessami // Problemy sovremennoy ekonomiki. 2007. №1 (21). http://www.m-economy.ru/art.php?nArtId=1230 (Dostup svobodnyy). Zagl. s ekrana. Yaz. rus.
13. Yusupov I.Yu. Avtomatizirovannye sistemy prinyatiya resheniy. M.: Nauka, 1983. 88 s.
14. Latypova V.A. Metodika i instrumental'noe sredstvo avtomatizirovannoy proverki rabot so slozhnym rezul'tatom na osnove ispol'zovaniya banka oshibok // Nauka i biznes: puti razvitiya. 2015. №7 (49). S. 41-47.
15. Bower G.H. (2000). A Brief History of Memory Research // The Oxford Handbook of Memory. Oxford University Press. Pp. 3-32.
