CC BY
100
Сухомлин В.А.1, Зубарева Е.В.2
Московский государственный университет имени М.В. Ломоносова, г. Москва, доктор технических наук, профессор факультета вычислительной математики и кибернетики, [email protected],
2Московский государственный университет имени М.В. Ломоносова, г. Москва, кандидат педагогических наук, доцент, научный сотрудник факультета вычислительной математики и
кибернетики, [email protected]
КУРРИКУЛУМНАЯ ПАРАДИГМА — МЕТОДИЧЕСКАЯ ОСНОВА СОВРЕМЕННОГО
ОБРАЗОВАНИЯ
КЛЮЧЕВЫЕ СЛОВА
Куррикулум, учебные программы, международные образовательные стандарты, дисциплина компьютинг, ИТ-образование.
АННОТАЦИЯ
В статье приводится анализ концепции и современного состояния системы международных стандартов образовательных программ в области ИТ, разработанных на основе куррикулумного подхода.
Введение
Стремительное развитие информационных (и коммуникационных) технологий быстро меняет окружающий мир. Практически во всех глобальных концепциях развития современного общества и его сфер деятельности (промышленности, бизнеса, науки, образования, культуры и др.) в качестве главного движителя прогресса называются именно информационные технологии (ИТ). Примерами таких концепций могут служить модели глобального и национального информационного общества, смарт-общества и смарт-образования, информационная теория электронной демократии, концепции электронного государства и электронного правительства, электронного парламента и электронного правосудия, глобальной информационной инфраструктуры и т.п. В связи с чем актуальной становится задача массовой подготовки профессиональных кадров в области ИТ, т.е. ИТ-специалистов или ИТ-кадров, — тех, кто создает, развивает, эффективно использует современные ИТ. Сектор системы образования, предназначенный для подготовки ИТ-кадров, часто называют системой ИТ-образования. В условиях глобализации экономики большое значение для подготовки востребованных кадров имеет выработка международных рекомендаций, обладающих высоким уровнем консенсуса в профессиональной среде и служащих ориентиром для университетов и вузов в соответствующей образовательной деятельности. Такого рода рекомендации должны систематизировать и унифицировать требования практики к выпускникам вузов и к соответствующим образовательным программам, учитывать достижения и тенденции развития науки и технологий, обобщать лучшую образовательную практику, служить эффективным инструментом построения актуальных образовательных программ, единого образовательного пространства.
Ответственность за решение задачи формирования таких ориентиров-рекомендаций в виде типовых учебных программ или куррикулумов (curriculum) уже многие годы несут ведущие международные профессиональные организации — Ассоциация компьютерной техники (Association for Computing Machinery, ACM — http://www.acm.org/) и Компьютерное Сообщество Института инженеров по электронике и электротехнике (Computer Society of the IEEE или IEEE-CS — http://www.computer.org/ ), которые ведут эту работу, начиная с 60-х годов 20-го столетия [1,2].
Из истории куррикулумной стандартизации ИТ-образования
В 1965 году комитетом по образованию организации АСМ был разработан первый проект типовой программы курсов бакалавриата по компьютерным наукам (an undergraduate program in computer science) [3], который после доработки был опубликован в 1968 году в окончательном виде, получив известность как Curriculum 68 [4]. Через десять лет в 1978 году ACM выпустила новую версию этого документа, известного как Curriculum 78 [5]. Примерно в таком же плане велась работа и в рамках IEEE-CS по разработке типовых программ подготовки бакалавров компьютерной инженерии (Computer Engineering). В 1985 году ACM и IEEE-CS объединили свои
усилия, создав объединенную целевую группу под председательством профессора Питера Деннинга. В 1989 году эта группа подготовила доклад «Computing as a discipline» [6], в котором формулировались принципы преподавания дисциплины, названной компьютингом (Computing) и объединившей в себе две дисциплины — компьютерные науки (Computer Science) и компьютерную инженерию (Computer Engineering). В 1991 году объединенная группа опубликовала новое руководство для подготовки бакалавров по компьютингу — Computing Curricula 1991 (CC 1991) [7], надолго ставшее по существу эталонной моделью для университетов в деле подготовки ИТ-кадров.
В 1998 году, вновь созданная объединенная группа специалистов под эгидой ACM и IEEE-CS приступила к разработке куррикулума Computing Curricula 2001 (CC 2001) [8]. Разработчикам этого документа уже на стадии анализа стало ясно, что за истекшее десятилетие область ИТ претерпела столь значительные изменения — развитие и вширь, и вглубь, названное в документах группы драматическим, что для ее адекватного представления в академическом пространстве необходимо было понятие компьютинга распространить на всю область ИТ и разработать целую систему куррикулумов, соответствующую современному состоянию науки и отрасли ИТ, потребностям практики в ИТ-кадрах.
К середине первого десятилетия текущего века был разработан целостный набор стандартов куррикулумов (curriculum standards) или просто куррикулумов, описывающих типовые модели учебных программ по важнейшим направлениям подготовки ИТ-кадров (далее будем называть эти направления базовыми профилями). Такими профилями подготовки ИТ-кадров были названы: вычислительная техника (computer engineering — CE), компьютерные науки (Computer Science — CS), информационные системы (Information Systems — IS), программная инженерия (Software Engineering — SE), системы информационных технологий (Information Technology — IT). Системность и целостность этому набору куррикулумов придавал основной методологический документ — Computing Curricula 2005 (CC2005) [9], в котором определена архитектура этой системы, описаны важнейшие методологические положения, лежащие в основе куррикулумного подхода. В частности, СС2005 включает:
- краткое описание профессиональных характеристик базовых профилей/направлений подготовки;
- описание характерных областей деятельности для базовых профилей подготовки с использованием графической модели пространства задач;
- сравнительный анализ базовых профилей по тематическому содержанию профессиональной подготовки с помощью шкалированной табличной формы для ключевых технологий, общих для всех профилей;
- описание исходящих профессиональных характеристик выпускников базовых профилей;
- принципы разработки самих куррикулумов и т.д.
В последующее десятилетие процесс разработки и актуализации стандартов куррикулумов для ИТ-образования, осуществляемый на принципах консорциумной стандартизации [10, 11], принял постоянный, непрерывный характер и, практически все куррикулумы первого пятилетия были за этот период переработаны и вышли в новых редакциях.
Современное состояние системы стандартов куррикулумов
Современная система стандартов куррикуломов дисциплины компьютинг включает следующие актуальные документы:
1. Computing Curricula 2001 (CC2001) [8],
2. Computing Curricula 2005 (CC2005) [9],
3. Information Technology 2008 (IT2008) [12],
4. Information Systems 2010 (IS2010) [13],
5. CSTA K-12 CS Standards, 2011 Edition^^ (К-12) [14],
6. Graduate Software Engineering 2009 (GSwE 2009) [15],
7. Computer Science 2013 (CS2013) [16],
8. Curriculum Guidelines for Undergraduate Degree Programs in Software Engineering (SE2014) [17].
Структура современной системы куррикулумов может быть проиллюстрирована с помощью Рис. 1.
Рис. 1. Структура современной системы стандартов куррикулумов компьютинга
Анализ описанного стека куррикулумов предпринимался в работе [18]. Однако с момента публикации этой работы в сфере стандартизации куррикулумов компьютинга произошел ряд важных событий. К ним в первую очередь следует отнести разработку стандартов:
- CS 2013 — куррикулума для подготовки бакалавров CS [16] и
- SE 2014 — куррикулума для подготовки бакалавров SE [17].
Еще одним значимым событием явилось издание в конце 2013 года новой редакции (версии 3) фундаментального документа SWEBOK V3 (Software Engineering Body of Knowledge) [19], определяющего требуемый объем знаний специалистов по разработке программного обеспечения, подготовленных для реализации проектов в соответствии с международным стандартом ISO 12207 (Процессы жизненного цикла программного обеспечения).
Этот документ, созданный совместными усилиями IEEE-CS и ACM, не является куррикулумом. Цель его разработки состояла в том, чтобы определить необходимый набор знаний и рекомендуемых практик для разработчиков программного обеспечения, определить этические и профессиональные нормы в области программной инженерии, определить основу для разработки учебных программ по программной инженерии. Именно с учетом этой основы и разработан стандарт SE2014.
Кратко рассмотрим основные черты упомянутых выше новых стандартов — куррикулумов CS2013иSE2014.
CS2013
Куррикулум CS2013 представляет собой комплексную ревизию предыдущей редакции (CS2008). Основное внимание при его подготовке уделялось: тщательному пересмотру объема/свода знаний, переосмыслению ядра свода знаний (минимально необходимого объема знаний) и разработке двухуровнего метода его реализации, детальному определению на уровне тем объема знаний целей обучения, уточнению характеристик выпускников CS-программ, методическим аспектам подготовки компьютерных ученых в различных институциональных контекстах. CS2013 включает также значительный пул примеров программ CS и описаний программ курсов по отдельным дисциплинам компьютинга. Эти примеры демонстрируют различные подходы и способы покрытия тем предметных областей, реализуемые известными университетами и колледжами.
В CS2013 весь объем профессиональных знаний на верхнем уровне разбивается на следующие 18 предметных областей (Knowledge Areas- KAs):
AL Алгоритмы и сложность (Algorithms and Complexity); AR Архитектура и организация (Architecture and Organization); CN Вычислительная наука (Computational Science); DS Дискретные структуры (Discrete Structures); GV Графика и Визуализация (Graphics and Visualization); HCI Взаимодействия человека и компьютера (Human-Computer Interaction); IAS Защита информации и информационная безопасность (Information Assurance and Security);
IM Управление информацией (Information Management); IS Интеллектуальные системы (Intelligent Systems); NC Сети и коммуникации (Networking and Communications); ОС Операционные системы (Operating Systems);
• PBD Платформо-ориентированные разработки (Platform-based Development);
• PD Параллельные и распределенные вычисления (Parallel and Distributed Computing);
• PL Языки программирования (Programming Languages);
• SDF Основы развития программного обеспечения (Software Development Fundamentals);
• SE Программная инженерия (Software Engineering);
• SF Основы систем (Systems Fundamentals);
• SP Социальные аспекты и профессиональная практика (Social Issues and Professional
Practice).
Анализ содержания этих предметных областей показывает, что в куррикулуме отражены такие важные тенденции развития области ИТ, как возросшая значимость системных решений (Systems Fundamentals), параллельных и распределенных вычислений (Parallel and Distributed Computing), методов и средств защиты информации и информационной безопасности (Information Assurance and Security), платформо-ориентированных программных разработок (Platform-based Development). Вновь акцентировано внимание к сетевым технологиям (Networking and Communications), в которых происходят революционные изменения в связи наступлением эры Интернета вещей и внедрения сетевой технологии, называемой Software Defined Network (SDN) или Программно-Конфигурируемыми Сетями (ПКП), основанной на протоколе OpenFlow [20]. Заметим, что в то же время из CS2013 исчез такой традиционный предмет, как "основы программирования".
SE2014
Данный документ является пересмотренной редакцией куррикулума SE2004. Новая версия куррикулума во многом повторяет структуру предыдущей версии — SE2004, однако содержание исходного документа подверглось основательной переработке, начиная с первых глав. В частности, дано развернутое понимание дисциплины программной инженерии с учетом его развития за последнее десятилетие (Глава 2), переписаны в более обобщенном виде результаты обучения студентов по SE-программам и принципы, лежащие в основе самого SE2014 (Глава 3). Основное же содержание документа составляют:
- Спецификация объема знаний SEEK (The Software Engineering Education Knowledge), которым должны владеть выпускники программ SE, с выделением ядра (Глава 4).
- Методические аспекты, определяющие: способы изучения объема знаний и приобретений практических навыков, руководящие принципы разработки учебных программ и планов, возможные педагогические стратегии (Глава 5); способы организации учебных программ и порядка прохождения материала объема знаний, требования к дипломному проекту (Capstone Project) (Глава 6); вопросы адаптации к различным институциональным средам (Глава 7); вопросы реализации и оценки учебных программ (Глава 8).
- Описание примеров учебных программ (куррикулумов) (Приложение A).
- Описание обширной коллекции примеров курсов (Приложение A).
Общая структура SEEK в главе 4 осталась почти такой же, как и в SE2004, но полному пересмотру и коррективам подверглось содержание объема знаний.
Верхний уровень иерархии объема знаний SE2004 составляют следующие предметные области:
- основы компьютинга (computing essentials — CMP),
- математические и инженерные основы (mathematical and engineering fundamentals —
FND),
- профессиональная практика (professional practice — PRF),
- моделирование и анализ программного обеспечения (software modeling and analysis —
MAA),
- анализ и спецификация требований (requirements analysis and specification — REQ),
- проектирование программного обеспечения (software design — DES),
- верификация и испытания программного обеспечения (software verification & validation —
VAV),
- процессы программного обеспечения (software process — PRO),
- качество программного обеспечения (software quality — QUA),
- безопасность (security — SEC).
В целом можно сказать, что куррикулум SE2014 по структуре и содержанию согласован с документом SWEBOK v3, что упрощает разработчикам учебных программ детализацию
содержания тем отдельных курсов.
В SE2004 представлена логико-семантическая зависимость перечисленных выше предметных областей, иллюстрируемая на Рис. 2.
Рис. 2. Зависимость между предметными областями
Детализация каждой предметной области до уровней модулей знаний и их тем представляется в табличной форме, содержащей столбцы с дидактическими атрибутами. Эти атритуты указывают: рекомендуемое количество контактных часов для прохождения модуля или темы; является ли тема необходимой (E — Essential), т.е. является ли частью ядра, или желательной (D — Desirable), а также когнитивный уровень изучения темы, для чего используется упрощенный вариант таксономии Блума [21]. Когнитивный уровень квалификации по каждой теме определяется следующим образом:
• Знание (k — Knowledge): знания основных идей, понятий и методов предмета.
• Понимание (с — Comprehension): Понимание информации и смысл излагаемого материала.
• Применение (а — Application): Использование изученный материал в новых и конкретных
ситуациях.
Анализируя согласованную в целом связку документов SE2014, GSwE209 и SWEBOK v3, можно сказать, что под направление "программная инженерия" (SE) подведена фундаментальная методическая основа для подготовки востребованных разработчиков программного обеспечения на ближайшую перспективу.
Концепция куррикулумного подхода
Кратко подытожим принципы куррикулумной стандартизации.
Начнем с дифференциации подготовки в соответствии с характером деятельности ИТ-специалистов различных профилей. Такая дифференциация на качественном уровне может быть проиллюстрирована графической моделью, представленной на рис. 3 [9], где отметки на шкале "у" соответствуют уровню абстрактности решаемых задач (компьютерное оборудование и архитектура, системная и сетевая инфраструктура, методы и технологии программирования, уровень приложений, бизнес-процессы), а отметки на шкале "х" характеризуют степень "научности-практичности" задач (значение 0 соответствует чисто теоретическим работам, а крайнее справа значение — сугубо практическим работам, таким, как, например, эксплуатация систем или оборудования). В этом пространстве задач, представленном на данном рисунке, для каждого профиля компьютинга (SE, CS, IS и IT) выделены области характерных для него задач.
Именно таксономия профилей и разработка детальных куррикулумов для каждого из них предоставляют возможность разработки учебных программ в широком диапазоне требований практики к профилированной подготовке выпускников вузов.
Oiganizabcrol hij« ц lfilomial»fl S-pTtcnts
I otT retries
Snll.'.'.l.'H
ЗЯ& Tmi-:VI'jI jj Й4
SE
■^Ч'Яу
Piiiki^iHK
IririUiiUj'i
DfEVELOPfJIQNT
V rteptrjuiiir1*
СолйдигаЬт
Organizational ¡i.«
4 liAxnvrtVin Зртйб -rr.
Application Te-:hno)«jKK
Software Methods, aid Tsdiinitogws-
cs
Prinnpi« Iniwv-itan
DEVELOPMENT
Application DepfcynrY Ccriigu labor
Йгдлшглпвпа! гйим & Irrlcunuton Зуик-г-в
АррйсяйМ TttlhMbjiM
3oftwt»r MsWj ard Тк4шск>де5
Theory
BfCifiei
innoajhan
OEVaORfHENT
Application Dt-^ty-rit-T CcnNgardlrcri
IS
Мсгв Ihsaratiul
u-'ginznonal Si i-A>rm.rk>n S
Applunon
I «cfi-ij-ugri-i
Spft»ore- Methods-jnd TichnobfltH-
lhdlM> Pli-K^BS
Inrmkis«
Affikflbon Depfcymrrj Co^guiaikir
1Л:Уи TftAiWftli«l
IT
Рис. 3. Модель пространства задач для базовых профилей дисциплины компьютинг (компьютерная инженерия, информационные системы, компьютерные науки, информационные технологии, программная
инженерия)
Важным качеством всей системы куррикулумов является свойство целостности, благодаря тому, что все они разработаны в соответствии с определенными в СС2005 едиными терминологией, архитектурой, принципами.
Одним из центральных принципов, проходящих через всю систему стандартов куррикулумов, является принцип ядерных (базовых) технологий, Он основывается на исследованиях профессора Питера Денинга [6, 13], показавшего, что значительный акцент в подготовке ИТ-кадров должен быть сделан на освоении порядка 40 так называемых ядерных или базовых технологий, знание которых и умение ими пользоваться определяют профессиональную состоятельность выпускника, независимо от его профилизации, хотя уровень владения конкретной темой/технологией может существенно меняться в зависимости от профиля.
Список ядерных технологий составлен разработчиками СС2005 на основе обобщения сводов знаний, описанных в куррикулумах для базовых профилей. Этот список, дополненный шкалированными весовыми характеристиками, отражающими уровень освоения (когнитивности) каждой темы для учащихся соответствующих профилей, позволяет в компактной табличной форме сравнить содержание профессиональной подготовки по базовым профилям на дидактическом уровне.
Другими важными принципами куррикулумного подхода являются:
- знание-ориентированность — спецификация структуры и собственно объемов (сводов) актуальных знаний или BOK (body of knowledge), соответствующих профилям подготовки (до уровня тем/подтем), что составляет основное содержание каждого куррикулума;
- единая архитектура представления знаний в виде трех-четырех-уровневой иерархической структуры — на верхнем уровне иерархии располагаются предметные области (areas), которые подразделяются на модули знаний (units), последние в свою очередь разбиваются на темы (topics), которые могут делиться на подтемы (subtopics);
- концепция ядра (CORE) свода знаний — выделение в ВОК минимально необходимого содержания для всех учебных программ, что способствует поддержке целостности образовательного пространства, мобильности учащихся, гарантирует заданный уровень качества базовой подготовки;
- четкая спецификация профессиональных характеристик профилей, целей обучения, итоговых профессиональных характеристик выпускников;
- включение рекомендаций методического характера по диверсификации направлений подготовки [20], составлению учебных планов, компоновки курсов из модулей знаний в соответствии с выбранной педагогической стратегией реализации учебной программы, организации профессиональной практики, реализации процессов обучения;
- включение описания примеров учебных программ в целом (куррикулумов) и программ учебных курсов, разработанных и успешно реализуемых наиболее известными университетами;
- высокая технологичность куррикулумов как технических документов — основные части таких документов, содержащие описание общепрофессиональных аспектов, системы целей обучения, итоговых профессиональных характеристик выпускников, а также архитектуры свода знаний, достаточно компактны (как правило, в пределах 50 страниц). А детальное описание объемов знаний (программ курсов) до уровня тем и соответствующих целей обучения вынесены в хорошо структурированные приложения;
- консорциумный характер процесса разработка куррикулумов, интегрирующий усилия академических, промышленных, коммерческих и правительственных организаций, ведущих специалистов образования и отрасли, что обеспечивает высокую степень доверия и высокий уровень консенсуса профессионального сообщества по отношению к стандартам куррикулумов.
Заключение
Целью написания статьи является продвижение куррикулумного подхода в качестве магистральной или базовой методической парадигмы российского образования. Примером успешного применения такого подхода может служить современная система международных стандартов куррикулумов в сфере подготовки ИТ-специалистов (разного уровня), т.е. специалистов в области информационных технологий или ее академического аналога — компьютинга. Как было показано в статье, данная система стандартов характеризуется полнотой описания образовательного контента и методического учебного материала для всех основных ИТ-профилей. Она поддержана непрерывным процессов развития и актуализации куррикулумов, реализуемого на принципах консорциумной стандартизации, что обеспечивает стандартам куррикулумов высокий уровень доверия в профессиональном сообществе.
Следует отметить, что рассмотренный выше сектор образования, называемый часто системой ИТ-образования, характеризуется в образовательном поле наиболее высокой динамикой развития, как в образовательном компоненте, так и в технологическом, поэтому система ИТ-образования может служить ориентиром для всей системы образования.
В статье дан краткий экскурс в полувековую историю развития куррикулумной стандартизации компьютинга, рассмотрены архитектура, принципы построения системы международных стандартов куррикулумов, ее современное состояние, важнейшие принципы разработки самих куррикулумов.
Вообще понятие куррикулума является исключительно богатым. Оно вмещает в себя описание актуального содержания обучения, методические рекомендации по реализации процессов обучения, тщательно разработанные и увязанные с элементами объема знаний оценочные средства, примеры лучшей практики лидеров университетского образования.
По убеждению авторов, перевод российского образования на куррикулумного парадигму поможет вывести национальную систему образования из глубокого кризиса, вызванного непродуманными навязанными сверху реформами. Глубокой ошибкой реформаторов было подведение под методическое обеспечения системы образования в качестве базовой парадигмы семантически куцего компетентностного подхода [23], что, в частности, привело к положению, когда образовательные стандарты оказались бесполезными для образовательной практики. Кстати, куррикулумная парадигма никоим образом не отвергает компетентностный подход, который может служить полезным дополнением к куррикулумной методологии, повышая эффективность конкретных учебных программ куррикулумного типа.
Литература
1. Перекатов В.И. Компьютерные дисциплины в представлении профессиональных обществ США: вехи академической легенды / / Информационные технологии и вычислительные системы. — 2002, № 1.
2. Перекатов В.И. Компьютерные дисциплины в представлении профессиональных обществ США: последний куррикулум? // Информационные технологии и вычислительные системы. — 2002. № 4.
3. Association for Computing Machinery, Curriculum Committee on Computer Science. An undergraduate program in computer science — preliminary recommendations. Comm. ACM, 8, 9 (Sept. 1965).
4. Curriculum 68. Recommendations for Academic Programs in Computer Science. Comm. of the ACM, 11, 3 (March 1968).
5. Curriculum'78. Recommendations for the Undergraduate Program in Computer Science. Comm. of the ACM, 22, 3 (March 1979).
6. Denning, Peter et al. «Computing as a discipline». ACM Communications 32, 1 (Jan 1989), 9-23.
7. Computing Curricula 1991. Report of the ACM/IEEE-CS Joint Task Force. IEEE Computer Society Press, 1991.
8. Computing Curricula 2001. Computer Science Volume. Association for Computing Machinery and Computer Society of IEEE. — Режим доступа: http://www.acm.org/education/cc2001/final.
9. Computing Curricula 2005 (CC2005). Association for Computing Machinery and Computer Society of IEEE.
10. Сухомлин В.А. Введение в анализ информационных технологий. — М: Горячая линия — Телеком, 2003. — 457 с.
11. Сухомлин В.А. ИТ-образование. Концепция, образовательные стандарты, процесс стандартизации. — М.: «Горячая линия — Телеком», 2005. — 176 с.
12. Information Technology 2008 (IT2008). Association for Computing Machinery and Computer Society of IEEE. — Режим доступа: http://www.acm.org//education/curricula/IT2008%20 Curriculum.pdf.
13. Information Systems 2010 (IS2010). Association for Computing Machinery and Computer Society of IEEE (IS Curriculum Wiki. — Режим доступа: http://blogsandwikis. bentley.edu/iscurriculum/index.php/Main_Page); http://www.acm.org/education/curricula/IS% 202010%20ACM%20final.pdf.
14. CSTA K-12 CSTA K-12 CS Standards, 2011 Edition^^ (К-12). — Режим доступа: http://csta.acm.org/Curriculum / sub / CurrFiles/CSTA_K-12_CSS.pdf
15. Graduate Software Engineering 2009 (GSwE2009). Association for Computing Machinery and Computer Society of IEEE.
16. CS2013 — Computer Science 2013: Curriculum Guidelines for Undergraduate Programs in Computer Science. — Режим доступа: http://www.acm.org/education/CS2013-final-report.pdf .
17. SE2014 — Software Engineering Curriculum Guideline. — Режим доступа: http://www.acm.org/education/se2014.pdf .
18. Сухомлин В.А. Международные образовательные стандарты в области информационных технологий // Прикладная информатика. — 2012, № 1(37). — С. 33-54.
19. Guide to the Software Engineering Body of Knowledge. Version 3.0 (SWEBOK.v3). A Project of the IEEE Computer Society. — Режим доступа: URL: http://www.computer.org/portal/ web/swebok.
20. Лапонина О.Р., Сухомлин В.А. Способы трансформации сетей к SDN-архитектуре // International Journal of Open Information Technologies. — 2015, Vol 3, № 4. — С. 8-17.
21. Bloom B. S. (Ed.), Taxonomy of educational objectives: The classification of educational goals: Handbook I, cognitive domain, Longmans, 1956.
22. Сухомлин В.А., Андропова Е.В. Диверсификация программ профессиональной подготовки в международных образовательных стандартах в области информационных технологий // Вестник Московского университета. Серия 20. Педагогическое образование. — 2013, № 1. — С. 73-87.
23. Сухомлин В.А. Реформа высшей школы — анализ итогов // Современные информационные технологии и ИТ-образование. — 2010, Т. 1 (№ 6). — С. 3-22.
