О некоторых методологических принципах проектирования секторальной рамки квалификаций в области «Информатика» Текст научной статьи по специальности «Науки об образовании»

УДК 378.14

Н.С. Вольпян В.В. Тихомиров

О НЕКОТОРЫХ МЕТОДОЛОГИЧЕСКИХ ПРИНЦИПАХ ПРОЕКТИРОВАНИЯ СЕКТОРАЛЬНОЙ РАМКИ КВАЛИФИКАЦИЙ В ОБЛАСТИ «ИНФОРМАТИКА»

Аннотация. В работе сформулированы основные принципы и концепция проектирования секторальной рамки квалификаций в области информатики.

N. Volpian V. Tikhomirov

Keywords: principles, concepts, expertise, informatics, learning outcomes, qualifications framework.

Модернизация системы высшего образования в Российской Федерации, направленная на возрастание ее конкурентоспособности и повышение качества образовательного процесса, осуществляется на основе принципов Болонской Декларации (1999 г.). Центральная идея модернизации заключается в переносе фокуса образовательного процесса на оценку результатов обучения, выраженных в компетенциях, знаниях и навыках.

Одним из определяющих документов, формирующим образовательные стандарты должна стать Отраслевая (секторальная) рамка квалификаций. Отраслевая рамка квалификаций (ОРК) в сфере информационных технологий - составная часть системы квалификаций, разрабатываемая на национальном уровне. В Российской Федерации она представляет собой обобщенное описание по установленным показателям квалификационных уровней в рамках отрасли, признаваемое ведущими в данной отрасли организациями. ОРК предназначена для различных групп пользователей (объединений работодателей, органов управления образованием, компаний, образовательных организаций, граждан, и др.) и позволяет:

- формировать общую стратегию развития рынка труда и системы образования в конкретной отрасли, в том числе, планировать различные траектории образования, ведущие к получению конкретной квалификации, повышению квалификационного уровня, карьерному росту;

- формировать большую трудовую мобильность;

- описывать с единых позиций требования к квалификации работников и выпускников при разработке профессиональных и образовательных стандартов, программ профессионального образования;

- разрабатывать процедуры оценки результатов образования и сертификации квалификаций, формировать систему сертификатов;

- создавать тарифные системы, обеспечивать прозрачность и управляемость системы оплаты труда.

В условиях усиливающихся процессов глобализации во всех сферах экономической и социальной жизни разработка механизмов поддержки обучения в течение жизни и трудовой мобильности приобретают особую значимость, как для индивидуумов, так и для компаний и даже государств.

© Н.С. Вольпян, В .В. Тихомиров, 2014

Основанные на согласованных между собой национальных рамках квалификаций секторальные рамки квалификаций (далее, СРК) позволяют, с одной стороны, сопоставить результаты обучения различных образовательных и сертификационных систем, а с другой стороны сохранить индивидуальные национальные особенности национальных систем образования и институциональных устоев рынка труда. Необходимо отметить, что разработка СРК является ресурсоемким и длительным процессом, требующим согласованных действий всех заинтересованных сторон.

В этой связи финансируемый Еврокомиссией проект TEMPUS «INFORMATICS AND MANAGEMENT: BOLOGNA-STYLE QUALIFICATIONS FRAMEWORKS (далее, INARM), направленный на реализацию механизмов Болонского процесса в области высшего образования, позволил трем странам, имеющие общие исторические корни -России, Армении и Украины (далее, СП - страны-партнеры), объединить усилия в разработке СРК в области информатики и менеджмента.

По условиям проекта INARM при разработке национальной секторальной рамки экспертам необходимо совместить национальные институциональные механизмы и общеевропейскую методологию разработки СРК, предложенную Европейским центром развития профессионального образования (European Centre for the Development of Vocational Training, далее Cedefop). Проект INARM включает несколько основных этапов:

(а) концептуализация и дизайн: на этом этапе страны СП определяют общую концепцию и основные цели будущих СКР в областях Информатики и Менеджмента, которые, обеспечат основу для привлечения к этим разработкам заинтересованных сторон с целью учета конкретных потребностей конкретной СП;

(б) консультации и тестирование: далее предложения по проектированию СРК будут представлены более широким аудиториям заинтересованных сторон. Внешний экспертная оценка СКФ будет осуществляться партнерами из ЕС для обеспечения сопоставимости с Европейскими стандартами;

(в) официальное признание/одобрение: для обеспечения устойчивости результатов проекта разработки СРК необходимо заручиться поддержкой органов, регулирующих отношения сторон, заинтересованных в использовании СРК.

(г) практическая реализация: этот этап предусматривает применение СРК в практике работы вузов.

Настоящая публикация содержит предложения по концептуализации и дизайну (этап «а») группы российских экспертов по разработке СКР в области информатики.

Для того, чтобы результаты будущего проекта стали реально востребованными заинтересованными сторонами, российские эксперты INARM провели анализ политики РФ в области управления ИТ-кадрами, выявили интересы заинтересованных сторон, изучили ряд ранее разработанных и утвержденных инструментов, направленных на реализацию этой политики, а также изучили международный, преимущественно европейский, опыт.

О текущей государственной политике РФ в области развития ИТ-кадров

Перечень поручений Президента Правительству РФ (май 2012 года) содержит стратегическую задачу реновации к 2020 году 25 млн. рабочих мест. «Дорожная карта» этой стратегии, опубликованная на портале Агентства Стратегических Инициатив [1], предполагает и обновление образовательных программ ВПО, и привлечение квалифицированных мигрантов, и переподготовку высококвалифицированных работников на основе как формального, так и дополнительного обучения. Реализация поставленной задачи осуществляется с помощью широкого охвата специалистов

профессиональными стандартами (далее, ПС РФ), госпрограммами карьерного ориентирования и программами сертификации. В соответствии с макетом, предложенным Министерством труда и социальной защиты РФ, основная структура ПС включает три элемента, сгруппированных по иерархическому принципу: обобщенные трудовые функции; трудовые функции; кластер трудовых действий, для которого предлагается список знаний и список умений. Основные отличия ОРК от НРК заключаются в разукрупнении уровней на виды трудовой деятельности -профессиональный, операционный и проектный в целях уточнения индикаторов для этих трех видов.

К декабрю 2013 года примерно половина ПС РФ была разработана (для ИТ-области были опубликованы 12 ПС РФ ИТ). Дальнейшее внедрение ПС РФ регламентировано резолюцией № СП-П12-9512 от 26.12.2013, которая предписывает в 2014 году провести следующие мероприятия: подготовить и внести в Государственную Думу Федерального Собрания Российской Федерации проекты федеральных законов, предусматривающие обязательность применения профессиональных стандартов рядом работодателей, обязательный учёт положений профессиональных стандартов при формировании федеральных государственных образовательных стандартов профессионального образования; обеспечить актуализацию федеральных государственных образовательных стандартов и профессиональных образовательных программ с учётом принимаемых профессиональных стандартов, а также формирование организационных механизмов проведения профессионально-общественной аккредитации образовательных программ; обеспечить разработку национального классификатора (перечня) видов профессиональной деятельности с учётом их востребованности на рынке труда; разработать предложения по формированию сети независимых центров сертификации квалификации, в том числе по определению механизмов аккредитации таких центров и установлению процедуры подтверждения квалификации работников.

Политика развития кадрового потенциала РФ имеет свое отражение в документе «Стратегия развития отрасли информационных технологий в Российской Федерации на 2014-2020 годы» [2], в которой отмечаются проблемы дефицита ИТ-кадров и пути их решения, сформулированные в дорожной карте «Развитие отрасли информационных технологий» [3]: разработка профессиональных стандартов в области информационных технологий; установление контрольных цифр приема в образовательные организации высшего образования и в профессиональные образовательные организации по специальностям в сфере информационных технологий; разработка предложений и координация мер по устранению дефицита специалистов в отрасли информационных технологий; модернизация федеральных государственных образовательных стандартов для подготовки кадров в сфере информационных технологий; разработка и внедрение программ модернизации профессионального образования в сфере информационных технологий в субъектах Российской Федерации и др. В рамках мероприятий, направленных на устранение дефицита кадров, запланировано существенное увеличение контрольных цифр приема студентов на бюджетной основе.

В целях ориентирования профессионального образования разработан «Прогноз научно-технического развития России на период до 2030 года» [4], в котором ведущее место отводится ИКТ. Для координации работы заинтересованных сторон силами Минкомсвязи и Минобрнауки предполагается создать специальное Агентство развития ИТ-образования (АРИТО).

Обзор некоторых европейских проектов, связанных с разработкой и применением секторальной рамки квалификаций в области ИКТ

Одним из основных инструментов Болонского процесса является Европейская рамка квалификаций (European Qualification Frameworks, далее, EQF), одобренная Европейским Парламентом 23 апреля 2008 года, в целях «... обеспечения прозрачности, сравнимости, сопоставимости и признания квалификаций и дипломов и свидетельств об образовании в целях развития академической и трудовой мобильности граждан на европейском континенте». С появлением EQF национальные системы квалификаций, включающие и национальные СРК, получили возможность сопоставления профессиональных квалификаций.

В конце 2008 года в Консультационном совете развития и поддержки EQF (EQF Advisory Group) Европейская комиссия учредила рабочую группу, которая стала заниматься различными вопросами, связанными с использованием принципов EQF для гармонизации и разработки отраслевых рамок квалификаций [5]. В результате проведенных в этой области исследований были сделаны некоторые выводы, например, о том, что типы и структуры СРК, связаны с видами профессиональной деятельности. Так, некоторые СРК, по сути, являются каталогами детальных описаний квалификаций, позволяющих производить оценивание и сертификацию специалистов. Квалификации связаны с уровнями EQF и с профилями должностей, распространенных в отрасли. К таким рамкам можно отнести, рамки специалистов сформированных профессий (например, профессии парикмахерского бизнеса).

Другие СРК, также связанные с уровнями EQF и профилями сектора, содержат рамочные описания компетенций работников и, прежде всего, предназначены для использования решения задач рынка труда. Такие рамки компетенций служат надежными ориентирами, позволяющими описать результаты обучения в терминах ожидания работодателей по части характеристик успешного выполнения работ в определенном контексте рабочего пространства. Такие рамки предоставляют возможности для гибкого формирования профилей должностей динамично изменяющихся секторов. К такому типу рамок вполне можно отнести квалификационные рамки ИКТ сектора.

Во многих странах мира уже реализованы решения постоянной адаптации образовательных программ к требованиям работодателей и учет динамично развивающегося ИКТ-сектора на основе рамок компетенций и квалификаций. Поэтому важным этапом разработки новой рамки является детальное изучение имеющегося опыта наиболее успешных международных проектов в области ИКТ. Ниже приводятся краткие характеристики этих проектов.

1. Проект «Стратегия разработки европейских ИКТ квалификаций» (European Qualification Strategies in Information and Communications Technology, EUQuaSIT [5,6]) осуществлялся Европейским центром развития профессионального образования (Cedefop) в соответствии с изложенными в Копенгагенской Декларации принципами развития сотрудничества в области профессионального образования и обучения в Европе.

С нашей точки зрения ценность результатов проекта EUQuaSIT заключается в изучении методики полного цикла создания информационной базы управления ИТ-кадрами: обследование компаний, сбор детальной информации о профессии в формате требований рынка труда, обобщения этой информации в различных форматах и структурах данных, рекомендации для разработки программ обучения и оценивания знаний и умений специалистов. Результатами проекта EUQuaSIT, опубликованные в 2004 году, стали: Европейская система ИКТ компетенций и квалификаций для

обеспечения прозрачности определения должностных позиций и образовательных программ в ИКТ-секторе; рекомендации по проектированию образовательных программ для среднетехнического профессионального образования, на базе которого осуществляется подготовка специалистов ИКТ 2,3 и 4-го уровня; методология ее разработки и поддержки.

Несмотря на то, что этот проект выполнялся Cedefob 10 лет назад (что для ИКТ является значительным сроком), на результаты этого проекта и предложенные методики ссылаются многие современные исследования.

Вместе с тем, как результат проекта EUQuaSIT, было достигнуто понимание, что заданные в качестве долговременных стандартов рамки компетенций и квалификаций, могут значительно облегчить задачу регулярного выполнения работ по сбору и систематизации информации об ИКТ-специалистах. Это понимание положило начало созданию целой серии европейских стандартов, которые заложили надежную теоретическую основу для дальнейших стандартов.

2. Стандарты CEN eSkills Европейская рамка ИКТ-компетенций и Европейское семейство 23 ИКТ-профилей. Логическим продолжением проекта EUQuaSIT стали стандарты CEN eSkills, которые создаются профессиональными ИТ-сообществами ЕС под руководством Рабочей группой CEN ICT/SKILLS Европейского комитета по стандартизации (далее CEN, Comité Européen de Normalisation) [7,8]. Центральным и связующим элементом этих стандартов является Европейская рамка ИКТ-компетенций (e-CF) и Европейское семейство 23-х ИКТ-профилей. Перечисленные стандарты переводятся на русский язык и регистрируются как ГОСТ РФ по правилам Росстандарта.

С нашей точки зрения ценность русскоязычных стандартов CEN eSkills заключается в возможности использования стандартизированных и теоретически обоснованных основных определений и структур данных для сбора и анализа информации - связанных между собой Европейской рамки компетенций и классификатора ИТ-профессий. Кроме того, в e-CT заложены принципы, позволяющие осуществлять гармонизацию как уже существующих и успешно функционирующих, так и создание новых национальных систем.

Стандарты CEN eSkills включают разработку методологий гармонизации различных систем сертификаций для создания единой модели сертификации специалистов ИКТ-сектора, основанной на стандартах ИСО, Европейской рамки квалификаций, единых стандартах качества, а также общеевропейских проектах, связанных с практическим применением разработанных инструментов и методик.

Кроме того, ценность стандартов CEN eSkills заключается в том, что они с одинаковым уровнем детализации описания охватывают всю область профессиональной деятельности ИКТ-специалистов и в связи с этим предоставляют надежную основу для дальнейших разработок, таких как, например, рамка ИКТ-квалификаций. Стандарты 23 Европейских ИКТ-профилей и Европейская рамка ИКТ-компетенций разработаны таким образом, чтобы быть легко гармонизированными с национальными стандартами, разработанными в любом формате [9].

Как результат, определение, которое приняли эксперты, было сформулировано следующим образом: компетенция - это «продемонстрированная способность применять знания, умения и отношения для достижения определенных результатов». Приведенное определение сопоставимо с определением EQF, которое определяет компетенцию как «доказанную способность использовать знания, умения и персональные, социальные и/или методологические способности в рабочих и учебных ситуациях и профессиональном и личностном развитии». Определение, принятое в e-CF, также охватывает социальные и личностные способности, так как ИКТ-компетенции являются целостными характеристиками, отражающими комплексное

поведение, объединенными понятием «отношения» и степенью индивидуальной самостоятельности. Это утверждение становится более очевидным, когда ИКТ-компетенции описываются с учетом уровня профессионализма.

По поводу терминов «умения», «знания», «отношение» эксперты e-CF и заинтересованные стороны пришли к следующему соглашению. Умения - это «способность выполнять конкретные управленческие и технические задачи». Умения управления и владения технологиями являются компонентами компетенций и специфицируют ключевые способности, которые формируют компетенцию. Знания представляют совокупность «знаю что» (языки программирования, средства разработки и дизайна, и т.д.) и могут быть описаны операционными дескрипторами. Отношение в рассматриваемом контексте означает «когнитивные способности и способности устанавливать связи» (способности к анализу, синтезу, гибкость, прагматизм и т.д.). Если знания и навыки выступают структурными компонентами компетентности, то отношения являются тем, что их соединяет в индивидууме.

Понятия «знания» и «умения» могут служить связующим звеном между EQF и e-CF и устанавливать возможность для интероперабельности между результатами обучения и компетенциями, поскольку эти понятия используются для определения понятия «результаты обучения» в EQF и понятий «компетенция» как в EQF, так и в e-CF.

3. Методология отражения результатов обучения в инженерном образовании (Engineering observatory on Competence based Curricula for job Enhancement (ECCE) How to tame learning outcomes in engineering education [10]). В проекте ECCE, в котором участвовали 7 западноевропейских технических университетов, предложена методика представления результатов обучения в профессиональном инженерном образовании. Ценность проекта ECCE для построения новой рамки заключается в том, что с помощью предложенной методологии появилась возможность представления информации, собранной о рынке труда в формате «результатов обучения». «Результаты обучения» обеспечивают прозрачный способ описать цели программ, курсов или модулей. За начало работ были взяты результаты проектов DOCET и CDIO (Conceive, Design, Implement and Operate - Замысел, Проектирование, Внедрение, Эксплуатация).

Результатами этих проектов стали: опыт использования результатов обучения для улучшения некоторых инженерных программ; сопоставление описания квалификаций EQF с таксономией Блюма; разработка таблицы глаголов действий, выражающих независимость и контекст сложности.

Концепция проектирования СРК в области «Информатика»

Русский термин «рамка» пришел из английского языка в качестве устоявшегося перевода термина «framework», оригинальное значение которого является более емким и зависит от контекста использования, например, словарь Webster предлагает несколько толкований, среди которых: «структура для признания или включения чего-то»; «система или структура, вокруг которой строится что-то»; «рамка или структура, составленная из частей, соответствующих друг другу»; «система, порядок, путь, согласно которому что-то может быть создано» и т. д. В международной системе стандартизации «framework» часто используется в названии стандартов: «... конечным продуктом служат документы типа Framework, содержащие многоуровневую модель интероперабельности и последовательность действий для достижения интероперабельности». В результате было принято решение framework переводить как «рамка», и использовать следующее определение. СРК «Информатика» - это интероперабельная модель соотнесения требований рынка труда, выраженных в

образовательных результатах. При этом интероперабельность обусловлена следующими уровнями: техническим, информационным и организационным, на которых должна быть достигнута определенность и однозначность определений, понятий и их реализация в структурах данных.

Таким образом, для формирования СРК «Информатика» нужно было принять соглашения по сопоставлению понятийного аппарата, разработать структуры описания информации, принять соглашения по детализации и правилам отражения информации, извлекаемых из различных источников.

1. Сопоставление понятийного аппарата и терминологии. Для обозначения области охвата профессиональной деятельности «Информатика», рассматриваемых в проекте INARM подходах используется термин ИКТ-специалисты, для которого может быть применено определение, предложенное Европейским Форумом развития ИКТ-умений (European e-Skills Forum), который сформулировал умения ИКТ-специалистов как «... необходимые для проведения исследований, разработки, проектирования, стратегического планирования, управления, производства, консультирования, маркетинга, продаж, интеграции, установки, администрирования, обслуживания, поддержки и сопровождения информационных систем; а также способности, необходимые для использования ИКТ, особенно возможностей Интернета для того, чтобы обеспечить более эффективное и действенное функционирование организаций различных типов, выявления новых возможностей и способов ведения бизнеса и администрирования организационных процессов, и/или внедрения новых форм ведения бизнеса».

Далее остановимся на описании основных сходств и различий содержания макета описания трудовой функции ПС ИТ РФ и компетенции е-СF.

В описании e^F и в описании обобщенной трудовой функции /трудовой функции/ трудового действия ПС ИТ РФ содержится информация о знаниях и умениях, однако детализация описания - разная. В e-CF приведены примеры знаний и умений, что позволяет гармонизировать эти элементы.

«Делимость» или уровень детализации описания обобщенной трудовой функции /трудовой функции/трудового действия и компетенции на самом общем уровне сопоставить не представляется возможным, так как при проектировании ПС ИТ РФ не было заложено единой для области «Информатика» методологии.

Существует различие между «компетенций» и трудовой функцией/трудовым действием/задачей труда. Для гарантии целостности описания компетенции важно разделить задачи процесса труда и компетенции. Компетенция описывается как определенное поведение, отражающее «демонстрируемую способность применять знания, умения и отношения для достижения определенных результатов». Задачей процесса труда является действие или набор действий, которые необходимо осуществлять для выполнения определенной работы. Различие между задачей процесса труда и компетенцией состоит в характеристиках, связанных с включением личностной и социальной компонент, таких как, например, отношения, которые являются интегральной составляющей понятия компетенции.

В описании e^F и в описания трудовой функции ПС ИТ РФ присутствует индикатор уровня. В отличие от ПС ИТ РФ, в e-CF уровень описывается с помощью специальных глаголов действий, значительно упрощающих разработку результатов обучения.

В ПС ИТ РФ каждой обобщенной трудовой функции назначен только один уровень, e-CF компетенции может соответствовать несколько уровней.

2. Разработка рамки описания результатов обучения. За первоначальную основу единицы описания «результата обучения» был взят базовый содержательный элемент Европейской рамки ИКТ-компетенций на том основании, что:

- структура описания «Компетенции» совпадает со структурой описания «Трудовой функции», т.е. содержит знания, умения и уровень;

- описание элементов «знаний» и «умений», различающихся по делимости, по сути во всех системах легко сопоставимы;

- описание компетенции производилось с учетом его дальнейшего использования для формирования результатов обучения;

- в описании уровня компетенции применяются глаголы действий, соответствующие рекомендациям Блюма, которые получили свое практическое применение в проекте ECCE;

- компетенция, являясь составной частью профиля, может являться также и составной частью нескольких образовательных программ, в то время как профиль является более укрупненной структурой данных.

За основу классификации информации, которая должна извлекаться из различных источников и описывать «знания», «умения» и «компетенции» для формирования структуры «результата обучения», были взяты рекомендации формирования «результатов обучения» для инженерного образования проекта ECCE .

Таким образом, в проекте INARM предлагается структура данных для описания результатов обучения по каждой ИКТ-компетенции в виде таблицы. Таблица разбита на две части:

- Паспорт компетенции, который содержит всю необходимую информацию, идентифицирующую и связывающую эту компетенцию с источниками информации;

- Информация о результатах обучения, которое должно сформировать эту компетенцию. Эта часть разбита на разделы, рекомендованные проектом ECCE. К каждому названию имеется аннотация (курсив), поясняющая его содержание.

Разделы «результатов обучения» могут быть перегруппированы, например, согласно рекомендациям по формированию рамки ИКТ-квалификаций Минсвязи, т.к. можно выделить дескрипторы: профессиональное направление; операционное управление; проектное управление.

В заключении еще раз отметим, что информация, агрегированная в ходе разработки ПС ИТ РФ представляет большую ценность для выявления результатов обучения, соответствующих конкретным трудовым функциям.

Секторальная рамка квалификаций должна позволить образовательным учебным заведениям модифицировать образовательные программы с целью учета конкретных требований работодателей. Таким образом, процесс построения рамки должен предполагать возможность такого ее использования:

Профессиональные требования ^ Результаты обучения ^ Модули ^

Курсы

Однако особенностью информации о знаниях, умениях и навыках, которую можно почерпнуть из ПС ИТ РФ, является их сугубо практическая направленность. Для успешной адаптации выпускников университетов на современном, быстро меняющемся рынке труда им необходима также фундаментальная подготовка. Таким образом, информация о результатах обучения, приведенная в ПС ИТ РФ должна быть переработана экспертами академического сообщества и подкреплена информацией о фундаментальных знаниях, на которых могут базироваться практические умения и навыки, требуемые работодателям. Такая информация должна исходить от высококвалифицированных профессорско-преподавательских кадров, а также может быть взята, например, из Свода знаний CS2013 [11].

Библиографический список

1. Агенство стратегических инициатив [Электронный ресурс]: http://www.asi.ru.

2. Стратегия развития отрасли информационных технологий в Российской Федерации на 2014-2020 годы. [Электронный ресурс]: http://minsvyaz.ru/ru/doc/?id_4=1033.

3. Дорожная карта «Развитие отрасли информационных технологий». [Электронный ресурс]: http://government.ru/media/files/41d4b29db7c74fb9ad46.pdf.

4. «Прогноз научно-технического развития России на период до 2030 года». [Электронный ресурс]: http://prognoz2030.hse.ru.

5. EUQuaSIT European Qualification Strategies in Information and Communications Technology. [Электронный ресурс]: http://www.euquasit.net.

6. ICT practitioner skills and training solutions at sub-degree vocational level in Europe. Framework and guidelines for new ICT training profiles and curriculum development [Электронный ресурс]: http://www.cedefop.europa.eu/EN/publications/13105.aspx.

7. Портал проектов CEN eSkills. [Электронный ресурс]: www.ecompetences.eu.

8. Вольпян Н.С. Европейский опыт реализации политики развития ИКТ-компетенций. Европейская рамка ИКТ-компетенций / Н.С. Вольпян. - М.: Softline, 2011. - 118 с.

9. A Framework for Qualifications of the European Higher Education Area Bologna Working Group on Qualifications Frameworks. [Электронный ресурс]: http://www.vtu.dk.

10. ECCE - Engineering observatory on Competence based Curricula for job Enhancement Project. [Электронный ресурс]: http://www.ecceobs.eu.

11. CS 2013 [Электронный ресурс]: http://www.acm.org/education/CS2013-final-report.pdf