Научная статья на тему 'Развитие продвинутых цифровых навыков и компетенций школьников на примере опыта всероссийского образовательного проекта «Академия искусственного интеллекта для школьников» Благотворительного фонда Сбербанка «Вклад в будущее»'

Развитие продвинутых цифровых навыков и компетенций школьников на примере опыта всероссийского образовательного проекта «Академия искусственного интеллекта для школьников» Благотворительного фонда Сбербанка «Вклад в будущее» Текст научной статьи по специальности «Науки об образовании»

CC BY
0
0
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
цифровая грамотность / цифровые навыки / цифровые компетенции / искусственный интеллект / машинное обучение / digital literacy / digital skills / digital competencies / artificial intelligence / machine learning

Аннотация научной статьи по наукам об образовании, автор научной работы — Кондратьева Мария Павловна

В статье представлен опыт реализации проекта «Академия искусственного интеллекта для школьников» благотворительного фонда Сбербанка «Вклад в будущее» как системы развития продвинутых цифровых навыков и компетенций школьников с возможностью предпрофессиональной подготовки в передовых ИТ направлениях. Также представлена модель цифровых навыков и компетенций школьников как возможная основа для формирования программ обучения в ИТ сфере.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Development of Advanced Digital Skills and Competencies of School Students on the Example of the Experience of the All-Russian Educational Project “AI-Academy for Teens” of the Sberbank Charitable Foundation “Investment to the Future”

The article presents the experience of the implementation of the “AI‑Academy for Teens” project of the Sberbank Charitable Foundation “Investment to the Future” as a system for the development of advanced digital skills and competencies of school students with the possibility of pre-professional training in advanced IT directions. The paper also considers the model of digital skills and competencies of school students as a possible basis for the development of education programs in IT.

Текст научной работы на тему «Развитие продвинутых цифровых навыков и компетенций школьников на примере опыта всероссийского образовательного проекта «Академия искусственного интеллекта для школьников» Благотворительного фонда Сбербанка «Вклад в будущее»»

Развитие

продвинутых цифровых навыков и компетенций школьников

на примере опыта всероссийского образовательного проекта «Академия искусственного интеллекта для школьников» Благотворительного фонда Сбербанка «Вклад в будущее»

Development of Advanced Digital Skills and Competencies of School Students on the Example of the Experience of the All-Russian Educational Project "AI-Academy for Teens" of the Sberbank Charitable Foundation "Investment to the Future"

Аннотация. В статье представлен опыт реализации проекта «Академия искусственного интеллекта для школьников» благотворительного фонда Сбербанка «Вклад в будущее» как системы развития продвинутых цифровых навыков и компетенций школьников с возможностью предпрофессиональной подготовки в передовых ИТ направлениях. Также представлена модель цифровых навыков и компетенций школьников как возможная основа для формирования программ обучения в ИТ сфере. Ключевые слова: цифровая грамотность, цифровые навыки, цифровые компетенции, искусственный интеллект, машинное обучение

Abstract. The article presents the experience of the implementation of the "AI-Academy for Teens" project of the Sberbank Charitable Foundation "Investment to the Future" as a system for the development of advanced digital skills and competencies of school students with the possibility of pre-professional training in advanced IT directions. The paper also considers the model of digital skills and competencies of school students as a possible basis for the development of education programs in IT.

Keywords: digital literacy, digital skills, digital competencies, artificial intelligence, machine learning

Кондратьева

Мария Павловна,

руководитель программы «Цифровые навыки и компетенции», Благотворительный фонд Сбербанка «Вклад в будущее», г. Москва

e-mail: kondratieva@ vbudushee.ru

Кондратьева Мария Павловна

В настоящий момент в России существует явный дефицит квалифицированных кадров сферы информационных технологий (ИТ): по оценкам экспертов недостает от 500 тысяч до миллиона специалистов. Одним из путей преодоления сложившийся ситуации может стать предпрофессиональная подготовка школьников по наиболее востребованным направлениям ИТ-сферы [КП, 2022].

За формирование у школьников навыков и компетенций в рамках цифровой грамотности отвечает школьный курс информатики и ИКТ. Экспертами программы «Цифровые навыки и компетенции» Благотворительного фонда «Вклад в будущее» (далее — Программа) в 2019 г. был проведен анализ:

актуальных Федеральных государственных образовательных стандартов (ФГОС) для разных ступеней общего образования [Приказ, 2016а; Приказ, 2016б; Приказ, 2017];

• запросов со стороны HR-блока;

• внутренних рамок компетенций ИТ-специалистов Сбера;

• информации по программе «Цифровая экономика Российской Федерации» [Программа, 2017].

В результате проведенного анализа было выявлено несоответствие между уровнем развития цифровых навыков и компетенций у выпускников школ, декларируемых ФГОС, и ожиданий, предъявляемых выпускникам со стороны бизнеса и государства, что выражалось в недостаточном уровне владения базовыми цифровыми навыками и отсутствии включения в программу информации о сквозных технологиях цифровой экономики (большие данные, искусственный интеллект, технологии дополненной и виртуальной реальности и другие) даже в ознакомительном формате.

В связи с этим Программой была предпринята попытка сформулировать данные ожидания с учетом текущего уровня развития ИТ-технологий в единую модель (карту, рамку) цифровых навыков и компетенций (ЦНК) школьника. Под цифровыми навыками мы понимаем устоявшиеся, доведенные до автоматизма модели поведения, основанные на знаниях и умениях в области использования цифровых устройств, коммуникационных приложений и сетей для доступа к информации и управления ей. Под цифровыми компетенциями — способность решать разнообразные задачи в области ИТ: использовать и создавать контент при помощи цифровых технологий, включая поиск и обмен информацией, ответы на вопросы, взаимодействие с другими людьми и компьютерное программирование.

На момент старта работы государственными органами, консалтинговыми компаниями и исследователями были разработаны различные модели цифровых компетенций/навыков, которые во многом взаимно дополняли друг друга. Для подготовки описываемой рамки ЦНК были проанализированы

Maria

Kondrateva,

Head of the Digital Skills and Competencies Program, Sberbank Charitable Foundation "Investment to the Future", Moscow

AI-ACADEMY"

ш ¡вТ » SKILLS J

i-i—uimiL..Л /

более 20 различных международных и российских моделей и исследований.

Итоговая разработка была основана на рамке Digital Skills for Life and Work (2017 г., ЮНЕСКО) [Atchoarena, et al., 2017] и дополнена разбиением по возрастам на основе опыта рамки Marzano Research Scales for Additional Content Areas (США), которая на момент исследования была единственной в мире рамкой, предполагавшей распределение ЦНК по возрастам (в системе K-12) [Marzano Research, 2019]. Также при разработке учитывались:

• действующие федеральные государственные образовательные стандарты начального, основного и среднего общего образования [Приказ, 2016а; Приказ, 2016б; Приказ, 2017];

• проекты федеральных государственных образовательных стандартов начального общего и основного общего образования;

• примерные основные образовательные программы начального, основного и среднего общего образования по учебным предметам, связанным с ИКТ, одобренные решением федерального учебно-методического объединения по общему образованию [Реестр, 2022];

• контрольно-измерительные материалы для проведения государственной итоговой аттестации в форме основного государственного экзамена и единого государственного экзамена по информатике и ИКТ Федерального института педагогических измерений [ЕГЭ, 2019; ОГЭ, 2019]. Образовательные результаты в полученной в результате

исследований рамке ЦНК были разбиты на пять возрастных групп (1-2-е, 3-4-е, 5-7-е, 8-9-е и 10-11-е классы) и три группы навыков:

1. основные функциональные навыки работы с цифровыми устройствами;

2. стандартные цифровые навыки: информационная грамотность; коммуникация;

создание цифрового контента; безопасность;

осведомленность о цифровых правах; продвинутые навыки. Последняя группа была ответом на запрос о развитии более глубоких, близких к профессиональным, навыков на более раннем уровне на фоне активного развития цифровых технологий, цифровизации экономики и острого дефицита ИТ-кадров, который наблюдался в течение последних лет и может продолжить прогрессировать, если не будут предприняты какие-то активные действия [Корзик, 2022]. Поэтому, помимо базовых навыков, описываемая модель была насыщена продвинутыми

Кондратьева Мария Павловна

навыками на базе стандартов WorldSkills Russia [Компетенции, 2023] и заданий олимпиад из утвержденного Министерством науки и высшего образования Российской Федерации перечня на текущий учебный год (Национальная технологическая олимпиада; олимпиада Университета Иннополис Innopolis Open; олимпиада школьников по информатике и программированию).

Данная группа рассчитана на глубокое изучение выбранной сферы и формирование в ней навыков и компетенций достаточного уровня для того, чтобы дать возможность пользователям применять цифровые технологии с целью трансформации цифровой экономики. При разработке предполагалось, что выбор навыка, в который будут углубляться школьники, будет определяться их интересами или направленностью конкретного учебного заведения или класса. Эта группа направлена на расширение использования цифровых технологий в следующих областях:

• программирование;

• искусственный интеллект;

• разработка мобильных приложений;

• веб-дизайн и разработка сайтов;

• интернет вещей;

• технологии виртуальной и дополненной реальности.

Описываемая модель была представлена педагогическому

сообществу в 2020 г., однако вызвала сомнения в части возможности освоения ЦНК на продвинутом уровне, так как на фоне пандемии COVID-19 и перехода на дистанционное обучение был выявлен ряд проблем, косвенно говорящий о недостаточном освоении школьниками базовых и стандартных ЦНК: 43,3 % педагогов и 39,7 % родителей отмечали трудности в освоении школьниками новых методов обучения с использованием цифровых инструментов, 25,5 % школьников не посчитали, что у них достаточно техники для дистанционных занятий [Исаева и др., 2020].

Однако сейчас мы можем с уверенностью сказать, что школьники способны освоить предпрофессиональную подготовку по ИТ-направлениям. Эту позицию подтверждает не только успешное проведение программы ИТ-классов в школах г. Москвы [Интервью, 2022], но и опыт Программы, в рамках которой реализуется проект «Академия искусственного интеллекта для школьников» (далее — проект, Академия ИИ).

Академия ИИ — всероссийский образовательный проект, реализуемый с 2018 г. благотворительным фондом «Вклад в будущее» при поддержке Сбера и нацеленный на просвещение, обучение и формирование прикладных навыков у школьников в сфере искусственного интеллекта (ИИ) и машинного обучения (МО).

Деятельность проекта началась с проведения просветительских активностей и профильных соревнований по МО

Innopolis Open

Олимпиада по информатике Университета Иннополис

для школьников (хакатон Академии ИИ 2018). К настоящему моменту в ответ на запросы со стороны школьного и педагогического сообщества деятельность Академии ИИ значительно расширилась и ведется по следующим направлениям:

1. Просвещение. Задача данного направления — познакомить широкую аудиторию школьников, а также родителей и педагогов, с понятием искусственного интеллекта, возможностями технологий данной сферы, примерами ее использования сейчас и потенциальным влиянием на будущее.

2. Обучение — реализация образовательных программ для формирования знаний и навыков, необходимых для развития в сфере ИИ.

3. Соревнования — организация и проведение различного рода профильных соревнований по МО для школьников.

4. Работа с талантами. Данное направление включает в себя организацию и проведение стажировок, реализацию менторской и других поддерживающих программ для школьников, показавших высокие результаты в ходе соревнований.

5. Работа с педагогами. Объединяет проекты, направленные на просвещение среди педагогического сообщества, образовательные курсы для погружения в сферу ИИ, включая курсы повышения квалификации, а также разработку материалов для преподавания.

Данный широкий перечень направлений позволил выстроить эффективную систему, которая не только обеспечивает знакомство школьников с новыми технологиями и, как следствие, раннюю профориентацию, но и формирует новый кадровый потенциал за счет обеспечения необходимого уровня развития навыков у школьников и поддержки мотивации для дальнейшего развития в сфере.

В ходе реализации Академии ИИ на основании наблюдений команды проекта были выявлены следующие принципы и подходы, обеспечивающие эффективность таких систем по формированию продвинутых ЦНК.

Просвещение формирует запрос со стороны школьников и родителей.

В большинстве своем школьники не знают про новые технологии, их применение в современном мире и, как следствие, не могут спрогнозировать влияние этих технологий на повседневную жизнь и деятельность человека в будущем. Понимание данных аспектов позволяет школьникам осознать возможности, которые открывает технология, а также необходимость ее освоения в той или иной степени глубины в зависимости от предполагаемого карьерного пути, что в свою очередь способствует возникновению мотивации к изучению данной технологии и формированию продвинутых ЦНК. Поэтому проведение просветительских занятий о современных технологиях

Кондратьева Мария Павловна

в младшей и первой половине средней школы позволяет расширить представление учеников о современном мире и обеспечить формирование интереса к занятиям по профильным направлениям в старших классах.

Необходимо рассказывать о разных карьерных возможностях и направлениях в ИТ-сфере.

Среди школьников часто бывает распространено мнение, что ЦНК, особенно продвинутые, нужны только «технарям». При этом ИТ-сфера предполагает возможности для развития в самых разных карьерных направлениях: предпринимательство, менеджмент, маркетинг, дизайн, копирайтинг — лишь несколько таких примеров.

Также здесь важно отметить наличие тренда на цифро-визацию всех профессиональных сфер: экономически и стратегически более выгодно не поставлять во все отрасли экономики «чистых» ИТ-специалистов для решения прикладных задач, а формировать цифровые навыки у каждого работника [Коршунов, Кройтор, 2020]. Особенно это ощущается в контексте таких направлений, как искусственный интеллект, технологии которого активно внедряются во все сферы деятельности, а значит, знания о том, как они работают и могут быть использованы в работе, могут стать важным карьерным преимуществом в будущем.

Обучение, в том числе в онлайн-форматах, эффективнее проходит в группах, с поддержкой и четкими сроками прохождения и сдачи практических работ.

Первым крупным практико-ориентированным образовательным продуктом Академии ИИ был бесплатный онлайн-курс по машинному обучению. Данный курс включал в себя 3 модуля, которые позволяли освоить основы программирования на Python, анализ данных с использованием встроенных функций и библиотек, а также базовые алгоритмы машинного обучения. Несмотря на большой интерес к курсу (в первый год на него зарегистрировались 10 000 пользователей), его «доходимость» была значительно ниже средних показателей на рынке бесплатных онлайн-курсов. Анализ ситуации, основанный на данных о динамике прохождений курса пользователями и обратной связи от слушателей курса, показал быстрый спад мотивации на фоне необходимости самостоятельного освоения материала в ходе длительного времени1.

В поиске подхода к формированию образовательных он-лайн-продуктов командой проекта в партнерстве с проектом «Практики будущего» Кружкового движения НТИ был реализован онлайн-интенсив (буткемп2), программа которого содержала необходимую для формирования практических навыков с нуля информацию и могла быть освоена за 1-2 месяца при занятости 4-6 часов в неделю. Данный онлайн-интенсив проводился в определенные даты, с постоянной поддержкой слушателей

1 При разработке курса предполагалось, что его прохождение займет около 6 месяцев при занятости 2-3 часа в неделю.

Буткемп — краткосрочная образовательная программа с «полным погружением», часто используется в неформальном образовании.

8-.ПМ

» оудушсо

АКАДЕМИЯ

ПРИГЛАШАЕМ

НА МЕЖДУНАРОДНЫЙ

хдкдтон

со стороны экспертов и интернет-пространством для общения участников друг с другом. По итогам проведения ряда таких интенсивов команда проекта наблюдает значительно более высокий уровень «доходимости», обратной связи от участников онлайн-интенсивов, а также качества освоения образовательного материала, что проявляется в динамике результатов соревнований.

Инженерные соревнования и хакатоны — важный элемент обучения.

Данные соревнования по своей сути являются частными примерами проектного практико-ориентированного метода обучения. Сейчас наблюдается новая волна интереса к данному подходу на фоне неудовлетворенности социума абстрактностью образования, оторванностью его от жизни, практики [Осмоловская и др., 2021]. Проектная деятельность является одной из самых эффективных образовательных практик, так как создает запрос со стороны ученика на поиск и освоение необходимой для решения поставленной задачи информации, а также позволяет познакомиться с актуальными для сферы задачами и получить опыт самостоятельного их решения.

Не нужно бояться давать школьникам «взрослые» задачи, так как именно это обеспечивает ориентированность обучения на формирование у школьников навыков, необходимых для решения актуальных для сферы вопросов.

Ключевым соревнованием в рамках Академии ИИ является профиль «Искусственный интеллект» Национальной технологической олимпиады (НТО). Данное соревнование предполагает последовательное прохождение участниками следующих этапов:

1. первый отборочный этап: решение предметных задач по математике и информатике, с 2022 г. — решение инженерной задачи по машинному обучению для входа в сферу;

2. второй отборочный этап: решение 1-2 инженерных задач по машинному обучению;

3. финальный этап, на основании которого происходит определение призеров и победителей олимпиады: решение предметных задач по математике и информатике, решение инженерной задачи по машинному обучению. Этапы предполагают постепенное усложнение инженерных задач, что позволяет новым участникам постепенно погрузиться в сферу и освоить необходимые для победы навыки в ходе соревнования.

Задачи для описываемого соревнования предоставляются исследователями данных департамента SberAI ПАО Сбербанк с учетом последних тенденций и открытий в ИИ-сфере. Как правило, финальная задача соответствует уровню сложности соревнований по машинному обучению, нацеленных на взрослую аудиторию. Опыт проведения

Кондратьева Мария Павловна

соревнований показал, что школьники могут решать задачи на «взрослых» специалистов начального и среднего уровней, а в отдельных случаях даже их превосходить. Так, по итогам соревнований в 2020/2021 учебном году участником был разработан алгоритм, который показывал результаты лучше, чем разработки ИИ-команд Сбера, Яндекса, НИУ ВШЭ и других. А опыт проведения стажировок для победителей профиля «Искусственны интеллект» НТО в 2020-2022 гг. в экосистеме Сбера дополнительно подтвердил способность участников демонстрировать высокий уровень развития профильных навыков в условиях решения прикладных рабочих задач.

Важно не только обучение, но и инфраструктура вокруг него.

Школьникам важно иметь подкрепление своих успехов, в том числе в материальном виде. Призовой фонд, преференции при поступлении в вузы, дополнительные баллы к ЕГЭ и даже сувенирная продукция помогают формировать и поддерживать мотивацию к участию в профильных соревнованиях и, как следствие, освоению необходимых знаний и навыков, укрепляя всю образовательную систему.

Не менее важным аспектом поддержки мотивации в ходе обучения являются будущие перспективы: здесь опять же важны преференции при поступлении в профильные вузы, возможности прохождения стажировок в ИТ-компаниях, аксе-лерационные программы, предоставляющие поддержку для реализации собственных проектов учеников, а также реализация программ, направленных на поддержку и развитие в сфере, частным примером которых может служить менторская программа, реализуемая в рамках Академии ИИ, где школьники могут получить ментора из ИИ-сферы, который способен помочь в достижении их целей.

Таким образом, мы можем говорить о необходимости пересмотра школьного образования в ИТ-сфере как в части стандартов, так и подходов к развитию цифровых навыков современных школьников, которые с каждым днем становятся все более важным элементом личностного и профессионального развития. Об этом говорит не только острая нехватка квалифицированных кадров, но и готовность школьников осваивать продвинутые ЦНК на уровне предпрофессиональной подготовки и выступать в качестве полноценных начинающих специалистов. При этом тенденция на формирование цифровых навыков у каждого работника, вне зависимости от его профессии, говорит нам о необходимости внедрения педагогических практик с использованием цифровых инструментов в весь образовательный процесс, избегая ситуации, когда базовые и стандартные ЦНК формируются исключительно в рамках уроков информатики. JR

ь

Литература:

ЕГЭ, 2019 — ЕГЭ по информатике: Демоверсии, спецификации, кодификаторы // ФГБНУ «Федеральный институт педагогических измерений», 2019. Режим доступа: https://fipi. ru/ege/demoversii-specifikacii-kodifikatory#!/tab/151883967-5 (дата обращения: 12.11.2022).

Интервью, 2022 — Интервью с Киселева Н. А. и Курчаткина И.: «Как устроена работа пред-профессиональных классов в московской школе» // Информационный Центр Правительства Москвы, 2022. Режим доступа: https://icmos.ru/press/press-tur-na-temu-kak-ustroena-rabota-predprofessionalnyx-klassov-v-moskovskoi-skole (дата обращения: 14.11.2022).

Исаева и др., 2020 — Исаева Н. В., Каспржак А. Г., Кобцева А. А., ЦатрянМ. А. Школьный барометр. COVID-19: ситуация с учением и обучением в российских школах // Экономические и социальные последствия коронавируса в России и в мире: Аналитический бюллетень НИУ ВШЭ, 2020. № 6. Режим доступа: https://www.hse.ru/data/2020/06/19/1607522628/HSE_Covid_06_2020_4_3. pdf (дата обращения: 14.11.2022).

Компетенции, 2023— Компетенции и конкурсные задания WorldSkills Russia // Абилимпикс, 2023. Режим доступа: https://abilympicsmo.ru/nashi-proektyi/worldskillsrussiajuniors/ kompetenczii-worldskills-russia-juniors.html (дата обращения: 12.09.2023).

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Корзик, 2022 — Корзик О. Кадры решают // Коммерсантъ, 2022. Режим доступа: https:// www.kommersant.ru/doc/5316410 (дата обращения: 13.11.2022).

Коршунов, Кройтор, 2020 — Коршунов Г. П., Кройтор С. Н. Цифровая грамотность как ключевой фактор успешной адаптации человека и общества к цифровым реалиям // Общество и экономика, 2020. № 1. С. 38-58.

КП, 2022 — Крутых программистов начинают учить со школы // Комсомольская правда, 2022. Режим доступа: https://www.kp.ru/daily/27455/4659949/ (дата обращения: 12.11.2022).

ОГЭ, 2019 — ОГЭ по информатике: Демоверсии, спецификации, кодификаторы // ФГБНУ «Федеральный институт педагогических измерений», 2019. Режим доступа: https://fipi. ru/ oge/demoversii-specifikacii-kodifikatory#!/tab/173801626-5 (дата обращения: 12.11.2022).

Осмоловская и др., 2021 — Осмоловская И. М., Кларин М. В., Гудилина С. И., Макаров М. И. Эффективные методы обучения в информационно-образовательной среде: методическое пособие / Под ред. И. М. Осмоловской. — М.: ФГБНУ «Институт стратегии развития образования РАО», 2021. 89 с.

Приказ, 2016а — Приказ Минобрнауки РФ от 31 декабря 2015 г. № 1576 «О внесении изменений в Федеральный государственный образовательный стандарт начального общего образования, утв. приказом Министерства образования и науки РФ от 6 октября 2009 г. N 373» // Министерство юстиции Российской Федерации, 2016. Режим доступа: https://minjust.consultant. ru/documents/19035 (дата обращения: 12.11.2022).

Приказ, 2016б — Приказ Минобрнауки РФ от 31 декабря 2015 г. № 1577 «О внесении изменений в Федеральный государственный образовательный стандарт основного общего образования, утв. приказом Министерства образования и науки РФ от 17 декабря 2010 г. N 1897» // Министерство юстиции Российской Федерации, 2016. Режим доступа: https://minjust.consultant. ru/documents/18068 (дата обращения: 12.11.2022).

Приказ, 2017 — Приказ Минобрнауки РФ от 29 июня 2017 г. N 613 «О внесении изменений в Федеральный государственный образовательный стандарт среднего общего образования, утв. приказом Министерства образования и науки РФ от 17 мая 2012 г. N 413» // Министерство юстиции Российской Федерации, 2017. Режим доступа: https://minjust.consultant.ru/ documents/36124 (дата обращения: 12.11.2022).

Программа, 2017 — Программа «Цифровая экономика Российской Федерации» (утв. распоряжением Правительства РФ от 28 июля 2017 г. № 1632-р) // Правительство России, 2017. Режим доступа: http://static.government.ru/media/files/9gFM4FHj4PsB79I5v7yLVuPgu4bvR7M0. pdf (дата обращения: 12.11.2022).

Реестр, 2022 — Реестр примерных основных общеобразовательных программ // Министерство просвещения Российской федерации, 2022. Режим доступа: https://fgosreestr.ru/ oop (дата обращения: 16.05.2022).

Atchoarena, et al., 2017 — Atchoarena, D., Selwyn, N, Chakroun, B., et al. Working Group on Education: Digital Skills for Life and Work. — Geneva: Broadband Commission for Sustainable Development, 2017. 124 p. URL: https://unesdoc.unesco.org/ark:/48223/pf0000259013 (дата обращения: 12.11.2022).

Marzano Research, 2019 — The Critical Concepts Project (Scales for Additional Content Areas) // Marzano Resources, 2019. URL: https://www.marzanoresearch.com/educational-services/critical-con-cepts (дата обращения: 12.11.2022).

i Надоели баннеры? Вы всегда можете отключить рекламу.