CC BY-NC-ND
63
Практики успешности студентов:
от очного обучения к масштабному и обратно
Дебора Кейек-Франсен
Статья поступила в редакцию в июле 2018 г.
Keyek-Franssen D. Practices for Student Success: From Face-to-Face to At-Scale and Back (пер. с англ. Л. Трониной).
Дебора Кейек-Франсен
(Deborah Keyek-Franssen) PhD в области немецкого языка и литературы, заместитель вице-президента Колорадского университета по цифровому образованию и взаимодействию. Адрес: 1800 Grant Street, Suite 800 Denver, CO 80203, USA. E-mail: deblkf@cu.edu
Аннотация. Система высшего образования США переживает непростые времена: меняется обстановка, появляются новые технологии, приходят неизвестные ранее конкуренты. Под влиянием этих и других факторов, в том числе сокращения государственной поддержки, успешность студентов становится все более важной стратегической целью для высших учебных заведений. Чтобы ее достичь, вузы увеличивают финансирование таких направлений деятельности, как кураторство и прогнозная аналитика, и обращают на них особое внимание. Эти меры крайне важны, но их недостаточно, чтобы обеспечить успешность студентов — всестороннюю и устойчивую. Вузам следует обратиться к практикам, которые реализуются на уровне учебной программы, учебного курса. Автор рассматривает практики проектирования учебного процесса и педагогические практики, находящиеся на пересечении, с одной стороны, последних исследований и тенденций в области высше-
го образования, а с другой — экспериментального опыта в сфере масштабного онлайн-обучения. Исследования доказывают эффективность образовательных практик, сформированных с опорой на данные лонгитюдных наблюдений, обнаруживают сходство эффективных практик проектирования учебного процесса и педагогических практик и привлекают внимание к возможности за счет использования открытых образовательных ресурсов снизить стоимость образования. Анализ экспериментального опыта Колорадского университета в области масштабного обучения позволил наложить актуальные, значимые примеры конкретных практик разработки массовых открытых онлайн-курсов на результаты исследований и последние тенденции в сфере высшего образования — как на своеобразный каркас — и проиллюстрировать, как научные исследования и практический опыт дополняют друг друга, обеспечивая успешность студентов. Ключевые слова: успешность студентов, проектирование учебного процесса, МООК, высокоэффективные образовательные практики, высокоэффективные педагогические практики, открытые образовательные ресурсы, научные знания о преподавании и обучении, Колорадский университет.
ЭО!: 10.17323/1814-9545-2018-4-116-138
Институт высшего образования переживает эпоху турбулентности: меняются условия, приходят новые технологии, появляются незнакомые прежде конкуренты. А успешность студентов становится все более значимой стратегической целью для высших учебных заведений, больших и малых. Возросшее в последние годы внимание американских вузов к успешности студентов обусловило некоторый прирост таких показателей, как настойчивость студентов, результаты обучения и доля учащихся, успешно завершающих полный курс обучения [National Student Clearinghouse Research Center, 2017]. И хотя меры, принимаемые вузами, например увеличение финансирования таких направлений деятельности, как кураторство и прогнозная аналитика, и особое внимание к этим вопросам, крайне важны, их недостаточно, чтобы обеспечить достижение студентами всестороннего и устойчивого успеха. Университетам и колледжам следует целенаправленно и системно расширять изучение и поддержку одновременно практик проектирования учебных курсов и педагогических практик, доказавших, что они способствуют успешности студентов. Мы уже немало знаем о положительном воздействии этих методик на успешность студентов, но, по моему мнению, они пока не получили достаточного распространения в наших университетах. Эти методики дополняют друг друга, поэтому я считаю, что научно-исследовательская работа в двух направлениях — проектирование учебного процесса и формы педагогической деятельности — может стать опорой и стимулом для преподавателей и руководителей, стремящихся внедрять образовательные практики, способствующие достижению успеха в учебе.
В этой статье мы рассмотрим практики проектирования учебного процесса и педагогические практики, которые образуют концептуальное пересечение между a) исследованиями в сфере высшего образования и б) экспериментальным опытом в области масштабного онлайн-обучения. Вначале я в целом опишу ситуацию в системе высшего образования США, а затем перейду к обзору трех актуальных трендов в ее развитии: высокоэффективные образовательные практики, высокоэффективные педагогические практики и открытые образовательные ресурсы. Я буду говорить именно об этих трендах, поскольку они опираются на данные лонгитюдных наблюдений (высокоэффективные образовательные практики), иллюстрируют сходство эффективных практик проектирования учебного процесса и педагогических практик (высокоэффективные педагогические практики) и ориентированы на снижение стоимости обучения, а следовательно, делают высшее образование более доступным (открытые образовательные ресурсы). Затем я проанализирую экспериментальный опыт в области масштабного онлайн-обу-чения, чтобы наложить актуальные, значимые примеры эффек-
тивных практик на результаты исследований и последние тенденции в сфере высшего образования — как на своеобразный каркас — и проиллюстрировать возможности, которые создает их использование для обеспечения успешности студентов.
И наконец, в заключительной части я сформулирую свой призыв к действию, чтобы поспособствовать более широкому признанию и внедрению этих взаимодополняющих практик в наших вузах. Взаимодополняющих, потому что масштабное онлайн-обучение заимствует модели и формы деятельности из практик проектирования традиционного обучения (очного или онлайн-обучения) и традиционных педагогических практик и, в свою очередь, закрепляет эти практики и подтверждает их эффективность своими результатами.
1. Актуальная Едва ли система высшего образования США переживала ко-ситуация гда-нибудь времена таких неумолимых перемен и такого вол-в высшем нения, как в последнее десятилетие. Американские универси-образовании теты и колледжи столкнулись с сокращением государственной в США поддержки высшего образования и с глубокими разногласиями в обществе: это противоречия между городом и сельской местностью, между полами, между политическими партиями. Тем не менее статистика по-прежнему свидетельствует: те, кто завершил высшее образование, имеют долгосрочные профессиональные и экономические преимущества1. В отдельных штатах, например Колорадо, власти сократили поддержку финансируемых государством вузов. К тому же началось ожидаемое и, по-видимому, долгосрочное сокращение численности абитуриентов, что в перспективе может означать—для некоторых регионов страны и отдельных видов учебных заведений — и опасное сокращение числа студентов; а ведь основным источником финансирования для вузов является плата студентов за обучение и иные услуги [Grawe, 2017]. Демография студенчества продолжает меняться — в вузы приходит все больше выходцев из тех социальных групп, которым в прошлом высшее образование было недоступно: представители этнических меньшинств, малообеспеченные, студенты, первыми в своей семье получающие высшее образование. Такое изменение студенческого контингента создает университетам и колледжам дополнительные трудности: им нужно меняться, чтобы отвечать потребностям этих новых студентов, менять университетскую среду, обеспечивая учет и социокультурного многообразия, и принципов инклюзивного образования. Одновременно растет запрос
1 Peterson J., Rudgers L. (2018) Saddle Up: 7 Trends Coming in 2018 // Inside Higher Ed. January, 2. https://www.insidehighered.com/views/2018/01/02/ predictions-higher-education-coming-year-opinion
со стороны работающих граждан, и особенно людей среднего возраста, на высшее образование и продолжение образования после бакалавриата с выдачей соответствующих дипломов, и университетам нужно этот запрос удовлетворить. Короче говоря, «всё сложно»2.
В этих условиях американские вузы, число которых растет, выстраивают стратегии своего развития, нацеленные на обеспечение академической успешности студентов. Для достижения этой цели они ставят перед собой следующие задачи: увеличить долю студентов, успешно завершающих полный курс обучения; гарантировать учащимся достижение результатов обучения и такие образовательные траектории, которые позволят им в дальнейшем получить работу; обеспечить студентам из социальных групп, в прошлом не имевших доступа к высшему образованию, и этот доступ, и возможность успешно окончить вуз. Под критериями успешности студентов я буду подразумевать в этой статье решение всех упомянутых задач.
Я считаю, что решить их вузам поможет использование взаимно усиливающих действие друг друга практик проектирования учебного процесса и педагогических практик.
Комплекс знаний о факторах успешности студентов в американской науке обширен, он начал формироваться не одно десятилетие назад; объем и влияние научных работ в этой сфере продолжают расти. Наработаны весомые научные знания об эффективных педагогических практиках — и общих, и специализированных дисциплинарных. В большинстве университетов и колледжей есть центры повышения квалификации преподавательского состава или центры преподавания и обучения, где преподавателей обучают эффективным педагогическим практикам и проектированию учебных курсов. Выделяют три группы научно обоснованных практик очного преподавания или «традиционного» онлайн-преподавания, пересекающихся с результатами масштабного онлайн-обучения: высокоэффективные образовательные практики, высокоэффективные педагогические практики и использование открытых образовательных ресурсов.
2. Успешность студентов: исследования и практики
Большинство преподавателей утверждают, что, как правило, используют практики, обеспечивающие настойчивость студентов в учебе, освоение ими знаний и завершение высшего образования. Однако эти практики в большинстве своем несистемны, и данные лонгитюдных исследований чаще всего не подтверждают успешность студентов, обучавшихся у этих преподава-
2.1. Высокоэффективные
образовательные практики
2 Peterson J., Rudgers L. (2018) Saddle Up: 7 Trends Coming in 2018. http://vo.hse.ru 119
телей. Серьезные исследования последних десятилетий, однако, позволили определить комплекс вполне конкретных, четко сформулированных практик, которые, если использовать их обдуманно, обеспечивают успешность студентов. Эти 10 научно обоснованных высокоэффективных образовательных практик повышают успешность студентов, прежде всего выходцев из социальных групп, в прошлом мало представленных в студенческой среде3. Впервые высокоэффективные образовательные практики описал Джордж Д. Ках после анализа данных Национального исследования вовлеченности студентов (National Survey of Student Engagement, NSSE) в 2008 г.4 В 2013 г. Ках и Кен О'Доннел в совместной научной работе отметили, что эти практики (если реализовывать их правильно) имеют общие ключевые характеристики, а именно: планируемая высокая результативность обучения; достаточное время и достаточные усилия, затрачиваемые студентами на обучение в течение длительного периода; конструктивная, частая и своевременная обратная связь [Kuh, O'Donnell, 2013]. Изучение высокоэффективных практик продолжается, и исследования показывают, что они приносят пользу всем студентам, и прежде всего студентам из ранее не получавших высшего образования социальных групп, однако вузы могут и должны совершенствовать процесс внедрения этих практик. В своей недавней статье Джилиан Кин-зи и Джордж Ках вновь подчеркивают, что недостаточно просто сделать обучение в соответствии с высокоэффективными практиками доступным для студентов5. Вузы должны приложить все усилия к тому, чтобы эти практики внедрялись широко, на равноправной основе, с точным воспроизведением тех специфических характеристик, которые делают эти практики высокоэффективными, и в первую очередь на начальном этапе. Только тогда высокоэффективные практики принесут пользу студентам в целом и каждому из них в отдельности.
3 Ассоциация американских колледжей и университетов предоставляет информацию о высокоэффективных образовательных практиках и их пользе для студентов и рекомендует вузам более системно интегрировать эти практики в образовательную среду. https://www.aacu.org/leap/ hips and https://www.aacu.org/sites/default/files/files/LEAP/HIP_tables.pdf
4 В рамках Национального исследования вовлеченности студентов ежегодно проводится опрос первокурсников и студентов последнего года обучения в сотнях вузов (четырехгодичных колледжей и университетов) на предмет их участия в различных программах и видах деятельности. Более подробно об исследовании и о том, как вузы используют его результаты, см.: http://nsse.indiana.edu/html/about.cfm. См. также: [Kuh, 2008].
5 https://www.insidehighered.com/views/2018/05/01/kuh-and-kinzie-res-pond-essay-questioning-high-impact-practices-opinion
Сотни университетов сотрудничают, все более широко внедряя высокоэффективные практики, чтобы обеспечить всем студентам равный и высокий уровень образовательных возможностей и сформировать многочисленное сообщество преподавателей, руководителей и других сотрудников, готовых принимать активное участие в распространении высокоэффективных практик в масштабах страны. Внедрение высокоэффективных образовательных практик — одно из трех направлений работы в рамках инициативы «Выведем успешность студентов на новый уровень» (Taking Student Success to Scale, TS3) Национальной ассоциации глав систем университетов (National Association of System Heads, NASH), в которую входят системы университетов, такие как Колорадский университет. В университетах, объединенных в NASH, обучаются в общей сложности 75% студентов бакалавриата США6.
Многие высокоэффективные образовательные практики реализуются на уровне вуза или учебной программы: семинары и ознакомительные занятия для первокурсников, коллективная интеллектуальная деятельность, учебные сообщества, координируемые курсы интенсивного письма, совместное выполнение заданий и проектов, студенческая практика. Я опишу здесь те практики, которые пересекаются с практиками проектирования масштабного обучения и педагогическими практиками; примеры их применения преподавателями Колорадского университета в рамках масштабного обучения будут приведены в следующей главе7.
Студенческая научно-исследовательская работа: студентам предоставляется возможность участвовать в исследовани-
6 На сайте NASH сообщается: «„Выведем успешность студентов на новый уровень" — это коллективная инициатива систем университетов и отдельных университетов, направленная на увеличение доли студентов, успешно завершающих полный курс обучения. Системы университетов и университеты, входящие в нашу ассоциацию, весьма разнообразны, они реализуют программы бакалавриата, и в них обучаются более 75% студентов бакалавриата США. В силу наших масштабов и авторитета мы можем способствовать увеличению доли студентов, успешно завершающих полный курс обучения, и мы хотим это делать, действуя самым беспрецедентным образом. Взяв за основу коллективный опыт руководителей наших университетов и главных научных специалистов, а также данные научных исследований, мы предусмотрели три комплекса мер, с реализации которых и начнем нашу совместную и всестороннюю работу. Эти меры следующие: образовательные траектории с сопровождением и использованием прогнозной аналитики, пересмотр математических образовательных траекторий и высокоэффективные образовательные практики для всех студентов». http://ts3. nashonline.org/
7 Определения терминов даны на сайте Ассоциации американских колледжей и университетов, на странице, посвященной высокоэффективным образовательным практикам: https://www.aacu.org/leap/hips
ях вместе с преподавателями, и в соответствии с содержанием этих исследований изменяется учебная программа, в первую очередь для студентов бакалавриата, с целью помочь им понять концепты, с которыми им придется иметь дело в ходе исследовательских проектов.
Мультикультурный/глобальный подход к обучению: курсы и программы, помогающие студентам изучать другие культуры и знакомиться с системой взглядов, отличной от их собственных; возможна также организация практического обучения во взаимодействии с местными сообществами или обучения за границей.
Обучение в рамках социальных проектов и/или во взаимодействии с местным сообществом: в ходе практического обучения студенты применяют полученные знания в реальных жизненных ситуациях, выполняя полезную для местного сообщества деятельность.
Курсовые работы и проекты: итоговые задания, в которых студенты обобщают и применяют полученные знания в рамках научно-исследовательской работы или публичной презентации.
Лонгитюдные исследования однозначно свидетельствуют, что эти практики способствуют успешности студентов. Студенты, которых обучали с использованием высокоэффективных практик (одной или нескольких), дольше обучаются по программам высшего образования, имеют более высокий средний академический балл, и доля выпускников, завершивших полный шестилетний курс обучения, среди них выше, чем среди тех, в чьем обучении не использовались высокоэффективные практики. Учитывая результаты научных исследований, вузы принимают меры, чтобы сделать качественные высокоэффективные практики широкодоступными, внедрять их осознанно и системно и привлекать студентов из социальных групп, в прошлом мало представленных в студенческой среде, к обучению в соответствии с этими практиками.
2.2. Отдельные педагогические практики
Высокоэффективные практики направлены прежде всего на интеграцию различных видов учебной деятельности на уровне учебной программы или на уровне университета. Теперь я перейду к отдельным педагогическим практикам, которые реализуются при проектирования учебных курсов, и педагогическим приемам, применяемым в аудиторной работе в ходе очного, смешанного и онлайн-обучения. Развитие нового направления науки о высшем образовании — научных знаний о преподавании и обучении (Scholarship on Teaching and Learning, SOTL), по-прежнему важная роль университетских центров преподавания и обучения, появление профессий, связанных с педагогическим проектированием и проектированием учебного процесса, — все эти современные тенденции в системе высшего
образования требуют внимания к практикам, реализуемым в рамках учебных курсов, особенно к тем, которые стимулируют и углубляют значимое обучение8. Исследования в области научных знаний о преподавании и обучении сфокусированы на экспертизе содержания учебных дисциплин и эффективности педагогических приемов, а при проектировании процесса преподавания и обучения научные знания об обучении сочетаются с проектированием пользовательского опыта и инструментами образовательных технологий.
Поскольку база исследований очень обширна, я выделю только одного автора—Л. Д. Финка, чьи методические рекомендации по разработке учебных курсов и применению сопутствующих высокоэффективных педагогических практик доступны и отражают суть исследований последних десятилетий в области знаний о преподавании и обучении и в сфере педагогики. В своих работах «Создание опыта значимого обучения: комплексный подход к проектированию университетских учебных курсов» и «Самостоятельное проектирование учебных курсов для значимого обучения. Руководство» [Fink, 2013; 2005] Финк подчеркивает, что процесс разработки учебных курсов должен быть ориентирован на ученика и включать четыре главных шага:
• четкая формулировка целостной картины учебного курса для студентов и преподавателя;
• определение результатов обучения через описание изменений, которые произойдут со студентами после окончания курса;
• разработка системы «обучающих» оценок, которые являются частью учебного опыта и обеспечивают быструю и регулярную обратную связь;
• разработка форм учебной деятельности для активного, практического обучения.
Подходы к обеспечению успешности студентов вузов постепенно сближаются: исследования высокоэффективных практик побудили Финка применить свои принципы проектирования учебных курсов к разработке высокоэффективных педагогических практик. Он считает, что в перспективе высокоэффективные педагогические практики могут радикальным образом усовершенствовать преподавание в высших учебных заведениях: перенести внимание с практик, реализуемых на уровне вуза, к тем, что реализуются в рамках курсов и аудиторной работы, сместить фокус с преподавания на обучение [Fink, 2016]. По сравнению
8 Общие сведения о БОН, в том числе описание методик и ссылки на научную литературу, см. здесь: https://www.stlhe.ca/sotl/what-is-sotl/
2.3. Открытые образовательные ресурсы для стимулирования обучения и увеличения доли студентов, успешно завершающих полный курс обучения
с высокоэффективными практиками проектирования, которые часто требуют скоординированной работы на уровне университета, у высокоэффективных педагогических практик есть особое преимущество: преподаватели могут быстро внедрить их в ежедневную учебную деятельность. Высокоэффективные педагогические практики Финка, основанные на его принципах разработки учебных курсов, включают объединяющие виды деятельности, которые способствуют формированию у студентов установки на развитие (вместо установки на отсутствие изменений): это формы учебной деятельности, связанные с организованной работой в команде, с вовлечением студентов в социальные проекты, с рефлексией9.
Сочетая высокоэффективные образовательные практики на уровне университета и учебной программы с высокоэффективными педагогическими практиками на уровне учебного курса и аудиторной работы, можно добиться существенного повышения успешности студентов в обучении. Все более широкое внедрение открытых образовательных ресурсов (ООР) — еще один тренд в американском высшем образовании, который также может способствовать успешности студентов и в то же время обеспечивать им равный доступ к учебным материалам. Фонд Уильяма и Флоры Хьюлетт дает такое определение открытых образовательных ресурсов: «Это учебные, педагогические и исследовательские материалы на любом носителе информации — цифровом или ином, которые находятся в открытых источниках или распространяются на основании открытой лицензии, дающей третьим лицам право бесплатного доступа к этим материалам, их использования, адаптации и дальнейшего перераспределения без ограничений или с небольшими ограничениями10». ООР предполагают много вариантов применения, в том числе совместное использование и совместное создание педагогических методик и образовательных объектов, но самые распространенные, и в том числе вузовские, медиаресурсы чаще всего предусматривают использование ООР вместо учебника. Когда вместо дорогостоящих бумажных учебников преподаватели используют их открытые, общедоступные версии, студенты экономят немалые средства, особенно если речь идет об обширных учебных курсах. Пусть и не очень сильно, но ООР снижают стоимость образования.
Многие преподаватели в США, особенно в двухгодичных муниципальных колледжах, переходят к общедоступным цифровым учебникам, предоставляемым такими организациями, как
9 Об установках (научные знания, методики, ситуационные исследования) см.: https://www.mindsetworks.com/Science/
ю
https://www.hewlett.org/strategy/open-educational-resources/
Рис. 1. Рост стоимости учебников в США с 2006 г., %
(на январь каждого года)
200 180 160 140 120 100 80
Стоимость учебников
Стоимость обучения и других услуг вузов
2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016
Open Textbook Network и OpenStaxu. Хотя для американских студентов расходы на учебники — лишь малая часть общих затрат на обучение, их стоимость в период с 2006 по 2016 г. выросла почти в 2 раза, она увеличивалась быстрее собственно стоимости обучения^ (рис. 1). К тому же, как показали два недавних исследования, от 66 до 85% студентов откладывают покупку учебников или вообще их не покупают. По данным одного из исследований, как минимум 91% студентов не стали покупать учебники именно по причине их высокой цены, и половина из этих студентов заявили, что отсутствие учебников негативно отразилось на качестве их обучения и оценках1з.
Помимо финансовой выгоды, ООР также позволяют обеспечить всем студентам доступ к учебным материалам с первого дня занятий, т. е. потенциально предоставляют равные образовательные возможности всем студентам. Появляющиеся в по-
11 Open Textbook Network (https://open.umn.edu/opentextbooks/) и Open-Stax (https://openstax.org/subjects) предлагают бесплатно учебники, прошедшие экспертную оценку, и работают как с отдельными преподавателями, так и с целыми вузами, заинтересованными в использовании общедоступных учебников. Группа специалистов Калифорнийского университета создала MERLOT (https://www.merlot.org/merlot/ index.htm) — хранилище специально отобранных электронных учебных и вспомогательных материалов.
12 https://www.bls.gov/opub/ted/2016/college-tuition-and-fees-increase-63-percent-since-january-2006.htm
13 https://campustechnology.com/articles/2016/08/24/report-students-shun-new-textbooks-to-reduce-education-expenses.aspx, https://www.insidehi-ghered .com/quicktakes/2017/09/20/study-high-textbook-prices-lead-poor-grades
следнее время исследования, посвященные внедрению ООР, показывают, что на курсах с использованием ООР студенты имеют больше зачетных часов и такие же, как на курсах с обычными учебниками, или даже более высокие результаты обучения. Таким образом, ОРР потенциально способствуют сокращению продолжительности обучения и увеличению доли студентов, успешно завершающих полный курс [Hilton, 2016; Feldstein et al., 2012]. Учитывая преимущества открытых образовательных ресурсов, власти некоторых штатов, например Колорадо, инвестируют значительные средства в программы внедрения ООР, в том числе предоставляют гранты преподавателям, пропагандируют использование ООР в профессиональной переподготовке профессорско-преподавательского состава и прочего персонала и отслеживают эффект от внедрения ООРМ.
3. Сочетание практик, способствующих успешности студентов
Итак, высокоэффективные образовательные практики, высокоэффективные педагогические практики и открытые образовательные ресурсы образуют комплекс учебных практик, которые могут способствовать повышению успешности студентов и вполне согласуются с принципами проектирования масштабного обучения:
• проектирование обучения, ориентированного на учащегося; тщательное отслеживание его учебных результатов;
• разработка системы «обучающего» оценивания, которое производится регулярно, обеспечивает быструю обратную связь и в рамках которого предусмотрены курсовые проекты или рефлексивные методы;
• обеспечение значимого практического обучения, которое включает исследования, социально полезную деятельность или взаимодействие с местным сообществом, а также сотрудничество со студентами разного происхождения или из разных стран;
• использование открытых источников информации, в том числе учебников, учебных материалов или даже целых курсов, для обеспечения равного доступа к образовательным возможностям.
4. Проектирова- Если научно-исследовательская база по проблеме успешно-ние масштабного сти студентов в общем и целом наработана, то научные знания онлайн-обучения о масштабном обучении находятся, безусловно, в зачаточном
14 https://medium.com/@CoHigherEd/the-brave-free-world-of-open-educa-tional-resources-16446868791b
состоянии. В основном исследователи масштабного обучения анализируют демографические данные учащихся, а также сведения об их активности и об окончании ими учебных курсов. Критики масштабного обучения справедливо отмечают, что, когда речь идет об открытом масштабном обучении, процент завершивших полный курс очень низок: по данным одного из исследований — 4%, хотя этот показатель возрастает в условиях, когда учащиеся платят за использование расширенных образовательных возможностей или за сертификаты [Chuang, Ho, 2016]. Демографические исследования показывают, что основные образовательные платформы, такие как EdX и Coursera, по всей вероятности, уже не так общедоступны, как все поначалу надеялись: они стремятся охватить учащихся из развитых стран, которые уже имеют диплом о высшем образовании и работают в качестве квалифицированных специалистов. При этом в одном из исследований было показано, что окончание масштабных онлайн-курсов дает учащимся ощутимые преимущества в профессиональном и экономическом плане, и студенты с невысоким социально-экономическим статусом и уровнем образования из развивающихся стран «значительно чаще подтверждают, что получили ощутимые профессиональные преимущества^».
Исследования масштабного обучения стали появляться сравнительно недавно, и совсем немногие из них анализируют влияние принципов проектирования обучения на успешность студентов (которая складывается, напомню, из трех компонентов: настойчивость, знания и завершение полного курса обучения) и в рамках масштабного обучения, и в очном, смешанном или «традиционном» онлайн-обучении. Поэтому знания о масштабном обучении необходимо черпать в иных источниках: непосредственный опыт, которым руководствуются преподаватели при проектировании эффективных массовых открытых онлайн-кур-сов и специализаций; удачные практики, разработанные Coursera на основании аналитической обработки данных об уже существующих курсах и формализованные в проектных мастерских, в документации и различных методиках; а также обратная связь от учащихся, получаемая преподавателями Колорадского университета и другими сотрудниками, ответственными за устойчивую успешность учебных курсов и их совершенствование.
В систему Колорадского университета входят четыре вуза: 5. Практика
Университет штата Колорадо в Боулдере, Медицинский кам- Колорадского
пус Аншутц, Университет штата Колорадо в Колорадо-Спрингс университета и Университет штата Колорадо в Денвере. Колорадский универ-
15 Zhenghao C. et al. (2015) Who's Benefitting From MOOCs, and Why // Harvard Business Review. September, 22. https://hbr.org/2015/09/whos-be-nefiting-from-moocs-and-why
ситет — государственный, он частично финансируется штатом Колорадо, однако основной источник средств составляет плата студентов за обучение и прочие услуги университета.
Колорадский университет сотрудничает с Coursera с 2013 г и запустил около 100 МООК и 18 специализаций (серия из четырех — шести курсов продолжительностью около месяца), на которые записались в целом более 2 млн человек16. Поскольку бизнес-модель Coursera постепенно меняется, этот контент вернее было бы назвать «образовательные возможности в рамках масштабного обучения»: видеоролики и дискуссионные форумы находятся в открытом доступе, а вот оценивают только тех студентов, которые вносят плату за курс или за получение сертификата об освоении специализации.
Преподаватели четырех университетов, входящих в Колорадский университет, ведут курсы на платформе Coursera из разных побуждений. Кто-то экспериментирует с новыми педагогическими моделями или принимает участие в исследованиях в области преподавания и обучения. Другие просто пропагандируют свой предмет. А третьи считают, что таким образом можно привлечь студентов к обучению по своим традиционным программам или отчасти удовлетворить потребность работающих граждан в повышении квалификации. Но большинство этих преподавателей, вне зависимости от мотива, сообщают, что изменили свои прежние методики очного обучения или онлайн-обучения, после того как приобрели весьма серьезный опыт проектирования масштабных обучающих курсов.
6. Опыт проектирования масштабных онлайн-курсов
Работая с контентом, который разрабатывают для Coursera три из четырех вузов, входящих в систему Колорадского университета, я помогала преподавателям в проектировании курсов и специализаций, формулировала и оценивала проекты масштабных онлайн-курсов и специализаций, принимала участие в работе проектных мастерских Coursera, в официальном и неофициальном порядке беседовала с преподавателями об опыте их работы и анализировала данные предварительного тестирования и работающих курсов с целью их непрерывного совершенствования. На основании этого опыта я выделила четыре практики проектирования масштабных учебных курсов и преподавания, которые использовались в тех курсах, на которых больше всего слушателей, выше доля окончивших курс и тех, кто платит за его прохождение, а также в курсах с самыми высокими рейтингами, особенно увлекательных для студентов.
16 Текущую информацию о контенте Колорадского университета на платформе Coursera см. здесь: https://www.cu.edu/mooc.
Преподаватели, разрабатывающие контент для платформы Coursera, прежде всего анализируют учащихся: кто они, каким образом они могут узнать об учебном курсе и записаться на него и каков их жизненный опыт. Большинству преподавателей именно на платформе Coursera впервые пришлось работать с большим числом иностранных студентов, живущих не в США, многие впервые проектировали учебные материалы для уже работающих специалистов — и то и другое требует смены ориентиров и в плане структуры курса, и в плане представления учебного материала. В самом начале проектирования преподавателям рекомендуют сформировать несколько типажей своих гипотетических учеников: подробно описать их предполагаемый жизненный опыт, модели поведения, жизненные ситуации, установки, цели и навыки. В процессе проектирования, запуска и непрерывного совершенствования учебных курсов созданные типажи актуализируются, наполняются реальным содержанием, и это помогает преподавателям ориентироваться на запросы и потребности учащегося.
На протяжении всего процесса проектирования преподаватели размышляют над тем, какие изменения будут происходить со студентами по мере прохождения курса, как благодаря ему будут меняться их навыки, мнения, знания и какой должна быть система оценивания, чтобы выявить и подтвердить эти результаты обучения. Поскольку большинство обучающихся на платформе Coursera — уже работающие специалисты, преподаватели Колорадского университета разрабатывают много курсов и специализаций с таким расчетом, чтобы слушатели могли получить ощутимую выгоду от прохождения курса: найти новую работу, продвинуться по службе, сменить сферу занятости, приобрести навыки, позволяющие улучшить результаты профессиональной деятельности. Они обдумывают, как окончание курса можно соотнести с выдачей документов о профессиональном образовании, например свидетельств о непрерывном фармацевтическом образовании.
Финк подчеркивает, как важно четко сформулировать целостную картину учебного курса для студентов, особенно в части содержания, и поощрять установку студентов на развитие [Fink, 2005]. Создание целостной картины, обеспечение преемственности в рамках курса и между курсами и наставничество крайне важны для успешности студентов.
Во время очного, аудиторного обучения эти педагогические приемы часто используются неявно или интуитивно: преподаватель чувствует, что студенты могут испытать затруднения в усвоении определенного материала, и исподволь подготавливает их к тому, что впереди трудный раздел курса. Эффективные преподаватели формируют у студентов целостную картину курса и выполняют функции наставника на всем протяжении
7. Неослабное внимание к учащемуся и результатам обучения
его освоения, часто даже не задумываясь об этом. Сложнее применить эти приемы в масштабном обучении, потому что здесь неявное нужно сделать явным. Формирование целостного представления, преемственность и наставничество должны быть каким-то образом реализованы в формате видеороликов и заданий. Преподавателям, занимающимся разработкой масштабных курсов, рекомендуют постоянно погружать процесс обучения в более широкий контекст профессиональных целей учащихся и контекст самой дисциплины и обеспечивать очевидную преемственность — от одного учебного модуля к другому. Обычно в начале видеоролика учащимся объясняют в нескольких предложениях, что они научатся делать, изучив данный модуль, а в конце коротко рассказывают о следующем видеоролике. И именно эта практика, по-видимому, способствует возрастанию настойчивости студентов в учебе при переходе от одного видеоролика к другому. Чтобы дать студентам целостное представление об учебных курсах, профессор Тим Шамиль-яр из Университета штата Колорадо в Колорадо-Спрингс предлагает им графическое изображение хода кусов в рамках своей специализации «Программирование на С++ для разработки игр в среде Unity» в виде синусоидальной волны, и студенты видят, когда учебная нагрузка будет больше, когда меньше. А еще профессор в своих видеороликах подбадривает студентов, открыто сообщая, что предстоит изучение сложной темы или сложная неделя, и в то же время уверяя, что они справятся и следующая неделя будет легче.
8. Обучающее оценивание, обеспечивающее быструю и регулярную обратную связь
Платформа Coursera предлагает преподавателям и студентам весьма полезную опцию — автоматическую оценку и взаимооценку в рамках технологии полного усвоения знаний. Эти две функции позволяют принимать на курсы много учащихся и при этом не перегружать преподавателей работой, в частности мониторингом выполнения заданий. Система автоматической оценки предлагает инструменты для регулярного формирующего и итогового оценивания — от еженедельных тестов до итоговых письменных работ, предусмотрена даже проверка знаний прямо в ходе просмотра видеороликов в формате одного вопроса. Таким образом, часть работы, связанной с оцениванием, с преподавателя снимается. Когда и правильные, и неправильные ответы комментируются, тест с вариантами ответов сам по себе становится частью учебного опыта, особенно если пройти его не один раз. Точно так же и взаимооценки учащихся с подробными пояснениями помогают студентам отрефлекси-ровать собственные знания и дают возможность получить более чем достаточную обратную связь относительно своих письменных работ или других проектов.
Некоторые преподаватели Колорадского университета, однако, самостоятельно и целенаправленно разрабатывают инструменты обучающего оценивания и программные проекты для своих студентов. Например, доктор Джей Лемери (Медицинский кампус Аншутц) включил в свой курс «Сотрудники международной системы здравоохранения» ситуационное исследование в качестве работы на итоговую оценку. Студенты в роли сотрудников международной системы здравоохранения формулируют свои предложения по выходу из миграционного кризиса. Грег Уильямс из Университета штата Колорадо в Колорадо-Спрингс также завершает свой курс «Выявление и минимизация киберугроз и кибератак» учебным проектом, в рамках которого студенты должны предложить стратегии выявления и минимизации таких угроз и атак для компании, где происходит утечка данных. Работа на итоговую оценку по окончании его же курса «Превентивное обеспечение безопасности компьютерных систем» позволяет студентам проверить свои навыки выявления и минимизации киберугроз в защищенной компьютерной среде.
Масштабные учебные курсы имеют такие преимущества, как изобилие видеоматериала и регулярное автоматическое оценивание, и тем не менее есть риск, что они останутся не более чем телепрограммами с перечнем контрольных вопросов. Чтобы этого не допустить, многие масштабные учебные курсы используют высокоэффективные образовательные практики. Преподаватели Колорадского университета в рамках своих курсов на платформе Coursera предоставляют студентам возможность заниматься исследовательской работой, используют глобальное обучение, обучение во взаимодействии с местным сообществом и курсовые проекты.
9. Практическое обучение
Роджер Мартинес из Университета штата Колорадо в Колорадо-Спрингс разработал серию курсов «Секреты расшифровки», в рамках которых студентам предоставляется возможность провести первичное исследование и стать «соавторами» новых знаний. Они изучают историю, условия социальной и религиозной жизни средневековых испанских городов-крепостей, затем профессор Мартинес преподает им палеографию, обучает расшифровке средневековых рукописей, а потом предлагает расшифровать и перевести недавно оцифрованные рукописи из архивов этих городов-крепостей. По оценке профессора Мартинеса, учащиеся первого выпуска его масштабного обучающего курса за шесть недель проделали работу, на которую у ученого ушло бы десять лет. Оказалось, что возможность поработать с источниками и внести свой вклад в расширение
9.1. Исследовательская работа
9.2. Мультикультур-ное/глобальное обучение
9.3. Обучение в рамках социальных проектов и/или во взаимодействии с местным сообществом
9.4. Курсовые проекты
комплекса научных знаний привлекает студентов, способствует формированию у них настойчивости и увлеченности.
Все слушатели курсов на платформе Coursera так или иначе сталкиваются с людьми иных взглядов и убеждений: сюда приходят учиться студенты со всего мира — люди с самыми разными взглядами на политику, религию, культуру и экономику, с самым разным опытом в этих областях жизни. Перед преподавателями стоит непростая задача: обращать внимание на любые имплицитные этноцентристские установки, присущие ученикам, и быть готовыми к разрешению любых межкультурных противоречий. Устанавливать правила поведения на дискуссионных форумах крайне важно, и так же важна готовность преподавателей вмешаться в случае каких-либо столкновений. Многие преподаватели Колорадского университета, ведущие курсы на платформе Coursera, набирают группу ассистентов из разных стран, которые помогают им следить за дискуссиями, выявлять и урегулировать возникающие разногласия между представителями разных культур.
Согласно научной литературе о высокоэффективных образовательных практиках, традиционное обучение в рамках социальных проектов предполагает, что студент осуществляет целенаправленную организованную работу на благо своего сообщества, а вот обучение во взаимодействии с местным сообществом может быть реализовано и в рамках масштабных обучающих курсов. Студенты, которые осваивают развивающуюся в настоящее время специализацию «Паллиативная помощь», разработанную командой Медицинского кампуса Аншутц, применяют полученные знания на практике. Используя оценочный формуляр «Характер заболевания», учащиеся опрашивают членов местного сообщества с хронической или неизлечимой болезнью, практикуя таким образом навыки, которые понадобятся им как специалистам в сфере оказания паллиативной помощи. Рефлексия опыта применения полученных знаний в реальных жизненных ситуациях способствует более глубокому усвоению знаний и готовит учащихся к дальнейшей профессиональной деятельности.
В научной литературе, посвященной высокоэффективным образовательным практикам, курсовым проектом называется итоговая практическая работа перед завершением высшего образования. Масштабное обучение построено на основе модулей, поэтому на платформе Coursera курсовые проекты выполняются по окончании освоения специализации, т. е. на их выполнение у студента есть время, примерно равное одному учебному семестру. Итоговая практическая работа по окончании освоения специализации «Организация хранилищ данных для бизнес-ана-
литики», разработанной профессорами Майком Маннино и Джа-ханом Кармини (Университет штата Колорадо в Денвере), дает студентам возможность обобщить и применить знания, которые они получили, осваивая эту специализацию. Используя метод ситуационного анализа и опираясь на изученный ранее материал, студенты разрабатывают и создают хранилище данных, интегрируют данные и пишут аналитические запросы для дальнейшей визуализации данных и разработки панели мониторинга.
Хотя курсы Coursera и других провайдеров МООК являются бесплатными образовательными ресурсами, по-настоящему открытыми в 2012 г. и в последующие годы они уже не были. То есть доступ остался свободным, но появились (и до сих пор есть) некоторые ограничения в использовании, адаптации и дальнейшем перераспределении учебных материалов третьими лицами. И конечно, масштабные онлайн-курсы на платформе Coursera стали еще менее открытыми, поскольку теперь самые важные их составляющие — оценки, обратная связь, документы об образовании — доступны только за плату. Платный доступ на платформе Coursera существует, но формально учащиеся не считаются студентами университета. Поэтому преподаватели не стремятся запрашивать исключительные права на публикацию материалов, защищенных авторским правом, которые они хотели бы разместить в рамках своих масштабных онлайн-курсов, и обращаются к открытым образовательным ресурсам. Многие из них впервые узнают о возможностях открытых образовательных ресурсов, когда начинают работать с электронными библиотеками, подбирая материал для своих масштабных онлайн-курсов.
10. Открытые образовательные ресурсы в масштабном обучении
Опыт разработки масштабных онлайн-курсов и педагогических методик, опирающихся на результаты исследований, концептуально вполне согласуется с практиками, признанными эффективными по данным научных работ, посвященных успешности студентов, а также преподаванию и обучению. Прочная научно-исследовательская база вкупе с анализом поведения обучающихся на платформе — собственно говоря, на этом и основаны рекомендации Coursera по проектированию масштабного онлайн-обучения:
11. Совместимые и взаимодополняющие практики, способствующие успешности студентов
проектирование обучения с ориентацией на ученика; особое внимание к результатам обучения, формированию у учащегося целостного представления о курсе, к преемственности и наставничеству;
регулярная и быстрая обратная связь в виде обучающего оценивания;
предоставление возможности практического обучения; использование открытых образовательных ресурсов.
Рис. 2. Пересекающиеся практики, способствующие успешности студентов
«0*
^ об ycnei"«0C^
Практики
Проектирование обучения с ориен тацией на ученика; особое внимание к результатам обучения, формированию у учащегося целостного представления о курсе, к преемственности и наставничеству
Регулярная и быстрая обратная связь в виде обучающего оценивания Возможности практического обучения Использование открытых образовательных ресурсов
ва«ие масштаб0
Ситуация в США
1 Сокращение господдержки 1 Необходимость увеличить долю успешно завершающих полный курс обучения 1 Социокультурное разнообразие студенчества
Рисунок 2 иллюстрирует тезис о совместимых и взаимодополняющих практиках, способствующих успешности студентов. Ситуация в сфере высшего образования США диктует крайнюю необходимость обеспечить широкое внедрение этих практик.
12. Призыв к действию: от концептуального пересечения к взаимному дополнению
Одно из преимуществ масштабного обучения, о котором мало говорят, — это возможность сразу же и в полном объеме получить информацию о том, что в какой-то части онлайн-курс оказался неудачным. Участники дискуссионных форумов критикуют содержание учебных курсов, и, хотя это мнение лишь малой доли учащихся, такие высказывания побуждают преподавателей совершенствовать свои курсы. В негативных комментариях, пусть и со стороны незначительной части огромного контингента учащихся, звучит больше неодобрительных высказываний, чем преподаватель, может быть, слышал за все время своей профессиональной деятельности.
Еще более важно, что анализ данных платформы Coursera помогает точно определить, когда учащиеся бросают обучение, понять, в каких модулях есть рассогласование между содержанием и оценками, какие видеоролики и задания увлекают студентов больше других. Профессора Колорадского университета, преподающие на платформе Coursera, с готовностью корректируют свои онлайн-курсы, получая обратную связь от учащихся и результаты анализа данных. И все же еще важнее вот что: многие преподаватели сообщают, что меняют и методики очного
и «традиционного» онлайн-преподавания, ориентируясь на эффективные практики, о которых узнали.
Несмотря на накопленные знания о факторах успешности студентов, мы все еще не понимаем в точности, как учится отдельный конкретный человек. Мы выдвигаем убедительные гипотезы, основываясь на научных знаниях из самых разных областей, включая биологию, нейробиологию, науку об образовании. Мы используем лонгитюдные данные об образовательных практиках, чтобы сформулировать основательные рекомендации: что с наибольшей вероятностью будет способствовать улучшению результатов обучения и увеличению доли успешно завершивших полный курс обучения, что, скорее всего, будет особенно полезным для студентов из социальных групп, в прошлом мало представленных в студенческой среде. С распространением масштабного онлайн-обучения у нас появилась беспрецедентная возможность использовать действительно большие объемы данных для проверки эффективности этих учебных практик. И хотя научные работы, посвященные успешности студентов и преподаванию и обучению в целом, безусловно, обосновывают принципы проектирования масштабного обучения, взаимосвязь между тем и другим следует укреплять — для решения задач повышения успешности студентов, которые ставят перед собой вузы. Осознанное внедрение высокоэффективных образовательных практик, высокоэффективных педагогических практик, использование открытых образовательных ресурсов в масштабном обучении и, далее, проверка их эффективности в обеспечении настойчивости студентов и завершения ими образования, даже на микроуровне одного учебного модуля, позволит нам получить данные, которые могут способствовать расширению поддержки — финансовой, административной и даже поддержки со стороны преподавателей —дальнейшего совершенствования проектирования учебных курсов, а следовательно, и повышению успешности студентов.
1. Chuang I., Ho A. (2016) HarvardX and MITx: Four Years of Open Online Литература Courses — Fall 2012-Summer 2016. https://ssrn.com/abstract=2889436
2. Feldstein A., Martin M., Hudson A., Warren K., Hilton III J., Wiley D. (2012) Open Textbooks and Increased Student Access and Outcomes // European Journal of Open, Distance and E-Learning. No 2. http://www.eurodl. org/?p=current&sp=full&article=533
3. Fink L. D. (2013) Creating Significant Learning Experiences: An Integrated Approach to Designing College Courses. San Francisco, CA: John Wiley & Sons.
4. Fink L. D. (2005) A Self-Directed Guide to Designing Courses for Significant Learning. https://www.deefinkandassociates.com/GuidetoCourse-DesignAug05.pdf
5. Fink L. D. (2016) Five High Impact Teaching Practices // Collected Essays on Learning and Teaching (CELT). Vol. IX. https://files.eric.ed.gov/ful-ltext/EJ1104478.pdf
6. Grawe N. (2017) Demographics and the Demand for Higher Education. Baltimore, MD: Johns Hopkins University Press.
7. Hilton J. (2016) Open Educational Resources and College Textbook Choices: A Review of Research on Efficacy and Perceptions // Educational Technology Research and Development. Vol. 64. No 4. P. 573-590.
8. Kinzie J., Kuh G. (2017) What Really Makes a «High-Impact» Practice High Impact? // Inside Higher Ed. May, 1. https://www.insidehighered.com/ views/2018/05/01/kuh-and-kinzie-respond-essay-questioning-high-im-pact-practices-opinion
9. Kuh G. (2008) High-Impact Educational Practices: What They Are, Who Has Access to Them, and Why They Matter. Washington, DC: Association of American Colleges and Universities.
10. Kuh G., O'Donnell K. (2013) Ensuring Quality & Taking High-Impact Practices to Scale. Washington, DC: Association of American Colleges and Universities.
11. National Student Clearinghouse Research Center (2017) Completing College: A National View of Student Completion Rates — Fall 2011 Cohort. https://nscresearchcenter.org/wp-content/uploads/SignatureReport14_ Final.pdf
Practices for Student Success:
From Face-to-Face to At-Scale and Back
Deborah Keyek-Franssen Author
PhD, Germanic Languages and Literatures, Associate Vice President for Digital Education and Engagement, University of Colorado System. Address: 1800 Grant Street, Suite 800 Denver, CO 80203 USA. E-mail: deblkf@cu.edu
U.S. higher education is experiencing a time of shifting landscapes, of new Abstract technologies, and of unfamiliar competitors. These and other factors, including decreasing public support for colleges and universities, mean that student success is increasingly paramount as a strategic goal for postseconda-ry institutions. While institutional-level activities such as increased funding for and emphasis on student advising and predictive analytics are crucial, they are insufficient for postsecondary institutions to realize broad and consistent student success. Instead, institutions can look to practices at the curriculum and course level to further student success. This article examines those learning design and teaching practices that constitute the overlap between a) higher education research and trends and b) the lessons learned from at-scale learning experiments. Postsecondary research has shown the effectiveness of practices supported by longitudinal data (high-impact practices), represent a confluence of effective learning design and teaching practices (high-impact teaching practices), and focus attention on lowering the costs of education, thereby making access to postsecondary education at least somewhat more equitable (open-educational resources). An analysis of at-scale learning experiments at the University of Colorado allows the layering of relevant and timely examples of specific MOOC design practices on top of the higher-education research and trends framework, illustrating the ways these two strands of student-success practices mutually reinforce one another.
student success, learning design, MOOC, high-impact practices, high-impact Keywords teaching practices, open-education resources, scholarship on teaching and learning, University of Colorado.
'huang I., Ho A. (2016) HarvardXand MITx: Four Years of Open Online Courses— References Fall 2012-Summer 2016. Available at: https://ssrn.com/abstract=2889436 (accessed 12 October 2018). Feldstein A., Martin M., Hudson A., Warren K., Hilton III J., Wiley D. (2012) Open Textbooks and Increased Student Access and Outcomes. European Journal of Open, Distance and E-Learning, no 2. Available at: http://www.euro-dl.org/?p=current&sp=full&article=533 (accessed 12 October 2018). Fink L. D. (2013) Creating Significant Learning Experiences: An Integrated Approach to Designing College Courses. San Francisco, CA: John Wiley & Sons.
Fink L. D. (2005) A Self-Directed Guide to Designing Courses for Significant Learning. Available at: https://www.deefinkandassociates.com/Guideto-CourseDesignAug05.pdf (accessed 12 October 2018). Fink L. D. (2016) Five High Impact Teaching Practices. Collected Essays on Learning and Teaching (CELT), vol. IX. Available at: https://files.eric.ed.gov/ful-ltext/EJ 1104478.pdf (accessed 12 October 2018). Grawe N. (2017) Demographics and the Demand for Higher Education. Baltimore, MD: Johns Hopkins University Press.
Hilton J. (2016) Open Educational Resources and College Textbook Choices: A Review of Research on Efficacy and Perceptions. Educational Technology Research and Development, vol. 64, no 4, pp. 573-590.
Kinzie J., Kuh G. (2017) What Really Makes a "High-Impact" Practice High Impact? Inside Higher Ed, May, 1. Available at: https://www.insidehighered. com/views/2018/05/01/kuh-and-kinzie-respond-essay-questioning-high-impact-practices-opinion (accessed 12 October 2018).
Kuh G. (2008) High-Impact Educational Practices: What They Are, Who Has Access to Them, and Why They Matter. Washington, DC: Association of American Colleges and Universities.
Kuh G., O'Donnell K. (2013) Ensuring Quality & Taking High-Impact Practices to Scale. Washington, DC: Association of American Colleges and Universities.
National Student Clearinghouse Research Center (2017) Completing College: A National View of Student Completion Rates—Fall 2011 Cohort. Available at: https://nscresearchcenter.org/wp-content/uploads/SignatureReport14_ Final.pdf (accessed 12 October 2018).
