CC BY
38
Фуккинк Р., Джилинк Л., Оостдам Р.
Метаанализ влияния раннего вмешательства на развитие детей в Нидерландах: неудобная правда?*
Рубен Фуккинк**, Лисанн Джилинк и Рон Оостдам, Центр прикладных исследований в образовании (CARE), Амстердамский университет прикладных наук, Амстердам, Нидерланды; Научно-исследовательский институт детского развития и образования, Амстердамский университет, Амстердам, Нидерланды
Вслед за успешными программами раннего вмешательства за рубежом Нидерланды также ввели ряд программ, направленных на преодоление неблагоприятного положения в области образования в дошкольном и раннем возрасте. Исследования, которые изучают последствия раннего вмешательства в Нидерландах, проводятся с 2000 года. Данное обзорное исследование обобщает результаты 21 экспериментального сравнения, в ходе которых изучалось около 50 000 детей в период 2000-2015 гг. Совокупный эффект ранних вмешательств по сравнению со стандартными группами дошкольного и раннего возраста не является статистически значимым. Неудовлетворительные результаты указывают на то, что специальные программы дошкольного образования в настоящее время не дают дополнительных преимуществ для развития детей младшего возраста в Нидерландах, по сравнению с обычными группами дошкольного и раннего возраста. Основное внимание в образовательной политике Нидерландов уделяется совершенствованию будущих практик на основе научных данных, касающихся эффективных подходов в дошкольном образовании и уходе за детьми (ECEC). Кроме того, внедрение исследовательских проектов с экспериментальным контролем укрепило бы существующую базу знаний.
Ключевые слова: дошкольное образование и уход за детьми (ECEC); раннее вмешательство; результаты развития; обзор; метаанализ.
Для цитирования: Фуккинк Р., Джилинк Л., Оостдам Р. Метаанализ влияния раннего вмешательства на развитие детей в Нидерландах: неудобная правда? // Современное дошкольное образование. -2019. - №2(92). - С. 70-79.
Введение
Положительные результаты классических исследований раннего вмешательства, проведенных в США, показали, что инвестиции в дошкольное образование чрезвычайно важны (Несктап, 2006). Последующие обзорные исследования позволили получить
* Ruben Fukkink, Lisanne Jilink & Ron Oostdam (201 7):A metaanalysis of the impact of early childhood interventions on the development of children in the Netherlands: an inconvenient truth?, European Early Childhood Education Research Journal, DOI: 10.1080/1350293X.201 7.1 356579. Публикуется с любезного разрешения журнала European Early Childhood Education Research Journal.
** Contact: [email protected] Wibautstraat 2-4, GM Amsterdam 1 091, the Netherlands.
дополнительные доказательства положительного влияния дошкольного образования и ухода за детьми младшего возраста (ECEC) на развитие детей (Blok et al., 2005; Burger, 2010; Camilli et al., 2010; Gorey, 2001; Nelson, Westhues, MacLeod, 2003; Pianta et al., 2009). Оценки, проведенные в разных странах, показали преимущества раннего вмешательства в отношении результатов детей, включая европейские страны, такие как Англия, Германия, Северная Ирландия и Шотландия (Nores, Barnett, 2010).
Рамки ECEC значительно различаются по странам Европы. Страны могут по-разному ориентироваться на национальные или местные программы. Кроме того, эти программы демонстрируют существенные различия
A Meta-analysis of the Impact of Early Childhood Interventions on the Development of Children in the Netherlands: an Inconvenient Truth?
Ruben Fukkink, Lisanne Jilink and Ron Oostdam, Centre for Applied Research in Education (CARE), Amsterdam University of Applied Sciences, Amsterdam, the Netherlands; Research Institute of Child Development and Education, University of Amsterdam, Amsterdam, the Netherlands
Following on from successful early intervention programs abroad, the Netherlands also introduced a number of different programs to tackle educational disadvantage in preschool and early years education. Studies that investigate the effects of Dutch early childhood interventions have been published since 2000. This meta-analytic review study summarizes the findings from 21 experimental comparisons which study some 50,000 children in the period between 2000-201 5, with a total of 165 outcome measures. The aggregate effect of early childhood interventions compared with standard preschool and early years groups is not statistically significant. The disappointing results indicate that special early childhood education programs currently offer no added value for the development of young children in the Dutch context over and above regular preschool and early years groups. A focus for Dutch policy is to improve future practice based on scientific evidence around effective approaches to ECEC. Further, the implementation of study designs with more experimental control would strengthen the current knowledge base.
Keywords: early childhood education and care (ECEC); early intervention; developmental outcomes; review; meta-analysis.
For citation: Ruben Fukkink, Lisanne Jilink and Ron Oostdam (2019) A meta-analysis of the impact of early childhood interventions on the development of children in the Netherlands: an inconvenient truth? Preschool Education Today. 2:13, 70-79 (in Russian).
в структурном качестве из-за различных нормативных актов, касающихся квалификации педагогического персонала и максимального количества детей, разрешенных на одного сотрудника и на группу в дошкольных учреждениях, как показал сравнительный анализ по ECEC в 32 европейских странах (Euridyce, Eurostat, 2014). Кроме того, практика ECEC также показывает существенные различия внутри стран. Новые программы, предлагаемые на национальном уровне, также могут демонстрировать местные различия как в оценке качества, так и в результатах (Hall et al., 2013). Наконец, стратегия ECEC показывает различия в количестве свободного времени у детей. Таким образом, ECEC представляет собой масштабную стратегию, которая включает различные практики с разными структурными качественными характеристиками и, возможно, разным качеством и результатами процесса.
Вдохновившись положительными результатами первых программ раннего вмешательства в США и Европе (Council of the European
Union, 2011; Urban, 2015), в Нидерландах также были реализованы программы раннего вмешательства ECEC. В Нидерландах инвестиции были направлены на программы раннего вмешательства в дошкольном и раннем детстве для детей с ограниченными возможностями в рамках централизованного подхода. Политика Нидерландов по решению проблемы неблагоприятного положения детей раннего возраста в основном предусматривает работу с программами раннего вмешательства, начиная с централизованного ухода за детьми в возрасте от двух с половиной лет до начальной школы включительно. Эти специальные группы раннего вмешательства существуют наряду со стандартными группами по уходу за детьми в дошкольном учреждении и классами для детей младшего возраста в начальной школе. Таким образом, ситуация в Нидерландах характеризуется раздельной системой со специальными группами раннего вмешательства, с одной стороны, и стандартными группами ECEC, с другой.
Вскоре после внедрения первых программ ECEC в Нидерландах были проведены исследования по изучению результатов на уровне ребенка, изучению развития языковых навыков, навыков счета, общего когнитивного развития и социально-эмоционального развития, начиная с исследования Veen, Roeleveld, Leseman (2000). Ряд исследователей сравнил развитие детей в нидерландах по стандартной программе ECEC и детей по программам раннего вмешательства, чтобы оценить их влияние на уменьшение задержек в развитии и пробелов в образовании.
В первых исследованиях (Veen, Roeleveld, Leseman, 2000; Veen, Fukkink, Roeleveld, 2006) детей из групп раннего вмешательства и сравнительных групп вели от дошкольного возраста до первых классов школы.
Эффекты раннего вмешательства также изучались с использованием крупномасштабных национальных баз данных (Driessen, 2004), в которых оценивалось влияние раннего вмешательства путем соотношения успеваемости детей в начальной школе с их успехами в дошкольном и раннем возрасте (так называемый дизайн
ретроспективного исследования; см.обзор в таблице 1). Исследователи в своих отчетах пришли к различным, неоднозначным выводам, и поэтому остается неясным влияние ранних вмешательств, проведенных в Нидерландах.
Цель исследования
До настоящего времени не было возможности дать удовлетворительные ответы на вопросы, касающиеся эффектов от ранних вмешательств. Поэтому мы провели ме-таанализ всех исследований влияния в области ранних вмешательств, проведенных в Нидерландах. Главный вопрос настоящего обзора заключался в следующем: какое влияние оказали голландские программы раннего вмешательства на когнитивную и социально-эмоциональную сферы жизни детей младшего возраста (Вопрос исследования №1). Кроме того, мы исследуем возможное регулирование влияния голландских программ раннего вмешательства: какие параметры исследования коррелируют с зафиксированными эффектами на уровне ребенка? (Вопрос исследования №2).
Автор(ы) Год Субисследование Проспективный / Ретроспективный Дошкольное и/или раннее образование Размер выборки
Veen et al. 2000; 2002 1. Программа «Калейдоскоп» 2. Программа «Пирамида» Проспективный Оба 117
de Goede and Reezigt 2001 1. Программа «Калейдоскоп», 2-4 года 2. Программа «Калейдоскоп», 4-7 лет 3. Программа «Пирамида» 2-4 года 4. Программа «Пирамида» 4-7 лет Проспективный Дошкол. Ранний Дошкол. Ранний 141
Driessen and Doesborgh 2003 1. Группа 1 2. Группа 2 3. Группа 3 4. Панель Ретроспективный Дошкол. 37,014
Veen et al. 2006 Проспективный Оба 154
Veen et al. 2008 Ретроспективный Оба 4886
de Jong-Heeringa 2008 Проспективный Оба 351
Nap-Kolhoff et al. 2008 1. Начальная школа, 5 лет 1. Начальная школа, 7 лет Ретроспективный Оба 8480
van Schooten and Sleegers 2008 Проспективный Дошкол. 157
de Haan et al. 2013 1. Группа, 2-4 года 2. Группа, 4-7 лет Ретроспективный Дошкол. Оба 156
Karssen et al. 2013 1. Только дошкольное образование 2. Дошкольное и раннее образование Ретроспективный Дошкол. Оба 1476
Bruggers et al. 2014 Ретроспективный Дошкол. 570
Таблица 1. Обзор исследований: дизайн исследования; период; размер выборки
Метод
Поиск источников
Масштабный поиск велся в электронном мета-каталоге PiCarta, который включает в себя множество голландских источников, используя поисковые запросы: «дошкольное и раннее образование»; «дошкольное образование»; «раннее образование»; «раннее вмешательство» (на голландском языке: voor-, vrogschoolse educatie или vve). Этот поиск выдал 875 источников (май 2015). Дополнительный поиск был выполнен в базе данных индекса цитирования социальных наук Web of Science (SSCI) для поиска публикаций голландских авторов в этой области на английском языке, в данном случае с использованием поисковых запросов «дошкольный» или «ранний»; «дошкольное образование» или «раннее образование» в сочетании с запросом «страна = Нидерланды» в психологических и образовательных журналах в период с 2000 по 2015 год.
В результате было найдено 335 источников (июнь 2015). Кроме того, был просмотрен ряд обзорных статей голландских или европейских исследований (Burger, 2010; Leseman, Slot, 2014). Используя так называемый метод снежного кома, мы также искали исследования, просматривая списки литературы найденных источников. Наконец, мы лично связались с некоторыми исследователями (см. Fukkink, Jilink, Oostdam, 2015).
Критериями включения были: (1) является ли публикация экспериментальным исследованием; (2) проводилось ли исследование в голландских условиях; (3) использовались ли централизованные программы раннего вмешательства. После просмотра статей и тезисов осталось 14 публикаций, отвечающих всем критериям включения. Эти исследования проводились с одобрения координирующих научных учреждений и финансирующих органов (например, министерства образования, культуры и науки Нидерландов); но не во всех докладах было указано, что они получили этическое одобрение. В этих публикациях представлены в общей сложности 11 отдельных исследований с 21 квазиэкспериментальным сравнением, в которых оценивалось влияние программ раннего вмешательства на развитие ребенка. В тех случаях, когда в публикациях сообщалось о различных стандартных и / или экспериментальных группах, исследования анализировались отдельно (обзор см. в таблице 1).
Единицей анализа в этом обзоре в каждом случае было квазиэкспериментальное сравнение детей из группы раннего вмешательства и детей из стандартной группы по определенному показателю (например, языку).
Кодирование
Все квазиэкспериментальные сравнения были закодированы с использованием коди-ровочной таблицы для описания содержательных характеристик программ раннего вмешательства и методологических характеристик исследований. Однако многие из отчетов, как представляется, содержали относительно мало информации о выявленных нами характеристиках.
Для каждого исследования мы кодировали период, в который были собраны данные, и год их публикации. В кодировании также указывалось, был ли отчет об исследовании опубликован в виде обзора или статьи в рецензируемом журнале. Для каждого вмешательства было отмечено, проводилось ли оно на местном уровне или более широко - в региональном или национальном контексте. Там, где это было возможно, уточнялось, касается ли программа только дошкольного или только раннего образования, или использует их комбинацию.
Что касается методологических аспектов, мы закодировали, было ли исследование ретроспективным (исследование, в котором влияние раннего вмешательства изучается на основе данных, собранных после проживания детьми дошкольного и раннего периода детства) или проспективным (исследование, в котором дети наблюдались, начиная с дошкольного и раннего возраста); включало ли исследование предварительную, пост- и / или последующую оценку; был или нет случайным отбор детей; а также количество участвующих детей в начале и конце исследования. Для каждого результата мы кодировали область развития (язык, математические способности, способности к обучению или общий интеллект, социальное и эмоциональное развитие). Кроме того, указывалось, были ли представленные статистические данные скорректированы или нет, чтобы учесть различия между группой раннего вмешательства и контрольной группой; фокус периода измерения (дошкольное или раннее образование); период между окончанием программы раннего вмешательства и измерением.
Анализ
Была определена величина эффекта для каждой характеристики на уровне ребенка (коэффициент d Коэна). В общей сложности было получено 165 результатов исследования, включающих язык (46), математический счет (26), общий интеллект (18), социальное и эмоциональное развитие (75). Ряд исследований показал, что программа раннего вмешательства не привела к статистически значимым эффектам без указания статистических данных, необходимых для определения точной величины эффекта. Поскольку игнорирование этих незначительных результатов приводит к серьезному смещению в оценках, было решено определить предполагаемую величину эффекта как равную нулю; это было сделано для 36 из 165 итоговых показателей. Следуя правилам расчета коэффициента Коэна (1988), величина эффекта 0,20 считалась небольшой, 0,50 - средней, а равная 0,80 или выше, - большой (Нох, 2010).
Результаты
Результаты влияния раннего вмешательства на развитие детей
Три четверти итоговых значений величины эффекта находились в диапазоне от 0 до 0,20, т.е. эффект либо вообще отсутствовал, либо был небольшим. Хотя были обнаружены некоторые различия в величине эффекта, с некоторыми как положительными, так и отрицательными результатами, большинство значений были около нуля. Совокупный эффект всех областей (языка, счета, общих навыков и социально-эмоционального развития) оказался меньше и существенно не отклоняется от нуля (см. рис. 1 и таблицу 2).
» язык
■ счет
■ общий интеллект
■ социальное и эмоциональное развитие общий
маленький
■ средний
:■ большой
Рис. 1. Средний показатель влияния раннего вмешательства на язык, счет, общий интеллект и социально-эмоциональное развитие детей по сравнению с малыми, средними и большими величинами эффекта
Таблица 2. Величины эффектов (и стандартной ошибки - СО) специальных программ ЕСЕС по областям развития
Язык Счет Общий интеллект Социально-эмоциональное развитие Общее
Количество результатов 46 26 18 75 165
Величина эффекта (СО) 0.023 (0.041) 0.064 (0.058) 0.030 (0.088) 0.022 (0.036) .026 (0.029)
Случайный эффект
Уровень исследования 0.013 (.008) 0.028 (0.015) 0.011 (0.020) 0.022 (0.036) 0.007 (0.004)
Уровень экспе- римен- тального сравнения 0.000 (0.000) 0.000 (0.000) 0.009 (0.016) 0.001 (0.001) 0.001 (0.001)
Примечание: ни одна из величин эффекта статистически значимо не отличается от нуля.
Обсуждение
Результаты этого метаанализа показывают, что эффекты от голландских программ раннего вмешательства разочаровывают по сравнению со стандартными группами и группами раннего возраста. Средний эффект от ранних вмешательств, как следует из квазиэкспериментальных исследований, совсем небольшой и существенно не отклоняется от нуля. Кроме того, полученные результаты являются надежными и показывают согласованную модель для результатов в различных областях, в различных исследовательских проектах, в различные периоды раннего вмешательства и в публикациях различных исследователей. Этот нулевой результат свидетельствует об отсутствии научных доказательств положительного влияния раннего вмешательства на когнитивное или социально-эмоциональное развитие детей. Таким образом, влияние раннего вмешательства в Нидерландах, по-видимому, резко контрастирует с результатами программ раннего образования в других западных странах.
Результаты голландских исследований показывают тенденцию к небольшому снижению воздействия раннего вмешательства в период с начала XXI века. Эта тенденция, по меньшей мере, не согласуется с предположением о том, что изменения, осуществленные с самого начала мероприятий по раннему
вмешательству, могли бы значительно улучшить ситуацию. Нелегко найти этому объяснение. Возможно, дополнительная ценность раннего вмешательства была больше, когда были реализованы первые программы, но впоследствии уменьшилась, потому что стандартные классы стали более ориентироваться на результаты и использовать компоненты раннего вмешательства, но это остается гипотезой (см. также Driessen, 2012).
Нидерланды против зарубежных стран: неудобная правда?
Голландские результаты явно уступают результатам, полученным в ходе успешных вмешательств, осуществленных за рубежом, таких как первые исследования по раннему вмешательству в США, на которые часто ссылаются в голландской дискуссии. Результаты также уступают эффектам, полученным в ме-тааналитических исследованиях преимущественно европейских и американских программ, которые сообщают о величине эффекта в диапазоне от «малого» до «среднего» (Blok et al., 2005; Burger, 2010; Camilli et al., 2010; Gorey, 2001; Nelson, Westhues, MacLeod, 2003; Nores, Barnett, 2010; Pianta et al., 2009). И без подробного перечисления различий между программами вмешательства в нидерландах и других странах очевидно, что голландские программы раннего вмешательства менее интенсивны, чем первые программы раннего вмешательства в США. Программы, которые сочетают централизованную методику с местными, оказались более успешными, чем программы, основанные только на местных или централизованных методиках (Blok et al., 2005), но голландские программы раннего вмешательства не реализовали этот двойной подход. Кроме того, голландская контрольная группа с самого начала оказалась в лучшем положении, чем многие дети и семьи из первых американских исследований. В этом смысле вероятность успеха раннего вмешательства в Нидерландах представляется более низкой, чем в американских условиях. Поэтому прямое применение гипотезы Хекмана (Heckman, 2006) и связанных с ней исследований влияния в США к нынешнему голландскому контексту представляется нецелесообразным. Наконец, важный вопрос заключается в том, способствует ли голландская образовательная политика на практике качественному раннему вмешательству.
Ориентируясь на структурные качественные характеристики, голландская система
ЕСЕС характеризуется максимальным размером группы из 16 детей с соотношением персонала к ребенку 2:16; минимальным количеством посещений 10 часов в неделю; образовательными квалификациями для сотрудников, которые работают с младшими детьми, ниже уровня бакалавра. Эти структурные качественные характеристики являются, в целом, средними в европейском контексте, хотя в некоторых странах Европы, безусловно, существуют более благоприятные условия. Некоторые стратегические мероприятия и положения, которые были реализованы после 2000 года, могли повлиять на структурное качество дошкольного образования: научно обоснованных программ для сотрудников или детей по-прежнему не требуется; профессиональное развитие персонала стало менее масштабным в условиях относительно низкого уровня квалификации персонала; а также структурные взаимоотношения между дошкольным учреждением и начальной школой уже не закреплены в новых образовательных нормах. Дело в том, что Национальная оценка 5000 учреждений, проведенная голландской инспекцией (Onderwijsinspectie, 2013), показала, что учебная поддержка, контроль качества и переход из детского сада в начальную школу в большинстве случаев являются неудовлетворительными (соответственно 57%, 55% и 54% всех учреждений).
Последствия для исследований
Результаты этого обзорного исследования могут оказаться неудобными для некоторых заинтересованных сторон в сфере образования Нидерландов. Но разве эта правда неудобна? Проанализированное исследование по раннему вмешательству, которое мы привели в этом метаанализе, безусловно, имеет ограничения, и исследователи были первыми, кто указал на недостатки квазиэкспериментальных исследовательских проектов, использованных в их отчетах. Результаты голландских мероприятий по раннему вмешательству были проанализированы в квазиэкспериментальных исследовательских проектах, в которых интактные группы детей в условиях раннего вмешательства сравнивались с нормой. Это исследование придерживалось существующей практики ЕСЕС, когда дети уже были помещены в группы раннего вмешательства к началу исследования. В результате, в отличие от первых исследований в США (В1ок et а1., 2005), контролируемые исследования
со случайным распределением условий, контрольной группой и предварительным тестированием не проводятся.
Если рассматривать только достоверные экспериментальные исследования раннего вмешательства с научной точки зрения, то вывод заключается в том, что в настоящее время нет эмпирических данных, поддерживающих современную голландскую политику ЕСЕС: достоверные экспериментальные исследования отсутствуют. По нашему мнению, квазиэкспериментальные исследования, каждое из которых имеет свои сильные и слабые стороны, дополняют друг друга. В проспективных исследованиях дети интенсивно наблюдаются в течение и сразу после завершения программы раннего вмешательства; в ретроспективных исследованиях дети наблюдаются в очень больших выборках с долгосрочной перспективой. Кроме того, оба направления исследований складываются в целостную картину. Если считать квазиэкспериментальные исследования достаточными для научных заключений, то можно сделать вывод об отсутствии эмпирических данных, поддерживающих нынешнюю голландскую образовательную политику: в проведенных в Нидерландах квазиэкспериментальных исследованиях нет достаточного положительного эффекта. Следовательно, независимо от конкретной эпистемологической точки зрения или методологической оценки экспериментальных и квазиэкспериментальных данных, можно прийти к аналогичному выводу: нет сильной поддержки голландской политике ЕСЕС.
Последствия для практики
В голландском контексте раннее вмешательство было реализовано с большим вниманием к структурным характеристикам, но с меньшим вниманием к качеству процесса; с большим вниманием к методам, но в меньшей степени к профессиональному развитию персонала; с большим вниманием к развитию языковых навыков у детей, но с меньшим вниманием к другим областям развития детей раннего возраста, включая навыки счета и социально-эмоционального развития; и, наконец, с относительно высокой степенью внимания к сегрегации, а не интеграции маленьких детей. В результате голландская система раннего вмешательства не всегда может соответствовать современным научным данным об эффективных подходах к ЕСЕС ^а^а et а1., 2009). Недавние экспертные исследования ясно по-
казали, что разница в качестве преподавания между регулярным и ранним вмешательством невелика. Существует лишь небольшая разница в пользу групп раннего вмешательства, когда речь идет о качестве обучения. Кроме того, качество учебной поддержки является недостаточным как в стандартных группах, так и в группах раннего вмешательства, и это относится к развитию языка, грамотности и счета (Veen et al., 2014). Таким образом, разница в качестве образования между группами раннего вмешательства и сравнительными группами, по-видимому, слишком незначительна, чтобы оказать существенное влияние на развитие ребенка.
Наши результаты не противоречат результатам исследования Камилли с соавт. (2010), проводящих различие между исследованиями, в которых результаты специальной дошкольной программы сравниваются с контрольной группой без вмешательства и контрольной группой с альтернативной учебной программой. Последнее соответствует сравнению, сделанному в данном исследовании между группами раннего вмешательства и стандартными классами ECEC. В сравнении, проведенном Камилли и коллегами, между ранним вмешательством и альтернативной программой, так же, как и в настоящем обзоре, влияние специальных программ на развитие детей раннего возраста практически равно нулю для когнитивных и социальных навыков. Исходя из обзора Камилли и коллег, а также данного исследования, возникает тот же вопрос: имеют ли специальные крупномасштабные программы, предназначенные для детей дошкольного и раннего возраста, достаточную ценность по сравнению со стандартными программами в раннем детстве и оказывают ли они значительную помощь улучшению развития детей с ограниченными возможностями?
Заинтересованным сторонам в Нидерландах следует пересмотреть нынешнюю стратегию ECEC. Следуя системному подходу, включающему систему реагирования на вмешательства (Fletcher, Vaughn, 2009) или картирование вмешательств (Bartolomew et al., 2006), практика ECEC в Нидерландах должна систематически оцениваться, чтобы ответить на вопрос о том, как можно улучшить структурное и технологическое качество, чтобы увеличить влияние ECEC на уровне ребенка. Один из вопросов, на который должна ответить будущая оценка, заключается в том, является ли сочетание уров-
ней образовательной квалификации сотрудников, работающих с маленькими детьми, ниже уровня бакалавра, и отсутствие научно обоснованных программ работы с детьми в сочетании с отсутствием научно обоснованных программ обучения для профессионального развития неудачным и может объяснить слабые результаты ECEC в голландских условиях.■
Заявление о раскрытии информации
Авторы не сообщили о потенциальном конфликте интересов.
Литература / References
* Исследования, включенные в мета-анализ, отмечены звездочкой.
1. Bartolomew, L. K., G. S. Parcel, G. Kok, and N. H. Gottlieb. 2006. Planning Health Promotion Programs: An Intervention Mapping Approach. San Francisco, CA: Jossey-Bass.
2. Blok, H., R. G. Fukkink, E. C. Gebhardt, and P. P. M. Leseman. 2005. "The Relevance of Delivery Mode and Other Programme Characteristics for the Effectiveness of Early Childhood Intervention." International Journal of Behavioral Development 29 (1): 35-47.
3. *Bruggers, I., G. Driessen, and M. Gesthuizen. 2014. Voor- en vroegschoolse voorzieningen, effectief of niet? - De samenhang tussen deelname aan voor- en vroegschoolse voorzieningen en de taal- en rekenprestaties van leerlingen op de korte en langere termijn [Early Childhood Interventions, Effective or Otherwise? - The Relationship between Participation in Early Intervention Programmes and the Language and Numeracy Performance of Pupils in the Short and Long Term]. Mens en Maatschappij 89 (2): 117-150.
4. Burger, K. 2010. "How Does Early Childhood Care and Education Affect Cognitive Development? An International Review of the Effects of Early Interventions for Children from Different Social Backgrounds." Early Childhood Research Quarterly 25: 140-165.
5. Camilli, G., S. Vargas, S. Ryan, and S. W. Barnett. 2010. "Meta-analysis of the Effects of Early Education Interventions on Cognitive and Social Development." Teachers College Record 112 (3): 579-620.
6. Cohen, J. 1988. Statistical Power Analysis for the Behavioral Sciences. 2nd ed. Lawrence Erlbaum, NJ: Hillsdale.
7. Council of the European Union. 2011. Council Conclusions of 15 June 2011 on Early
Childhood Education and Care: Providing all our Children with the Best Start for the World of Tomorrow. Brussel, Belgium: Official Journal of the European Union.
8. *De Jong-Heeringa, J. L. 2008. Het programma Spelenderwijs; Implementatie en analyse in de gemeente [The SpelenderWijs Programme: Implementation and Analysis in the Municipality of Huizen]. Groningen: GION.
9. *Driessen, G. W. J. M. 2004. "A Large-scale Longitudinal Study of the Utilization and Effects of Early Childhood Education and Care in The Netherlands." Early Child Development and Care 174 (7-8): 667-689.
10. Driessen, G. 2012. Variatie in Voor- en Vroegschoolse Educatie; Een onderzoek naar de uiteenlopende wijzen waarop in gemeenten vorm wordt gegeven aan VVE [Variation in Early Childhood Interventions; A Study of the Wide Variety of Ways in Which Municipal Authorities Implement Early Childhood Interventions]. Nijmegen: ITS.
11. *Driessen, G., and J. Doesburgh. 2003. Voor- en vroegschoolse educatie en cognitieve en niet-cognitieve competenties van jonge kinderen [Early Childhood Interventions and the Cognitive and Non-cognitive Skills of Young Children]. Nijmegen: ITS.
12. Euridyce and Eurostat report. 2014. Key Data on Early Childhood Education and Care in Europe (2014 Edition). Brussel/Luxembourg: Euridyce and Eurostat.
13. Fletcher, J. M., and S. Vaughn. 2009. "Response to Intervention: Preventing and Remediating Academic Difficulties." Child Development Perspectives 3 (1): 30-37.
14. Fukkink, R., and H. Blok. 2010.Home-based and Institutional Early Childhood Education and Care Services. In International Encyclopedia of Education, edited by E. Baker, P. Peterson and B. McGaw, 2, 98-103. Oxford, England: Elsevier.
15. Fukkink, R., L. Jilink, and R. Oostdam. 2015. Met de blik op de toekomst; Een metaanalyse van studies uit de 21e eeuw naar effecten van vve in Nederland [With a View on the Future; A Meta-analysis of 21st Century Studies into the Effects of Pre-school]. Amsterdam, the Netherlands: Hogeschool van Amsterdam.
16. *Goede, D. de, and G. J. Reezigt. 2001. Implementatie en effecten van de Voorschool in Amsterdam [Implementation and Effects of Preschool in Amsterdam]. Groningen: GION.
17. Gorey, K. M. 2001. "Early Childhood Education: A Meta-analytic Affirmation of the
Short- and Long-term Benefits of Educational Opportunity." School Psychology Quarterly 16 (1): 9-30.
18. *Haan, A. de, E. Elbers, H. Hoofs, and P. Leseman. 2013. "Targeted Versus Mixed Preschools and Kindergartens: Effects of Class Composition and Teacher-Managed Activities on Disadvantaged Children's Emergent Academic Skills." School Effectiveness and School Improvement 24 (2): 177- 194.
19. Hall, J., K. Sylva, P. Sammons, E. Melhuish, I. Siraj-Blatchford, and B. Taggart. 2013. "Can Preschool Protect Young Children's Cognitive and Social Development? Variation by Center Quality and Duration of Attendance." School Effectiveness and School Improvement 24 (2): 155- 176.
20. Heckman, J. J. 2006. "Skill Formation and the Economics of Investing in Disadvantaged Children." Science 312: 1900-1902.
21. Hox, J. 2010. Multilevel Analysis; Techniques and Applications. 2nd ed. Oxford, UK: Routledge.
22. *Jong-Heeringa, J. L. de. 2008. Effecten op langere termijn van SpelenderWijs, een programma voor voor- en vroegschoolse educatie [Long-term Effects of SpelenderWijs, an Early Childhood Intervention Programme]. Groningen: GION.
23. *Karssen, A. M., I. van der Veen, A. Veen, M. van Daalen, and J. Roeleveld. 2013. Effecten van deelname aan en kwaliteit van voor- en vroegschoolse educatie op de ontwikkeling van kinderen [Effects of Participation in and Quality of Early Childhood Interventions on Children's Development]. Amsterdam: Kohnstamm Instituut.
24. Leseman, P. P. M., and P. L. Slot. 2014. "Breaking the Cycle of Poverty: Challenges for European Early Childhood Education and Care." European Early Childhood Education Research Journal 22 (3): 314-326.
25. *Nap-Kolhoff, E., T. van Schilt-Mol, M. Simons, L. Sontag, R. van Steensel, and T. Vallen. 2008. VVE onder de loep; Een studie naar de uitvoering en effectiviteit van voor- en vroegschoolse educatieve programma's [Early Childhood Interventions in the Spotlight: A Study on the Implementation and Effectiveness of Early Childhood Intervention Programmes]. Tilburg: IVA.
26. Nelson, G., A. Westhues, and J. MacLeod. 2003. "A Meta-analysis of Longitudinal Research on Preschool Prevention Programs for Children." Prevention and Treatment 6: 1-34.
27. Nores, M., and W. S. Barnett. 2010. "Benefits of Early Childhood Interventions Across the World: (Under) Investing in the Very Young." Economics of Education Review 29: 271-282.
28. Onderwijsinspectie. 2013. Extra aandacht nodig voor achterstanden bij het jonge kind; Eindrapport bestandsopname voor-en vroegschoolse educatie in Nederland [Extra Attention Needed for Deprivation of the Young Child; Final Report Assessment of Early Childhood Education in the Netherlands]. Utrecht, the Netherlands: Onderwijsinspectie.
29. Pianta, R. C., W. S. Barnett, M. Burchinal, and K. R. Thornburg. 2009. "The Effects of Preschool Education." Psychological Science in the Public Interest 10 (2): 49-88.
30. *Schooten, E. van, and P. Sleegers. 2008. Onderzoek naar de effectiviteit van VVE en peuterspeelzalen in Oosterhout en Den Bosch [Study on the Effectiveness of Early Childhood Interventions and Nurseries in Oosterhout and Den Bosch]. Amsterdam: Kohnstamm Instituut.
31. Urban, M. 2015. "From 'Closing the Gap' to an Ethics of Affirmation. Reconceptualising the Role of Early Childhood Services in Times of Uncertainty." European Journal of Education 50 (3): 293- 306.
32. Veen, A., R. Fukkink, M. Gevers, A. Heurter, K. Helmerhorst, and I. Bollen. 2014. Pedagogische kwaliteit gemeten in peuterspeelzalen; Uitkomsten NCKO en pre-COOL naast elkaar gezet. Amsterdam, the Netherlands: Kohnstamm Instituut.
33. Veen, A., R. Fukkink, and J. Roeleveld. 2006. Evaluatie van Startblokken en Basisontwikkeling; Implementatie en effecten van het programma Startblokken en Basisontwikkeling in het kader van Voor- en Vroegschoolse Educatie. Amsterdam, the Netherlands: SCO-Kohnstamm Instituut.
34. *Veen, A., J. Roeleveld, and M. van Daalen. 2008. Implementatie en effecten van Voor- en Vroegschoolse educatie in Rotterdam [Implementation and Effects of Early Childhood Interventions in Rotterdam]. Amsterdam: SCO-Kohnstamm Instituut.
35. *Veen, A., J. Roeleveld, and P. Leseman. 2000. Evaluatie van Kaleidoscoop en Piramide; Eindrapportage [Evaluation of Kaleidoscoop and Piramide. Final Report]. Amsterdam: SCOKohnstamm Instituut.
36. *Veen, A., M. Derriks, and J. Roeleveld. 2002. Een jaar later; Vervolgonderzoek evaluatie van Kaleidoscoop en Piramide [A Year Later; Follow-up Evaluation of Kaleidoscoop and Piramide]. Amsterdam: SCO-Kohnstamm Instituut.
