CC BY
39
СИСТЕМНЫЙ ПОДХОД В ВОСПИТАНИИ (К 100-ЛЕТИЮ СО ДНЯ РОЖДЕНИЯ _АКАДЕМИКА ЛЮДМИЛЫ ИВАНОВНЫ НОВИКОВОЙ)
УДК 37.012.8
НАУЧНАЯ ШКОЛА ЛЮДМИЛЫ ИВАНОВНЫ НОВИКОВОЙ КАК ЭКСПЕРТНОЕ СООБЩЕСТВО
Введение. Статья затрагивает проблему экспертизы воспитания и рассматривает характеристики экспертных методов и экспертных сообществ, анализирует аспект формирования авторского экспертного сообщества научной школы Л. И. Новиковой.
Цель статьи. Для понимания сущностных характеристик научной школы как экспертного сообщества, специфики экспертных сообществ в сфере воспитания необходимо определить сущность понятий «эксперт», «экспертное сообщество», рассмотреть исторический аспект идеи формирования экспертных сообществ, описать собственно экспертные методы и обосновать характеристики научной школы Л. И. Новиковой как экспертного сообщества.
Методология и методы исследования. В качестве методов исследования были использованы: анализ философской, социологической, психолого-педагогической литературы, анализ истории развития экспертных методов, изучение имеющегося опыта формирования экспертных сообществ в сфере воспитания, в частности — экспертного сообщества Л. И. Новиковой.
Результаты исследования. В статье подробно проанализированы требования к экспертам, определены характеристики экспертов как специалистов, рассмотрены черты экспертного сообщества в целом и в сфере воспитания, в частности, проведены аналогии научной шко-
Е.В.Киселева
Кандидат педагогических наук, доцент кафедры педагогики и психологии ИИГСОФГБОУ ВО «НГПУ», г. Новосибирск Е-mail: еlеna_mig@mail.ru Elena V. Kiseleva PhD (Education) Associate Professor, Chair of Pedagogy Psychology, Novosibirsk State Pedagogical University, Russia
Как цитировать статью: Киселева Е. В., Киселев Н. Н. Научная школа Людмилы Ивановны Новиковой как экспертное сообщество // Отечественная и зарубежная педагогика. 2018. Т. 1, № 4 (52). С.43-53.
Н.Н.Киселев
Кандидат социологических наук, доцент, проректор по воспитательной и социальной работе ФГБОУ ВО «НГПУ», г. Новосибирск Е-mail: nikоlai_kisеlеv@ mail.ru
Nikolay N. Kiselev
PhD (Sociology), Associate Professor, Vice-rector for Educational and Social Work, Novosibirsk State Pedagogical University, Russia
лы Л. И. Новиковой с экспертным сообществом.
Заключение. В целом допустимо констатировать, что понятия «оксперт» и «окспертное сообщество» имеют достаточную разработанность. Имеющиеся к настоящему времени теоретические разработки и накопленные эмпирические исследования отражают конкретные характеристики экспертов в сфере воспитания: высокий уровень компетентности в области воспитания, хороший уровень методологической и методической грамотности, выраженной личностно-про-фессиональной позицией с конкретным ориентиром: реализовывать развивающую функцию экспертизы, желание прилагать совместные усилия для лучшего результата. Определено, что отличительной особенностью научной школы Л. И. Новиковой как экспертного сообщества стало наличие в его профессиональном багаже сочетания проработанного теоретического подхода к воспитанию — теории воспитательных систем и четкого алгоритма анализа воспитания в конкретном учреждении. Анализ вышесказанного позволил рассмотреть экспертное сообщество, сложившееся в рамках научной школы Л. И. Новиковой, как компетентное сообщество специалистов в области теории и практики воспитания. Наличие такого сочетания — проработанного теоретического подхода и понятного практического инструментария — может служить хорошей основой для анализа воспитания в современных условиях.
Ключевые слова: экспертное сообщество, научная школа, эксперт, экспертиза процесса воспитания.
Введение. Научная школа Л. И. Новиковой известна среди ученых и практиков, занимающихся проблемами воспитания. Достаточно часто школу называют «незримым колледжем Л. И. Новиковой». Сегодня данная научная школа действует под эгидой Центра стратегии и теории воспитания личности Института стратегии развития образования РАО. Представители научной школы, на наш взгляд,— это особое сообщество, когда-то созданное Людмилой Ивановной, а именно — сообщество профессионалов, владеющих пониманием сущности воспитания, его качества и эффективности, способных выступать экспертами теории и практики воспитания. Людмила Ивановна ориентировала ученых и практиков на исследование воспитания, в результате чего сложилась не только обновленная методология теории воспитания, но и появился серьезный инструментарий для экспертизы процесса воспитания [7; 8; 11; 13]. Люди, появлявшиеся в команде Л. И. Новиковой (в дальнейшем — в ее научной школе) в тот или иной период, действительно
являлись «знатоками» либо теории, либо практики воспитания, либо и того, и другого. Постепенно формировалось своеобразное экспертное сообщество, не только владеющее понимаем теоретических основ воспитания, его инновационных тенденций, но и обладающее качественным инструментарием для экспертизы, развития и совершенствования практики воспитания. Данное экспертное сообщество развивалось от поколения к поколению. На сегодняшний день в коллективе школы Л. И. Новиковой «можно четко выделить пять поколений исследователей: ученых и практиков, изучающих и развивающих теорию воспитания» [14]. Среди них: Н. Л. Селиванова, А. В. Мудрик, О. С. Газман, В. А. Караковский, С. Д. Поляков, А. М. Сидоркин, Ю. С. Мануйлов,
A. В. Гаврилин, М. В. Воропаев, Л. В. Алиева, И. Д. Демакова, Д. В. Григорьев, М. В. Шакурова, А. И. Григорьева, Е. В. Киселева, П. В. Степанов, И. В. Степанова, А. Е. Баранов, Н. А. Баранова, И. Ю. Шустова,
B. М. Лизинский, Т. А. Ромм, Г. Ю. Беляев, И. С. Парфенова, М. С. Якушкина и многие другие. Все, кто на том или ином этапе присоединялся к школе Л. И. Новиковой, погружались в процесс исследования теории и практики воспитания. Результатом такого погружения и предшествующего опыта исследователей становилось понимание многих аспектов сущности воспитания. Это, в свою очередь, позволяло им становиться компетентными экспертами, способными анализировать содержание и процесс воспитания, решать основные задачи, которые в итоге экспертизы должны решить эксперты, — выявление потенциала и совершенствование объекта экспертизы, решение профессиональных задач, совершенствование технологий и методик воспитания.
Постановка проблемы, цель статьи. Экспертиза любого процесса или явления, в том числе и воспитания, требует обязательного участия специалистов, компетентных в конкретной области знаний (теории и практике), которые к тому же независимы от заказчика и не включены непосредственно в экспертируемую ситуацию. Такие специалисты становятся экспертами. Эксперт (от лат. Еxреrtus — опытный) — специалист, приглашаемый для выдачи квалифицированного заключения либо суждения по вопросу, рассматриваемому или обсуждаемому другими людьми, менее компетентными в данной сфере, чем специалист, проводящий экспертизу. Если обобщенно, это специалист, дающий заключение при рассмотрении какого-нибудь вопроса [9].
Эксперт в образовании чаще определяется как опытный специалист
с хорошей коммуникативной компетентностью, высоким уровнем методологической и методической грамотности, имеющий высшее образование, обладающий знаниями относительно дополнительного образования детей, подготовки программ и опытом их разработки, имеющий опыт участия в экспертизах в сфере образования.
Как отмечает Н. Л. Селиванова, формирование экспертного сообщества требует тщательного подбора экспертов. Прежде всего подчеркивается, что у эксперта должна быть выраженная личностно-профессиональная позиция. Понятно, что эксперту необходимо иметь предшествующий стаж практической работы в экспертируемой области. Он должен иметь широкий кругозор, обладать логическим мышлением, аналитическим складом ума, способностью реально оценивать ситуацию, быть выдержанным, понимать происходящие процессы с точки зрения их дальнейшего развития, владеть правилами делового этикета и постоянно повышать свою квалификацию. Понадобятся эксперту и навыки руководства. Эксперт должен быть объективным и беспристрастным, обеспечивать конфиденциальность информации, полученной в процессе деятельности [12].
Необходимость владения экспертами специализированным знанием подтвердили западные исследования педагогической экспертизы ^еЬЬ, 1аше8 М.) [21]. Был проведен эксперимент, в который привлекли учителей-экспертов (специально обучавшихся педагогике) и учителей — не-экспертов, и попросили их оценить понимание студентами выданной им визуальной информации по различным невербальным поведенческим знакам. Учителя с профильным педагогическим образованием считали эти знаки лучше и в целом дали более объективную оценку того, насколько эффективно было проведено занятие [21]. Данное исследование подтверждает специфические требования к личности эксперта, к его знаниям, либо к экспертному сообществу в целом.
Методы исследования. В качестве методов исследования были использованы анализ философской, социологической, психолого-педагогической литературы; изучение теоретических подходов научной школы, изучение имеющегося опыта педагогической экспертизы процесса воспитания (изучение отечественного и зарубежного опыта).
Результаты исследования. Выделяя основные характеристики экспертных сообществ, стоит обозначить проблему их формирования и становления. Часто экспертное сообщество рассматривают как специфическую форму общности ученых. Это обусловлено тем, что подобная
познавательная деятельность, как правило, носит групповой характер и обязательно предполагает непосредственное взаимодействие, обмен знаниями в реальной коммуникации. Исторически подобные общности существовали в рамках античной школы, затем с вместе университетами, когда возникли профессиональные общности. В ХХ в. на базе научных сообществ возникают различные экспертные общности. Подобные научные сообщества изучаются уже в первой половине ХХ в., что описано Т. Куном [5]. О научном сообществе как форме организации особого научного знания пишет М. Полани [10]. В середине ХХ в., точнее в 1970-х гг., стала актуализироваться весомость неформальных, неинституционализованных связей между членами научного сообщества. Считалось, что это значимо для формирования научных взглядов и роста научных результатов (Д. Прайс — идея «невидимого колледжа») [3; 6]. Экспертное сообщество становилось, по сути, следующим после научного сообщества уровнем развития специализированного знания по своим функциям — социальным и прикладным. Но ключевое отличие экспертного сообщества от научного — это тип знания, которым обладают его представители. Отличия экспертного знания от научного связано, прежде всего, с предметом изучения. Научное знание изучает то, что уже есть, экспертное знание направлено на наличную ситуацию, на выявление тенденций и, что особенно важно,— на прогноз, т.е. на то, что пока не присутствует в реальности. Формирование сценариев будущего (форсайт) — это область, где может быть использован профессионализм экспертов. Для выработки экспертного коллективного знания все же необходимы специальные методы. Одним из первых таких методов стал метод опроса исследователей, появившийся в ХХ столетии, — метод Дельфи фефЫ mеthоd) [16]. Чем быстрее развивается человечество, тем большее значение приобретают экспертные оценки ситуации, в которых присутствует прогноз, тактика и стратегия. Как отмечает А. В. Соколов, экспертные сообщества призваны отвечать на «вызов» существующей неопределенности, используя, например, форсайт как метод разработки сценариев возможных вариантов будущего. В сравнении с другими прогностическими методиками форсайт опирается на принцип, что желаемое будущее наступает тогда, когда его активно готовят согласованными усилиями собственно участники процесса и эксперты. Буквально форсайт означает «предвидение», но отвечает не просто на вопрос «что будет?», а «что нужно совместно сделать для того, чтобы было?». Таким
образом, результат форсайта — усовершенствование готовности заинтересованных сторон справляться с изменениями — как внешними, так и теми, которые стали результатом их действий [15].
Вышеназванные характеристики экспертных сообществ необходимо учитывать при осуществлении экспертизы. Экспертиза в целом, по своему содержанию, как считает В. С. Безрукова, представляет собой индивидуальную или коллективную форму экспертной квалифицированной оценки предложенных идей, условий, деятельности и процесса, профессионально подготовленную в этой области специалистами. Экспертиза проводится на основе обзора документов, изучения практической деятельности, обзора общественного мнения, всего того, что обеспечивает наиболее всестороннюю и достоверную информацию об объекте экспертизы [1]. По результатам экспертизы коллективно формируется единая экспертная оценка. Чаще всего экспертизу проводит группа экспертов. Это обусловлено тем, что коллективное мнение более достоверно оценивает объект экспертизы. Применение экспертизы возможно и там, где объем или качество информации, необходимой для принятия решений, сравнительно невелики. И здесь особенно важным, актуальным становится вопрос об уровне компетентности эксперта как специалиста в той сфере, которая экспертируется. Важно также понимание критериев этой компетенции. Значимым для реализации педагогической экспертизы является наличие у эксперта опыта экспертной деятельности в области педагогики и воспитания, а также опыта практической деятельности в данной сфере. Как утверждает О. Е. Лебедев, в современных условиях российской системы образования реализовать позицию эксперта непросто. Если вы давно работаете в определенной сфере, то не избежать стереотипов: стремление все определять в дихотомиях правильно/неправильно, хорошо/плохо. Для экспертов нового поколения этот путь будет легче, так как взросление в иных условиях сориентировало их на иные ценности и позиции. О. Е. Лебедев считает, что деятельность не в целях оценки, а в целях развития процесса, который является объектом экспертизы — вот ведущая задача эксперта. Поэтому так важна проблема объективности эксперта [6]. Понятно, что субъективности в мнениях эксперта не избежать, так как он опирается на личностный опыт, собственные установки и ценности. Редуцировать субъективность эксперта могут его профессиональные знания и компетентность в той сфере, в которой он реализуют экспертную деятельность. Западная на-
ука, исследующая экспертную деятельность, предлагает для повышения объективности использовать формирующее и суммативное оценивание [17; 18]. Конечно, желательно, чтобы эксперт проявлял гибкость мышления, корректировал свои позиции в ходе оценки информации. Важными качествами эксперта специалисты считают следующие: высокий уровень личностной и нравственной зрелости, способность оценить нетривиальные решения, способность объективного видения ситуации с разных позиций, наблюдательность, профессиональная интуиция, этичность, креативность, деликатность, творческость, принципиальность, автономность и т.п. [2]. Непосредственная коммуникация с представителями педагогического и детского коллективов учреждения — важное условие реализации педагогической экспертизы. Поэтому так важно учитывать уровень коммуникативной компетентности эксперта, особенно в педагогической экспертизе, где эксперт реализует как консультативную, так и развивающую функции. Западные исследователи экспертной деятельности, характеризуя деятельность экспертов, определяют четкий коммуникативный алгоритм, перечень тех вопросов, на которые должен ответить эксперт себе и которые должен задать во время экспертизы [20].
И, наконец, значение имеют характеристики самого экспертного сообщества. Опыт показывает, что взаимоотношения и правила взаимодействия в экспертном сообществе, как правило, влияют на результат и качество экспертизы не менее, чем уровень компетентности экспертов в данной сфере. Положительные отношения экспертов нивелируют межличностное противостояние между ними. Эффективность экспертизы во многом зависит от уровня профессионального общения и отношений в экспертном сообществе. Хороший уровень данных отношений значимо облегчает процесс экспертизы. «Профессиональный подход к сути экспертной деятельности предполагает также, на взгляд авторов, наличие нескольких внутренних уверенностей в личности эксперта: уверенность в том, что „я компетентен в сути вопроса"; уверенность в уважении со стороны коллег-экспертов; уверенность в том, что члены педагогического коллектива, где осуществляется экспертиза, доверяют моему мнению, уверенность, что я действительно вижу перспективу для коллектива и предлагаю эффективные шаги по дальнейшей оптимизации процесса воспитания и жизнедеятельности, уверенность, что я, как профессионал в данной сфере, нахожусь в режиме постоянного развития (знакомлюсь с новыми тенденциями, осваиваю новые методы и технологии, изучаю
передовой опыт и т.п.). Все названное дает эксперту право осуществлять экспертную деятельность, приносит профессиональный успех в ней» [4]. Кроме названных характеристик, эксперты должны обладать профессиональным авторитетом в коллективах, выдвигающих свою деятельность на экспертизу. Уровень профессионализма влияет на полноту реализации развивающего потенциала экспертизы, это отмечают и западные исследователи [19].
Заключение. Анализ вышесказанного позволяет рассмотреть научную школу Л. И. Новиковой как компетентное экспертное сообщество специалистов теории и практики воспитания. Названные выше характеристики экспертов и экспертного сообщества в полной мере относятся к представителям «колледжа Л. И. Новиковой»: высокий уровень компетентности в области воспитания, хороший уровень методологической и методической грамотности, выраженная личностно-про-фессиональная позиция с ориентиром на реализацию развивающей функции экспертизы, желание прилагать совместные усилия для достижения лучшего результата. Кроме того, отличительной особенностью экспертного сообщества Л. И. Новиковой стало наличие в его профессиональном багаже сочетания проработанного теоретического подхода к воспитанию — теории воспитательных систем и четкого алгоритма анализа воспитания в конкретном учреждении, когда компоненты воспитательной системы (в первую очередь их наличие) могут выступать индикатором некоего эталона организации воспитания. Анализ уровня развития того или иного компонента воспитательной системы в образовательном учреждении стал педагогическим инструментарием экспертизы процесса воспитания в школе. В 1990-х годах наличие такого сочетания — проработанного теоретического подхода и понятного практического инструментария — стало хорошим ответом на вызов неопределенности того периода в области воспитания. Те, кто присоединялся к научной школе Людмилы Ивановны и попадал в данное экспертное сообщество, вносил свой вклад в развитие теоретического и практического потенциала теории воспитания, в итоге развивался сам и пополнял сообщество экспертов, способных применять специализированное знание для совершенствоания теории и практики воспитания, развития научной школы.
Статья подготовлена в рамках гранта РФФИ, проект № 18-013-01053а.
Литература
1. Безрукова В. С. Основы духовной культуры: энциклопедический словарь педагога. Екатеринбург: ГОУ ВПО УГТУ-УПИ, 2000. 937 с.
2. Гуманитарная экспертиза. Возможности и перспективы. Новосибирск: Наука, 1992. С. 21.
3. Иванченко Г. В. Экспертные сообщества в постсоветском и западном мире (к постановке проблемы) // Экспертиза в современном мире: от знания к деятельности / под ред. Г. В. Иванченко, Д. А. Леонтьева. М., Смысл. 2006. С. 120-121.
4. Киселева Е. В. Развивающие возможности экспертного сообщества в сфере педагогической экспертизы процесса воспитания // Дополнительное образование детей в изменяющемся мире: развитие востребованности, привлекательности, результативности: материалы III Международный науч.-практ. конф. (Челябинск, Москва, 26-27 октября 2017 г.) / под ред. А. В. Кислякова, А. В. Щербакова. Челябинск: ЧИППКРО, 2017. 532 с.
5. Кун Т. Структура научных революций / пер. с англ. И. З. Налетова. М.: Прогресс, 1977. 300 с.
6. Лебедев О. Е. Главная задача эксперта — развитие опыта, который уже есть у школьной команды // Первое сент. 2000. № 22 (21.03). С. 2.
7. Лизинский В. М. Теория воспитательных систем столкнулась с реальностью // Вопросы воспитания 2014. № 4. С. 47-48.
8. Новикова Л. И. Педагогика воспитания. Избранные педагогические труды / под ред. Н. Л. Селивановой, А. В. Мудрика; сост. Е. И. Соколова. М., 2010. 335 с.
9. Ожегов С. И., Шведова Н. Ю. Толковый словарь русского языка: 80 000 слов и фразеологических выражений. 4-е изд., М., 1997. 944 с.
10. Полани М. Личностное знание. На пути к посткритической философии / под ред. В. А. Лекторского, В. А. Аршинова; пер. с англ. М. Б. Гнедовского, Н. М. Смирновой, Б. А. Старостина. М., 1995. 345 с.
11. Селиванова Н. Л. Воспитание в современном обществе: взгляд на проблему // Отечественная и зарубежная педагогика 2016. № 1. С. 18-19.
12. Селиванова Н. Л. Деятельность эксперта в оценке качества воспитания школы // Вопросы воспитания. 2012. № 3. С. 86-93.
13. Селиванова Н. Л., Степанов П. В. Стратегия развития воспитания: потенциальные пути реализации // Теория и практика воспитания: материалы Междунар. науч.-практ. конф., посв. 120-летию со дня рождения Л. С. Выготского (Москва, 7-8 июня 2016 г.). М: Изд-во Московского психолого-социального университета, 2016. С. 551-555.
14. Селиванова Н. Л., Степанов П. В., Шакурова М. В. Научная школа Л. И. Новиковой, основные идеи и перспективы развития // Отечественная и зарубежная педагогика. 2014. № 1. С. 39.
15. Соколов А. В. Форсайт: взгляд в будущее // Форсайт. 2007. № 1 (1). С. 8-15.
16. Экспертиза в социальном мире: от знания к деятельности/ под ред. Г. В. Иванченко, Д. А. Леонтьева. М.: Смысл, 2006. 454 с.
17. Kalathaki M. Evaluation tool for the application of discovery teaching method in the Greek environmental school projects // World Journal of Education. 2015. Т. 5. № 2. P. 40.
18. Madsen T. Evaluation of a Leadership Program's Impact on Participants and Civic Engagement. Walden University, 2014.
19. Preskill H., Parkhurst M., Splansky Juster J. Guide to evaluating collective impact: Learning and evaluation in the collective impact context [Электронный ресурс]. URL: http: www. fsg. org/collective-impact-forum Roberts, 2010. The dissertation journey (2nd ed.). Thousand Oaks, CA: Corwin. 2014
20. Taylor-Powell E., Steele S., Douglah M. Planning a program evaluation. Madison, WI: University of Wisconsin Cooperative Extension. 1996.
21. Webb J. M., E. M. Diana, P. Luft., et al. Influence of pedagogical expertise and feedback on assessing student comprehension from nonverbal behavior // The Journal of Educational Research. 1997. No. 91.2. P. 89-97.
SCIENTIFIC SCHOOL OF L. I. NOVIKOVA AS AN EXPERT COMMUNITY
Introduction. The authors of the article consider the problem of examination of upbringing, the characteristics of expert methods and expert communities, and also analyze the aspect of the formation of the author's expert community of the scientific school of L. I. Novikova.
Purpose of the article. To understand the essential characteristics of the scientific school as an expert community, the specific features of expert communities in the field of education, it is necessary to determine the essence of the concepts of "expert", "expert community", to consider the historical aspect of the idea of formation of expert communities, to describe the actual expert methods and to justify the characteristics of L. I. Novikova's scientific school.
Methodology and research methods. The following ones were used as research methods: analysis of philosophical, sociological, psychological and pedagogical literature, analysis of the history of expert methods, the study of the existing experience of the formation of expert communities in the field of education, the expert community of the L. I. Novikova's scientific school in particular.
Research results. The article analyzes in detail the requirements for experts, the characteristics of experts as specialists, the features of the expert community in general and in the field of education, in particular, the analogy of L. I. Novikova's scientific school of with the expert community.
Conclusion. In general, we can say that the concept of "expert" and "expert community" has been sufficiently developed. Available to date, theoretical developments and accumulated empirical research reflect the specific characteristics of expertize in the field of education: the possession of a high level of competence in the field of education, a good level of methodological and methodical literacy, expressed personal and professional position with a guide-to implement the developing function of expertise, with the desire to make joint efforts for better results. It is determined that a distinctive feature of the scientific school of L. I. Novikova as an expert community was the presence in his professional baggage of a combination of worked out theoretical approach to education — the theory of educational systems and a clear algorithm for the analysis of education in a particular institution. The analysis of the above allowed us to consider the expert community formed within the framework of the scientific school of L. I. Novikova as a competent community of specialists in the theory and practice of education. The presence of such a combination, namely, a well-developed theoretical approach and an understandable practical toolkit can serve as a good basis for analyzing upbringing in modern conditions.
Keywords: expert community, scientific school, expert, examination of the process of education.
References
• Bezrukova V. S. Osnovy duhovnoj kul'tury: enciklopedicheskij slovar' pedagoga. Ekaterinburg: GOU VPO UGTU-UPI, 2000. 937 s. [In Rus].
• Gumanitarnaya ekspertiza. Vozmozhnosti i perspektivy. Novosibirsk: Nauka, 1992. S. 21. [In Rus].
• Ivanchenko G. V. Ekspertnye soobshchestva v postsovetskom i zapadnom mire (k postanovke prob-lemy) // Ekspertiza v sovremennom mire: ot znaniya k deyatel'nosti / pod red. G. V. Ivanchenko, D. A. Leont'eva. M., Smysl. 2006. S. 120-121. [In Rus].
• Kiseleva E. V. Razvivayushchie vozmozhnosti ekspertnogo soobshchestva v sfere pedagogicheskoj ekspertizy processa vospitaniya // Dopolnitel'noe obrazovanie detej v izmenyayushchemsya mire: raz-vitie vostrebovannosti, privlekatel'nosti, rezul'tativnosti: materialy III Mezhdunarodnyj nauch.-prakt. konf. (Chelyabinsk, Moskva, 26-27 oktyabrya 2017 g.) / pod red. A. V. Kislyakova, A. V. Shcherbakova. Chelyabinsk: ChIPPKRO, 2017. 532 s. [In Rus].
• Kun T. Struktura nauchnyh revolyucij / per. s angl. I. Z. Naletova. M.: Progress, 1977. 300 s. [In Rus].
• Lebedev O. E. Glavnaya zadacha eksperta — razvitie opyta, kotoryj uzhe est' u shkol'noj komandy // Pervoe sent. 2000. № 22 (21.03). S. 2. [In Rus].
• Lizinskij V. M. Teoriya vospitatel'nyh sistem stolknulas' s real'nost'yu // Voprosy vospitaniya 2014. № 4. S. 47-48. [In Rus].
• Novikova L. I. Pedagogika vospitaniya. Izbrannye pedagogicheskie trudy / pod red. N. L. Selivanovoj,
A. V. Mudrika; sost. E. I. Sokolova. M., 2010. 335 s. [In Rus].
• Ozhegov S. I., Shvedova N. Yu. Tolkovyj slovar' russkogo yazyka: 80 000 slov i frazeologicheskih vyr-azhenij. 4-e izd., M., 1997. 944 s. [In Rus].
• Polani M. Lichnostnoe znanie. Na puti k postkriticheskoj filosofii / pod red. V. A. Lektorskogo, V. A. Arshinova; per. s angl. M. B. Gnedovskogo, N. M. Smirnovoj, B. A. Starostina. M., 1995. 345 s. [In Rus].
• Selivanova N. L. Vospitanie v sovremennom obshchestve: vzglyad na problem // Otechestvennaya i zarubezhnaya pedagogika 2016. № 1. S. 18-19. [In Rus].
• Selivanova N. L. Deyatel'nost' eksperta v ocenke kachestva vospitaniya shkoly // Voprosy vospitaniya. 2012. № 3. S. 86-93. [In Rus].
• Selivanova N. L., Stepanov P. V. Strategiya razvitiya vospitaniya: potencial'nye puti realizacii // Teoriya i praktika vospitaniya: materialy Mezhdunar. nauch.-prakt. konf., posv. 120-letiyu so dnya rozhdeniya L. S. Vygotskogo (Moskva, 7-8 iyunya 2016 g.). M: Izd-vo Moskovskogo psihologo-social'nogo uni-versiteta, 2016. S. 551-555. [In Rus].
• Selivanova N. L., Stepanov P. V., Shakurova M. V. Nauchnaya shkola L. I. Novikovoj, osnovnye idei i perspektivy razvitiya // Otechestvennaya I zarubezhnaya pedagogika. 2014. № 1. S. 39. [In Rus].
• Sokolov Л. V. Forsajt: vzglyad v budushchee // Forsajt. 2007. № 1 (1). S. 8-15. [In Rus].
• Ekspertiza v social'nom mire: ot znaniya k deyatel'nosti/ pod red. G. V. Ivanchenko, D. A. Leont'eva. M.: Smysl, 2006. 454 s. [In Rus].
• Kalathaki M. Evaluation tool for the application of discovery teaching method in the Greek environmental school projects // World Journal of Education. 2015. T. 5. № 2. P. 40.
• Madsen T. Evaluation of a Leadership Program's Impact on Participants and Civic Engagement. Walden University, 2014.
• Preskill H., Parkhurst M., Splansky Juster J. Guide to evaluating collective impact: Learning and evaluation in the collective impact context [Elektronnyj resurs]. URL: http: www. fsg. org/collective-impact-forum Roberts, 2010. The dissertation journey (2nd ed.). Thousand Oaks, CA: Corwin. 2014
• Taylor-Powell E., Steele S., Douglah M. Planning a program evaluation. Madison, WI: University of Wisconsin Cooperative Extension. 1996.
• Webb J. M., E. M. Diana, P. Luft., et al. Influence of pedagogical expertise and feedback on assessing student comprehension from nonverbal behavior // The Journal of Educational Research. 1997. No. 91.2. P. 89-97.
