CC BY
70
ART 14079
научно-методический электронный журнал
УДК 37.031
Горев П. М., Утёмов В. В. Оценивание метапредметных результатов освоения программ общего образования на основе коэффициента интеллектуальности // Концепт. - 2014. - № 04 (апрель). -ART 14079. - 0,4 п. л. - URL: http://e-kon-cept.ru/2014/14079.htm. - Гос. per. Эл № ФС 7749965. - ISSN 2304-120Х.
Горев Павел Михайлович,
кандидат педагогических наук, доцент кафедры математического анализа и методики обучения математике ФГБОУ ВПО «Вятский государственный гуманитарный университет», г. Киров pavel-gorev@mail.ru
Утёмов Вячеслав Викторович,
кандидат педагогических наук, доцент кафедры педагогики ФГБОУ ВПО «Вятский
государственный гуманитарный университет», г. Киров
utemov@dr.com
Оценивание метапредметных результатов освоения программ общего образования на основе коэффициента интеллектуальности
Аннотация. В статье рассматриваются вопросы оценивания качества образования через оценку метапредметных результатов освоения обучающимися программ общего образования. В качестве основного средства оценивания предлагается использование систем задач открытого типа по трем направлениям: математическому, гуманитарному и естественнонаучному. На основе анализа более чем 200 000 работ учащихся авторами сконструирована и апробирована на практике интегрированная оценка относительного характера - коэффициент интеллектуальности, отражающая степень освоения учащимися образовательных программ на уровне метапредметных результатов.
Ключевые слова: качество образования, метапредметные результаты, задачи открытого типа, коэффициент интеллектуальности.
Раздел: (1) педагогика; история педагогики и образования; теория и методика обучения и воспитания (по предметным областям).
Проблема оценки качества в настоящее время является одной из особо острых проблем для системы образования Российской Федерации. Общая черта системных изменений, как на федеральном, так и на региональном уровне, - нацеленность на достижение качества образования, совершенствование системы его оценки и обеспечение соответствия качества образования сегодняшним требованиям общества.
Одним из направлений модернизации системы российского образования становится совершенствование контроля и управления качеством образования. В одобренных правительством приоритетных направлениях развития образовательной системы Российской Федерации отмечается, что необходимо «сформировать общенациональную систему оценки качества образования, получаемого гражданином» [1].
Однако сегодня в образовании существует большое разнообразие в определении подходов к содержанию понятия «качество образования», под которым, например, Л. Б. Железнова понимает «социальную категорию, определяющую состояние и результативность процесса образования в обществе, его соответствие потребностям и ожиданиям общества (различных социальных групп) в развитии и формировании гражданских, бытовых и профессиональных компетенций личности» [2].
К тому же среди авторов, работающих над исследованием этой проблемы (В. А. Болотов, Л. Б. Железнова, Б. К. Коломиец, А. И. Суббота, Г. И. Щукина), нет единой точки зрения по вопросам определения количества «критериев качества» и их качественных показателей. Как считает В. А. Болотов, «оценка качества образования подразумевает оценку качества образовательных достижений обучающихся и оценку
f\j ■Л f\j
КОНЦЕПТ
Горев П. М., Утёмов В. В. Оценивание метапред-метных результатов освоения программ общего образования на основе коэффициента интеллек-_ _ туальности // Концепт. - 2014. -№ 04 (апрель). -
научно-методический электронный журнал S.rlS/WOmhtm. - Г^рег. эЖ~С77-ART 14079 УДК 37.03 1 49965. - ISSN 2304-120Х.
качества образовательного процесса. Под качеством образования понимается интегральная характеристика системы образования, отражающая степень соответствия реальных достигаемых образовательных результатов нормативным требованиям, социальным и личностным ожиданиям» [3].
Построение общероссийской системы оценки качества образования согласно приоритетному направлению развития образовательной системы Российской Федерации, на наш взгляд, должно базироваться на двух аспектах.
Во-первых, это опыт многолетних международных исследований по оценке качества образования, таких как программа PISA (Programme for International Student Assessment), сравнительное исследование качества математического и естественнонаучного образования TIMSS (Trends in Mathematics and Science Study), оценка подготовки школьников IAEP, исследование по граждановедческому образованию CIVIC, исследование качества чтения и понимания текста PIRLS (Progress in International Reading Literacy Study) и другие.
В этих исследованиях активно участвовали ученики наших учебных заведений, но результаты независимой оценки качества образования были рассмотрены в России индифферентно. В то же время зарубежный опыт анализа соответствия реальных достигаемых образовательных результатов социальным и личностным ожиданиям трудно переоценить, обратив внимание, например, на экономики зарубежных стран, таких как Франция (исследовательская группа PISA), США (группа IAEP), Нидерланды (группа TIMSS) [4].
Во-вторых, предполагаемые достигаемые образовательные результаты задаются нормативно, поэтому действующие федеральные государственные образовательные стандарты (ФГОС) общего образования [5-7] предъявляют требования к результатам освоения основной образовательной программы начального, основного и среднего (полного) общего образования. Стандарты устанавливают требования к результатам обучающихся, освоивших основную образовательную программу общего образования: личностным, метапредметным и предметным.
Таким образом, первый аспект - опыт международных исследований по оценке качества образования - и второй аспект - требования образовательных стандартов -сужают проблему оценки качества образования до оценки метапредметных результатов. Метапредметность изначально заложена в диагностических материалах международных исследований. Оценивание предметных результатов сводится к оцениванию знаний и умений стандартами, что достаточно методически проработано в рамках общего образования. Оценивание личностных результатов сводится к диагностическим методикам по психологии и социальной педагогике, что также методически проработано и неоднократно апробировано. Метапредметные же результаты для отечественной системы образования относительно новое явление, поэтому и система оценивания таких результатов в настоящее время не проработана до прикладного уровня.
Метапредметные результаты включают в себя освоенные обучающимися межпредметные понятия и универсальные учебные действия (регулятивные, познавательные, коммуникативные), способность их использования в познавательной и социальной практике, самостоятельность в планировании и осуществлении учебной деятельности и организации учебного сотрудничества с педагогами и сверстниками, способность к построению индивидуальной образовательной траектории, владение навыками учебно-исследовательской, проектной и социальной деятельности.
Для такого оценивания результатов нужны специальные задания, не сводящиеся просто к применению предметных знаний. На наш взгляд, такими заданиями могут выступить задачи открытого типа [8-11].
КОНЦЕПТ
Горев П. М., Утёмов В. В. Оценивание метапред-метных результатов освоения программ общего образования на основе коэффициента интеллектуальности // Концепт. - 2014. - № 04 (апрель). -ART 14079. - 0,4 п. л. - URL: http://e-kon-cept.ru/2014/14079.htm. - Гос. рег. Эл № ФС 7749965. - ISSN 2304-120X.
научно-методический электронный журнал ART 14079 УДК 37.031
Рассмотрим отдельно задачи закрытого и открытого типа. Для этого сначала выделим характеристики основных параметров задач закрытого типа.
Задачи данного типа предусматривают четкую и однозначную трактовку условия проблемы, из которого зачастую единственный способ решения напрашивается сам собой. В результате задача имеет, как правило, одно верное решение. Такие задачи не дают ребенку возможности в полной мере проявлять и развивать креативность как интегральное метапредметное качество (рис. 1).
Условие
Условие содержит все необходимые данные в явном виде
Решение
Метод решения
известен и представляет собой цепочку формальных операций
Ответ
Правильный ответ определен однозначно
Рис. 1. Структурная схема задач закрытого типа
Пример. Выделите части слова «мухоловка».
Вспоминаем основные морфемы. Перечисляем их. Находим соответствующие части слова. Проверяем, и ответ получен. Перед нами задача с четким условием, содержащая все необходимые данные. Метод решения известен и задан в самой задаче. Ответ единственный. Это задача закрытого типа.
Задания такого типа дидактически ценны при отработке какого-либо конкретного приема решения или при изучении нового материала. Эти задачи основаны на готовых фактах и знаниях и решаются при полной информации о способе решения, условиях и, иногда, ответе, достоверность которого не вызывает сомнения. Закрытые задачи являются основой традиционной парадигмы образования, зачастую создавая ситуацию игнорирования креативности ребенка.
Теперь рассмотрим задачи открытого типа. Для этого выделим характеристики их основных параметров (рис. 2).
Условие
О
О ° О
оо°<
Решение
Методы решения разнообразные
Ответ
О ~ W О Условие «размытое», и
есть степень q неопределенности
О
О
Набор возможных ответов
Рис. 2. Структурная схема задач открытого типа
Задачи открытого типа имеют размытое условие, из которого недостаточно ясно, как действовать, что использовать при решении, но понятен требуемый результат. Такие задачи предполагают разнообразие путей решения, которые не являются пря-
ru Q м
ART 14079
научно-методический электронный журнал
УДК 37.031
Горев П. М., Утёмов В. В. Оценивание метапред-метных результатов освоения программ общего образования на основе коэффициента интеллектуальности // Концепт. - 2014. - № 04 (апрель). -ART 14079. - 0,4 п. л. - URL: http://e-kon-cept.ru/2014/14079.htm. - Гос. per. Эл № ФС 7749965. - ISSN 2304-120Х.
молинейными; двигаясь по ним, попутно приходится преодолевать возникающие препятствия. Вариантов решений много, но нет понятия правильного решения: решение либо применимо к достижению требуемого результата, либо нет.
Пример. Как, на ваш взгляд, древнегреческий мыслитель Пифагор определил, что Земля шарообразная?
Из условия задачи неясно, что необходимо использовать для ее решения. Контрольное решение заключается в использовании знаний из дисциплин естественнонаучного цикла и также своей наблюдательности, находчивости.
Задачи открытого типа предусматривают возможность применения стандартных знаний в нестандартной ситуации, при выполнении таких заданий ученик может проявить способность к логическому и абстрактному мышлению, то есть умение классифицировать, обобщать и проводить аналогии, прогнозировать результат, применяя интуицию, воображение, фантазию, и, главное, такие задачи способствуют развитию креативности как интегрального метапредметного качества.
Деление задач на задачи закрытого и открытого типа имеет размытые границы, не всегда можно точно отнести рассматриваемую задачу к тому или иному типу; для этого, на наш взгляд, целесообразно рассмотреть задачи, занимающие пограничное положение, - задачи частично открытого типа.
Учебные задачи частично открытого типа в школьной практике встречаются как задачи «под звездочкой» или как задачи творческого характера. В задачах данного типа может встречаться закрытый характер условия, решения и ответа вместе, а может - каждого по отдельности. Таким образом, задачи частично открытого типа занимают граничное положение между рассмотренными типами задач и зачастую используются на репродуктивном уровне освоения учебного материала.
Приведём пример одной из типизаций частично открытых задач, выявленной нами при анализе систем задач учебной литературы (см. табл. 1).
С задачами частично открытого типа учащийся с высокой степенью интеллектуальной одаренности, как показало наше исследование, справляется хорошо, в отличие от задач открытого типа. Это соотносится с концепцией Дж. Гилфорда, в которой он выделяет специфическую способность, не сводимую к интеллекту, - креативность. Проанализировав свое исследование, он выявил слабую корреляцию между результатами учащихся с высокой интеллектуальной одаренностью и учащихся, выполняющих творческие задания.
Для выделения уровня сформированности метапредметности результатов можно использовать апробированные критерии оценивания учебных задач открытого типа, полученные на основе обобщения показателей креативности Дж. Гилфорда и Е. Торренса (см. табл. 2).
Таким образом, критерии оценивания задач открытого типа определяют восьмибалльную шкалу, которая характеризует уровень проявления учащимися метапред-метных результатов освоения программ.
Оценивание решений системы задач открытого типа, состоящей из 6 заданий по естественнонаучному, гуманитарному и математическому направлениям (по два задания), может стать количественным показателем сформированности метапредмет-ных достижений обучающегося. Точность оценивания уровня проявления метапред-метности учащимися возможно учесть только при решении ими тщательно подобранной системы задач открытого типа. Тогда итоговым уровнем проявления креативности можно считать суммарный балл по итогам решения всех шести задач.
КОНЦЕПТ
научно-методический электронный журнал ART 14079 УДК 37.031
Горев П. М., Утёмов В. В. Оценивание метапред-метных результатов освоения программ общего образования на основе коэффициента интеллектуальности // Концепт. - 2014. - № 04 (апрель). -ART 14079. - 0,4 п. л. - URL: http://e-kon-cept.ru/2014/14079.htm. - Гос. рег. Эл № ФС 7749965. - ISSN 2304-120X.
Таблица 1
Типизация задач частично открытого типа
Задача открытого типа
Закрытый характер условия (понятно, что искать)
На плоскости имеется отрезок с координатами первой вершины (1; 5) и длиной 3. Определи возможные координаты второй вершины
Из условия ясно, что надо искать. Вся необходимая информация заложена в формулировке задачи. Методов решения и ответов несколько
Закрытый характер решения (понятно, как искать)
1
Посмотри на изображения цифр. В изображении цифры 1 один угол, цифры 2 - два угла, цифры 3 - три угла. Подумай, как по такому закону изобразить цифры 4 и 8_
Условие можно интерпретировать неоднозначно, определяя углы не только внутренние, но и смежные с ним (острые или тупые). Поэтому и вариантов ответов несколько. Но способ решения единственный и четко задан в формулировке задачи_
а п
и ти
о г о от
ы кр
тк
о о
г
ч
и ти
о
а ч а ч а д а З
Закрытый характер ответа (понятно, что получить)
На вопрос учителя «Что вы можете нарисовать при помощи трёх окружностей?» Петя ответил: «Я могу нарисовать снеговика». Вася вскричал: «А я - тарелку с ягодой!» Сергей пробормотал: «А я могу нарисовать винт самолета». Попробуй и ты нарисовать, используя только три окружности, эти объекты_
Что требуется получить, ясно. Но формулировка не предусматривает однозначного метода решения, условие не дает полной информации, как ребята рисовали объекты (каких размеров использовали окружности, пересекались ли они и т. д.)
Закрытый характер условия и решения (понятно, что и как искать, но ответ не единственный)
Обычная развертка куба требует полосы бумаги шириной не менее трех квадратов-граней. Можно ли сделать развертку куба из полоски бумаги шириной в 3 грани?
Информации для решения достаточно. Метод решения заключается в мысленном эксперименте развертки куба, и он единственный. Ответов ровно 10 (с точностью до движения)_
Закрытый характер условия и ответа (понятно, что искать и получать, но методов решения несколько)
По закону Архимеда любое не находящееся в равновесии тело в жидкости либо всплывает, либо тонет, иного не дано. Однако есть такая жидкость, что, если бросить в нее обыкновенное куриное яйцо, произойдет удивительная вещь -яйцо будет периодически всплывать и тонуть. В чем тут дело и что это за жидкость?
Ответ основан на использовании химических реакций, например с соляной кислотой. Но в любом случае ответом будет идея использования пузырьков газа
Закрытый характер решения и ответа (понятно, как искать и что получить, но в условии информации недостаточно)
Можно ли определить размеры башни по ее фотографии? В каких случаях? Аргументируй свои выводы
Заметим, что решение и ответ единственные, основанные на подобии фигур. Но для учащегося, незнакомого с признаками подобия, в условии задачи будет содержаться неопределённость
Задача закрытого типа
PU г м
КОНЦЕПТ
научно-методический электронный журнал ART 14079 УДК 37.031
Горев П. М., Утёмов В. В. Оценивание метапред-метных результатов освоения программ общего образования на основе коэффициента интеллектуальности // Концепт. - 2014. - № 04 (апрель). -ART 14079. - 0,4 п. л. - URL: http://e-kon-cept.ru/2014/14079.htm. - Гос. рег. Эл № ФС 7749965. - ISSN 2304-120X.
0!
Таблица 2
Критерии оценивания задач открытого типа
Баллы Эффективность (достигнуто ли требуемое в задаче?) Оптимальность (оправдано ли такое решение?) Оригинальность (решение новое или известное ранее?) Разработанность (ход решения подробный или на уровне идей?)
2 Предложенное решение позволит четко понять, как достигнуть результата В решении использован тот или иной метод, благодаря которому получилось достаточно ёмкое, чёткое и оптимальное красивое решение Решение оригинальное, встречается менее чем у 5% респондентов Четко и грамотно обосновано решение и обоснованы все действия
1 В целом ход решения понятен и результата так достигнуть можно, но некоторые моменты решения не продуманы или нечетко объяснены Решение оптимально, но некоторые моменты процесса решения можно значительно упростить Решение встречается в ответах редко: от 5 до 10% респондентов Решение содержится на уровне идей, которые возможно довести до разумного обоснования и завершения
0 По решению неясно, как можно достигнуть искомого результата Решение слишком громоздкое; использование многих приёмов неоправданно Решение стандартное, встречается более чем у 10% респондентов Не представлен или непонятен ход решения задачи
Анализ исследований, осуществляемых нами с 2008 года в при подготовке, проведении, проверке и аналитической оценке результатов эвристических олимпиад «Совенок» и «Прорыв», содержащих системы задач открытого типа, в которых приняли участие более 200 000 школьников из разных регионов России и ближнего зарубежья, показывает, что такие системы могут являться средством оценивания метапредметных результатов освоения основной образовательной программы общего образования, требования к которым содержатся в образовательных стандартах (см. раздел 2 ФГОС).
Для нормализации полученных результатов можно использовать интегрированную оценку относительного характера - метапредметный коэффициент интеллектуальности.
По аналогии с тестами интеллектуальности (такими, например, как Ю) коэффициент интеллектуальности обозначает отношение «умственного возраста» к реальному хронологическому возрасту испытуемого.
Подсчёт коэффициента интеллектуальности производится отдельно по выборке для каждой возрастной группы в соответствии с нормальным распределением баллов участников таким образом, чтобы в доверительный интервал 90-110 тестовых баллов попадало около 50% участников (с точностью до равных баллов); результат ниже 90 тестовых баллов или выше 110 тестовых баллов показывали примерно по 25% участников (с точностью до равных баллов).
Таким образом, интеграционный результат выполнения системы задач открытого типа тесно связан с метапредметными результатами освоения школьниками основных образовательных программ. Оценкой метапредметности может служить ме-тапредметный коэффициент интеллектуальности, отражающий общие способности человека, которые выражают познавательную активность субъекта и его возможности к усвоению новых знаний, действий, сложных форм деятельности.
В связи с этим считаем, что использование метапредметного коэффициента интеллектуальности в общероссийской системе оценки качества образования и модер-
КОНЦЕПТ
Горев П. М., Утёмов В. В. Оценивание метапред-метных результатов освоения программ общего образования на основе коэффициента интеллектуальности // Концепт. - 2014. - № 04 (апрель). -ART 14079. - 0,4 п. л. - URL: http://e-kon-cept.ru/2014/14079.htm. - Гос. рег. Эл № ФС 7749965. - ISSN 2304-120X.
научно-методический электронный журнал ART 14079 УДК 37.031
низация на ее основе системы управления качеством образования будут способствовать повышению эффективности образования и созданию условий для формирования новой модели в этой области.
Ссылки на источники
1. Распоряжение Правительства РФ от 17.11.2008 № 1662-р (ред. от 08.08.2009) «О Концепции долгосрочного социально-экономического развития Российской Федерации на период до 2020 года».
2. Железнова Л. Б. Результативность образовательной деятельности в сфере ДО. - URL: http://blank.orenipk.ru/Text/t43_1.htm.
3. Болотов В. А. Становление общероссийской системы оценки качества образования. - URL: http://www.obrnadzor.gov.ru/files/attest2007/46316820.doc.
4. Сайт центра оценки качества образования Института содержания и методов обучения Российской академии образования. - URL: http://www.centeroko.ru.
5. Приказ Минобрнауки России от 06.10.2009 № 373 «Об утверждении и введении в действие федерального государственного образовательного стандарта начального общего образования».
6. Приказ Минобрнауки РФ от 17.12.2010 № 1897 «Об утверждении федерального государственного образовательного стандарта основного общего образования».
7. Приказ Минобрнауки России от 17.05.2012 № 413 «Об утверждении федерального государственного образовательного стандарта среднего (полного) общего образования».
8. Горев П. М., Утёмов В. В. Формула творчества: Решаем открытые задачи. Материалы эвристической олимпиады «Совёнок». - Киров: Изд-во ВятГГУ, 2011. - 288 с.
9. Утёмов В. В., Зиновкина М. М., Горев П. М. Педагогика креативности: Прикладной курс научного творчества. - Киров: Изд-во МЦИТО, 2013. - 212 с.
10. Зиновкина М. М., Гареев Р. Т., Горев П. М., Утёмов В. В. Научное творчество: инновационные методы в системе многоуровневого непрерывного креативного образования НФТМ-ТРИЗ. - Киров: Изд-во ВятГГУ, 2013. - 109 с.
11. Михайлов В. А., Горев П. М., Утёмов В. В. Научное творчество: Методы конструирования новых идей. - Киров: Изд-во МЦИТО, 2014. - 94 с.
Pavel Gorev,
Candidate of Pedagogic Sciences, Associate Professor at the chair of mathematical analysis and methods of teaching mathematics, Vyatka State University of Humanities, Kirov
pavel-gorev@mail.ru Vyacheslav Utemov,
Candidate of Pedagogical Sciences, Associate Professor at the chair of pedagogics, Vyatka State University of Humanities, Kirov utemov@dr.com
Estimation of metasubject results of mastering the general educational programs based on intelligence quotient Abstract. The authors examine the evaluation of education quality through the evaluation of metasubject results of mastering the general educational programs. Open type tasks in three directions (mathematical, humanities and natural problems) are proposed as he main mean of evaluation. The authors designed and tested the integrated assessment of the relative character - intelligence quotient - reflecting the degree of mastering the general educational programs at the level of metasubject results. The intelligence quotient is based on the analysis of more than 200,000 works of pupils.
Key words: quality of education, metasubject results, open type tasks, intelligence quotient. References
1. Rasporjazhenie Pravitel'stva RF ot 17.11.2008 № 1662-r (red. ot 08.08.2009) "O Koncepcii dol-gosrochnogo social'no-jekonomicheskogo razvitija Rossijskoj Federacii na period do 2020 goda" (in Russiаn).
2. Zheleznova, L.B. Rezul'tativnost' obrazovatel'noj dejatel'nosti v sfere DO. Available at: http://blank.orenipk.ru/Text/t43_1.htm (in Russiаn).
3. Bolotov, V.A. Stanovlenie obshherossijskoj sistemy ocenki kachestva obrazovanija. Available at: http://www.obrnadzor.gov.ru/files/attest2007/46316820.doc (in Russiаn).
4. Sajt centra ocenki kachestva obrazovanija Instituta soderzhanija i metodov obuchenija Rossijskoj akade-mii obrazovanija. Available at: http://www.centeroko.ru (in Russiаn).
(Vi "7
ART 14079
научно-методический электронный журнал
УДК 37.031
Горев П. М., Утёмов В. В. Оценивание метапред-метных результатов освоения программ общего образования на основе коэффициента интеллектуальности // Концепт. - 2014. - № 04 (апрель). -ART 14079. - 0,4 п. л. - URL: http://e-kon-cept.ru/2014/14079.htm. - Гос. per. Эл № ФС 7749965. - ISSN 2304-120Х.
5. Prikaz Minobrnauki Rossii ot 06.10.2009 № 373 "Ob utverzhdenii i vvedenii v dejstvie fede-ral'nogo gosu-darstvennogo obrazovatel'nogo standarta nachal'nogo obshhego obrazovanija" (in Russian).
6. Prikaz Minobrnauki RF ot 17.12.2010 № 1897 "Ob utverzhdenii federal'nogo gosudarstvennogo obrazovatel'nogo standarta osnovnogo obshhego obrazovanija" (in Russian).
7. Prikaz Minobrnauki Rossii ot 17.05.2012 № 413 "Ob utverzhdenii federal'nogo gosudarstven-nogo obrazovatel'nogo standarta srednego (polnogo) obshhego obrazovanija" (in Russian).
8. Gorev, P.M., Utjomov, V.V. (2011) Formula tvorchestva: Reshaem otkrytye zadachi. Materialy jevristich-eskoj olimpiady "Sovjonok", lzd-vo VjatGGU, Kirov, 288 p. (in Russian).
9. Utjomov, V.V., Zinovkina, M.M., Gorev, P.M. (2013) Pedagogika kreativnosti: Prikladnoj kurs nauchnogo tvorchestva, lzd-vo MCITO, Kirov, 212 p. (in Russian).
10. Zinovkina, M.M., Gareev, R.T., Gorev, P.M., Utjomov, V.V. (2013) Nauchnoe tvorchestvo: innovacionnye metody v sisteme mnogourovnevogo nepreryvnogo kreativnogo obrazovanija NFTM-TRIZ, lzd-vo VjatGGU, Kirov, 109 p. (in Russian).
11. Mihajlov, V.A., Gorev, P.M., Utjomov, V.V. (2014) Nauchnoe tvorchestvo: Metody konstruirovanija novyh idej, lzd-vo MCITO, Kirov, 94 p. (in Russian).
Рекомендовано к публикации:
Некрасовой Г. Н., доктором педагогических наук, профессором, членом редакционной коллегии журнала «Концепт»
r\j С) r\j
