CC BY
52
УДК 371.048
ТЕОРЕТИЧЕСКИЕ И МЕТОДИЧЕСКИЕ ОСОБЕННОСТИ ПОДГОТОВКИ ЭКСПЕРТОВ ПРЕДТЕСТА В УСЛОВИЯХ ТПУ
Н.С. Михайлова
Томский политехнический университет E-mail: [email protected]
Один из способов повышения качества образования - наличие объективных инструментов измерения учебных достижений -связан с наличием квалифицированных специалистов-тестологов, их подготовка возможна в условиях системы непрерывного образования. Предлагаемая модель подготовки компетентных экспертов в области педагогических измерений основана на особенностях процессов диагностики, конструирования тестов и общих принципах педагогической экспертизы. В основе исследования опыт преподавателей кафедры педагогических измерений института инженерной педагогики ТПУ.
Сегодня в качестве педагогических инноваций в высшем профессиональном образовании активно внедряются модульная технология обучения, рейтинговая система оценки качества, предполагающие использование тестирования как наиболее точного, объективного, технологического инструмента измерения. Сложность процедур в создании, обосновании и доказательстве качества теста, а не простое использование формы заданий, как полагают некоторые педагоги, является основой преимуществ тестирования перед другими методами оценивания. Поэтому не все разработки могут дать желаемый результат: только сконструированные и проанализированные в соответствии с правилами и требованиями тестологии (теории педагогических измерений). Лавинообразный поток не апробированных, не прошедших валидизацию разработок пора остановить и серьезно заняться анализом, доведением до качественного уровня того, что создано.
Создание одного теста занимает от 2 до 10 лет -зависит от цели, уровня использования, числа и квалификации специалистов в рабочей группе и др. [1, 2]. При соблюдении алгоритмов разработки эффективность и результативность процесса повышается. Так, процесс определения качества рекомендуется проводить не по окончании создания теста, а по мере прохождения этапов конструирования.
Кратко процесс разработки теста как системы измерения [3] выражается схемой: ЗТФ (задания в тестовой форме) ^ ТЗ (тестовые задания) ^ тест, где обозначен продукт каждого из этапов. Завершение каждого из этапов - определение качества созданного. Развертывая содержание первого этапа, следует указать, что конструирование теста начинается с концептуализации педагогических подходов, определения цели измерения, индикаторов диагностики, результатом чего является структурирование предмета измерения и выстроенная на этом спецификация теста. А уже потом на базе спецификации конструируются ЗТФ. На первом этапе требуется подготовка в области педагогики и преподаваемого предмета, знание тестовых форм, владение логикой и умение трансформировать фрагменты содержания учебной дисциплины в содержание заданий. Если анализ содержания
учебного курса обычно относится к компетенции преподавателей, в то время как анализ содержания заданий - один из ключевых вопросов теории педагогических измерений. Теоретическое обоснование качества ЗТФ имеет два источника. Первый -в предметной области, где формируется система научной аргументации в пользу избранного содержания задания. Второй источник - в теории педагогических измерений, в которой формулируются общие требования к заданиям. Из краткой характеристики этапа становится понятным, что решение конструкторских задач не однозначно и определяется выбранными концептуальными подходами к измерению, к структурированию содержательной области, к выбору индикаторов выделенных единиц контроля. Решение проблемы оценивания качества подобных разработок возможно только на основе экспертного оценивания.
Исходя из понятия теста, экспертизе должны подвергаться не только задания, а вся измерительная система, т.е. плюс еще и спецификация, и методическое оснащение теста, включающее, как минимум: набор требований к испытуемым, условиям проведения; инструкции для участвующих в процедуре, сценарий тестирования, правила обработки и интерпретации результатов. Набор перечисленных материалов нельзя назвать тестом, т.к. не определена его окончательная структура, отсутствуют данные о его системообразующих качествах. В разных источниках предлагаются термины
М М М <-> М М /- <-> м м
предтест , пилотный тест , пробный тест , авторский тест". Но следует признать, что общепризнанного и общеупотребляемого названия нет, что является косвенным подтверждением низкого уровня отечественной методологической культуры в области теории педагогических измерений. Большинство разработчиков уверено, что тест - это группа заданий в тестовой форме и не требуется долгой кропотливой исследовательской работы по созданию из группы заданий измерительной системы, приобретающей в процессе конструирования своеобразные свойства, отличные от свойств исходной группы ЗТФ. В данной статье предлагается
М М Г
использовать понятие предтеста , как приближенное по смыслу к результату первого этапа.
Качество тестовых заданий, как впрочем, и надежность, и некоторые виды валидности (качественные показатели теста) обосновываются с использованием математико-статистических показателей по хорошо изученным и известным критериям [4].
Таким образом, профессиональная деятельность тестолога-разработчика является интегративной, базирующейся на теоретических психоло-го-пеадагогических знаниях, эмпирическом методическом опыте в предметной области и умениях применения методов математико-статистической обработки с использованием программных пакетов. Недостаток квалифицированных специалистов, способных обеспечить высокое качество педагогических измерителей, следует считать одной из причин медленного развития национальной системы оценки качества образования и внутриву-зовских служб мониторинга. Подготовка тестоло-гов - специалистов в области педагогических измерений по дополнительной специальности (в объеме 1280 ч) проводится в двух вузах России: Российском университете дружбы народов и Томском политехническом университете (ТПУ) в системе послевузовского образования. Не у всех преподавателей есть возможность посвятить столько времени приобретению дополнительной специальности, которая в чистом виде пока не востребована, требуются специалисты на конкретные направления конструирования и применения тестов. В связи с этим на кафедре педагогических измерений ТПУ перешли на двухуровневую систему подготовки по системе повышения квалификации: первый этап - курсы "Разработчик и экспертиза аттестационных педагогических измерительных материалов", второй - "Организация педагогических измерений", каждый в пределах 600 ч, форма обучения - очно-заочная с использованием дистанционного обучения на основе информационных технологий.
Нам представляется необходимым дополнение предлагаемой формы организации обучения блоком курсов повышения квалификации по частным направлениям теории педагогических измерений (объем которых от 36 до 120 ч), не ограничиваясь целью подготовки тестологов. В практической деятельности кафедр, факультетов, институтов существует потребность в преподавателях, которые в качестве учебно-методической работы занимались бы отдельными сторонами процесса разработки теста, создавая комплексные рабочие группы. Если опыт обучения педагогов разделам "Основы теории педагогических измерений", "Конструирование теста", "Математико-статистические методы обработки результатов педагогических измерений", "Организация педагогических измерений" освещен в научно-педагогических работах: статьи, диссертации, материалы конференций, то практически отсутствует описание опыта подготовки экспертов в области педагогических измерений.
Трудности рассмотрения данной проблемы начинаются с определения самого понятия "педагогическая экспертиза", которое призвано очертить круг задач и предмет экспертизы в области педагогических измерений.
"Экспертиза (фр.) - исследование экспертами каких-либо вопросов, решение которых требует специальных познаний ..." [5]. "Экспертиза - исследование и установление таких фактов и обстоятельств, для выявления которых необходимы специальные познания в какой-либо науке, ремесле или промысле" [6]. С точки зрения этих толкований суть экспертиз именно в исследовании. Однако, очевидно, что когда мы переходим на позицию исследования, мы уже имеем дело с ситуациями и феноменами принципиально неопределенными. Нет смысла исследовать то, что хорошо известно, определено. Исследуются лишь те объекты и ситуации, которые невозможно однозначно квалифицировать при помощи известных норм, знаний.
Любой гуманитарный феномен создается людьми на основе своих же идей, ценностей, понятий и только на их же основе может быть понят, проанализирован. С.Г Баронене [7] предлагает через экспертизу проявлять и устанавливать саму ситуацию неопределенности, обозначать её границы, варианты преобразования, помогая обнаруживать "разрывы между авторскими замыслами и реальным нормативным выполнением деятельности" [7. С. 12].
Анализ же современной представленности экспертизы в социуме, с точки зрения [7], позволяет сделать вывод о том, что "массовая форма экспертизы (судебно-медицинская, инженерно-техническая, бухгалтерский аудит и др.) не представлены как гуманитарная практика, т.к. основной функцией её является опознание, идентифицирование некоторого явления и квалифицирование его на основе принятой нормы. Поэтому "экспертиза" в подобном понимании превращается в "инспектирование". Неразличение сущностей этих механизмов влечет за собой подмену функций [8, 9]. Инспектирование направлено на удержание границ нормативного действия, пространство экспертизы -творческие, инициативные действия.
Основываясь на данном выводе, мы можем утверждать, что при конструировании теста экспертиза используется не столько для оценивания качества предтеста, где в большей степени выражено отсутствие однозначных правил, норм. Главная цель экспертизы предтеста - дать рекомендации разработчикам по совершенствованию разработки, ответив на вопрос "Какие изменения в рецензируемом материале будут способствовать корректному оцениванию содержания, уровня, структуры знаний у данных испытуемых?" Особенность цели определяет выбор методов экспертизы: приоритет отдается групповым перед индивидуальными, так как результатом исследования являются не оценки, а согласованное мнение.
Экспертное оценивание используется и на завершающей стадии создания теста при определении некоторых видов валидности, прежде всего, для педагогического тестирования - содержательной. Но здесь на первое место выходит оценивание и, соответственно, акцент в выборе методов смещается на те, которые дают более точную и объективную оценку. Приближенность к процедуре инспектирования здесь объясняется и тем, что в те-стологии накоплен большой практический опыт по критериям выявления валидности.
Определение качества и отбор тестовых заданий нельзя отнести к педагогической экспертизе; он основан на математико-статистических методах с заранее задаваемыми критериями качества.
Следует обратить внимание еще на одну особенность экспертизы предтеста: отсутствие фиксированной группы экспертов. Тесты создаются под определенные цели, на основе разных концептуальных подходов, отличаются предметом измерения, объектом исследования, предназначены для студентов разных уровней подготовки и т.п. Для исследования каждого объекта, в силу его уникальности, формируется, соответствующая его особенностям экспертная группа [10].
Рассмотрим вариант подготовки экспертов предтеста из числа преподавателей вуза в рамках стратегии развития ТПУ. Нами определены основные характеристики деятельности эксперта, к которым необходимо их готовить, исходя из состава и структуры функций профессионально-педагогической деятельности [11]:
• Проектировочная: разработка общих принципов оценки всех компонентов теста как системы измерения, нормативных и методических материалов.
• Организационная: подготовка индивидуальных оценочных материалов для экспертизы, организация оценочных процедур, подготовка четких и лаконичных отчетов об экспертизе.
• Экспертная: методика проведения оценочных процедур, обработка и анализ данных, обоснование точности собранной информации и результатов экспертизы, хранение и использование оценочной информации.
• Коммуникативная: взаимодействие с членами экспертной группы, с разработчиками, организаторами оценочных процедур, участие в собеседованиях, обеспечение конфеденциальности информации.
• Самообразовательная: постоянное повышение квалификации путем самообразования и рефлексии собственной деятельности.
Общие [12] и специальные требования к эксперту выражаются через наличие компетентностей:
• профессиональной, предполагающей специальную научную, психолого-педагогическую и профессиональную подготовку;
• коммуникативной, включающей высокий уровень речевой культуры и коммуникации, владение компьютерными технологиями;
• рефлексивной, предполагающей владение рефлексивными процессами, оценочными и ква-лиметрическими действиями.
Для успешной специальной подготовки экспертов требуется разработка ее методологии, теории и практики с обязательным включением не только квалитологических, квалиметрических и технологических знаний в области экспертной деятельности по оценке качества предтеста, но и человекове-ческих знаний в области психологии и педагогики.
Специфика подготовки экспертов состоит в том, что обучающиеся - уже состоявшиеся специалисты в профессионально-педагогической области, зачастую имеющие опыт оценочной деятельности. К тому же это зрелые люди с устоявшимися взглядами, установками, личностными особенностями, которые требуется не переделывать, а только корректировать. Поэтому нами предложена ан-дрогогическая модель обучения в системе непрерывного образования ТПУ. Говоря о модели, мы имеем в виду систематизированный комплекс основных закономерностей деятельностей обучающегося и обучающего при осуществлении обучения, выраженный в целях, задачах, принципах, методах, формах, средствах и содержании обучения.
Можно выделить несколько этапов подготовки экспертов:
1 этап - начальная оценка лиц, желающих стать экспертами. Основу составляет диагностика личностно-деловых качеств личности.
Кандидатами в эксперты помимо преподавателей вуза могут быть управленческие кадры - деканы, заведующие кафедрами, их заместители, руководители методических объединений и пр. Условно этот этап можно назвать профессиональной консультацией всех желающих стать экспертом. Индикаторами противопоказаний обучения экспертной деятельности служит отсутствие необходимого уровня коммуникативной компетентности. Методы диагностики включают:
• анализ документов с целью оценки начального уровня подготовки эксперта; тестирование и интервьюирование для оценки личных качеств, навыков общения, подтверждения информации, проверки знаний, получения дополнительной информации;
• наблюдение для диагностики личных качеств и умения использовать знания и навыки в практической деятельности;
• применение обратной связи для обеспечения информации о восприятии экспертом процесса подготовки.
2 этап - обучение экспертной деятельности начинается с составления программы развития личностно-деловых профессионально важных качеств
будущих экспертов и разработки индивидуального образовательного маршрута. Его задачи - обучение и развитие личностного потенциала эксперта. Основными результатами подготовки эксперта являются знания (составляющие основу теоретической и прикладной деятельности и служащие основой для выработки оценочных умений и навыков, компетентностей) и личностно-деловые профессионально важные качества личности, наиболее значимые для его деятельности.
3 этап - активная практика экспертной деятельности. Его основная задача - выработка конкретных оценочных умений и навыков. Этап предполагает участие в экспертизе под руководством опытного наставника, проведение семинаров, совещаний, обмен опытом, обобщение и коррекцию опыта экспертной деятельности.
Подготовка экспертов должна строиться на основе принципов:
• комплексности - интеграции практики экспертной деятельности с реализацией аналогичных задач, решаемых в повседневной деятельности вуза, выполнением индивидуальных и коллективных проектов, выпускных работ и пр.;
• гибкости системы подготовки, обеспечивающей оперативную перестройку программы обучения, его содержания, методов и форм и отвечающей потребностям и возможностям обучающихся;
• использования в подготовке новых информационных технологий и средств вычислительной техники. Компьютеризация делает компьютер одновременно и объектом изучения, и средством индивидуализации обучения, и инструментом экспертной деятельности (общение, передача и поиск информации, обработка, анализ, интерпретация результатов);
• непрерывности подготовки с учетом изменяющихся требований. В этих условиях обновление знаний и умений и их совершенствование требуют развития самообразовательной деятельности экспертов;
• дифференциация обучающихся по уровням качества профессионально-педагогической и экспертной деятельности, что предусматривает предварительную работу, тщательный отбор по разработанной системе, реализацию индивидуального и персонального подходов в процессе подготовки;
• развития образовательных потребностей, конкретизация которых осуществляется после достижения определенной цели обучения.
Формирование экспертных и оценочных умений должно быть организовано в рамках специальной образовательной программы, в режиме управляемого учебного процесса повышения квалификации. Для этого можно предложить два курса: "Технология тестового контроля как способ повы-
шения эффективности учебного процесса" (72 ч) и "Экспертиза тестовых материалов" (36 ч)
Задача первого курса: раскрыть содержание, сущность процесса тестирования, обосновать основные правила и требования конструирования теста как инструмента педагогического измерения, показать связь качества теста с качеством контроля, уяснить научные основы педагогических измерений, области использования тестовых технологий, показать значимость экспертизы на разных этапах разработки теста. Ведущие понятия курса: педагогические измерения, этапы конструирования теста, тест - система, содержание теста, требования к тестовым материалам. Особое место в курсе занимает изучение оснований, по которым оценивается качество теста.
Для формирования рефлексивной и квалитоло-гической компетентности предназначен курс "Экспертиза тестовых материалов". Его цель - обеспечить готовность слушателей к экспертной деятельности. Содержание обучения включает темы, раскрывающие особенности разных видов тестов и их качественных показателей, особенности предметной области содержания контроля для разных целей тестирования, технологию проведения экспертизы, обработку результатов, принятия решения.
Численность группы не должна превышать 8-10 чел. Оптимальным вариантом будет, когда все преподаватели имеют одинаковую предметную подготовку или близкую по тематике. Это повысит не только эффективность групповых форм работ, но и будет способствовать приближению обучения к реальным проблемам вуза, обсуждению методических проблем, сопряженных с разработкой учебных программ, планов, операционализацией целей, преемственности курсов и т.д.
Готовность экспертов к участию в оценке качества тестовых материалов формируется при соблюдении ряда педагогических условий. Выявление этих условий - важная задача, решение которой определяет основные подходы к организации обучения экспертов. В частности, таким условием является учет личного опыта слушателей и данных анализа степени сформированности у них личностно-деловых профессионально важных качеств эксперта. Совместно со слушателями должны обсуждаться цели, содержание и технология обучения на курсах. В результате у них сложится достаточно полное представление о целях и содержании оценочной технологии, о требованиях к качеству теста как измерительной системы.
При реализации программы обучения следует использовать личностно-деятельностный подход. Основная его идея заключается в том, что учебный процесс организуется посредством решения значимых для педагога профессиональных проблем, сочетается, опирается и "проходит" через такие личностные качества, как педагогическая рефлексия, наблюдательность и др.
При всей индивидуальности конкретных целей обучения, любые из них по своему характеру относятся к одной или нескольким типологическим:
• получение новых знаний, новой информации;
• овладение информацией на новом уровне;
• приобретение умений и навыков в использовании полученной информации;
• выработка убеждений;
• выработка новых качеств;
• удовлетворение познавательных интересов.
Пожалуй, только первая типологическая цель
обучения, да и то лишь тогда, когда новая информация приобретается из новой области знаний, диктует применение традиционных методов обучения. Как показала практика подготовки тестоло-гов: теоретические и методологические знания по технологии обширны, разнообразны в предметном отношении, из-за чего усвоение в короткие сроки вызывает затруднения у обучающихся, не имеющих психолого-педагогической подготовки. Повысить эффективность обучения возможно при использовании тезаурусного подхода.
Понятие тезауруса в дидактике рассматривается как множество дескрипторов и множество связей между ними. Дескриптор - основной носитель информации. Дескриптор учебного материала определяется как "наиболее существенное понятие в виде слов или словосочетаний, важной характеристикой которого является семантическая устойчивость и контрастность" [13. С. 125]. Тогда структуру знаний можно определить как упорядоченную связь между дескрипторами учебного предмета. Овладение этой структурой, а не просто усвоение фактов и приемов является центральным звеном обучения [14]. Лекции, основная задача которых - формировать структуру понятий, обязательно сопровождаются показом презентаций в электронном виде, что значительно уплотняет содержание информации, дает возможность слушателям участвовать в обсуждении затрагиваемых проблем, проговаривая и закрепляя, таким образом, получаемые знания.
Изучение теории запланировано сочетать в определенном порядке с практическими занятиями, часть которых проходит дистанционно, и слушатели работают самостоятельно, при работе в аудитории - в группах. Комбинирование группового и индивидуального самообучения способствует развитию творческого и критического мышления. Программа должна предполагать проведение деловых игр, кейс-стади, тренингов, участие в организации, проведении, анализе результатов тестирования, которое сопровождается анализом и оценкой. Обязательно включение в содержание занятий методов обработки, интерпретации и обсуждения результатов экспертизы, так как с ними связано выполнение главного условия - создания единства педагогической квалиметрии и педагогического управления. Завершается программа проведением зачета, на котором слушатели, защищая выпу-
скную работу, демонстрируют степень готовности к осуществлению экспертной деятельности.
Предлагаемая методика обучения основана на теории поэтапного формирования умственных действий [15] может быть названа "обучение по экспоненте". Мы легче запоминаем знакомые и понятные нам вещи, чем, что-то непонятное, логически не связанное. Другими словами, чем больше мы знаем, тем легче воспринимаем новые знания. Порядок обучения при таком обучении:
1. Рассматриваем обзорно весь учебный материал, формируя систему основных понятий и связи между ними. Например, по разделу "Конструирование теста" обучение начинается с темы "Этапы разработки теста", где используются все базовые понятия.
2. Формируем подсистемы понятий отдельных узлов первой системы (тема "ЗТФ") и так далее, пока не сформируем в голове обучающегося структуру дескрипторов всех основных понятий. Это, если сравнивать процесс обучения с экспонентой, - пологая часть экспоненты.
3. На сформированную тезаурусную основу, как на ветки елки, насаживаем иголки - знания. Насаживаем очень интенсивно, быстро и много. Благодаря структурированной основе, знания систематизированы. Итак, на третьем этапе получаем прочные, полные, систематизированные знания за короткие промежутки времени, что напоминает резко возрастающую часть экспоненты.
Закономерности, определенные в предложенной модели обучения, представлены комплексно, в наиболее полном виде. При осуществлении учебного процесса в конкретных условиях, естественно, реализация в таком объеме не возможна. Модель - идеальное представление о процессе подготовки экспертов с точки зрения андрогогики.
Таким образом, решение проблемы подготовки экспертов по оценке качества тестовых материалов в вузе требует:
1) внесения изменений в систему повышения квалификации профессорско-преподавательского состава: взаимодействия с психологической службой, введения курсов и тренингов по развития и формированию коммуникативных, квалиметрических и других умений, осуществления мониторинга удовлетворенности профессорско-преподавательского состава деятельностью экспертов. Безусловно, эти мероприятия требуют немалых кадровых, финансовых, управленческих, временных ресурсов. Однако, их практическая реализация может осуществляться поэтапно, опираться на уже имеющиеся и адаптированные к решению задач экспертизы тестов научные психолого-педагогиче-ские разработки;
2) высокого уровня мобильности преподавательских и управленческих кадров. Одновременное
обучение на курсах повышения квалификации вуза ведущих преподавателей одного факультета, неминуемо, вызовет определенные трудности, успешность решения которой будет зависеть от понимания каждым руководителем важности задач экспертизы;
3) опережающей подготовки кадров с соответствующим уровнем подготовки и обладающих опытом работы в системе повышения квалификации. Придание активным формам обучения конкретной содержательной основы экспертизы позволит повысить уровень подготовки экспертов, реально вовлечь их в экспертную деятельность, ра-
СПИСОК ЛИТЕРАТУРЫ
1. Анастази А., Урбина С. Психологическое тестирование. - 7-е изд. - СПб: Питер, 2005. - 668 с.
2. Майоров А.Н. Теория и практика создания тестов для системы образования - М.: Интеллект-центр, 2001. - 296 с.
3. Аванесов В.С. Композиция тестовых заданий. Учебная книга. 3 изд., доп. - М.: Центр тестирования, 2002. - 240 с.
4. Глас Дж., Стэнли Дж. Статистические методы в педагогике и психологии. - М.: Прогресс, 1976. - 495 с.
5. http:// www.ezi.ru
6. http:// www.workmach.ru
7. Баронене С.Г. Возможность экспертизы: проявление авторских позиций участников // В сб.: Экспертиза инновационных процессов в российском школьном образовании / Под ред. Г.Н. Прозументовой, С.Г. Баронене. - Томск: Изд-во ТГУ, 1999. - С. 10-20.
8. Андреева В.В., Гаврилин А.В. Технология аттестации образовательных учреждений. - М.: АРКТИ, 2000. - 151 с.
9. Проскуровская И.Д. Экспертиза: обмен ресурсами образования и общества /// В сб.: Экспертиза инновационных процессов в
звить экспертное мышление, усилить личностные и профессиональные аспекты их деятельности.
Несомненно, наличие в вузе достаточного числа компетентных экспертов в области тестологии явится предпосылкой успешного образовательного мониторинга. Создание института независимых экспертов педагогических измерений в рамках общероссийской системы оценки качества образования перестанет быть частной проблемой отдельных внутривузовских систем. В условиях сертификации образовательных услуг, аттестации образовательных учреждений этот вопрос приобретает особую актуальность.
российском школьном образовании / Под ред. Г.Н. Прозументовой, С.Г Баронене. - Томск: Изд-во ТГУ, 1999. - С. 67-74.
10. Тубельский А.Н. Экспертиза инновационной школы // В сб.: Инновационные движения в российском школьном образовании / Под ред. Э. Днепрова, А. Каспаржака, А. Пинского. -М.: Парсифаль, 1997. - С. 158-179.
11. Постдипломное педагогическое образование: проблемы качества: Научно-методическое пособие / Под общ. ред. С.Г. Вер-шловского. - СПб.: Специальная литература, 2003. - 239 с.
12. Бордовский Г.А., Нестеров А.А., Трапицын С.Ю. Управление качеством образования. - СПб.: Изд-во РГПУ им. А.И. Герцена, 2002. - 359 с.
13. Георгиева П., Папаи М. Новый подход к информационному анализу учебного материала // Современная высшая школа. -1980. - № 4. - С. 125-130.
14. Брунер Дж. Процесс обучения. - М.: Педагогика, 1962. - 15 с.
15. Гальперин П.Я. Методы обучения и умственное развитие. -М.: Педагогика, 1985. - 212 с.
