Научная статья на тему 'Прогнозирование результатов обучения: проблемы и пути решения'

Прогнозирование результатов обучения: проблемы и пути решения Текст научной статьи по специальности «Науки об образовании»

CC BY
2735
235
i Надоели баннеры? Вы всегда можете отключить рекламу.
Журнал
Образование и наука
Scopus
ВАК
ESCI
Область наук

Аннотация научной статьи по наукам об образовании, автор научной работы — Мамонтова Марина Юрьевна

В работе рассмотрен ряд аспектов, связанных с ограниченным использованием формализованных методов прогнозирования результатов обучения, и предлагаются возможные пути преодоления проблемы на основе современных научных подходов к решению задач оценивания и прогнозирования.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по наукам об образовании , автор научной работы — Мамонтова Марина Юрьевна

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Текст научной работы на тему «Прогнозирование результатов обучения: проблемы и пути решения»

3. Пичурин И. Сущность понятия «качество» // Стандарты и качество. -2002. - № 8. - С. 62-63.

4. Райзберг Б. А., Лозовский Л. Ш., Стародубцева Е. Б. Современный экономический словарь. 5-е изд., перераб. и доп. - М.: ИНФРА-М, 2007. -495 с. - (Б-ка словарей «ИНФРА-М»).

5. Современная философия: Словарь и хрестоматия. Ростов н/Д.: Феникс, 1996.- С. 35.

6. Управление качеством образования: Практико-ориентированная монография и метод. пособие / Под ред. М. М. Поташника. - М.: Пед. о-во России. 2000. - С. 43).

7. Pirsing R. Zen and the Art of Motorcycle Maintenance. - N. Y.: William Morrow & Co., 1974. - Р. 206-207.

М. Ю. Мамонтова

ПРОГНОЗИРОВАНИЕ РЕЗУЛЬТАТОВ ОБУЧЕНИЯ: ПРОБЛЕМЫ И ПУТИ РЕШЕНИЯ

В работе рассмотрен ряд аспектов, связанных с ограниченным использованием формализованных методов прогнозирования результатов обучения, и предлагаются возможные пути преодоления проблемы на основе современных научных подходов к решению задач оценивания и прогнозирования.

This article covers a range of aspects related to scant use of formal methods for forecasting training results and presents possible ways of solving this problem on the basis of modern scientific approaches to estimation and forecasting issues.

В числе перспективных направлений развития педагогической теории и практики в 80-х гг. прошлого столетия Ю. К. Бабанский называл компьютеризацию педагогических исследований и применение прогностических методов [1, с. 14]. В последние годы в России ключевым направлением модернизации системы оценки результатов обучения является внедрение и использование технологий массового педагогического тестирования не только в исследовательских целях, но и в широкой педагогической практике (единый государственный экзамен, интернет-экзамен в сфере профессионального образования, международные сравнительные исследования в области оценки качества образования, мониторинговые исследования на региональном и муниципальном уровнях системы образования и др.). Применение современных методов математико-статистической обработки данных, формализованных методов описания (представления) систем, а также мощной электронно-вычислительной техники создают благоприятные возможности для обработки и анализа больших массивов данных, полученных в ходе массовых проверок и обследований, для построения статистических моделей, позволяющих оценить текущее состояние учебных достижений учащихся и прогнозирующих буду-

щие состояния. Вместе с тем использование формализованных методов оценивания и прогнозирования результатов обучения сегодня ограничено, что обусловлено, по-видимому, рядом объективных причин.

В данной работе рассмотрен ряд аспектов, связанных с ограниченным использованием таких методов, и предлагаются возможные пути преодоления проблемы на основе современных научных подходов к решению задач оценивания и прогнозирования результатов обучения.

Первый аспект связан с особенностями объекта прогнозирования (результаты обучения) - его сложностью (множеством элементов, свойств, связей и отношений между ними), многомерностью (множеством значащих признаков в его описании), качественным характером признаков, нелинейным характером влияния множества факторов на развитие объекта во времени. Решение задач, связанных с прогнозированием развития педагогических объектов и явлений, требует применения адекватных научных методов. Прогноз -научно обоснованное суждение о возможных состояниях объекта в будущем и (или) об альтернативных путях и сроках его осуществления [6, с. 393]. Формальному анализу должен предшествовать качественный содержательный анализ, направленный на формирование совокупности прогнозируемых признаков самого объекта и выделение определяющих поведение объекта признаков-факторов. Безусловно, прогноз невозможно полностью формализовать, вместе с тем его неформализованные и формализованные составляющие необходимо увязывать в логически непротиворечивое единое целое, адекватно отражающее реальные характеристики объекта прогнозирования.

Прогноз должен строиться на основе объективной оценки (измерений) признаков объекта и знании закономерностей его развития (возможность предсказать поведение). Известный специалист в области педагогического прогнозирования Б. С. Гершунский ретроспективно представил развитие методов прогнозирования в педагогике от интуитивного предвидения на уровне учителя до специально организованного научного исследования, направленного на получение достоверной опережающей информации о развитии педагогических объектов с целью оптимизации содержания, методов, средств и организационных форм учебно-воспитательной деятельности [3, с. 29]. Вместе с тем в работе он указал на «...отсутствие в арсенале современной дидактики системы теорий, законов и закономерностей, отражающих с должной полнотой многогранные связи и взаимоотношения дидактических объектов и явлений», а также «весьма слабое использование в педагогике методов, обладающих необходимым прогностическим потенциалом» [4, с. 109].

Решение проблемы виделось в сочетании двух взаимодополняющих подходов к изучению педагогических явлений и процессов - логико-математического и индивидуально-содержательного. Традиционные (интуитивные) методы оценивания и прогнозирования используются для углубленного анализа конкретных фактов обучения и воспитания, но не дают возможности выявлять объективные закономерности, которым эти факты подчиняются в их

массе. Для познания закономерностей массовых процессов, формирующихся под воздействием многочисленных факторов, находящихся в сложном взаимодействии друг с другом, детерминистский подход неприменим. Изучение причинно-следственных связей в массовых варьирующих явлениях возможно только посредством вероятностных понятий, которые дают для массы, а не для индивидуальных явлений, вполне научные результаты. Показатели результатов обучения можно рассматривать как случайные величины. Значение того или иного признака у каждого элемента совокупности формируется под действием внутренних и внешних факторов. Внутренние факторы являются общими и постоянными для всех элементов совокупности, и их действие можно рассматривать как реализацию некоторого комплекса условий. Действие внешних факторов, носящих случайный характер и создающих специфические, индивидуальные особенности каждого элемента совокупности, позволяют рассматривать каждое значение признака как случайное событие. При этом, если комплекс условий определен и зафиксирован, то природа внешних факторов не имеет значения.

В дидактике обучающая деятельность рассматривается на разных уровнях: уровень массовых общественных явлений и процессов (уровень федерации, региона), уровень больших групп обучающихся (уровень муниципалитета), уровень малых групп (класс, академическая группа) и индивидуальный уровень. На массовом уровне возможно выявление общих законов обучения, определение генеральных тенденций в масштабах целой социальной системы. На уровне больших групп дидактические закономерности должны работать с наибольшей прогностической эффективностью, но выявление и доказательство этих закономерностей носит эпизодический характер. Для малых групп и индивидуумов характерны многофакторность, высокая динамичность параметров и именно на этих уровнях, по мнению Б. С. Гершун-ского, «. со всей очевидностью проявляется известное противоречие педагогической науки - противоречие между статистическим характером предлагаемых наукой рекомендаций и необходимостью строго определенных рекомендаций для педагога, реализующего конкретную учебно-воспитательную задачу» [4, с. 76]. Рассмотрение результатов обучения как иерархической системы показателей, преобразующихся при переходе с одного уровня на другой, может снять это противоречие.

Дидактические объекты относятся к объектам нечисловой природы. В квалиметрии разработаны методы количественной оценки качества таких объектов. Перспективными в плане оценивания результатов обучения и разработки прогнозов представляются методы классификации и типологии. Их применение делает возможным сочетание качественных характеристик объектов на индивидуальном уровне с вероятностным характером их проявления на массовом уровне. Использование данных однократного массового обследования позволяет выявить структуру наблюдаемых результатов обучения, построить типологию обучающихся (рассмотрение объекта в статике), вычле-

нить в индивидуальных результатах типичное. Использование данных мониторинговых исследований (характеристик объекта на разных этапах обучения) дает возможность построения моделей развития объекта (рассмотрение объекта в динамике).

Прогноз можно рассматривать как модель развития объекта прогнозирования. Будущее состояние объекта определяется его предшествующими состояниями и рядом условных допущений. Условные допущения необходимы для установления границ области, в которой данный прогноз действителен. Логика развития дидактических объектов, к которым относятся и результаты обучения, основана на сочетании свойств изменчивости (развития) и устойчивости. Устойчивость дидактических объектов и явлений обусловлена постоянством воздействия ряда факторов в течение длительного периода времени (материально-техническое обеспечение учебного процесса, технологии обучения, уровень квалификации учителей, территориальный фактор и т. п.). При прогнозировании результатов обучения к условным допущениям могут быть отнесены предположения об их устойчивости (неизменности в течение промежутка времени, на который разрабатывается прогноз). Допущения об устойчивости действия внешних факторов, в свою очередь, нуждаются в дополнительном теоретическом обосновании и экспериментальной проверке. Проведение таких экспериментов требует значительных затрат. Закономерности формирования знаний и умений традиционно являются предметом психологических и дидактических исследований. Особенность таких исследований заключается в том, что они проводятся, как правило, в лабораторных условиях, их результаты оцениваются преимущественно по качественным характеристикам. Результаты отражают закономерности только для исследуемой группы и не могут быть распространены на большие контингенты учащихся. Исследования в естественных условиях обучения, не связанных с влиянием исследователя на результаты, редки. Выход видится в использовании потенциала статистических обследований, в ходе которых получают информацию о качестве результата обучения, а также о многочисленных признаках-факторах, потенциально влияющих на этот результат. Изучение влияния признаков-факторов на результаты обучения может быть осуществлено в ходе квазиэкспериментов, относящихся к неэкспериментальным эмпирическим исследованиям. Подходы к организации и проведению подобного рода квазиэкспериментов разработаны в ходе международных сравнительных исследований качества образования (Trends in Mathematics and Science Study, Programme for International Student Assessment, Progress in International Reading Literacy Study и др.). Для удовлетворения потребностей педагогической практики требуется разработка моделей таких обследований на федеральном, региональном и муниципальном уровнях управления системой образования. Благоприятной в этом отношении представляется ситуация с переходом единого государственного экзамена в штатный режим.

Второй аспект (аксиологический) связан с решением проблемы повышения объективности оценивания результатов обучения. Использование ин-

дивидуальных и групповых экспертных методов дает возможность строить прогнозы на основе метода интуитивного прогнозирования. Противоречие видится в том, что суждения о качествах учебных достижений необходимо (желательно) получить в виде описания, а учитель (группа экспертов) работает на оценочном уровне. Учитель выносит оценочное суждение, которое может неадекватно описывать объект. У учителя свои ориентиры и эталоны. При оценивании результатов обучения используются двойственные описательнооценочные выражения (дескриптивно-прескриптивные). В зависимости от ситуации своего использования они или описывают, или оценивают. Индивидуальные и коллективные оценки не способны достигать той степени объективности, которая характерна для описательных утверждений. Вместе с тем оценки не всегда являются заведомо субъективными. Они способны быть более объективными и менее объективными [5, с. 69]. «Степень объективности оценок чрезвычайно важна. Оценки, и в частности нормы, являются необходимой предпосылкой большинства видов человеческой деятельности, и чем более объективна исходная оценка ситуации, тем больше вероятность того, что деятельность по преобразованию ее в нужном направлении окажется успешной» [5, с. 72]. Степень объективности оценок во многом зависит от их обоснованности. Проблема обоснования оценок, поиск способов повышения их объективности представляются ключевыми задачами при построении моделей оценивания и прогнозирования результатов обучения. В аксиологии выделяется несколько способов обоснования оценок - неполная индукция, аналогия, ссылка на образцы и стандарты и др. Стандарты оценивания складываются, как правило, стихийно и фиксируют совокупности эмпирических свойств, которые, как считается, должны быть присущи объекту оценивания. Стандартные представления о том, какими должны быть вещи определенного типа, изменяются с течением времени. В образовании стандарты носят ориентирующий характер. Планируемые результаты обучения в массовой школе зафиксированы в государственных образовательных стандартах и программах учебных дисциплин. Предсказывать общий характер результатов обучения на индивидуальном уровне и уровне малых групп позволяет опора на систему принципов, вытекающих из законов дидактики и психологических теорий обучения. Для прогнозирования индивидуальных результатов обучения разработан метод «педагогического консилиума». Для построения прогнозов массовых результатов таких методов недостаточно, необходимо использовать методы статистического моделирования и прогнозирования. Повышение степени объективности оценок возможно в случае применения технологий критериально-ориентированного педагогического тестирования как более объективного средства оценивания результатов обучения на всех уровнях системы - от индивидуального до федерального.

Важным аспектом ограниченного использования методов научного прогнозирования результатов обучения в дидактике являются особенности воздействия результатов прогнозирования на педагогические объекты. При опре-

делении перспектив успешности обучения отдельных учащихся или небольших по составу групп (класс, академическая группа) прогноз оказывает прямое воздействие на изменение прогнозируемых показателей посредством влияния на планирование, корректировку процесса обучения. Речь идет о так называемых активных прогнозах (прогноз с обратным эффектом), когда сам прогноз должен учитывать эффект результатов прогнозирования [2, с. 13]. К важным особенностям прогнозов успешности обучения отдельных учащихся и небольших групп следует отнести психологические и социальные последствия таких прогнозов. Способность учителя корректно использовать прогноз во многом определяет мотивацию учащихся к обучению, их познавательный интерес, развитие способностей к адекватной самооценке и самоконтролю. Решение проблемы на учительском уровне видится в повышении культуры оценивания учителя и развитии его квалиметрической и прогностической компетентности.

При прогнозировании результатов обучения больших (статистических) совокупностей учащихся (на уровне муниципалитета, региона, федерации) целесообразно использовать пассивные прогнозы. Такие прогнозы необходимы при принятии стратегических решений (корректировка государственных образовательных стандартов, требований к подготовке выпускников, модернизация учебно-методических комплексов и т. п.). Для повышения эффективности процесса обучения необходима разработка теоретических основ и технологий как активного, так и пассивного прогнозирования.

Следующий аспект связан с действием множества случайных факторов - высокая степень неопределенности будущих состояний прогнозируемого объекта. В прогностике выделяется несколько степеней (градаций) неопределенности будущего - от строгой детерминированности будущих состояний объекта до полной неопределенности (алеаторности) будущего. Степень неопределенности будущих результатов обучения определяется, прежде всего, дальностью прогноза, характеристиками объекта оценивания и прогнозирования (результаты обучения отдельного учащегося, группы или класса, большой совокупности учащихся), уровнем принятия решений (учительский, школьный, муниципальный, региональный и федеральный) и определяющими будущее состояние факторами. При прогнозировании индивидуальных результатов обучения и результатов обучения малых групп (текущее оценивание и прогнозирование результатов на короткий период) «работает» стохастика с неизвестным распределением и малой выборкой. В этом случае математическое понятие «вероятность» неприменимо, поскольку нет информации о распределении частот, а выборки слишком малы. В таких ситуациях используется интуитивная (персональная) вероятность, представляющая собой оценку вероятности исходов лицом, принимающим практические решения. Вместе с тем такая вероятность не является чисто субъективно-психологической, поскольку основана на той информации об объекте прогнозирования, которой располагает принимающий решение субъект. На оценивание результатов обучения и их прогнозирование в этой ситуации также влияют психологические

особенности эксперта, его отношения с обучающимся. Прогноз (суждение о будущем состоянии объекта) тем точнее, чем выше компетентность эксперта (его способность к достоверным суждениям об объекте прогнозирования на основе профессиональных знаний, интуиции и опыта). В прогностике разработаны методы, базирующиеся на экспертной информации. Эти методы применяются при оценивании и прогнозировании результатов обучения отдельных учащихся (педагогический консилиум, индивидуальная экспертная оценка текущих результатов обучения, коллективная экспертная оценка итоговых результатов). Т очность построенных на таких оценках прогнозов низкая и носит прикидочный, в лучшем случае ориентировочный характер [2, с. 36].

При прогнозировании массовых результатов обучения возможны две степени неопределенности будущего: стохастика с неизвестным распределением вероятностей и достаточно большой выборкой и стохастическая неопределенность классического типа (распределение вероятностей известно, а выборка достаточна для применения методов математической статистики). Вид распределения должен быть известен. Знание функции распределения вероятностей понимается в этом случае как эмпирическое определение закономерности, близкой теоретической. Под выборкой понимается возможность повторного воспроизведения исследуемого явления или наличие определенного набора однородных наблюдений (массовость). Снизить степень неопределенности позволяет корректный выбор вида прогноза, времени упреждения и метода прогнозирования.

Серьезной причиной, сдерживающей применение прогностических методов, является качество информационной базы и его влияние на качество прогноза. При разработке прогнозов источником неопределенности будущих состояний объекта прогнозирования может быть недостаточная полнота и достоверность используемой информации. Полнота определяется охватом всех существенных характеристик структуры и динамики объекта прогнозирования и внешних факторов. Очевидно, что полнота информации относительна и обусловлена целями прогнозирования и принимаемыми на основе прогноза решениями. Достоверность информации определяется ее репрезентативностью, надежностью, своевременностью, устойчивостью и т. п. Репрезентативность информации обеспечивается системным представлением объекта прогнозирования, а также представительностью выборок, на которых прогноз разрабатывается и будет в дальнейшем использоваться.

Репрезентативность выборки при оценивании и прогнозировании массовых результатов обучения является одним из важных условий достоверности оценки и прогноза. В случае дидактических исследований имеет место высокая степень неоднородности исследуемых совокупностей учащихся, что требует при построении выборок их стратификации и применения методов многоступенчатого отбора. В ряде случаев выбор признаков стратификации очевиден (например, при изучении различий в качестве подготовки учащихся в разных школах вид образовательного учреждения и будет являться призна-

ком-фактором, используемым для расслоения выборки). Для построения представительных выборок необходима статистическая информация.

В настоящее время разработаны методы построения представительных выборок для проведения массовых международных исследований в области сравнительной оценки качества учебных достижений. При построении стратифицированных пропорциональных выборок для оценивания и прогнозирования результатов обучения на уровне федерации, региона и муниципалитета необходимо выделение существенных факторов, влияющих на качество результата и задающих правила стратификации. Это, в свою очередь, требует наличия статистических данных об образовательных учреждениях (тип местности, тип и вид образовательного учреждения, численность обучающихся, удаленность от мегаполиса и т. п.), характеристиках образовательного процесса в школе (материально-техническое обеспечение, используемые учебно-методические комплексы, уровень квалификации учителей, наполняемость классов и т. п.), а также сведений об «учительских» факторах (особенности дидактической системы). Статистические данные, ежегодно представляемые образовательными учреждениями в Госкомстат в форме ОШ-1, недостаточны для построения стратифицированных выборок, поскольку содержат данные, лишь отчасти характеризующие условия, в которых осуществляется образовательный процесс. Для получения статистических данных и изучения их влияния на процесс обучения требуется проведение дополнительных исследований.

Возрастающие потребности практики в прогностических исследованиях «...не позволяют откладывать их проведение до тех пор, пока дидактика как наука “взойдет” на теоретический уровень и сможет опереться на надежные и всеохватывающие теоретические закономерности» [4, с. 79]. На определенном этапе развития науки, когда ее теории, законы и закономерности еще окончательно не выведены, достижение новых результатов в теории и практике во многом определяется используемыми методами научного исследования. Таким образом, прогнозные разработки имеют междисциплинарный характер. Решение задач оценивания и прогнозирования результатов обучения требует комплекса научных методов, таких, как:

• рассмотрение результатов обучения как объектов нечисловой природы и использование для их характеристики методов формализованного описания систем и методов квалиметрии;

• системный подход к представлению результатов обучения и разработка иерархических систем показателей качества результатов, относящихся к разным уровням (от индивидуального до массового) и допускающих преобразование при переходе с одного уровня на другой;

• аксиологический подход к обоснованию оценок и норм при оценивании и прогнозировании результатов обучения на разных уровнях;

• использование критериально-ориентированного подхода к разработке измерителей результатов как более объективного по сравнению с традиционными методами и средствами;

i Надоели баннеры? Вы всегда можете отключить рекламу.