CC BY
63
Б01: 10.12731/2218-7405-2015-4-7 УДК 372.862
особенности формирования экспертной группы для оценивания достигнутых результатов обучения в области технологического образования
слепцова м.в.
В настоящее время большое внимание уделяется вопросам привлечения экспертов к оцениванию достигнутых результатов в педагогической деятельности. Однако, прямое применение алгоритмов и методов организации экспертизы, применяемых в медицине, химической промышленности и других отраслях человеческой деятельности, не представляется возможным. В работе рассмотрены особенности формирования экспертной группы для оценивания достигнутых результатов обучения в области технологического образования на примере формирования комиссии для оценки достижений участников практического этапа Регионального уровня Всероссийской олимпиады школьников по учебному предмету «Технология». Рассмотрены особенности выбора лица, принимающего решение, составления широкого списка специалистов-кандидатов в эксперты, определение параметров отбора экспертов, процедуры оценки и выбора экспертов из широкого списка специалистов применительно к педагогической деятельности.
Показано, что применение алгоритма и методик отбора экспертов из широкого круга специалистов для формирования комиссии по оценке достижений участников Регионального этапа способствует повышению авторитета учебного предмета в среде учащихся 5-8 классов общеобразовательных школ, повышению их интереса к технологическому образованию и увеличению количества участников Всероссийской олимпиады поучебному предмету «Технология».
цель: повышение интереса учащихся 5-8 классов общеобразовательных школ к технологическому образованию и учебному предмету «Технология», увеличение количества участников Всероссийской олимпиады, повышение объективности оценивания достижений участников.
метод и методология работы: теоретический анализ литературы, общенаучные методы сравнения, обобщения, системного подхода.
результаты: предложенный алгоритм формирования комиссии по оценке достижений участников Всероссийской олимпиады по учебному предмету « Технология» на Региональном уровне как один из случаев выбора экспертов из широкого круга специалистов и формирования из них экспертной группы, с учетом особенностей педагогического процесса преподавания учебного предмета в общеобразовательной школе, способствует поднятию авторитета учебного предмета среди учащихся 5-8 классов общеобразовательных школ, увеличению числа участников Всероссийской олимпиады, объективности оценивания достигнутых участниками результатов практического этапа. Область применения результатов: педагогика общеобразовательной школы. ключевые слова: технологическое образование; Всероссийская олимпиада; педагогическая экспертиза; формирование экспертной группы; критерии оценки.
features of formation of the expert group for the evaluation of the achieved learning outcomes in the field of technological education
sleptsova M.V.
Currently, much attention is paid to the involvement of experts in the evaluation in teaching. However, direct application of the algorithms and methods of examination used in medicine, chemical industry and other branches of human activity, is not possible. In the article the peculiarities of the formation of the expert group for the evaluation of the achieved learning outcomes in the field of technological education on the example of the formation of the Commission to assess the achievements of the participants of the practical phase of the Regional level of all-Russian Olympiad on the subject «Technology». The features of the choice of the decision maker, making a wide list of professional candidates in the experts, the definition of the parameters for the selection of experts, the procedures for evaluation and selection of experts from a wide list of professionals in relation to teaching. It is shown that the application of the algorithm and methods of selection of experts from a wide range of experts to form a Commission to assess the progress of participants of the Regional stage contribute to the cre-dibility of the subject in an environment of students grades 5-8 secondary schools, raising their interest in technological education and increase the number of participants of all-Russian Olympiad on the subject «Technology».
purpose: the increasing interest of students in grades 5-8 secondary schools to technical education and training «Technology», increasing the number of participants of all-Russian Olympiad, objective evaluation of the performance of the participants.
Methodology: theoretical analysis of the literature, scientific methods of comparison, generalization, systematic approach.
Results: the algorithm offorming of the Commission on evaluation of the performance of the participants of all-Russian Olympiad on the subject «Technology» at the Regional level as one of the cases the choice of experts from a wide range of experts and of the formation of these expert group, taking into account peculiarities of pedagogical process of teaching a school subject in secondary school, helps raise the credibility of the subject among students in grades 5-8 secondary schools, increasing the number of participants of all-Russian Olympiad, the objectivity of the participants evaluation of the obtained results practical stage. practical implication: pedagogy of secondary school.
Keywords: technology education; all-Russian Olympiad; pedagogical expertise; the formation of expert groups; evaluation criteria.
Концепцией модернизации российского образования в качестве важнейшей задачи определено «формирование у школьников гражданской ответственности и правового самосознания, духовности и культуры, инициативности, самостоятельности, толерантности, способности к успешной социализации в обществе и активной адаптации на рынке труда». Подготовка учащихся общеобразовательных школ к осознанному и ответственному выбору жизненного и профессионального пути возложена в первую очередь на учебный предмет «Технология», стандарт основного общего образования для которого в качестве целей предусматривает включение учащихся в разнообразные виды технологической деятельности по созданию общественно значимых продуктов труда, воспитание целеустремленности, предприимчивости, ответственности за результат своей деятельности, развития интеллектуальных, творческих, коммуникативных и организаторских способностей.
Своего рода смотром достижений педагогической системы в области технологического образования учащихся, площадкой по обмену педагогическим опытом, полем для согласования целей и методов технологического образования с текущими и перспективными потребностями страны в специалистах различного профиля, выявление талантливых учащихся по различным разделам содержания образовательной области «Технология», должна быть Всероссийская олимпиада по учебному предмету «Технология», ежегодно проводимая в нашей стране на-
чиная с 2002 года. Однако, в последнее время наметилась негативная тенденция сокращения количества участников Регионального уровня олимпиады, что говорит о снижении интереса у учащихся общеобразовательных школ к технологическому образованию.
Таким образом, имеет место противоречие между работой педагогических коллективов по претворению в жизнь задач, поставленных Концепцией модернизации российского образования, совершенствованию и развитию педагогического процесса в образовательной области «Технология» и реальной заинтересованностью учащихся в этой работе.
Целью проводимого нами в 2010-2014 гг. исследования явилось определение причин возникновения указанного противоречия, а также определения путей и методов повышения привлекательности технологического образования и конкретно Всероссийской олимпиады по учебному предмету «Технология» среди учащихся общеобразовательных школ.
К работе нами были привлечены учащиеся 5-8 классов и преподаватели учебного предмета «Технология» из 42 районов Воронежской области и г. Воронежа. В результате проводимого исследования было установлено, что падение интереса со стороны учащихся к Всероссийской олимпиаде по учебному предмету «Технология» обусловлено целым рядом факторов, одним из которых является процедура формирование состава комиссии для оценки работ учащихся на Региональном уровне конкурса. Отличительной чертой Всероссийской олимпиады по учебному предмету «Технология» является наличие в ее составе практического этапа, в рамках которого участники олимпиады демонстрирую свои достижения в изучении и практическом применении различных технологий, изучаемых в общеобразовательной школе, таких как обработка дерева и металлов, элементы машиноведения, кулинария, ремонт и пошив одежды и т.д. Творческие проектные работы готовятся участниками на протяжении определенного времени, зачастую с существенными материальными затратами, и можно смело сказать, что участники вкладывают в них свою душу. Естественно, участники олимпиады хотят видеть в составе комиссий и представлять свою работу на суд людям, которые достигли значительных успехов в соответствующих областях деятельности, и являются в этом смысле для них авторитетными.
В большинстве случаев в настоящее время комиссии для оценки работ учащихся на Региональном уровне олимпиады создаются эмпирически, как правило, из педагогических работников ВУЗов и институтов повышения квалификации, мало известные учащимся общеобразовательных школ и не пользующиеся у них авторитетом. Из года в год в составе конкурсной комиссии участвуют одни и те же лица, с одним и тем-же подходом к оценке достижений участников олимпиады, что приводит к повышению роли субъективных оценок на конечный результат участников. Как следствие, в настоящее время большинство потенциальных участ-
ников олимпиады считает, что их знания и умения, в первую очередь на практическом этапе конкурса, не могут быть достойно оценены членами комиссии, и, соответственно, не проявляют стремления к участию в олимпиадном движении.
Таким образом, одним из путей поднятия авторитета Всероссийской олимпиады и учебного предмета «Технология» в целом, является формирование комиссии по оценке достижений участников Всероссийской олимпиады по учебному предмету «Технология» на Региональном уровне из людей, являющихся авторитетами для учащихся 5-8 классов общеобразовательных школ.
Рассмотрим процесс формирования комиссии по оценке достижений участников Всероссийской олимпиады по учебному предмету «Технология» на Региональном уровне как один из случаев выбора экспертов из широкого круга специалистов и формирования из них экспертной группы, с учетом особенностей педагогического процесса преподавания учебного предмета в общеобразовательной школе. Алгоритм и методика процесса разработаны и опробованы нами на Региональном уровне Всероссийской олимпиады по учебному предмету «Технология» в Воронежской области в 2014г. Основные теоретические положения и практические результаты заключаются в следующем.
Общие вопросы организации и проведении экспертиз в педагогической деятельности рассматриваются в целом ряде научных работ, среди которых особый интерес представляют работы В.С. Черепанова [1, 2, 3, 4, 5]. В работах рассмотрены различные подходы к формированию списка специалистов - кандидатов в эксперты, определения оптимального количества экспертов в группе, формирования экспертных групп, организации экспертизы, согласования мнений экспертов и принятия решений лицом принимающим решение (ЛПР) применительно к различным отраслям человеческой деятельности. Однако, применительно к технологическому образованию, указанные задачи не нашли своего комплексного научного решения и требуют уточнения следующих теоретических положений.
Во-первых, это выбор и организация работы лица, принимающего решение (ЛПР) в педагогических исследованиях. В научных работах по теории организации и проведения экспертиз лицо, принимающее решение считается априори известным и лично заинтересованным в результате работы экспертов. Применительно к задаче формирования комиссии для оценки достижений участников олимпиады, совершенно непонятно кто это должен быть: представитель структур управления образованием как проводник интересов государства в сфере непрерывного технологического образования (что мы наблюдаем сейчас); представитель участников -учащихся общеобразовательных школ, как лиц, напрямую заинтересованных в объективности
и справедливости оценивания результатов олимпиады, представления себя, своих знаний и умений, своих целей и направления развития перед авторитетными для них людьми; представители бизнеса (не педагоги) как люди, способные оценить представленные на творческом этапе конкурса проекты с точки зрения востребованности их и пользующихся в этой связи высоким авторитетом среди участников; представитель педагогических коллективов общеобразовательных школ, как специалист, в области непрерывного технологического образования, умеющий и научить, и оценить, и донести единую государственную политику в указанной сфере до всех участников.
Во-вторых, это формирование списка специалистов-кандидатов в эксперты, куда должны входит специалисты из разных областей человеческой деятельности. В научной литературе подразумевается, что для проведения экспертиз привлекаются, в основном специалисты из одной области знаний. Для проведения экспертиз в медицине привлекаются врачи, пусть и разных специальностей, для экспертиз в химической промышленности - специалисты в области химии. Известны и описаны в научной литературе случаи привлечения специалистов-экспертов из смежных областей знаний, например врачи и фармацевты, металлурги и специалисты в области машиностроения. Применительно к задаче формирования комиссии для оценки достижений участников олимпиады по учебному предмету «Технология» нам необходимы специалисты во всех отраслях знаний. При этом привлекаемые специалисты из различных областей знаний зачастую не соприкасаются друг с другом в практической деятельности, не могут оценить степень компетентности друг друга, используют разные термины для описания одного явления. При работе с учащимися общеобразовательных школ необходимо помнить и о личностных качествах привлекаемых специалистов, их желании и способности работать с детьми.
В-третьих, отсутствует единая шкала оценки качеств эксперта, привлекаемого для работы в области непрерывного технологического образования, и единая методика выбора экспертов из широкого круга специалистов. Извечная проблема педагогики: «Что важнее - уметь самому или уметь научить другого?», в нашем случае стоит особенно остро.
Рассмотрим подробнее затронутые вопросы организации и проведении экспертиз в педагогической деятельности.
В научной литературе неоднократно особо подчеркивается важность выбора ЛПР для получения корректных результатов экспертизы. Выбор ЛПР всегда происходит эмпирически и является первым этапом любой экспертизы [6, 7, 8]. В классической теории организации и проведения экспертиз в различных отраслях человеческой деятельности, ЛПР определяется
как человек, формулирующий цель проведения экспертизы, определяющий ее количественные и качественные параметры, организующий работу экспертов или экспертных групп, оценивающий предложенные экспертами пути достижения цели и выбирающий один из них в качестве конечного результата экспертизы и несущий ответственность за реализацию и последствия принятого решения. В этом смысле, наиболее трудная задача для лица, принимающего решения, заключается в выборе конкретного критерия или группы критериев, по которым происходит выбор пути достижения поставленной цели. Только наличие четко сформулированных, определенных качественно и, насколько возможно, количественно, критериев, позволяет выбрать оптимальный путь достижения цели. При этом подчеркивается, что ЛПР при принятии решения должен учитывать интересы и предпочтения всех заинтересованных сторон, и в оптимальном случае привести в процессе проведения экспертизы всех экспертов к единому мнению.
В научных работах сформулированы и требования к ЛПР с различных сторон. Показано, что для успешного достижения цели проводимой экспертизы ЛПР должен отвечать ряду базовых требований:
1) быть лично заинтересован в проведении экспертизы и ее корректного, а желательно оптимального, результата;
2) должен сам являться специалистом-экспертом в области знаний, в которой проводится экспертиза, и иметь среде специалистов высокий авторитет;
3) иметь административный ресурс, достаточный для принятия решений, а также проведения единой, совместно со смежными подразделениями, направлениями, организациями, политики по практической реализации полученных результатов;
4) иметь определенную психологию и черты характера.
Поясним, что большинство методов отбора специалистов-кандидатов в эксперты, например метод «снежного кома», предполагает начало всех процедур именно с процесса получения и обработки экспертных знаний от ЛПР. Применительно к педагогической задаче формирования и работы комиссии по оценке достижений участников Всероссийской олимпиады по учебному предмету «Технология» на Региональном уровне, на ЛПР кроме всех перечисленных условий необходимо определить, что оптимальным результатом его работы здесь считаем вариант решения, при котором мнения всех экспертов-членов комиссии едины. Т.е. ЛПР обеспечивает единый подход к оцениванию работ участников.
Таким образом, возможны следующие варианты выбора ЛПР. В первом варианте за ЛПР принимаются потенциальные участники олимпиады - учащиеся 5-8 классов общеобразова-
тельных школ, как самые заинтересованные лица в этом процессе, а точнее некоторым образом (в простейшем варианте - эмпирически) выбранные из их числа представители или представитель. Такой ЛПР - представитель учащихся, в полной мере отвечает требования по заинтересованности в результате проведения экспертизы, но не отвечают всем остальным требованиям. Здесь следует подчеркнуть, что потенциальные участники Всероссийской олимпиады по учебному предмету «Технология» в первую очередь дети с присущим им максимализмом, частым и резким изменением взглядов на жизнь, желаниями и стремлениями, потребностями в самовыражении, стремлению к лидерству в коллективе. Дети, не взирая их общий интерес к учебному предмету «Технология» и конкретно к участию во Всероссийской олимпиаде, по большому счету разобщены, интересуются, осваивают или владеют ограниченным набором технологий, находятся под сильным влиянием взрослых - родителей, учителей, доверенных лиц. Поэтому выделить из состава одного или группу представителей, стабильно имеющих высокий авторитет среди сверстников, не представляется возможным. Более того, попытки различными методами выделить таких представителей из числа потенциальных участников олимпиады - учащихся 5-8 классов общеобразовательных школ в период проведения работы с 2010 по 2014 гг., и привлечения их к работе комиссии по оценке достижений участников Всероссийской олимпиады, приводит к обратному результату - снижению интереса к участию учащихся к участию во Всероссийской олимпиаде по учебному предмету «Технология». Во втором варианте в качестве ЛПР привлекается представитель педагогических коллективов общеобразовательных школ. В среде педагогов, естественно, может быть выбран такой ЛПР, который несомненно является специалистом-экспертом в области непрерывного технологического образования, имеет в среде педагогов-специалистов высокий авторитет, имеет опыт и профессиональные навыки по работе с разновозрастными коллективами, которому, несомненно, могут быть делегированы административные полномочия по проведению Региональном уровня олимпиады. Однако, уровень доверия со стороны потенциальных участников олимпиады - учащихся 5-8 классов общеобразовательных школ, остается критически низким. Как показывают наши исследования, дело здесь в том, что учителя, как и родители, остаются для учащихся «своими», родными людьми, которые в подростковом возрасте не всегда являются авторитетом. Аналогичная ситуация возникает при привлечении в качестве ЛПР одного из представителей органа управления образованием, что зачастую и происходит в настоящее время. Как показывают наши исследования, учащиеся общеобразовательных школ практически не знакомы с указанной категорией специалистов и их профессиональными достижениями, что также не способствует повышению интереса со стороны учащихся к участию Всероссий-
ской олимпиаде по учебному предмету «Технология». Привлечение в качестве ЛПР одного из представителей бизнеса, к чему так стремятся потенциальные участники олимпиады, отвечает практически все требованиям, предъявляемым к ЛПР, но здесь возникает проблема отсутствия у них личной заинтересованности в корректном и грамотном проведении работы, отсутствия свободного времени для выполнения организационных функций, отсутствие опыта работы с учащимися общеобразовательных школ.
Общей проблемой выбора ЛПР для всех рассмотренных вариантов является отсутствие гарантии попадания ЛПР в итоговый состав комиссии по результатам отбора экспертов из широкого круга специалистов. В этом случае результаты проводимой работы нельзя считать корректными. Особенно это касается случаев привлечения ЛПР среди потенциальных участников олимпиады.
Проведя анализ теоретических положений и практических результатов работы комиссии под руководством ЛПР, выбранных различными способами, мы считаем необходимым адаптировать общую методику выбора ЛПР следующим образом [9, 10, 11].
Применительно к педагогике необходимо и достаточно дополнительно определить в качестве базовых требований к ЛПР: непосредственная работа в области непрерывного технологического образования, но не связанная напрямую с преподаванием учебного предмета «Технология» в общеобразовательной школе; хорошее понимание специфики педагогического процесса; знание психологии школьников; желание участвовать в процессе.
Оптимальным вариантом представляется профессорско-преподавательский состав высших учебных заведений, особенно по кафедре «Технология и предпринимательство» или институтов повышения квалификации преподавателей общеобразовательной школы, но непосредственно не связанный с педагогическим процессом в общеобразовательной школе.
Такой ЛПР отвечает всем предъявляемым требованиям, может входить или не входить в состав комиссии, но в любом случае является организатором работы комиссии и высшим органом принятия решений. Наиболее успешный результат в процессе исследования был зафиксирован в случае, когда в качестве ЛПР был определен как доцент кафедры, на базе которой проводится олимпиада, Слепцова М.В., помощниками которой для всей технической работы стали магистры 2 курса магистратуры Н. Горяйнова и Т. Мелашенко. Будучи еще недавно сами школьницами, участниками и призерами олимпиады, Н. Горяйнова и Т. Мелашенко хорошо знают «кухню» олимпиады, легко контактируют с потенциальными участниками, но с другой стороны имеют теоретическую и практическую подготовку на уровне магистра педагогики и
являются оптимальным связующим звеном между организаторами Регионального этапа олимпиады и непосредственными участниками [12].
Определившись с ЛПР, перейдем к рассмотрению вопросов, связанных с определением списка специалистов, пользующихся авторитетом у учащихся общеобразовательных школ, и определением параметров, по которым из широкого круга специалистов будет происходить выбор экспертов для формирования экспертной группы - комиссии по оценке результатов участников олимпиады.
В научной литературе предлагаются разные способы формирования широкого списка специалистов, самым распространенным из которых является уже упоминавшийся ранее метод «снежного кома». Предполагается, что в начале работы точно известен один из специалистов-экспертов, который предлагает в свою очередь еще 3-5 по его мнению специалистов-кандидатов в эксперты. Каждый из них в свою очередь называет еще 3-5 кандидатов и так до той поры, пока в списке не будут появляться новые фамилии. Определяющим фактором здесь является выбор первого специалиста-кандидата в эксперты. Помимо собственно требований, предъявляемых к нему как специалисту и кандидату в эксперты, педагогическая экспертиза в сфере непрерывного технологического образования накладывает следующие важные требования. Во-первых, это должен быть человек максимально публичный, известный как можно большему кругу лиц, как среди специалистов различных отраслей, так и среди учащихся общеобразовательных школ. Во-вторых, он должен быть специалистом не только в педагогической деятельности, но и максимально возможно в базовых технологиях, изучаемых в рамках учебного предмета «Технология» в общеобразовательной школе. И конечно, его известность должна быть положительной и обеспечивать для него высокий авторитет, особенно среди учащихся общеобразовательных школ.
Попытка решить задачу «в лоб» в процессе проведения исследований потерпела неудачу. Как показывает практика, среди учащихся общеобразовательных школ Воронежской области высоким авторитетом пользуются Стивен Джобс, Генри Форд, Вагит Алекперов, которые в полной мере соответствуют требованиям, предъявляемым к кандидатам в эксперты. Достаточно высокий авторитет у губернатора Воронежской области Гордеева А.В., главы Бобровского муниципального района Балбекова А.И., главы городского округа г. Воронеж Гусева А.В. и других руководителей Воронежской области, которые хоть и пользуются заслуженным авторитетом, но не относятся к специалистам в области непрерывного технологического образования. Следует особо подчеркнуть, что за время 2010-2014 гг., ни разу в качестве специалиста-эксперта в состав комиссии от лица учеников общеобразовательной школы не был
рекомендован педагог, работающий в настоящее время в области непрерывного технологического образования: учитель в школе, преподаватель в высшем учебном заведении, мастер производственного обучения в учреждении среднего специального образования, автор книги или учебного пособия и т.д. Фактически ученики общеобразовательных школ мало, если не сказать совсем, интересуются педагогической деятельностью, особенно в сфере непрерывного технологического образования. Также крайне редко упоминаются представители малого и среднего бизнеса, работающие в реальном секторе экономики, сельском хозяйстве, дерево- и металлообработке. Сформировать комиссию по оценке достижений участников Всероссийской олимпиады по учебному предмету «Технология» на основании полученных данных невозможно.
Опробовав различные варианты формирования широкого списка специалистов, мы считаем необходимым адаптировать общий подход к задаче применительно к области непрерывного технологического образования следующим образом.
С целью сокращения объемы работы, в каждой школе мы отобрали по 2 потенциальных участника олимпиады, наиболее активно выражавших желание принять участие в работе (респондентов), и предложили им в произвольной форме написать фамилии людей, которых они считают специалистами-экспертами. Затем мы составили общий список всех специалистов-кандидатов в эксперты, упоминавшиеся потенциальными участниками олимпиады. Затем все кандидаты в эксперты были разбиты на группы по профессиональной принадлежности: сельское хозяйство, кулинария и т.д., соответствующие разделам учебного предмета «Технология», изучаемого в общеобразовательной школе. Дополнительно нами были добавлена группа «педагогические работники», в которую сгруппировали фамилии специалистов в области непрерывного технологического образования, потенциально известные учащимся. Например, для Воробьевской средней общеобразовательной школы (Воробьевская СОШ), в группу «педагогические работники», были включены три фамилии: Иванова А.И. - учитель технологии Воробьевской СОШ, Симоненко В.Д. как автор учебника, по которому проходит обучение, и Ульянова И.А. как педагог дополнительного образования. Мы понимаем всю условность такого деления, при котором губернатор Воронежской области Гордеев А.В. оказался в роли специалиста сельского хозяйства, а глава Бобровского муниципального района Балбеков А.И. специалистом в области деревообработки. Мы считаем допустимым такое деление, поскольку на конечный результат педагогической экспертизы это не оказывает существенного влияния. Каждому потенциальному участнику олимпиады по технологии, нами была предложена таблица, где в первом столбце значились фамилии кандидатов в эксперты из общего списка всех упоминавшихся респондентами, разбитые на группы соответственно одной из технологий,
во втором столбце респондентам было предложено обозначить 3 любых параметра (качества, характеристики) кандидата, которое, по его мнению, обеспечило указанному человеку попадание в этот список, а в третьем столбце вписать фамилию человека из своего ближайшего окружения, максимально обладающего теми-же параметра (качествами, характеристиками), что и кандидат, чья фамилия написана в 1 столбце. При этом дублирование фамилий не поощрялась, но и не запрещалось категорически. Т.е. учитель «Технологии» Иванова А.И. могла быть продублирована, а Симоненко В.Д. нет, т.к. он не находится в непосредственном окружении участника в текущее время. При этом учителя Иванову А.И. можно вписать как в группу «педагогические работники», так и в любую другую группу как специалиста по соответствующей технологии. Все фамилии, упомянутые в 3-их колонках, составили расширенный список специалистов, которые являются авторитетом, а перечень признаков - расширенный перечень признаков эксперта. Общее количество признаков, по которым специалист является в глазах потенциальных участников экспертизы экспертом, составило 52 единицы. Общее количество фамилий, внесенных в широкий список специалистов, составило 312 человек. Понятно, что частота упоминаний одного человека варьируется одного (самый распространенный вариант) до 54 упоминаний. Здесь следует отметить интересный факт. Первое место в глазах учащихся занял параметр «Личный успех», по их мнению полностью соотносимый с миллиардерами Стивеном Джобсом и Биллом Гейтсом, Вагитом Алекперовым и Романом Абрамовичем. Однако, при заполнении третьего столбца таблицы, среди упомянуты люди довольно среднего достатка, например, 35 раз упоминавшийся директор ООО «Вектор-С» Рогов Р.В. Большинство специалистов - кандидатов в эксперты, с точки зрения респондентов, мы можем охарактеризовать как средний класс, владельцев среднего и малого бизнеса. Очевидно, потенциальные участники олимпиады - учащиеся 5-8 классов общеобразовательных школ, к личному успеху относят не только и не столько материальный успех, сколько возможность свободно реализовать свои мысли, идеи, устремления. Шкала предпочтений по степени важности компетенций эксперта (от высшей к низшей) получена следующая: №1 - личный успех; №2 - практический опыт в области проведения экспертизы; №3 - способность давать практически значимые советы в области проведения экспертизы; №4 - широта кругозора в области проведения экспертизы; №5 - общий кругозор; ... №51 - занимаемая должность; №52 - наличие публикаций по тематике олимпиады.
В первоначальном варианте проводимого исследования нами предполагалось считать первые 9 человек, наиболее часто упоминавшихся потенциальными участниками олимпиады в качестве специалистов, экспертами и пригласить их в состав комиссии. Но в практической
деятельности возникли два момента, делающих невозможным настолько простой путь отбора экспертов из широкого круга специалистов. Во-первых, мы не имеем никакой гарантии, что попавшие в топ-9 специалисты имеют желание и психологически готовы к предлагаемой им работе в качестве эксперта. Во-вторых, такой подход не дает гарантии объективности полученного результата и попадания в состав комиссии лиц с «дешевой популярностью». Получается, что если в одном месте потенциальные участники олимпиады активны и часто упоминают фамилию одного и того же человека, то мы вынуждено считаем его экспертом, даже если ЛПР не согласен с полученным результатом. Здесь можно привести пример излишней активности некоторых родителей потенциальных участников олимпиады, с различными целями оказывающих влияние на учащихся общеобразовательных школ в процессе работы с ними. Массовое привлечение к проведению экспертиз в области непрерывного технологического образования работодателей, родителей, учащихся старших классов, считающих себя экспертами, но не являющихся таковыми, приводит к неверному оцениванию содержания технологического образования, оценки его текущего состояния и эффективности, направлению дальнейшего совершенствования и развития, а также большому влиянию на результат экспертизы (олимпиады) субъективных факторов. Такие результаты приводят к отрицательным последствиям, как для педагогической науки, так и для специалистов-практиков, ориентирующихся в своей деятельности на полученный результат.
На наш взгляд, более правильным решением задачи выбора экспертов из широкого круга специалистов является применение метода ранжирования с учетом ряда особенностей проведения педагогических экспертиз [13, 14, 15, 16]. Ранг - степень отличия по какому-либо признаку, а ранжирование - процесс определения рангов, относительных количественных оценок степеней отличий по качественным признакам. При этом ранжирование объектов содержит лишь информацию о том, какой из них более предпочтителен, и не содержит информации о том, насколько или во сколько раз один объект предпочтительнее другого. В нашем случае требуется упорядочить привлекаемых к участию в работе специалистов, оценив их «качественные» показатели, такие как «личный успех» или «занимаемая должность» через количественные показатели, выраженные в условных баллах. Т.е. критерию «личный успех» должен соответствовать максимальный балл, а критерию «наличие публикаций по тематике олимпиады» - минимальный. Суммируя для каждого специалиста полученные баллы, мы получаем его ранг, использующийся как количественный показатель в дальнейшей работе. Понятно, что специалисты, набравшие в сумме максимальное количество баллов, имеют наивысший ранг и должны рассматриваться нами как эксперты. Такой подход являет собой фактически второй
тур отбора экспертов для формирования экспертных групп и направлен, в том числе, на отсеивание кандидатов, попавших в широкий список специалистов случайным образом.
Применение метода ранжирования в нашем случае требует решения следующих вопросов. Во-первых, это задание количественной шкалы оценки специалистов. В идеальном случае, максимальный балл оценки каждой компетенции эксперта должен быть равен общему количеству оцениваемых компетенций. Для нашего примера максимальный балл должен составлять 52, минимальный 1. Такой подход в теории позволяет очень точно провести ранжирование специалистов, но требует больших трудозатрат. К тому-же, такая точность не всегда и не везде нужна. В нашем случае мы должны выбрать 9 человек из 312 и совершенно не важно, какое место 112 или 115 займет специалист, не прошедший в число экспертов. Здесь важнее то обстоятельство, что численность исходной группы специалистов, из которой происходит отбор экспертов, должна быть достаточной для того, чтобы на ее основе можно было определить статистически устойчивую оценку [17]. В большинстве научных работ, посвященных теории экспертных систем, численность группы специалистов - кандидатов в эксперты в 20 человек считается минимально допустимой. Видимо, имеет смысл применительно к педагогическим процессам ограничить максимальный балл, используемый для оценки специалистов, например в 10 единиц, минимальный - в 1 единицу, а все остальные специалисты - кандидаты в эксперты, должны быть оценены в 0 баллов по соответствующему параметру (наличию у них соответствующей компетенции). Такой подход приведет к значительному снижению трудозатрат при обработке материалов ранжирования при относительно небольшой потери точности исследования. Во-вторых, проведение оценки методом ранжирования дает стабильно высокие результаты при сравнении каждого из объекта ранжирования с некоторым эталоном. Фактически в этом случае максимальный балл, присвоенный одному из параметров специалиста - кандидата в эксперты, говорит о его полном совпадении с требуемым, или эталонным, значением соответствующего параметра. Применительно к педагогическим исследованиям эталонных критериев вообще не существует. Соответственно, у лиц, проводящих ранжирование специалистов, может быть и близкое, но все-таки разное представление об эталоне эксперта. Шкала предпочтений в этом случае не будет совпадать, что снижает точность и достоверность проводимого исследования. В-третьих, это перечень лиц, проводящих оценку специалистов-кандидатов в эксперты. Применительно к общей теории проведения экспертиз, выбор экспертов из числа широкого круга специалистов возлагается на наиболее заинтересованную в результате сторону, которой являются ученики 5-8 классов общеобразовательных школ - потенциальные участники олимпиады. Здесь, как и на первом этапе, на результат работы сильно влияет раз-
общенность потенциальных участников, что приводит к большому количеству требуемой организационной работы со стороны ЛПР и низкой согласованности их мнений. Альтернативой может являться проведение ранжирования ЛПР или самими специалистами - кандидатами в эксперты методом парных сравнений.
На наш взгляд, необходимо представить методику проведения ранжирования специалистов - кандидатов в эксперты, применительно к педагогике, следующим образом.
Проведение ранжирования целесообразно проводить на ограниченной группе специалистов - кандидатов в эксперты, ограничив ее численность примерно в 25-30 человек. Меньшее количество ранжируемых специалистов считаем нецелесообразным. В случае отказа какого-либо специалиста, определяемого как эксперт, участвовать в работе, возможно снижение количества рассматриваемых кандидатур ниже количества, обеспечивающего статистически устойчивую оценку, что приведет к получению некорректных результатов проводимой работы. Оценку наличия у специалиста-кандидата в эксперты определенной компетенции из общего списка компетенций эксперта допустимо проводить на количественной шкале, максимальный балл которой составляет 10 единиц, минимальный - 1 единицу, при этом каждый значимый балл выставляется только один раз, во всех остальных случаях выставляется оценка 0 баллов по соответствующей компетенции. Что касается перечня лиц, проводящих оценку специалистов-кандидатов в эксперты, то по результатам проводимой работы можно сделать однозначный выбор - его должен проводить ЛПР.
В результате проведения исследований в 2010-2014 гг. мы ежегодно проводили ранжирование 30-ти специалистов-кандидатов в эксперты, привлекая потенциальных участников олимпиады - учащихся общеобразовательных школ, самих специалистов, входящих в указанную группу из 30-ти человек и ЛПР. В результате формировались 3 списка членов комиссии оценке достижений участников Всероссийской олимпиады по учебному предмету «Технология» на Региональном уровне. Для дальнейшего изложения назовем их Список №1, Список №2 и Список №3 соответственно.
Общим итогом полученных результатов является отсутствие в итоговом Списке №1 и Списке №2 специалистов в области педагогики и непрерывного технологического образования, несмотря на включение их в широкий список специалистов на преведущем этапе работы. Такое положение дел лишний раз подчеркивает, что педагоги - специалисты в области непрерывного технологического образования не пользуются авторитетом ни у учащихся общеобразовательных школ, ни у специалистов в иных областях человеческой деятельности. Для Списка №3
на протяжении всего времени исследования характерно следующее соотношение: педагогов -специалистов в области непрерывного технологического образования - 5-6 человек, иных экспертов - 3-4 человека.
При этом в разрезе года, совпадение одинаковых фамилий в Списках №1, №2 и №3 составляет 1-2 человека. Полное несовпадение Списков на всем периоде исследований не зафиксировано ни разу, совпадение по 1 человеку - 3 раза, совпадение по 2 экспертам - 1 раз.
Окончательную проверку полученных результатов проводили следующим образом. За 1 неделю до проведения Регионального этапа Всероссийской олимпиады со Списками №1, №2 и №3 знакомили участников - учащихся 5-8 классов общеобразовательных школ г. Воронежа и Воронежской области, которым предлагалось выбрать комиссию, которая должна быть сформирована для оценки их работ учащихся на практическом этапе Регионального уровня Всероссийской олимпиады по учебному предмету «Технология». За все время проведения исследования за Список №1 высказалось в среднем 9,2% участников, за Список №2 высказалось в среднем 11,5% участников, за Список №3 высказалось в среднем 79,3% участников. При этом общее количество учащихся 5-8 классов общеобразовательных школ-участников Всероссийской олимпиады по учебному предмету «Технология», за период с 2011 г. ежегодно увеличивается в среднем на 6,8%.
Полученные результаты позволяют сделать следующие выводы.
1. Задача формирования комиссии по оценке достижений участников Регионального этапа Всероссийской олимпиады по учебному предмету «Технология» может рассматриваться как один из случаев выбора экспертов из широкого круга специалистов и формирования из них экспертной группы, с учетом особенностей педагогического процесса преподавания учебного предмета в общеобразовательной школе.
2. Основными проблемами применения алгоритмов и методики выбора экспертов и формирования экспертных групп в педагогической деятельности являются: выбор и организация работы лица, принимающего решение (ЛПР); формирование широкого списка специалистов-кандидатов в эксперты, привлекаемых для работы в сфере непрерывного технологического образования; определение единой шкалы оценки качеств эксперта; разработка единой методика выбора экспертов из широкого круга специалистов.
3. Применительно к задаче проведения педагогической экспертизы в сфере непрерывного технологического образования оптимальным вариантом лица, принимающего решение (ЛПР) определен профессорско-преподавательский состав высших учебных заведений, особенно
по кафедре «Технология и предпринимательство» или институтов повышения квалификации преподавателей общеобразовательной школы, но непосредственно не связанный с педагогическим процессом в общеобразовательной школе.
4. Оптимальное количество специалистов, из которых происходит отбор экспертов, применительно к задаче проведения педагогических исследований, составляет 25-30 человек. Оптимальное количество экспертов в группе - 9 человек.
5. Проведение отбора экспертов из широкого круга специалистов целесообразно проводить в два этапа с целью исключения попадания в экспертную группу случайных людей. Вторым этапом отбора экспертов следует признать ранжирование компетенций эксперта на шкале количественной 10-ти бальной шкале.
6. Оценку специалистов-кандидатов в эксперты его должен проводить ЛПР. Во всех иных случаях в окончательный состав группы экспертов на всем протяжении исследования ни разу не попали педагоги - специалисты в области непрерывного технологического образования. Мы считаем отсутствие профессиональных педагогов в составе итоговой комиссии при проведении педагогических экспертиз недопустимым, а полученные результаты - некорректными.
7. Применение алгоритма и методик отбора экспертов из широкого круга специалистов для формирования комиссии по оценке достижений участников Регионального этапа способствует повышению авторитета учебного предмета в среде учащихся 5-8 классов общеобразовательных школ, повышению их интереса к технологическому образованию, и увеличению количества участников Всероссийской олимпиады по учебному предмету «Технология».
список литературы
1. Иванов Д.А. Экспертиза в образовании: учебное пособие для студентов. - М.: Академия, 2008. 329 с.
2. Крулехт М.В. Экспертные оценки в образовании. - М.: Академия, 2002. 112 с.
3. Мкртычан Г.А. Психолого-педагогическая экспертиза в образовании: теория и практика: дис. ... доктора психологических наук. - Нижний Новгород, 2002. 351 с.
4. Орлов А.И. Экспертные оценки. - М., 2002. 31 с.
5. Черепанов В.С. Экспертные оценки в педагогических исследованиях: методика педагогической экспертизы. - М.: Педагогика, 1989. 152 с.
6. Кирюшина О.Н. Повышение эффективности эмпирических методов в современном педагогическом исследовании: дис. ... канд. пед. наук. - Таганрог, 2004. 194 с.
7. Ларичкина Н.В. Организационно-педагогические условия совершенствования внутренней экспертизы в общеобразовательном учреждении: дис. ... канд. пед. наук. - Иркутск, 2007. 243 с.
8. Новикова Т.Г. Типология экспертизы в образовании / Т.Г. Новикова // Муниципальное образование: инновации и эксперимент. Раздел «Теория и практика управления инновациями». 2009. № 5. С. 37-42.
9. Лобок А. Модель института профессиональной экспертизы педагогической инноватики // Школьные технологии. 2007. №5. С. 69-78.
10. Кучер С.Н. Основные подходы к экспертизе в образовании // Педдиагностика. 2007. №2. С. 50-57.
11. Слепцова М.В. Применение экспертных систем в процессе обучения учащихся учебному предмету «Технология» // Вестник Орловского государственного университета, 2014. №2(37). С. 79-83.
12. Бережнова Е.В. Основы учебно-исследовательской деятельности студентов: учебник для студ. сред. учеб. заведений / Е.В. Бережнова, В.В. Краевский. - М.: Академия, 2007. 128 с.
13. Гуцыкова С.В. К вопросу согласованности экспертных оценок профессионально важных качеств // Знание, понимание, умение. 2009. №4. С. 200-204.
14. Постников В.М., Спиридонов С.Б. Подход к увеличению согласованности мнений экспертов при выборе варианта развития системы обработки информации // Наука и образование, 2013. №6. С. 333-348.
15. Слепцова М.В. Согласование экспертных мнений для математической модели учебного предмета «Технология» // Научное мнение. 2014. №7. С. 320-326.
16. Солнышков М.Е. Наукометрические характеристики современных научных исследований: дис. ... канд. пед. наук. - Ростов-на-Дону, 2006. 253 с.
17. Чуйко Л.В. Математические методы в педагогике как условие совершенствования качества образования: дис. ... канд. пед. наук. - Тирасполь, 2006. 182 с.
References
1. Ivanov D.A. Jekspertiza v obrazovanii: uchebnoeposobie dlja studentov [Expertise in education: a textbook for students]. - M.: Academy, 2008. 329 р.
2. Kruleht M.V. Jekspertnye ocenki v obrazovanii [Expert evaluation in education]. - M.: Academy, 2002.112 р.
3. Mkrtychan G.A. Psihologo-pedagogicheskaja jekspertiza v obrazovanii: teorija i praktika [Psychological and pedagogical expertise in education: theory and practice]: dis. ... d-ra psychological nauk. - Nizhnij Novgorod, 2002. 351 p.
4. Orlov A.I. Jekspertnye ocenki [Expert assessment]. - M., 2002. 31 p.
5. Cherepanov V.S. Jekspertnye ocenki vpedagogicheskih issledovanijah: metodikapedagogiches-koj jekspertizy [Expert evaluations of educational research: methodology of pedagogical expertise]. - M: Longman,1989. 152 p.
6. Kirjushina O.N. Povyshenie jeffektivnosti jempiricheskih metodov v sovremennompedagogiches-kom issledovanii [Improving the efficiency of empirical methods in modern pedagogical research] : dis. ... kand. ped. nauk. - Taganrog, 2004. 194 p.
7. Larichkina N.V. Organizacionno-pedagogicheskie uslovija sovershenstvovanija vnutrennej jekspertizy v obshheobrazovatel'nom uchrezhdenii [Organizational-pedagogical conditions for improving internal expertise in educational institution]: dis. ... kand. ped. nauk. - Irkutsk, 2007. 243 p.
8. Novikova T.G. Tipologija jekspertizy v obrazovanii [Typology of expertise in education] / T.G. Novikova // Municipal'noe obrazovanie: innovacii i jeksperiment. Razdel «Teorija i praktika upravlenija innovacijami» [Municipal education: innovation and experiment. Section «Theory and practice of innovation management»]. 2009. № 5. Pp. 37-42.
9. Lobok A. Model 'institutaprofessional'noj jekspertizy pedagogicheskoj innovatiki [The model of the Institute of professional expertise pedagogical innovation] // Shkol'nye tehnologii [School of technology]. 2007. №5. Pp. 69-78.
10. Kucher S.N. Osnovnye podhody k jekspertize v obrazovanii [Basic approaches to assessment in education] // Peddiagnostika [Peddiagnostika]. 2007. №2. Pp. 50-57.
11. Slepcova M.V. Primenenie jekspertnyh sistem v processe obuchenija uchashhihsja uchebnomu predmetu «Tehnologija» [Application of expert systems in the process of student learning academic subject «Technology»] // Vestnik Orlovskogo gosudarstvennogo universiteta [Bulletin of the Orel state University], 2014. №2(37). Pp. 79-83.
12. Berezhnova E.V. Osnovy uchebno-issledovatel'skoj dejatel'nosti studentov: uchebnik dlja stud. sred. ucheb. zavedenij [Fundamentals of teaching and research activities of students: textbook for students. environments. the textbook. Institutions] / E.V. Berezhnova, V.V. Kraevskij. - M.: Academy, 2007. 128 p.
13. Gucykova S.V. K voprosu soglasovannosti jekspertnyh ocenokprofessional'no vazhnyh kachestv [To the question of consistency of expert assessments of professionally important qualities] // Znanie, ponimanie, umenie [Knowledge, understanding, skills]. 2009. №4. Pp. 200-204.
14. Postnikov V.M., Spiridonov S.B. Podhod k uvelicheniju soglasovannosti mnenij jekspertov pri vybore varianta razvitija sistemy obrabotki informacii [The approach to increase the consistency of the opinions of experts when you choose to develop a system of data processing] // Nauka i obrazovanie [Science and education], 2013. №6. Рр. 333-348.
15. Slepcova M.V. Soglasovanie jekspertnyh mnenij dlja matematicheskoj modeli uchebnogo pred-meta «Tehnologija» [Validation of the expert opinions for the mathematical model of the subject «Technology»] // Nauchnoe mnenie [Scientific opinion]. 2014. №7. Рр. 320-326.
16. Solnyshkov M.E. Naukometricheskie harakteristiki sovremennyh nauchnyh issledovanij [Scien-tometric characteristics of modern scientific research]: dis. ... kand. ped. nauk. - Rostov-na-Donu, 2006. 253 р.
17. Chujko L.V. Matematicheskie metody v pedagogike kak uslovie sovershenstvovanija kachestva obrazovanija [Mathematical methods in pedagogy as a condition for improving the quality of education]: dis. ... kand. ped. nauk. - Tiraspol', 2006. 182 р.
данные об авторе
слепцова марина викторовна, доцент кафедры технологических и естественнонаучных дисциплин, кандидат педагогических наук
Воронежский государственный педагогический университет ул. Ленина, 86, г. Воронеж, 394043, Россия [email protected] SPIN-код 3580-4781
DATA ABouT THE author
sleptsova Marina viktorovna, Associate Professor of technology and natural Sciences, candidate of pedagogical Sciences
Voronezh state pedagogical University Lenin street, 86, Voronezh 394043 Russia [email protected]
