CC BY
19
Конкурсы и конференции
Обухов
Алексей Сергеевич,
кандидат психологических наук, доцент, ведущий эксперт Центра общего и дополнительного образования имени А. А. Пинского Института образования НИУ ВШЭ, г. Москва
e-mail: aobuhov@hse.ru
«Универсальный конструктор» организации конференций и процедуры экспертизы исследовательских и проектных работ (на примере конкурса «Высший пилотаж»)
"Universal construction kit" for organizing conferences and expertise on research and project works (on the example, the "Vyshy Pilotage" content)
Струкова
Елена Вячеславовна,
кандидат филологических наук, начальник отдела содействия развитию и профессиональному самоопределению одаренных школьников Дирекции по профессиональной ориентации и работе с одаренными учащимися НИУ ВШЭ, г. Москва
e-mail: estrukova@hse.ru
Аннотация. На примере развития Всероссийского конкурса исследовательских и проектных работ «Высший пилотаж» представлены наработки, имеющие ценность для подготовки организаторов и экспертов подобных конкурсов. Описана практика развития конкурса и расширения числа региональных конкурсов, потребовавшая создания особой модели повышения квалификации вовлеченных специалистов. Результатом проведения таких курсов стали три наработки, полезные для использования не только в рамках проведения «Высшего пилотажа», но и в рамках схожих конкурсов: 1 — «универсальный конструктор» для организаторов регионального конкурса; 2 — алгоритм «калибровки» критериев экспертизы; 3 — «чек-листы» с ключевыми вопросами для защиты исследовательских и проектных работ на конкурсе. Ключевые слова: конкурс исследовательских и проектных работ, «Высший пилотаж», организация конкурса, экспертиза, критерии экспертизы
Abstract. On the example of the All-Russian contest of research and project works "Vyshy Pilotage", developments that are valuable for the training of organizers and experts of such competitions are presented. The practice of developing the contest and expanding the number of regional competitions is described, which required the creation of a special model for improving the qualifications of the involved specialists. The result of the courses was three developments, useful for use not only in the framework of the contest
Обухов Алексей Сергеевич, Струкова Елена Вячеславовна
in question, but also in the framework of similar competitions: 1 — "universal construction kit" for the organizers of the regional contests; 2 — algorithm of "calibration" of the evaluation criteria; 3 — "checklists" with key questions for the defense of research and design work at the contest.
Keywords: competition of research and project works, "Vyshy Pilotage", contest organization, expertise, evaluation criteria
Конкурс «Высший пилотаж»: основные вехи полета
Конкурс исследовательских и проектных работ «Высший пилотаж» (https://olymp.hse.ru/projects) был организован Национальным исследовательским университетом «Высшая школа экономики» в 2015-2016 учебном году. Регистрация участников открывалась осенью, заключительный этап проводился весной. В первом конкурсном сезоне, в 2016 году, он собрал под единым брендом «Высший пилотаж» 14 существующих конкурсов для абитуриентов на факультетах НИУ ВШЭ. Его появление было связано с потребностью университета в абитуриентах с базовыми навыками и компетенциями по написанию научных исследований и подготовке проектов. Миссия конкурса формулировалась так: «развитие у школьников творческих способностей, интереса к исследовательской и проектной деятельности и выявления одаренных школьников». Развитие, интерес, выявление — константы конкурса, определившие дальнейший вектор его развития. Корреляция, по мысли организаторов, проста: через интерес возможно развитие способностей, в свою очередь выявленные способности смогут раскрыть талант.
Первоначально целевой аудиторией конкурса были учащиеся 10-11 классов, постепенно класс абитуриентов по отдельным направлениям снижался. Для примера, в конкурсном сезоне 2022 по направлению «Филология» уже могут участвовать школьники 7-11 классов. В целом целевая аудитория конкурса — старшеклассники, вовлеченные в конкурсную деятельность, с высокой мотивацией и самоорганизацией — задавала вектор развития конкурса и мотивировала организаторов на трансформацию организационно-методической модели. Именно запрос целевой аудитории привел к увеличению количества направлений. Изначально в 2015-2016 учебном году в конкурсе было заявлено 14 направлений, в 2021-2022 учебном году количество направлений увеличилось до 25. Среди «новичков» оказались направления, которые отвечали на запросы как самих школ, так и образовательных программ НИУ ВШЭ. Так, введение в конкурсном сезоне 2022 года направления «История» стало ответом на запрос школьников и их педагогов-историков. Открытие образовательной программы «Международные отношения» привело к появлению направления с аналогичным названием в конкурсном
Alexey
Obukhov,
Ph. D. in Psychology, Associate Professor, Leading Expert of the A. A. Pinsky Center for General and Further Education, Institute of Education, National Research University 'Higher School of Economics', Moscow
Elena
Strukova,
Ph. D. in Philology, Head of the Department for Assistance to the Development and Professional Self-Determination of Gifted Students, Directorate for Professional Guidance and Work with Gifted Students, National Research University 'Higher School of Economics', Moscow
Конкурсы и конференции
к
сезоне 2020 года. Помимо интереса целевой аудитории оргкомитет конкурса при введении направлений ориентировался и на запрос рынка труда на специалистов в высокотехнологичных областях развития науки и техники. Ответом на такой запрос стало введение направления «Спутникостроение и геоинформационные технологии» в конкурсном сезоне 2021 года.
Организационная модель конкурса также претерпевала изменения, связанные с более глубоким изучением интереса целевой аудитории. Первоначально конкурс включал два этапа: отборочный (дистанционный) и заключительный. В рамках отборочного этапа школьникам необходимо было зарегистрироваться в личном кабинете и загрузить конкурсную работу, жюри оценивали работы и приглашали авторов лучших на заключительный этап. Модель основывалась на гипотезе, что высокомотивированный старшеклассник способен самостоятельно пройти путь от регистрации на сайте конкурса до подготовки исследования или проекта и загрузки его в систему. Однако низкий процент загрузки работ (31-35%) в первые три года конкурса показал, что модель требует более глубокой проработки. Согласно проведенным опросам, выяснилось, что целевая аудитория в большинстве своем нуждается в сопровождении при подготовке конкурсной работы. При ближайшем рассмотрении носителями компетенций по сопровождению школьников были учителя в школах. Основываясь на этом положении, в 2019 конкурсном сезоне был введен альтернативный дистанционному трек отборочного этапа — региональный конкурс, который предполагал максимальное включение учителей в сопровождение школьников при подготовке конкурсной работы.
Таким образом, за счет более глубокого изучения поведения целевой аудитории организаторами были предложены два пути «входа» в конкурс. Первый трек — дистанционный — был ориентирован на школьников с уже проявленным и осознанным интересом. Эта целевая группа представляла собой группу высокомотивированных старшеклассников, с хорошими организаторскими способностями, у которых уже был доступ к наставникам: родителям, научным коллективам, учителям. Второй трек — региональный — был ориентирован на выявление интереса и вовлечение в конкурсную работу школьников, отличающихся стабильно высокими показателями по успеваемости, но ограниченных в доступе к наставникам.
Региональный трек был введен в конкурсном сезоне 2019 (2018-2019 учебный год). К организации региональных конкурсов были привлечены 11 площадок в регионах: Барнаул, Владивосток, Воронеж, Красноярск, Набережные Челны, Нижний Новгород, Новосибирск, Пенза, Рязань, Тольятти, Челябинск. В конкурсном сезоне 2020 года региональное представительство расширилось до 18 площадок. Площадки организовывались на базе средних образовательных школ, которые
Обухов Алексей Сергеевич, Струкова Елена Вячеславовна
отличались хорошими показателями в региональных рейтингах и имели соглашения о сотрудничестве с НИУ ВШЭ.
Интерес регионов в проведении конкурса объяснялся следующим:
1. развитие потенциала школьников региона;
2. статус организатора регионального конкурса;
3. наличие победителей / призеров регионального конкурса среди учащихся;
4. реализация требований ФГОС, в рамках которого индивидуальный проект является обязательной формой обучения и входит в перечень учебных предметов старшей школы. Понимая трудоемкость проекта, оргкомитет предложил
регионам сотрудничество, заложив в основу принцип автономности региональных организаторов. Принцип подкреплялся следующими обоснованиями:
Во-первых, предполагалось, что региональные организаторы могут самостоятельно решать, какие конкурсные направления выбрать для проведения: от одного до всех представленных в «меню» конкурса. Это позволяло оптимизировать трудозатраты, так как выбирались направления в соответствии с профилем школы и наличием экспертов.
Во-вторых, региональные организаторы самостоятельно решали, кого из дипломантов регионального конкурса поощрять «путевкой» на заключительный этап в Москву. Это положение было важно для мотивации учителей работать со школьниками с точки зрения достижимости результата, в данном случае призерства/победы своих подопечных.
В-третьих, региональные организаторы вправе самостоятельно решать, на какой площадке проводить конкурс, кому вручать благодарности, как продвигать конкурс. Это важно с точки зрения уникальности каждой площадки и особенностей взаимодействия с партнерами в регионах: у одних школ есть выходы на администрации города, другие взаимодействуют с региональными министерствами.
Однако итоги первых двух лет сотрудничества с регионами обозначили ряд организационных и методических проблем:
1. эксперты на заключительном этапе подчеркивали, что уровень работ, пришедших по региональному треку, ниже, чем уровень работ, полученных в рамках дистанционного трека;
2. конкурсные работы регионального трека не соответствовали требованиям к конкурсным работам, указанным в методических рекомендациях;
3. конкурсные работы регионального трека отклонялись экспертами из-за наличия плагиата;
4. также по итогам конкурсов больше половины работ региональных дипломантов не приняли участие в заключительном этапе.
№ : 5 ВЫСШИЙ ПИЛОТАЖ
Конкурсы и конференции
Последний пункт был особенно болезненным для оргкомитета, так как получалось, что школьники региональных конкурсов получили наставников, подготовили конкурсную работу, стали дипломантами, но главная цель — вовлечение в конкурсную деятельность «Высшего пилотажа» по региональному треку большего числа школьников, не была достигнута. Для примера, по итогам конкурсного сезона 2019 года 463 школьника приняли участие в региональных конкурсах, из них 116 стали региональными дипломантами с правом участия в заключительном этапе, из них только 85 загрузили работы. То есть 31 школьник своим правом побороться за победу не воспользовался.
По итогам двух лет существования регионального трека в июне 2020 года оргкомитет обозначил следующие задачи на новый конкурсный сезон:
совершенствование процедуры критериального отбора организаторов Региональных конкурсов «Высший пилотаж»; повышение эффективности взаимодействия Региональных организаторов и Оргкомитета Конкурса; повышение качества предоставляемых на заключительный этап работ;
минимизация рисков «неучастия» в заключительном этапе рекомендованных дипломантов региональных конкурсов; повышение статуса регионального конкурса.
Для решения поставленных задач появилась идея проведения курсов повышения квалификации для представителей региональных конкурсов.
Курсы повышения квалификации для организаторов и экспертов региональных конкурсов «Высший пилотаж»
Первые курсы повышения квалификации прошли в 2020 году. В них приняли участие 66 представителей из регионов. Вход на курсы был свободным, зарегистрироваться могло любое количество представителей от региональных организаторов. Курсы проводились онлайн. Календарный план КПК совпадал с календарем конкурса, что позволяло решать как образовательные задачи КПК, так и задачи по организации и проведению конкурса.
Таблица 1. Соотнесение календаря конкурса и КПК
Календарь конкурса Календарь КПК
До 1 октября — подготовка конкурсных документов, открытие регистрации, открытие приема работ на региональные конкурсы Октябрь — 1 модуль
Ноябрь-январь — проведение региональных конкурсов Ноябрь — 2 модуль
Конец апреля — заключительный этап конкурса в Москве Апрель — 3 модуль
Обухов Алексей Сергеевич, Струкова Елена Вячеславовна
По итогам первого года проведения КПК были достигнуты следующие количественные показатели:
• число участников региональных конкурсов выросло на 19% (943 участника в 2021 году, 794 - в 2020 г.);
• число рекомендованных дипломантов региональных конкурсов выросло на 14% (262 участника в 2021 году, 229 — в 2020 г.);
• число загруженных региональными дипломантами работ выросло на 41% (201 участник в 2021 году, 142 — в 2020 г.);
• число участников регионального трека, принявших участие в заключительном этапе, выросло на 57% (150 участников в 2021 году, 95 — в 2020 г.);
• число призеров заключительного этапа из школьников, прошедших региональный трек, выросло почти в два раза — 94% (37 участников в 2021 году, 19 — в 2020 г.);
• число победителей заключительного этапа из школьников, прошедших региональный трек, составило 5 человек в 2021 году против 2 — в 2020 г.
По итогам анкетирования слушатели отметили следующие навыки, которые они получили в рамках КПК:
1. навыки организации конкурса Высший пилотаж: «Пришло понимание «пробелов» в организации», «Много организационных вопросов исчезло»;
2. навыки организации мероприятий в целом: «Появилось понимание, как организовывать мероприятия, на примере мероприятия "Высший пилотаж"», «Получила ценный навык планирования»;
3. обмен опытом с коллегами: «Можно было бы сказать, что важно общение. Но хочу сказать, перед началом новой кампании в голове все восстановилось, более того, при таком детальном обсуждении вспомнила все свои плюсы и минусы, и есть время их не допустить сейчас»;
4. навык оценки и экспертизы конкурсной работы: «Мне стали более понятны критерии оценки и важные моменты, на которые необходимо обратить внимание при оценке работ», «Познакомилась с критериями оценивания, получила навык обсуждения, выставления оценки не по среднему, а по общему в итоге сформированному мнению примерное понимание того, как должна осуществляться работа».
В 2021-2022 учебном году также реализуется второй цикл курсов повышения квалификации.
В итоге выстроена эффективная модель деятельностной реализации курсов, которая имеет три модуля, сопряженных с графиком реализации региональных и финального конкурса «Высший пилотаж»:
1 модуль — до реализации региональных конкурсов: проработка организационных вопросов по подготовке и реализации региональных конкурсов; проработка подходов к
Конкурсы и конференции
экспертизе исследований и проектов по заданным критериям; освоение технологии и алгоритма проверки на корректность заимствований;
2 модуль — консультативное сопровождение реализации региональных конкурсов; методические и консультативные встречи с кураторами предметных направлений конкурса;
3 модуль — участие в общественной экспертизе исследований и проектов на финале конкурса; анализ качества региональных конкурсов с учетом ключевых показателей результативности на всероссийском финале; перепроектирование нового цикла организации регионального конкурса с учетом рефлексии завершенного.
Входе реализации курсов были созданы три методические разработки, которые могут быть продуктивно использованы для подготовки и реализации любых конкурсов проектных и исследовательских работ с учетом особенностей и требований этих конкурсов:
1 — «универсальный конструктор» для организаторов регионального конкурса;
2 — алгоритм «калибровки» критериев экспертизы;
3 — «чек-листы» с ключевыми вопросами при защите исследовательских и проектных работ на конкурсе.
Представим данные наработки, так как они имеют, с нашей точки зрения, общеметодическую ценность, в отрыве от конкретики конкурса «Высший пилотаж».
«Универсальный конструктор» для организатора конкурса исследовательских и проектных работ
Данный «конструктор» выстроен из «блоков» (крупных элементов, по которым структурированы основные организационные вопросы для подготовки и проведения конкурсов исследовательских и проектных работ: время, место, форма, этапы проведения, люди, направления, информация, поддержка, экспертиза, коммуникация участников, награждение, связь с всероссийским конкурсом. Данные «блоки» разделены на «детали», к каждой из которых сформирован открытый набор вопросов, на которые организатору любого конкурса исследовательских и/или проектных работ необходимо иметь свой ответ. Важно, что к каждой детали организатор может добавлять дополнительные вопросы, как и сами «детали». Этот открытый «конструктор». Также он подразумевает, что не обязательно все «детали» необходимо прорабатывать. Часть их может быть выпущена при необходимости.
Представляем детализацию выработанного «Универсального конструктора».
Обухов Алексей Сергеевич, Струкова Елена Вячеславовна
Таблица 2. «Универсальный конструктор» организации конкурса исследовательских и проектных работ
«Детали» «блоков» «Универсального конструктора» Какие вопросы важно учитывать?
Время
Соответствие общему календарю конкурса Вписывается в общий календарь Конкурса? Есть ли люфт времени для подготовки от регионального к всероссийскому конкурсу? Есть ли у участников возможность прослушать вебинары от экспертов по подготовке работы (октябрь, ноябрь)? Достаточно ли времени у участников для загрузки работ, рекомендованных к участию в заключительном этапе в Москве? ...?
Дата Каникулы или учебные дни? Как соотносится с графиком других событий в регионе и/или в образовательной организации? Свободна ли площадка в это время? Свободны ли эксперты? .?
Число дней Один или два? Подряд или с перерывом? .?
День недели Занятость учащихся Занятость экспертов .?
Время проведения (по часам) Нужны ли перекусы, обед? Несовпадение с другими событиями у всех позиций? участников? Утомляемость участников? .?
Расписание (план дня) Необходимость и достаточность времени на каждый элемент программы? В какой последовательности? Соотношение времени работы секций с числом участников? Соотношение времени работы секций со спецификой направления?
Место
Площадка Проводящей организации? Открытая площадка города? Статусная площадка города? Площадка, заинтересованная в привлечении учащихся регионов? Несколько площадок в связке с направлениями? .?
Число и масштаб аудиторий Сколько и какие элементы программы? Количество направлений? Число участников? Формат проведения? .?
Конкурсы и конференции
«Детали» «блоков» «Универсального конструктора» Какие вопросы важно учитывать?
Необходимое оборудование Формат проведения? Оборудованы ли аудитории? Нужно ли техническое сопровождение? Есть ли устойчивая связь у всех участников (если дистанционное участие)? ...?
Организация пространства Формат проведения? Рассадка и форматы коммуникации? Кто в аудитории главный (участники или эксперты)? Наличие мест для слушателей? Как реализуется визуальная организация пространства (афиша конкурса, ролл-ап или пресс-вол)? .?
Форма проведения
Заочная (подача текста) Какие требования к подаче по формату? Как это связано с форматом и способом организации экспертизы? Как подаются тексты и кому они доступны? Как с ними работает эксперт? .?
Дистанционная (доклад в онлайн-формате) Что теряем, а что приобретаем при таком формате? На какой платформе? Какие инструкции важно продумать и разослать для участников и экспертов для работы в этом формате? Насколько это открыто для слушателей? .?
Очная - стендовая Есть ли пространство для ее проведения? Как будут размещаться постеры? Как будет организована в пространстве экспертиза? Как будет организована коммуникация между участниками? .?
Очная - устные доклады Как организовано пространство? Каков регламент по времени? Кто ведет? Когда и как сбрасываются презентации? Кто может задавать вопрос и в каком порядке? .?
Сочетание разных форм проведения Какие формы проведения выбраны? Как они друг с другом сочетаются? Какие задачи решает каждая из форм, а какие их сочетание? Как они разведены в пространстве и времени? .?
Этапы проведения
Информирование о конкурсе Где и как размещена информация о конкурсе? Как ее получает целевая аудитория (и кто это - целевая аудитория)? Кто, как и где делает афишу, рассылки, объявления? Есть ли задача увеличения числа участников? Если ли задача увеличения качества работ? .?
Обухов Алексей Сергеевич, Струкова Елена Вячеславовна
«Детали» «блоков» «Универсального конструктора» Какие вопросы важно учитывать?
Подача работы Какие данные необходимы для регистрации? В какой форме происходит регистрация? Насколько это удобно участникам? Насколько удобно с базой потом работать организаторам? Кто подает работу (организация / руководитель / участник)? Есть ли предварительный отбор до подачи на конкурс? ...?
Проверка на корректность заимствования Кто проверяет корректность заимствования? Как это организовано и с помощью какой программы? При каком проценте заимствования, указанном программой, работа проходит качественный анализ корректности? Происходит ли не только количественный, но и качественный анализ корректности заимствования? Что происходит, если выявляется плагиат? .?
Отбор по итогам заочной экспертизы работ Есть ли какой-то барьер и как он определяется? Число экспертов? Независимость экспертов? Квалификация экспертов? Кто принимает окончательное решение? .?
Формирование программы очного этапа Соотнесение числа участников в направлениях? Соотношение форм проведения конкурса? Сочетания конкурса с другими событиями и форматами работы? Сроки и способы информирования о приглашении? Открытость информации о конкурсе? .?
Проведение очного этапа Открытость мероприятия? Работа с экспертами? Работа с участниками? Где могут участвовать и какие права имеют научные руководители? Допуск слушателей и их формат участия? .?
Выбор работ для рекомендации на всероссийский конкурс Нужно ли выбирать квоту или держать планку уровня? Как выбрать между сопоставимыми работами одну? Как и кто решает конфликтные вопросы? Как учитывать возможность участия на всероссийском конкурсе? .?
Подача работ на всероссийский конкурс Информированы ли авторы рекомендованных работ о необходимости загрузки на сайт конкурса? Кто контролирует загрузку рекомендованных работ? Кто непосредственно контактирует с Всероссийским конкурсом? В какой мере вписывается подача в установленные дедлайны всероссийского конкурса? .?
Конкурсы и конференции
«Детали» «блоков» «Универсального конструктора» Какие вопросы важно учитывать?
Подготовка к участию и сопровождение участников на всероссийский конкурс Осуществляется ли дополнительная подготовка к всероссийскому конкурсу? Получает ли автор рекомендованных работ методические рекомендации от экспертов? Есть ли запрос на консультирование с экспертами всероссийского конкурса до его проведения? Как осуществляется организационное сопровождение участия во всероссийском конкурсе? .?
Люди
Участники Какие классы? Какие школы/образовательные организации? Какие населенные пункты, районы, регионы? Каков их интерес? .?
Эксперты Откуда и как приглашаются? По каким критериям подбираются? Есть ли специальная подготовка? Каков их интерес? .?
Научные руководители Как осуществляется взаимодействие с ними? Есть ли отдельная работа с ними до и после конкурса? Какое место и формат участия их во время конкурса? .?
Организаторы Как формируется команда и из кого? Какие роли и как распределяются в команде? Каков их интерес? .?
Почетные гости Кого зовем и зачем? Какое их место и время участия? Как это используется для развития конкурса? Каков их интерес? .?
Слушатели (учащиеся) Командами? Индивидуально? Какие классы? Как взаимодействуют друг с другом? Каков их интерес? .?
Волонтеры Для чего нужны? Откуда звать? Сколько и каких нужно? Каков их интерес? .?
Обухов Алексей Сергеевич, Струкова Елена Вячеславовна
«Детали» «блоков» «Универсального конструктора» Какие вопросы важно учитывать?
Родители Нужно ли с ними взаимодействовать - когда и как? Присутствуют ли на конкурсе и какое их место? Каков их интерес? .?
Кто еще? .? ...? Каков их интерес?
Направления
Полный охват направлений для региональных конкурсов Будут ли работы на все направления в достаточном количестве и качестве? Хватит ли научных руководителей на все направления? Хватит ли экспертов на все направления? .?
Выбор нескольких из перечня всероссийского конкурса Какие направления выбираются? Почему именно они? Каков прогноз по числу и качеству работ на каждое из направлений? Будет ли цель расширять перечень этих направлений? Достаточно ли квалифицированных экспертов на каждое из направлений? .?
Выбор одного направления из перечня всероссийского конкурса Какого именно? Почему именно его? Будет ли цель расширять перечень направлений? Каков прогноз по числу и качеству работ на это направление? Достаточно ли квалифицированных экспертов на это направление? .?
Формирование направлений на основе заявок в соответствии с направлениями всероссийского конкурса Насколько при этом алгоритме вписываемся в общий календарь конкурса? Какова технология формирования направлений из состава заявок (кто и как это делает)? Как будет формироваться состав экспертов? .?
Информация
Регламент Какие документы обязательно должны быть? Кто пишет и кто утверждает Регламент о региональном Конкурсе? Как он соотносится с Положением о Всероссийском конкурсе? Есть ли сайт, на котором размещены все официальные документы о региональном конкурсе? .?
Продвижение Как, кто и когда получает информацию о конкурсе? Где, как и кому можно увидеть информацию о конкурсе? Какая информация о конкурсе необходима, чтобы в нем принять участие? Нужна ли какая-то отдельная стратегия работы по направлению PR для конкурса? Используется ли стилевое оформление всероссийского конкурса в региональном конкурсе? .?
Конкурсы и конференции
«Детали» «блоков» «Универсального конструктора» Какие вопросы важно учитывать?
Коммуникация с участниками Через какие платформы и средства осуществляется коммуникация участниками и организаторами конкурса? Как (с помощью каких каналов) осуществляется коммуникация между организаторами и экспертами? Какие еще важны каналы коммуникации? .?
Информирование о результатах Где и когда публикуется официальная информация об итогах конкурса? Где и как освещается информация о результатах конкурса? Кому эта информация адресована? .?
Поддержка
Административная поддержка От кого она нужна? Какая нужна? Для чего она нужна? Как ее получить? .?
Образовательные, научные и иные организации Какие организации выступают основными организаторами конкурса? Как осуществляется между ними взаимодействие? Взаимодействие с какими еще организациями важно? Для чего это нужно? Как осуществить взаимодействие с той или иной организацией? .?
Спонсоры Нужны ли и какие? Для чего они нужны? Каков их интерес? Кто и как их привлекает? .?
Информационные партнеры Кто выступает информационным партнером? Кто еще мог бы им стать? Как их привлечь? Какой у них может быть интерес? .?
Экспертные сообщества Есть ли в регионе сложившиеся экспертные (профессиональные) сообщества? Есть ли с ними сотрудничество? Как можно привлечь эти сообщества к сотрудничеству? .?
Иная. ...? ...?
Экспертиза
Состав экспертов Кто формирует? Что является критерием для включения в эксперты? Есть ли процедура самовыдвижения в эксперты? Если ли различение профессиональной и общественной экспертизы? Известен ли состав экспертов (публичность состава)? .?
Обухов Алексей Сергеевич, Струкова Елена Вячеславовна
«Детали» «блоков» «Универсального конструктора» Какие вопросы важно учитывать?
Процедура экспертизы Как организована? Кто организует? Каков регламент? Как обеспечивается профессионализма? Как обеспечивается независимость? Сколько экспертов на одну работу? .?
Критерии экспертизы Как они соотносятся с критериями Всероссийского конкурса? Насколько они известны участникам? Насколько (кем и когда) на них обращается внимание участников? Есть ли работа по согласованию их трактовки экспертами? .?
Способы подведения результатов экспертизы Кто и как в ней участвует? Как она реализована (средний балл, рейтинг, обсуждение)? Какие факторы учитываются при подведении итогов? .?
Формы обратной связи для участников Предусмотрено ли получение обратной связи участниками? Если да, то в какой форме и насколько детально? Есть ли возможность для коммуникации участников и экспертов после подведения итогов? .?
Коммуникация участников
Коммуникация в конкурсной процедуре Есть такая коммуникация или она отсутствует? Участники могут слушать друг друга? Участники могут задавать вопросы друг другу? Есть ли право первенства вопросов к другим участникам? Есть ли формат взаимной экспертизы участников? .?
Дополнительные форматы коммуникации и мероприятия для участников Есть ли специальные форматы, организующие коммуникацию для участников? Какие дополнительные мероприятия проходят в рамках конкурса для участников? Какие задачи эти форматы реализуют и как? .?
Награждение
Система дипломов/ грамот Есть ли иерархия наград? Для чего она нужна? Какие типы дипломов/грамот есть? Есть ли индивидуальная формулировка каждому участнику? Есть ли особый формат данных бумаг? .?
Награды Как проходит процедура награждения? Каково ее значение именно в этом формате? Используется ли доступ к ресурсам как награда? Есть ли материальные призы при награждении и как они обеспечиваются? .?
Конкурсы и конференции
«Детали» «блоков» «Универсального конструктора» Какие вопросы важно учитывать?
Иное.
Связь с всероссийским конкурсом
Делегирование Кого из дипломантов рекомендовать на заключительный этап? Нужно ли увеличивать число делегатов и каким образом? Как учитывается возможность делегата поехать на Всероссийский конкурс? .?
Сопровождение между региональным и всероссийским конкурсом Нужны ли консультирование и доработка рекомендованных работ? Если нужна, то кто и как это осуществляет? Как учитываются форматы Всероссийского конкурса при подготовке и сопровождение к нему при работе с делегатами? .?
Сопровождение на всероссийском конкурсе Кто сопровождает делегатов на всероссийский конкурс? Как это организовано? Какие задачи реализует сопровождающий при участии на всероссийском конкурсе? Отслеживаете ли вы результаты выступления на всероссийском конкурсе своих участников? Как опыт участия на всероссийском конкурсе потом влияет на развитие регионального конкурса? .?
Впервые в определенной модификации описанный алгоритм был применен при отработке критериев экспертизы
А. С. Обуховым с экспертами Всероссийского конкурса исследовательских работ и творческих проектов дошкольников и младших школьников «Я — исследователь» в 2019 году в Сочи [Савенков, Обухов 2018].
Данные аспекты отражены в ряде публикаций [Леонтович 2018а; Леонтович 2018б].
«Калибровки» критериев экспертизы1 Вводный этап
Презентация: различение оценивания и экспертизы. Задачи экспертизы и форматы их реализации. Квалификация эксперта и способ ее развития. Проект и исследование: различение жанра и критериев экспертизы2. Постановка задачи на практическую работу.
Отработка критериев экспертизы на заочном этапе (работа с текстами)
Участники делятся на четыре больших группы (по направлениям).
Каждая большая группа в случайном порядке делится на малые группы по 4-5 человек (минимум 3). Внутри направления важно иметь минимум 3 группы.
По каждому направлению выбираются примеры текстов конкурсных работ с соответствующими критериями экспертизы. Возможны варианты: а) два текста (1 — проект, 1 — исследование); б) от одного до трех текстов одного жанра (только проект или только исследование).
Обухов Алексей Сергеевич, Струкова Елена Вячеславовна
Подбор текстов и логика их выбора по числу: если текстов несколько, то важно, чтобы они были разного уровня — те, что точно прошли бы в финал, спорные и те, что точно не прошли. Если текст 1, то лучше, чтоб он был неоднозначным в оценке.
Этапы работы:
1 — направление разделяется на группы по числу участников около 5 человек (в пределах от 3 до 5). Если в направлении есть и исследования, и проекты, то четным залам даются работы одного жанра; нечетным — другого. И к ним предлагаются соответствующие критерии. Если в направлении один жанр — всем дается по 1 работе и критерии по направлению.
При онлайн-формате работы удобно использовать в виде гугл-формы оценочные бланки по критериям направления.
Сначала каждый участник смотрит работу и оценивает ее в баллах по критериям (от 20 до 30 минут — зависит от объема текста на чтение и экспертизу работы).
Вариант 1 - всем группам даётся одна и та же работа.
Вариант 2 - каждой группе дается своя работа.
2 — внутри группы, после того как каждый проставит баллы, важно, чтобы все участники увидели баллы друг друга. В группе обсуждаются баллы, внимательно соотносятся критерии и текст работы при спорных моментах (несовпадении оценок внутри группы). Группа должна в итоге заполнить общий оценочный лист (отдельная графа в бланке), договорившись по всем критериям и оценкам. Важно, чтобы не голосованием и не средним арифметическим, а обсуждением, принятием консенсусом (от 20 до 30 минут).
3 — все группы объединяются внутри направления. От группы представляется оценка работы по критериям, которая соотносится с «эталонной» от куратора направления. Куратор комментирует — почему он поддерживает или дает свою оценку работы по тому или иному критерию (от 20 до 30 минут).
Если пошли по варианту 1 - то также до обсуждения создается общее поле оценок от всех групп по каждому критерию общей работы и это становится предметом обсуждения (совпадения или нет в оценках у разных групп и на основании чего те или иные группы дали оценку).
Если пошли по варианту 2 - то тут куратору придется, пожалуй, больше комментировать обоснованность оценки при экспертизе работы с соотнесением сути работы (так как работы участники прочтут разные).
4 — участники со всех направлений встречаются вместе и от каждого направления куратор дает краткое резюме, к чему пришли участники, какие затруднения при калибровке критериев были видны, что важно учитывать при согласовании оценок, на что опираться особенно в их направлении (по 5 минут на направление, всего 20 минут).
Конкурсы и конференции
Отработка критериев экспертизы на очном этапе (устный доклад)
1 — просмотр видеозаписи одного доклада (выбирается пример из направления, которое наиболее востребовано участниками курсов или которое минимально связанно с их профессиональной направленностью, например, такие мультидисциплинар-ные направления, как урбанистика, медиа или культурология) — просматривается вместе видеозапись доклада, вопросов к докладчику и обсуждения доклада. При просмотре каждый участник индивидуально проставляет баллы по критериям очной части конкурса в соответствии с направлением и жанром работы на видеозаписи. Критерии (бланк) определяются в соответствии с выбранным докладом.
Помимо этого важно, чтобы участники записали, какие вопросы было бы целесообразно задать докладчику (кроме тех, что были заданы), чтобы было основание для оценки по критериям экспертизы (до 20 минут).
2 — участники расходятся по малым группам (5-7 человек) и сопоставляют свои оценки, при сопоставлении обсуждают каждый критерий. Важно, чтобы итог определялся не большинством голосов, не средним баллом, а через достижение консенсуса. Составляют список важных вопросов для докладчика (до 20 минут).
3 — все участники возвращаются в общий зал. На экран выводится таблица с результатами экспертизы по критериям по группам. Обсуждаются только те критерии, по которым высокий разброс в баллах. Группы аргументируют свое мнение.
Затем обсуждаются перечни вопросов (20 минут).
4 — общий итог по опыту калибровки экспертизы: на что важно обращать внимание при прочтении и применении критериев экспертизы. Какого типа вопросы важно задавать после доклада участнику конкурса (до 20 минут).
Важно, чтобы описанный алгоритм отработки критериев экспертизы проходил последовательно по этапам 1 — индивидуально; 2 — в малой группе; 3 — все вместе. Именно на различении в оценках и выстраивается продуктивная дискуссия по калибровке критериев, вырабатываются согласованные подходы к экспертизе, трактовки и понимание заданных критериев.
Также отметим, что важным результатом такой работы на КПК по «Высшему пилотажу» стала доработка и корректировка самих критериев экспертизы в нескольких направлениях конкурса.
Универсальный конструктор организации конференций и процедуры экспертизы исследовательских и проектных работ (на пример конкурса «Высший пилотаж»)
Обухов Алексей Сергеевич, Струкова Елена Вячеславовна
«Чек-листы» с ключевыми вопросами к авторам исследовательских и проектных работ
Представленные «чек-листы» выработаны совместно с участниками курсов повышения квалификации по «Высшему пилотажу» при отработке критериев экспертизы. Данные листы избыточны. Они включают множество вопросов, ответы на которые, при грамотном составлении доклада о результатах исследования или проекта, должны прозвучать, собственно, в самом докладе. В этом контексте данные «чек-листы» могут использоваться экспертами как в ходе сессии докладов на конкурсе, так и при подготовке к докладам самими участниками. щ
Чек-лист вопросов в помощь эксперту и участнику. Жанр работы «Исследование»
Критерии экспертизы Примерные формулировки вопросов
Замысел
Тема исследования Почему выбрана именно эта тема?
Как трактуются ключевые понятия, вынесенные в тему исследования?
В какой мере содержание раскрывает сформулированную тему?
В чем оригинальность исследования?
Чем объясняется выбор темы?
Проблема исследования Какая проблема решается в исследовании?
Как была выявлена данная проблема?
Поставленная проблема затрагивает какую-то определенную социальную группу или общество в целом?
Теоретическая рамка исследования На какие теоретические исследования вы опирались в своей работе?
Знакомы ли вы с подобными исследованиями, аналогами данной темы/ проблемы?
Что из анализа литературы по проблеме для вас было наиболее значимо?
Соответствуют ли использованные теории проблеме и методам исследования?
Насколько используемые теории (если их несколько) непротиворечивы и соотносятся друг с другом?
Рассматривались ли зарубежные подходы к исследованию изучаемой проблемы?
Исследовательские вопросы Какие исследовательские вопросы были поставлены?
Как происходило возникновение данных вопросов?
Чем определялась формулировка исследовательских вопросов?
Конкурсы и конференции
Критерии экспертизы Примерные формулировки вопросов
Цель и задачи исследования Какова цель исследования?
Как задачи соотносятся друг с другом и целью исследования?
Как задачи решаются (способы и методы их решения)?
Объект и предмет исследования Как обозначены предмет и объект исследования?
Было ли сложно определить объект и предмет исследования?
Гипотеза В чем состоит гипотеза вашего исследования?
Соответствие гипотезы поставленным цели и задачам?
Насколько предложенные методы исследования позволяют подтвердить/опровергнуть выдвинутую гипотезу?
Реализация
Методы Какие методы исследования вами использованы? Почему именно эти?
В какой мере методы отвечают на поставленные исследовательские вопросы / решают сформулированную гипотезу?
Если методов несколько, как выстроена взаимодополняемость методов исследования (как они соотносятся друг с другом)?
Какие ограничения есть у используемых методов?
Ресурсы и планирование Какие ресурсы использовались для проведения исследования?
Какие этапы были у исследования?
Как планировалось время реализации исследования?
Имеет ли значимость последовательность сбора данных?
Какова самостоятельность вашего исследования? Кто и как оказывал помощь в его реализации?
Теоретическая основа исследования Как выстраивался теоретический анализ в исследовании?
Какие ключевые понятия в вашем исследовании?
Почему Вы выбрали именно такую трактовку ключевых понятий?
Как определялась теоретическая рамка исследования?
Как выбирались источники? Какие базы источников использовались?
Как выбранный теоретический подход помогает Вам решить поставленные задачи?
Рассматривалась ли история исследований изучаемой проблемы?
Выявлены ли различия в подходах к изучаемой проблеме в разных теоретических источниках?
Анализировались ли публикации последних лет по проблеме?
Использовались ли иностранные источники при обзоре литературы по проблеме?
Обухов Алексей Сергеевич, Струкова Елена Вячеславовна
Критерии экспертизы Примерные формулировки вопросов
Данные и их обработка Как фиксировались данные?
Как систематизировались данные?
Как обрабатывались данные?
Какие методы анализа применялись?
Какова погрешность ваших исследований/измерений?
Какова граница возможностей использованных методов?
Как можно обосновать корректность выбранных методов анализа/обработки данных?
Результаты Как можно доказать достоверность результатов?
Насколько выборка/материалы репрезентативны?
В какой мере результаты исследования отвечают на проблему и поставленные исследовательские вопросы?
Выводы К каким новым выводам вы пришли?
Есть ли неожиданные результаты в вашем исследовании?
Каковы границы выводов для их применения?
Носят ли выводы локальный характер или могут быть экстраполированы на более широкие материалы/выборки/ситуации?
Отвечают ли выводы на задачи исследования и как они связаны с проблемой и гипотезой?
Каковы основания по каждому выводу (из каких результатов они вытекают)?
Рефлексия
Реализация замысла Как вы оцените сами, получилось ли реализовать задуманное исследование в полной мере?
В какой мере представление исследования отражает все этапы и полноту содержания исследования?
Какие исследовательские вопросы оказались нерешенными?
Как ваше исследование повлияет/повлияло на решение проблемы?
Самооценка процесса и результата С какими трудностями вы сталкивались?
Какие идеи были сформулированы лично Вами?
Как данное исследование повлияло на вас?
Есть ли (возможна ли) практическая польза исследования?
Найдут ли результаты исследования практическое применение?
Перспективы Какие новые исследовательские вопросы появились в ходе исследования?
Собираетесь ли вы продолжить исследование? Как?
Какие цели вы в дальнейшем для себя ставите?
Конкурсы и конференции
Чек-лист вопросов в помощь эксперту и участнику. Жанр работы «Проект»
Критерии экспертизы Формулировки ориентировочных вопросов
Замысел
Актуальность Что стало причиной замысла проекта?
Как проблема была выявлена (осознана)?
Какие есть варианты решения проблемы? Изучалось ли это до предложения своего решения?
Насколько актуален данный проект для вашего региона (конкретного сообщества)? На основании чего это стало понятно?
Цель проекта, образ результата На решение какой проблемы направлен проект?
Что определяется результатом проекта? Каков изначальный замысел (образ результата)?
Как представляется конечный результат (продукт) реализации проекта? Как этот образ зафиксирован?
Зачем (для чего?) нужен результат проекта?
Целевая группа (адресат, заказчик) Для кого разработан проект? Кому предназначен проект (кто его адресат)?
Почему выбрана именно эта целевая группа?
Кому еще проект может быть интересен?
Есть ли заказчик у данного проекта? Как выстраивалась работа с заказчиком? Как происходило уточнение образа результата с заказчиком?
Новизна, оригинальность Как понять, что проект новый?
Сравнивался ли этого проект с аналогами? К каким выводам пришли, сравнивая свой проект с другими?
Чем Ваш проект отличается от уже существующих? Почему Ваш вариант лучше? Как это можно понять?
Исследовательская база проекта На каких данных, источниках основываются представления о новизне, актуальности и значимости проекта?
Проводилось ли предпроектное исследование? Какими методами? Какие получились результаты и как они определили содержание реализованного проекта?
Ресурсы Как проводилась оценка имеющихся ресурсов?
Как выделялись дефициты в ресурсах и как происходил поиск необходимых ресурсов?
Способ решения Какие способы (инструменты, методы) предложены для реализации замысла проекта? Почему именно они?
Насколько и как обоснованы методы (способы) решения (достижения результата)?
Выгода Что может определяться как выгода от проекта (экономическая, социальная, иная)?
Имеет ли смысл говорить об экономической выгоде?
Насколько проект экономически рентабелен?
Обухов Алексей Сергеевич, Струкова Елена Вячеславовна
Критерии экспертизы Формулировки ориентировочных вопросов
Оценка рисков Каковы риски реализации проекта?
Как риски можно оценить?
Реализация
Этапы реализации Какие были этапы реализации проекта? В чем их особенность?
Насколько последовательны проработанные этапы (в каждом этапе поставлены цель, задачи, ожидаемые результаты)?
Насколько логично они следуют друг за другом?
Анализ промежуточных результатов Проводилось ли подведение итогов по каждому этапу реализации проекта?
Что выступало показателями (признаками) полноты реализации каждого этапа?
План и ход реализации Разработан ли план-график реализации проекта?
Насколько реализация соответствует план-графику?
Сроки реализации Как определялись сроки реализации проекта?
Были ли они определены изначально?
Уточнялись ли (менялись ли) они по ходу реализации?
Ресурсы проекта Какие организационные, технические и материальные, социальные и иные ресурсы использовались?
Насколько ресурсы использовались рационально?
Можно ли оценить КПД использования ресурсов?
Путь решения Все ли пути реализации проекта рассмотрены, изучены?
Найден ли оптимальный путь реализации проекта? Насколько этот путь эффективен? Как это можно оценить?
Можно ли было реализовать проект более простым путем?
Методы реализации Как применялись выбранные методы реализации проекта?
Происходило ли отслеживание эффективности применения выбранных методов по ходу реализации проекта?
Менялись ли методы реализации проекта по ходу? Почему?
Полнота информации для реализации проекта Какими источниками в работе пользовались?
Почему именно эти авторы/научные школы?
Как соотносится Ваш проект с общеизвестными точками зрения?
Насколько Вы владеете терминологией, используемой в проекте?
Какие ключевые слова и понятия проекта?
Качество выполнения Какие методы, материалы, инструменты, ресурсы применялись для достижения цели?
Насколько они обоснованы, адекватны и необходимы?
Как оценить качество их применения?
Социальная значимость Насколько этично, экологично, уместно и т.п. решение проблемы?
Можно ли расширить границы проекта?
Конкурсы и конференции
Критерии экспертизы Формулировки ориентировочных вопросов
Рефлексия
Согласование целей и результатов В какой мере согласованы цели и результаты?
Насколько полученный результат совпадает с изначально намеченным образом результата?
Решение задач Решены ли поставленные задачи?
Помогло ли данное решение получить нужный результат?
Помогал ли кто-то в реализации проекта и насколько охотно они шли навстречу?
Оценка качества Все ли удалось реализовать?
Что получилось и не получилось в проекте и почему?
Что получилось оптимально?
Что могло бы быть лучше? И как?
Есть ли проблемные точки проекта?
Представление Все ли формальные требования к представлению проекта учтены?
Соответствует ли оформление проекта требованиям конкурса?
Насколько полно презентация отражает суть проекта?
Насколько докладчик владеет презентационными навыками?
Удовлетворение Есть ли удовлетворение от реализации проекта?
Что было наиболее увлекательно при реализации проекта?
Что было сложнее всего? А что проще всего?
Социальная значимость Насколько этично, экологично, уместно и т.п. решение проблемы?
Можно ли расширить границы востребованности проекта?
Какие социальные эффекты есть у проекта?
Практическая значимость Получается ли этому проекту решить какую-то проблему?
Какова польза и для кого получена от проекта? Как оценить полезность?
Насколько надежно решение проблемы?
Оптимизация ресурсов Чувствуете ли вы необходимость привлечения еще каких-то ресурсов или людей?
Возможны ли варианты удешевления или/и упрощения проекта или получения продукта?
Перспективы Какие перспективы работы над данным проектом?
В какой мере и кем может быть в дальнейшем востребован проект?
Литература:
Леонтович 2018а — Леонтович А. В. Подходы к оценке и экспертизе ученической исследовательской или проектной работы // Исследователь/Researcher. 2018. № 3-4. С. 118-122.
Леонтович 2018б — Леонтович А. В. Экспертная система Всероссийского конкурса юношеских исследовательских работ имени В. И. Вернадского // Исследователь/Researcher. 2018. № 3-4. С. 123-129.
Савенков, Обухов 2018 — Савенков А. И., Обухов А. С. Методические рекомендации по подготовке и проведению Всероссийского конкурса исследовательских работ и творческих проектов дошкольников и младших школьников «Я — исследователь!» // Исследователь/Researcher. 2018. № 3-4. С. 177-214.
