CC BY
37
2. Перечень ведущих рецензируемых научных журналов и изданий, в которых должны быть опубликованы основные научные результаты диссертации на соискание ученой степени доктора и кандидата наук (редакция апрель 2008 года) [Электронный ресурс]. - Режим доступа: http://vak.ed.gov.ru/common/img/uploaded/files/vak/enumeration/2010/per-26-03-2010.doc (проверено 31.03.2010).
3. Методика расчета индивидуального ПРНД в ИФЗ им. О. Ю. Шмидта РАН[Электронный ресурс]. - Режим доступа: http://www.ifz.ru/doc/2009/prnd_2009/PRND_methodics_2009.pdf (проверено 06.01.2010).
4. Garfield E. Journal impact factor: a brief review // Canadian Mediacal Association Journal. - 1999. - № 8 (161). - С. 979-980.
5. Schubert A., Braun T. Relative indicators and relational charts for comparative assessment of publication output and citation impact // Scientometrics. - 1986. - № 9. - С. 281-291.
Котляров Иван Дмитриевич - Северо-Западный институт печати Санкт-Петербургского государственного университета технологии и дизайна, кандидат экономических наук, доцент, [email protected]
УДК 004.942
КЛАССИФИКАЦИЯ ТИПОВ НАУЧНЫХ СОРЕВНОВАНИЙ С АВТОМАТИЧЕСКОЙ ОБРАБОТКОЙ РЕШЕНИЙ
С.Е. Рукшин
Представлен анализ существующих научных соревнований школьников. На основе проведенного анализа построена классификация, которая разработана как основа конструирования систем проведения дистанционных научных соревнований с автоматической обработкой решений.
Ключевые слова: дистанционных научные соревнования, классификация типов математических задач, автоматическая обработка решений.
Введение
Одной из тенденций развития системы образования в современных условиях является увеличение роли электронного (и, в частности, дистанционного) обучения в предметном образовании. Использование компьютерных технологий позволяет автоматизировать часть организационных процессов, присущих образовательной деятельности, избавить преподавателей от части рутинной работы, направив освободившийся ресурс времени на поддержку продуктивных процессов в обучении [1, 2]. Компьютерные технологии становятся важным ресурсом в стимулировании интереса к точным, естественным наукам и информатике при условии сохранения и переноса в современные условия лучших отечественных традиций, обеспечивавших выявление научно одаренных учащихся и студентов и высокое качество их обучения. Для этого необходимо, в частности, наиболее полное использование ресурса задач, накопленных за прошедшие годы в учебной, олимпиадной и кружковой деятельности (рассматривая кружок как этап подготовки к олимпиадам).
В последние годы ведущие вузы страны проводят предметные Интернет-олимпиады, постепенно вытесняющие традиционные [3]. Эта тенденция заметно усилилась после введения обязательного единого государственного экзамена (ЕГЭ), который, по сути, является одним из типов дистанционных научных соревнований с частично автоматизированной проверкой решений [4]. Основными достоинствами дистанционных олимпиад являются: массовый охват учащихся; психологический комфорт участников олимпиады, находящихся в привычной для себя обстановке; равноправие
участников, которые одновременно решают одни и те же задачи (вопрос о наличии вариантов, имеющих априорно одинаковую трудность, следует рассматривать отдельно); относительная дешевизна и простота проверки и подведения итогов; независимость итогов при автоматизированной проверке от индивидуальной квалификации проверяющих; невозможность предвзятости при условии анонимности участников на стадии проверки работ и обработки результатов; затрудненность применения коррупционных методов распределения мест и выявления победителей и призеров соревнований.
В качестве возражений против полной замены традиционных типов научных соревнований дистанционными чаще всего выступают:
- невозможность следить за ходом мысли участников, вызванная применением тестов multiple choice (с выбором ответа из числа предложенных);
- невозможность проведения апелляции или собеседования в сомнительных случаях;
- невозможность исправления уже сданного ответа;
- жесткость фиксации последовательности выдаваемых задач;
- вероятность ошибок участников, связанных не с их научной компетентностью, а с технической стороной дела - от недостаточного знакомства с компьютерными технологиями до случайных сбоев в работе техники;
- невозможность верификации личного участия и вероятная фальсификация результатов;
- трудность выбора времени одновременного проведения для всех регионов России и альтернатива появления неравноценных вариантов заданий.
Для полноценного сохранения достоинств и максимально возможного устранения недостатков требуется создание адекватных информационных сред, обеспечивающих участие в соревнованиях, диапазон которых очень велик - от ЕГЭ и олимпиад вузов [3, 5] до исследовательских конкурсов [6] и чемпионатов мира ACM по программированию [7, 8]. А для корректной постановки задач по созданию такого рода информационной среды, в свою очередь, необходима четкая классификация типов научных соревнований с автоматизированной обработкой решений.
Классификационные признаки основных типов научных соревнований
В этой работе мы попытаемся указать важнейшие классификационные признаки основных типов научных соревнований, существенным образом влияющие на архитектуру информационных сред.
1) Демократизм доступа определяется наличием или отсутствием предварительного отбора или ценза для участников соревнований. Отметим, что участие всех желающих может поставить организаторов перед проблемами проведения соревнований с непредсказуемым количеством участников и вызвать технические сбои из-за перегруженности сервера.
2) Синхронизация ключевых моментов времени, таких как начало соревнований, доступ к полному варианту заданий, окончание туров и окончание соревнований, доступ к своим текущим и итоговым результатам и результатам других участников, оглашение итогов соревнования. В качестве одной из проблем, возникающих при отсутствии такой синхронизации (например, в условиях различных часовых поясов участников или нескольких потоков участников одного и того же тура соревнований), возникает альтернатива утечки условий или появления неравноценных по сложности вариантов заданий.
3) Наличие равнозачитываемых вариантов с априорной декларацией унификации их трудности и количества получаемых за них баллов. В случае, когда такие варианты присутствуют, возникает дополнительный аспект, связанный с предоставлением участ-
нику права выбора варианта. Сам по себе факт такого выбора никого не удивляет: в течение многих лет на выпускных экзаменах в средней школе можно было выбрать тему сочинения по литературе из числа предложенных, хотя вариант по математике нужно было решать именно тот, который ученику выдавали без права выбора. Для избежания конфликтных ситуаций (таких, как, например, неравноценность одинаковых ошибок в итоговых баллах разных вариантов части С в ЕГЭ по математике 2009 года) нужна особо тщательная предварительная экспертиза заданий.
4) Возможность повторного прохождения отдельного тура (или соревнования полностью). Наиболее часто возникающий при наличии многократных попыток вопрос - это возможное снижение баллов в зависимости от числа «подходов».
5) Возможность исправления ответов и решений в рамках одной и той же соревновательной попытки. Помимо уже упомянутого вопроса о снижении баллов, возникает вопрос об оценке участника в ситуации, когда правильное решение или ответ заменены на неверный, а также вопрос об ограничении количества исправлений в одном и том же задании.
6) Последовательность выдачи заданий может быть трех видов: жесткой, цензовой (в зависимости от результатов предыдущих заданий), или же участник имеет возможность выбирать порядок выполнения заданий по своему усмотрению. Возможны и сочетания этих видов: так, например, на Санкт-Петербургской городской олимпиаде школьников по математике система выдачи задач 4+3 (в довыводной и выводной аудиториях) цензовая, но в рамках одной аудитории последовательность решения задач остается на усмотрение участника.
7) Форма ввода ответов и решений может варьироваться в широких пределах - от выбора ответа из числа предложенных (тесты multiple choice), ввода числа, выражения или рисунка до эссе в свободной форме или сочетания этих возможностей. ЕГЭ 2009 года как раз сочетал выбор ответа, ввод числового ответа и решение в форме эссе, исключающее автоматизированную проверку. Этот пункт заслуживает более пристального рассмотрения, так как автоматическая проверка ограничивает тип возможных ответов. В простейшем случае компьютер сравнивает ответ участника с правильным, и именно этот способ используется в большинстве удаленных тестирований как наиболее простой для реализации в проверяющей системе. В связи с этим, многие математические задачи приходится переформулировать так, что для проверки ответа будет достаточно сравнить его с правильным. Например, чтобы не объяснять ученику, как вводить ответ в виде многочлена, можно попросить ввести значение этого многочлена в некоторой точке. Вероятность того, что участник посчитал многочлен неправильно, но значение в заданной точке совпало, можно считать достаточно малой. При таком использовании проверяющих систем мы не пользуемся возможностями компьютера, а искусственно изменяем привычный язык описания математических объектов. Было бы лучше, если бы для ввода многочлена использовалась среда для ввода формул, в которой легко разобраться без сторонней помощи и в которой можно ввести формулу нажатием нескольких кнопок. А для сравнения ответа с правильным ответом использовалась бы система компьютерной алгебры (Mathematica, Maxima), которая способна сравнить два выражения на эквивалентность.
Другим примером использования компьютера в олимпиадах могла бы быть система, которая поддерживала бы решение геометрических задач на построение с помощью систем динамической геометрии (GeoGebra, Geometer's Sketchpad, 1С Матконст-руктор). Однако такой подход может давать отдельным участникам преимущество, не связанное непосредственно с предметом соревнований. Из-за этого в информационную среду приходится вносить следующий классификационный признак.
8) Обученность участников специальным формам описания ответов и решений. В свою очередь, применение таких специальных форм описания ответов заставляет рассматривать в проверяющей системе различные автоматизированные способы проверки.
9) Способы проверки правильности решения. Это может быть сверка с правильным ответом, сравнение по признакам, тестирование на достаточном наборе тестов или проверка по формальному описанию. Но в любом случае пока решения задач на доказательство или решения в форме эссе не могут быть проверены автоматизированными средствами. Проверка «вручную» (часть С в ЕГЭ) не только вводит в действие человеческий фактор, но и накладывает ограничение на формат проведения соревнований: в этом случае проверка, подведение итогов и оглашение результатов откладываются на значительный срок.
Три классификационных признака, связанные с вводом и проверкой решений, приводят нас к следующему выводу: для полноценного проведения соревнований и тестирований разных типов требуется создание системы, которая способна поддержать максимально разнообразное количество способов ввода решений и последующих методов проверки, а также способна расширяться с помощью добавления новых модулей ввода и проверки.
10) Интеллектуальная обработка решений, в первую очередь, предполагает реакцию не только на безукоризненно правильные, но и на неверные и неполные решения. Помимо возможности ненулевых оценок за правильные идеи и частичные решения, в этом случае можно предусмотреть такой ресурс для получения дополнительной информации о степени одаренности и уровне мышления участника соревнований, как организация диалога с участником соревнований с целью имитации устного собеседования.
11) Организация диалога и имитация устного собеседования с участником. При этом становится необходима не просто проверка решений и ответов, а их on-line диагностика, которая может рассматриваться и в качестве самостоятельного классификационного признака, независимого от организации диалога.
12) On-line диагностика ответов и решений. В случае ограниченности технических ресурсов предоставление такой диагностики участникам соревнований может носить цензовый характер, т.е. касаться более узкого круга участников соревнований, прошедших, выражаясь спортивным языком, квалификацию.
В качестве стимулирующих активность участников средств могут применяться:
- наличие оперативной информации о своих результатах;
наличие оперативной информации об индивидуальных результатах других участников;
- наличие результатов по отдельным задачам (т.е. количество решивших это задание участников или команд);
- различные способы подсчета баллов - от априорной оценки трудности заданий до связи «цены задачи» с количеством не решивших ее участников. В некоторых системах оценки необходимо предусмотреть штрафы за количество попыток решения отдельной задачи и количество прохождений тура;
- оглашение аналитических итогов текущей деятельности участника и диагностики его результатов по отдельным заданиям или модулям. Степень подробности может варьироваться от простого сообщения, решена задача или нет, до развернутого анализа навыков, сильных и слабых мест, выдачи рекомендаций и т.д.
Использование тех или иных опций, формирующих тип соревнования и соответствующей ему информационной среды, необходимо тщательно увязывать с целью проведения конкретных научных соревнований (от учебных и тренировочных до рейтинговых соревнований спортивного характера) и ожидаемым результатом.
Заключение
В результате проведенного анализа выделены классификационные признаки, относящиеся к различным аспектам проведения научных соревнований, среди которых можно выделить социально-педагогический, предметный, технический и организационный аспект.
Отметим, что вовсе не любое сочетание классификационных признаков порождает реализуемый тип соревнования, так как выбор опций не является независимым. Так, например, наличие ответов в форме эссе делает невозможным немедленную проверку решений и, соответственно, текущую информацию о результатах участников, а отсутствие синхронизации ключевых моментов времени делает бесполезной информацию о статистической трудности отдельных задач.
Важным выводом проведенного анализа является следующее требование к системе поддержки научных соревнований: система должна поддерживать максимально разнообразное количество способов ввода решений и диалог с учеником, что предполагает моделирование предметной среды задачи и интеллектуальную обработку решений.
Литература
1. Башмаков М.И., Поздняков С.Н., Резник Н.А. Информационная среда обучения. -СПб: Свет, 1997.
2. Рукшин С.Е. Технологическая поддержка стимулирующих занятий математикой // Компьютерные инструменты в школе. - 2009. - № 6. - С. 3-12.
3. Олимпиады в области точных наук [Электронный ресурс]. - Режим доступа: http://olymp.ifmo.ru/, своб.
4. Сайт информационной поддержки Единого государственного экзамена в компьютерной форме [Электронный ресурс]. - Режим доступа: http://ege.ru/, своб.
5. Парфенов В.Г. Всероссийские командные олимпиады школьников по программированию // Компьютерные инструменты в образовании. - 2000. - № 6. - С. 67-69.
6. Конкурс «Конструируй, исследуй, оптимизируй» [Электронный ресурс]. - Режим доступа: http://www.kio.spb.ru/kio, своб.
7. Северо-Восточный Европейский регион Чемпионата мира по программированию среди студентов ACM ICPC [Электронный ресурс]. - Режим доступа: http://neerc.ifmo.ru/information/index.html, своб.
8. Парфенов В.Г. Финал командного чемпионата мира по программированию АСМ 2008/2009 гг., г. Стокгольм // Компьютерные инструменты в образовании. - 2009. -№ 5. - С. 60-68.
Рукшин Сергей Евгеньевич - Российский государственный педагогический университет
им. А.И. Герцена, кандидат физ.-мат. наук, доцент, [email protected]
