Опыт изготовления компьютерных тестов на кафедре математики Текст научной статьи по специальности «Науки об образовании»

УДК 004.853

ОПЫТ ИЗГОТОВЛЕНИЯ КОМПЬЮТЕРНЫХ ТЕСТОВ НА КАФЕДРЕ МАТЕМАТИКИ В.Г.Власов1, А.В.Власов2

Национальный исследовательский Иркутский государственный технический университет, 664074, г. Иркутск, ул. Лермонтова, 83.

Освещена проблема использования информационных технологий для проверки знаний учащихся. Рассматриваются преимущества компьютера по отношению к преподавателю на экзаменах. Обсуждается сценарий компьютерного тестирования и логика составления тестов. Детально рассматривается, каким критериям должен удовлетворять сценарий тестирования и само содержание вопросов и ответов, чтобы эти тесты стали универсальными, т.е. позволяли достоверно оценивать знания учащихся слабого, среднего и самого высокого уровня подготовки. Дано краткое описание системы компьютерного рейтинга, разработанной и внедрённой на кафедре математики ИрГТУ.

Библиогр. 4 назв.

Ключевые слова: информационные технологии в образовании; сценарий компьютерного тестирования; компьютерный рейтинг; ЕГЭ.

EXPERIENCE OF COMPUTER TEST MAKING AT THE CHAIR OF MATHEMATICS V.G.Vlasov, A.V.Vlasov

National Research Irkutsk State Technical University, 83, Lermontov St., Irkutsk, 664074.

The authors deal with the problem of using information technologies to test students' knowledge. They consider the advantages of the computer in relation to the teacher in the exams. They discuss the scenario of computer testing and the logic of test composition. The authors consider in detail the criteria to be met by the test scenario, and the actual content of questions and answers in order to make these tests universal, i.e. to provide a reliable assessment of low, medium and high training level of students. They present a brief description of the computer rating, developed and implemented at the chair of Mathematics of Irkutsk State Technical University. 4 sources.

Keywords: information technologies in education; computer-based testing scenario; computer rating; USE (Unified State Examination).

Вряд ли когда-нибудь компьютер будет обучать лучше, чем человек, но вот контролировать процесс обучения он может лучше уже сейчас. Важнейшее отличие и преимущество компьютерного тестирования от бумажных тестов, к каковым, к сожалению, относится ЕГЭ, состоит в наличии и умелом использовании сценария компьютерного тестирования.

Математика, являясь древнейшей наукой человечества, не любит нововведений. Вот уже более двух тысяч лет, со времен Пифагора, несмотря ни на какие революции, ее здание строилось и продолжает строиться на аксиомах и теоремах. Но если раньше математик одновременно был и инженером, то в XXI веке инженер и математик - это разные профессии. Математик изучает устройство какого-то крыла или модуля здания математики и пытается положить свой кирпичик, а для инженера математика - это инструмент, которым он должен уметь пользоваться. А чтобы пользоваться таким сложным инструментом, как математика, вовсе не требуется разбираться в том, как этот инструмент устроен.

В век информационных технологий индустрия обучения не может и не должна сторониться этих технологий. Вопрос в том, каким образом информационные технологии могут использоваться в образовании уже в настоящее время. Ответ на этот вопрос во многом определяется объемом финансирования.

Следует отметить, что информационные технологии в образовании - это не только и не столько компьютерные классы, но, главным образом, компьютерные образовательные программы. И если на одном и том же компьютере может работать русский, монгол или американец, причем независимо от того, школьник это, студент или аспирант, то компьютерная образовательная программа должна составляться с учётом не только этих факторов. В результате в настоящее время во всем мире в каждом солидном учебном заведении создаются свои компьютерные образовательные программы. Повсеместный недостаток финансирования приводит к тому, что абсолютное большинство из них не доведены до конца, а потому используются только для

1 Власов Валерий Георгиевич, доктор физико-математических наук, профессор, зав. кафедрой математики, тел.: (3952) 405176, 89501100851, e-mail: [email protected]

Vlasov Valery Georgievich, Doctor of Physics and Mathematics, Professor, Head of the chair of Mathematics, tel.: (3952) 405176, 89501100851, e-mail: [email protected]

2Власов Антон Валерьевич, программист кафедры математики. Vlasov Anton Valerievich, programmer of the chair of Mathematics.

внутреннего потребления. Причина очень больших трудозатрат при изготовлении этих компьютерных обучающих программ и, соответственно, их высокой себестоимости состоит в попытках создания с помощью средств мультимедиа таких компьютерных программ, которые бы заменили преподавателя. На наш взгляд, подобная стратегия развития компьютерных образовательных программ, по крайней мере в ближайшие годы, неперспективна.

В настоящее время качество обучения контролирует преподаватель. Решающим элементом в системе контроля был и остается экзамен. Во время экзамена студент вытягивает один из 20 билетов с вопросами, готовится и отвечает. Обычно у одного преподавателя несколько групп студентов, и если даже преподаватель каждый год составляет новые билеты, то для второй и последующих групп студентов они новыми не будут. Поэтому опытный преподаватель оценивает студента не по тому, как он отвечает на вопросы билета (ведь он мог все списать), а главным образом по тому, как он отвечает на дополнительные вопросы. Если студент владеет предметом, то ему для раздумья потребуется не больше минуты. В силу дефицита времени число дополнительных вопросов на экзамене редко бывает больше трёх, - после чего преподаватель ставит оценку.

Проанализируем эту ситуацию. Во-первых, три или четыре вопроса, безусловно, не охватывают всех тем семестрового курса и потому слово экзамен испокон веков ассоциируется со словом лотерея. Во-вторых, судить об уровне подготовки двух групп студентов по их экзаменационным оценкам, даже в одном вузе, просто нельзя, если экзамены в этих группах принимались разными преподавателями. В-третьих, экзаменационные оценки в большей степени характеризуют требовательность и добросовестность преподавателя, берущего на себя тяжёлый труд приёма пересдач экзамена, и в меньшей степени имеют отношение к оценке качества работы самого преподавателя в связи с низким уровнем подготовки учащихся в школе.

А теперь представим, что вместо преподавателя экзамен принимает компьютер, который (в отличие от преподавателя) может мгновенно высветить целиком вопрос на экране, где кроме текста может быть и рисунок. Никаких неполных или пространных ответов он «выслушивать» не будет, а сразу даст несколько вариантов ответов и предложит выбрать из них верный. В результате за 15 минут, если студент владеет предметом, он успеет ответить на 15 вопросов и более, причем по всем темам предмета, что при экзаменационном общении студент - преподаватель невозможно. Если у преподавателя набор задаваемых вопросов обычно не столь велик и студент может их уже ожидать, то компьютерный банк может и должен содержать сотни вопросов. Компьютерный экзамен позволит не только выявить лучшего студента в группе, но и в вузе, а также сопоставить уровень подготовки различных групп, обучаемых разными преподавателями, то есть объективно оценить качество работы самого преподавателя.

В отличие от преподавателя компьютер может тестировать студентов не раз в семестр, а гораздо чаще, по мере прохождения различных разделов математики. Результаты тестирования каждого студента запоминаются машиной, суммируются с определенным весом разделов, а в итоге каждый студент имеет свой компьютерный рейтинг. Такая система реализована на кафедре математики Иркутского государственного технического университета [1,2]. Каждый месяц более 2000 студентов первого курса технических и экономических специальностей проходят тестирование в компьютерном зале.

В сентябре все первокурсники тестируются по элементарной математике, т.е. проходят «входной контроль». Как это ни печально, но «входной контроль» показывает, что уровень подготовки школьников по математике крайне слабый. Если ещё десять лет назад он соответствовал тройке, то в последующие годы - двойке. «Входной контроль» первокурсников в 2008 году показал, что их подготовка немного лучше, чем в предыдущие четыре года.

Компьютерное тестирование по элементарной математике, а затем по восьми разделам высшей математики позволяет объективно оценить работу как отдельных студентов и преподавателей, так и студенческих групп, потоков и факультетов, причем как в целом, так и по отдельным разделам и даже подразделам математики. Следует отметить, что компьютерный рейтинг - это больше, чем система контроля -это, по сути, новая технология образовательного процесса, заключающаяся в регулярном и объективном контроле знаний и умений учащихся, одновременно обеспечивающая регулярный и объективный контроль качества работы преподавателей.

Ниже мы хотим остановиться на вопросе о том, каким критериям должен удовлетворять сценарий тестирования и само содержание вопросов и ответов [3].

Принципиальное отличие компьютерного теста от бумажного теста или письменного экзамена заключается в наличии сценария тестирования. Именно он является основой компьютерного теста и определяет адекватность результатов тестирования реальному уровню подготовки студентов.

Сценарий тестирования должен удовлетворять критериям оперативности, независимости от темперамента испытуемых, нейтральности к психическим особенностям личности испытуемого.

Число предлагаемых ответов на вопрос следует брать равным пяти. При большем числе ответов, во-первых, рассеивается внимание тестируемого, а во-вторых, шесть и более ответов невозможно одновременно разместить на экранной странице. При меньшем числе ответов для достоверности результатов тестирования требуется заметное увеличение числа задаваемых вопросов и, соответственно, времени тестирования.

Как показывает наш опыт, оптимальное время отдельного теста составляет 15 минут из расчета, что учащийся за это время ответит на 15 или более вопросов. При меньшем времени и соответственно

числе вопросов уменьшается достоверность результата тестирования, а при большем времени, результат тестирования начинает зависеть от выносливости тестируемого. На вопрос о том, следует ли ограничивать время ответа на отдельный вопрос, мы отвечаем - нет.

Важным является вопрос о том, следует ли при оценке учитывать сложность того или иного вопроса. Нам представляется, что этого делать нельзя, поскольку сложность вопроса каждый преподаватель и учащийся оценят по-своему, тем более, что сложность должна выражаться числом. Кроме того, над более сложным вопросом учащийся может думать не одну минуту, а дольше, и в то же время на простой вопрос он может ответить мгновенно. Другое дело, если по одному и тому же предмету разными преподавателями изготовлено два разных теста, содержащих по двести вопросов, то скорее всего они будут отличаться по сложности, и здесь два преподавателя или два учащихся могут иметь одинаковое мнение.

Поставим такой вопрос: можно ли с помощью простого теста увидеть разницу во владении предметом преподавателя и отличника, а группу отличников расставить по ранжиру? Как ни удивительно, но компьютер легко позволяет это сделать, если ввести в сценарий тестирования систему премирования. Суть системы в том, что учащийся премируется: за каждый правильный ответ; если число правильных ответов свыше 15-ти; за досрочное получение компьютером 15-ти правильных ответов. Безусловно, премирование имеет место только при успешном тестировании, т.е. если у студента число правильных ответов больше числа неправильных. Система премирования важна не только для выявления самых лучших учеников. Она позволяет существенно понизить влияние на результат тестирования таких факторов, как спешка, невнимательность или излишняя самоуверенность. Как показывает десятилетний опыт, студент, овладевший предметом, успевает за 15 минут успешно ответить на 15, 20, 30, а иногда и 40 вопросов. Причём в последнем случае, если студент достигает столь высокого результата, то он прекрасно решает «олимпиадные» задачи и становится призёром или победителем Всероссийской студенческой олимпиады.

Перейдем к содержанию вопросов и ответов. Как уже говорилось, вопросы должны быть подобными дополнительным вопросам на экзамене, когда преподаватель рассчитывает получить ответ в течение минуты. Правда, в отличие от экзамена, не годятся вопросы, ответ на которые состоит в простом да или нет. Видоизменить такой вопрос очень просто, нужно всего лишь не оговорить все условия. И тогда правильный ответ, помимо простого «да», должен содержать недостающее условие, а неправильные ответы, помимо простого «да», - неподходящие условия. Сам вопрос тем лучше, чем короче. Разнообразить вопросы можно с помощью рисунков, а в математическом тесте почти всегда в вопросах и ответах будут присутствовать математические формулы. В отличие от экзаменатора компьютер может задать вопрос, содержащий несколько формул или математических утверждений,

при этом тестируемый должен указать на то из них, которое содержит ошибку. Ответы должны строиться таким образом, чтобы слабому учащемуся, не знающему темы, все ответы казались правдоподобными.

Справедливо ли равенство

+

а х Ь

=а2Ь2 ?

(а ■ Ь )

Нет.

Да, если а = Ь . Да, если а // Ь .

Да, если а ± Ь . Да.

Очевидно, что данное равенство верно при любых

а и Ь , поэтому верным является последний ответ.

Следует избегать вопросов, когда верный ответ получается простой проверкой. Например, вместо того, чтобы спрашивать значение корней уравнения, лучше задать такой вопрос:

Сколько

корней

имеет

уравнение

х2 + 3х - 4 = 0 на отрезке [-2,2] ?

0, поскольку действительных корней нет.

0, поскольку оба корня больше 2.

1, поскольку второй корень равен 4.

2,

1.

Здесь неверные ответы выглядят более убедительно, чем верный последний ответ.

Простые вопросы позволяют проверять не только знание предмета, но и умение логически мыслить:

Если а ■ Ь = еоъф, то а=Ь=1;

а=5, Ь=0,2;

а и Ь - коллинеарные;

аЬ=1;

верный ответ отсутствует.

Хотя первые два ответа удовлетворяют равенству, но они противоречат логике вопроса. Верным является четвёртый ответ.

Реализация компьютерного рейтинга потребовала создания следующего пакета компьютерных программ [4]:

• программу для проведения тестирования;

• средства изготовления тестов;

• базу данных, обеспечивающую всесторонний анализ результатов тестирования.

При разработке компьютерного рейтинга мы руководствовались следующими требованиями: компьютерный рейтинг по математике для студентов технических специальностей в первую очередь должен соответствовать государственному стандарту инженерного образования; давать точную и полную картину знаний и умений студентов по всем разделам и подразделам первого курса математики; быть оперативным, независимым от темперамента испытуемых и

2

нейтральным к их психическим особенностям. Программное обеспечение компьютерного рейтинга должно быть таковым, чтобы его реализация была возможна как на отдельных компьютерах (даже класса 1ВМ-386), так и объединённых в сеть. Математические тесты лучше всего составляются в издательской системе 1_АТЕХ, поэтому программа изготовления тестов должна быть с ней совместима. Оболочка теста предусматривает все мыслимые возможности выбора сценария, а также режимы контроля и обучения. Интерфейс тестирования должен реализовываться таким образом, чтобы протестироваться на отлично мог человек, впервые севший за компьютер. База данных должна анализировать и хранить информацию; обеспечивать её защиту; сохранять целостность структуры данных и выполнять определенные запросы. Вся эта программа действий была составлена на кафедре математики ИрГТУ и в настоящее время система компьютерного рейтинга является составной частью процесса обучения.

Следует отметить, что внедрение информационных технологий на кафедре математики созданием системы компьютерного рейтинга не закончилось. Слабая подготовка школьников привела к идее создания сайта кафедры математики, на котором абитуриент или студент могли самостоятельно проверить уровень математической подготовки, начиная с шестого и заканчивая одиннадцатым классом. Более того,

Библиографический список

1. Власов В.Г., Кузнецов А.А., Власов А.В. Изготовление тестов по математике и обработка результатов тестирования // Третий сибирский конгресс по прикладной и индустриальной математике, посвященный памяти С.Л.Соболева (1908-1989): тезисы докладов. Новосибирск: Изд-во Института математики СО РАН, 1998. Ч.У. С.136.

2. Власов В.Г., Власов А.В., Кузнецов А.А. Компьютерный рейтинг в образовательном процессе // Информационные технологии в управлении и учебном процессе вуза: мате-

специально для этого сайта были созданы и размещены тесты по 8 разделам высшей математики, с похожими на экзаменационные, но другими вопросами и ответами. Важно отметить, что для этого сайта был создан несколько иной сценарий тестирования. Если в системе компьютерного рейтинга реализован режим экзамена, то здесь - режим обучения. Принципиальное отличие его состоит в том, что учащийся не может перейти к следующему вопросу, пока он правильно не ответит на предыдущий. Компьютер учитывает все неверные попытки ответов и по окончании 15 минут даёт оценку подготовки учащегося. Алгоритм оценки построен таким образом, чтобы оценка в режиме обучения была максимально близкой к оценке в режиме экзамена. Помимо оценки своих знаний в ходе проходящего тестирования, учащийся узнаёт, какой ответ из предложенных пяти был правильным. Для самоконтроля процесса изучения математики для первокурсников и школьников (с 6 по 11 класс) был создан сайт http://www.mathtest.ru/, на котором реализован сценарий тестирования в режиме обучения.

Сайт, который призван помочь школьнику и студенту, оказался востребованным, на что, в частности, указывает высокий индекс цитирования на Яндексе, достигающий в отдельные месяцы 190. В настоящее время проводится его дальнейшая разработка и модернизация.

риалы II Всерос. науч.-практ. конф. Владивосток, 2001. С. 49-50.

3. Власов В.Г., Власов А.В. Каким быть единому государственному экзамену? Интернет-журнал «Русский переплёт», 2001. Режим доступа:

http://www.pereplet.ru/text/vlasov03noy01.html

4. Власов А.В. Программа РюТЕХ для изготовления математических рисунков в 1_АТЕХе // Студент и научно-технический прогресс. Информатика: материалы XXXIV Международ. науч. студ. конф. Новосибирск, 1996. С. 69.

УДК 535.247.4

ЛАБОРАТОРНЫЙ ФОТОМЕТР ДЛЯ ИССЛЕДОВАНИЯ СЛАБОГО СВЕЧЕНИЯ ВОДНЫХ СРЕД

В.И.Добрынин1, А.Е.Краснояров2, А.Г.Ченский3

Физико-технический институт Национального исследовательского Иркутского государственного технического университета, 664074, г. Иркутск, ул. Лермонтова, 83.

Разработан лабораторный фотометр для исследования свечения жидких прозрачных сред с пороговой чувствительностью порядка 10-4 фотон/с-см . В отличие от прототипа [1, 2], в новом приборе объем исследуемой пробы увеличен до 25 л, применены два фотоэлектронных умножителя: отечественный ФЭУ-143 и ХР3540 производства группы компаний РНОТОКНБ, процесс измерения автоматизирован. Результаты измерений в режиме реально-

1Добрынин Виктор Иванович, кандидат физико-математических наук, ведущий специалист, тел.: 89526337815, e-mail: [email protected]

Dobrynin Viktor Ivanovich, Candidate of Physics and Mathematics, leading expert, tel.: 89526337815, e-mail: [email protected]

2Краснояров Александр Евгеньевич, аспирант, тел.: 89641128368, e-mail: [email protected] Krasnoyarov Alexander Evgenievich, postgraduate student, tel.: 89641128368, e-mail: [email protected]

3Ченский Александр Геннадьевич, кандидат физико-математических наук, зав. кафедрой радиоэлектроники и телекоммуникационных систем, тел.: 89086612947, e-mail: [email protected]

Chensky Alexander Gennadievich, Candidate of Physics and Mathematics, Head of the chair, tel.: 89086612947, e-mail: [email protected]