CC BY
18
компьютер в учебном процрсср
□□□□□
Компьютерные инструменты в образовании, 2022
№ 1: 57-84
УДК: 373.62:004.02
http://cte.eltech.ru
аок10.32603/2071-2340-2022-1-57-84
КОНСТРУКТИВНЫЕ ЗАДАЧИ ПО ДИСКРЕТНОЙ МАТЕМАТИКЕ: СРАВНИТЕЛЬНЫЙ АНАЛИЗ ЭКЗАМЕНА С КОМПЬЮТЕРОМ И БЕЗ КОМПЬЮТЕРА*
Чухнов А. С.1, старший преподаватель, ^ septembreange@gmail.com Поздняков С. Н.1, доктор педагогических наук, pozdnkov@gmail.com
1 Санкт-Петербургский государственный электротехнический университет «ЛЭТИ» им. В. И. Ульянова (Ленина), ул. Профессора Попова, 5, корп. 3,197022, Санкт-Петербург, Россия
Аннотация
В работе сделан анализ эксперимента по использованию в преподавании дискретной математики студентам технического вуза манипуляторов для решения конструктивных задач, связанных с понятиями логической схемы, конечного автомата, регулярного выражения, машины Тьюринга и др. В этих задачах требовалось построить некоторую конструкцию с заданными свойствами. Построенные конструкции можно было протестировать на вводимых пользователем данных, то есть использовать возможности обратной связи при поиске решения, однако используемые компьютерные инструменты — манипуляторы — не позволяли проверять правильность вводимого решения. Приведены данные эксперимента, в котором участвовало около 100 студентов. В эксперименте одной части студентов было предложено сдавать экзамен на компьютере с возможностью использования манипуляторов, другие решали те же задачи «на бумаге». Около половины задач не были снабжены манипуляторами, то есть представляли собой типичные для письменного экзамена теоретические задачи. В предложенном наборе некоторые конструктивные и теоретические задачи имели общий объект, поэтому в исследовании изучалось возможное влияние конструктивной деятельности на последующее решение теоретической задачи по этой же тематике. Также в этом эксперименте использовалась одинаковая постановка задачи для разных форм представления математической сути, например, в терминологии построения конечного автомата, регулярного выражения, грамматики, алгоритма. На основе статистической обработки результатов сделаны выводы о значимо лучшем решении конструктивных задач при компьютерной поддержке и об отрицательном влиянии компьютера при решении задач, которые требовали умственных операций, не имеющих адекватного представления в компьютерной поддержке, например, на компьютере с инструментальной поддержкой существенно эффективнее решение задач по печатным пособиям. На основе анализа результатов высказаны некоторые другие гипотезы, которые не подтверждены статистически, но могут служить отправной точкой последующих исследований.
Ключевые слова: дискретная математика, конструктивные задачи, компьютерные инструменты, манипуляторы, обратная связь, экзамены.
* Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта 19-29-14141: изучение взаимосвязи концептуальных математических понятий, их цифровых представлений и смыслов как основы трансформации школьного математического образования.
Цитирование: Чухнов А. С., Поздняков С. Н. Конструктивные задачи по дискретной математике: сравнительный анализ экзамена с компьютером и без компьютера // Компьютерные инструменты в образовании. 2022. № 1. С. 57-84. СЫ: 10.32603/20712340-2022-1-57-84
1. ВВЕДЕНИЕ
Вопрос о целесообразности использования компьютера при изучении математики является в настоящее время весьма актуальным. Разброс ответов на вопрос максимально широк: от полного неприятия до попыток полностью вести обучение посредством информационных технологий. В нашей работе мы ограничили область продуктивным обучением математике, то есть теми процессами, которые связаны с передачей смыслов, пониманием изучаемого материала. Результативность обучения математике обычно оценивается способностью решать задачи. Продуктивность будет определяться тем, насколько эти задачи отличаются от стандартных, решаемых по шаблону. Решению нестандартных задач тоже можно учить, но тогда их решение приобретет репродуктивный характер.
В наших предыдущих публикациях [1-4] был рассмотрен класс конструктивных задач. Особенность этих задач в том, что их решением является конструктивный объект, который несет в себе общие свойства, заданные условием задачи. Доказательства для этого класса задач носят вспомогательный характер. Часто такие доказательства носят конструктивный характер, иными словами процесс построения некоторым образом может быть превращен в форму доказательства, принятого в математике. С другой стороны конструктивные задачи по сути ближе к техническому творчеству, в котором соединяются понятийная, образная и практическая компоненты [5].
Разумеется конструктивные задачи не покрывают весь спектр учебных задач, используемых для развития математического мышления и передачи предметных знаний, однако появление компьютера открыло новые возможности для развития этого направления, которое на протяжении многих лет изучения геометрии в школе служило хорошим средством развития математического мышления [6, 7].
В работе будет использоваться термин "манипулятор", уточним как его интерпретируют в этой работе авторы. Манипулятор основан на компьютерном инструменте, который позволяет строить и исследовать динамические объекты из какой-то области математики. Например, широко известны инструменты динамической геометрии и системы символьной алгебры. Манипулятор обычно связан с менее широкой областью, и его инструментарий более скромен, в то же время он удобен для постановки и решения конструктивных задач по какой-то определенной теме. Выполняя построения в манипуляторе, пользователь поневоле создает динамическую конструкцию, иными словами приводит не один пример выполнения условий задачи, а целый класс. Эта особенность позволяет добавить удобные средства верификации созданной конструкции при различных условиях. Верификация может быть как встроена в манипулятор, так и осуществляться самим пользователем. Эта особенность манипуляторов делает их средством обратной связи. Например, манипулятор «регулярные выражения» позволяет описать множество строк формулой с базовым набором операций (сложение, умножение, итерация, пустой символ) и провести эксперименты на разных строках, одна часть которых описывается построенным регулярным выражением, другая — нет. Таким образом, манипулятор не является средством решения задачи, а только позволяет вынести вовне попытки найти решение задачи, начиная с конкретных примеров и контрпримеров.
В работе рассмотрен эксперимент, в котором участвовало около 100 студентов. Эксперимент проходил в рамках письменного экзамена. Задачей эксперимента было сравнить эффективность решения задач за компьютером (при наличии манипуляторов к задачам) с эффективностью решения тех же задач без манипулятора.
2. ОПИСАНИЕ ЭКСПЕРИМЕНТА
Эксперимент проводился в течение двух дней. В рамках эксперимента студентов одного потока разделили на две группы. Одним предстояло пройти экзамен в виде решения задач на компьютере, другие решали те же задачи в обычном, письменном формате.
Задачи были разделены на 4 варианта по 9 задач в каждом. Варианты 1 и 2 предлагались студентам в первый день эксперимента, варианты 3 и 4 — во второй. Между собой задачи вариантов одного дня различались мало, варианты же разных дней состояли из разных задач. Таким образом, сохранялась чистота эксперимента, и студенты второго дня не получали преимущества перед теми, кто проходил экзамен в первый день. Процесс решения задач на компьютере студентами был записан на видео для дальнейшего анализа.
3. ОПИСАНИЕ ЗАДАЧ
Далее будут представлены краткие (неполные) описания задач, позволяющие читателю адекватно понимать их особенности, не затрудняя чтением несущественных для статьи деталей.
Под каждой задачей приведена условная классификация по нескольким параметрам, которая позволит читателю лучше ориентироваться в таблице корреляций, не возвращаясь к текстам задач. Вот эти параметры:
"Manip" — в задаче используется манипулятор,
"Paper" — задача не снабжена манипулятором (типичная форма задачи «обычного» письменного экзамена),
"LogSchem" — задача на построение логической схемы, "String" — задача на работу с цепочками символов,
"Gram+Automata" — задача, в которой нужно построить конечный автомат, распознающий язык, заданный грамматикой,
"Gram+Regular" — задача, в которой нужно построить регулярное выражение, описывающее язык, заданный грамматикой,
"Gram+Combin" — задача, в которой нужно определить комбинаторные свойства языка, заданного грамматикой,
"Turing" — задача на построение машины Тьюринга, "Predicate" — задача на построение предиката,
"Markov" — задача на построение нормальной схемы алгоритма Маркова, "Graph" — задача на построение графа.
Варианты задачи № 1
В 1-ом и 2-ом вариантах были даны задачи на построение логических схем, в которых одну из элементарных булевых функций двух переменных предлагалось выразить через штрих Шеффера и стрелку Пирса соответственно. Задачу можно было решить применением теоремы Поста. (Manip;LogSchem)
В 3-ем и 4-rn вариантах предлагалась аналогичная задача, в которой нужно было выразить некоторую булеву функцию через импликацию. Здесь теорема Поста уже не могла быть применена и нужно было основываться на преобразованиях логических выражений (в первых двух вариантах студенты обычно также использовали этот путь).
(Manip;LogSchem)
Варианты задачи № 2
Задача 2 во всех вариантах стала продолжением задачи 1.
Эта задача была на доказательство, и даже, если была возможность провести компьютерные эксперименты, они не рассматривались как часть решения.
Приведем примеры задач.
Вариант 1 (вариант 2 аналогичен). «Докажите, что для того чтобы выразить при помощи функции NAND (отрицание конъюнкции, штрих Шеффера) функцию x AND (NOT у), нужно хотя бы 5 раз использовать функцию NAND. В этой задаче оценивается текст решения, логические схемы служат только для иллюстрации».
(Paper;LogSchem)
Вариант 3 (вариант 4 аналогичен). «Из всех классов Поста импликация лежит только в T1. Верно ли, что через неё можно выразить все булевы функции, не лежащие в T1? В этой задаче оценивается текст решения, логические схемы служат только для иллюстрации».
(Paper;LogSchem)
Варианты задачи № 3
Вариант 1 (вариант 2 аналогичен). Задача на доказательство, не предполагающая использование компьютерного инструмента (манипулятора). «Дано множество всех слов из букв a и b таких, что в любом подслове длины более 2 количество букв b хотя бы в полтора раза больше, чем количество букв а. Докажите, что условие, задающее набор, эквивалентно условию "если в слове больше двух букв, то между любыми двумя буквами а есть хотя бы три буквы b"».
(Paper; String)
Вариант 3 (вариант 4 аналогичен). Эта задача существенно отличалась от вариантов
задач первого дня. Требовалось по грамматике языка построить распознающий автомат. В этом случае наличие компьютерной среды с манипулятором для построения конечного автомата позволяло строить и тестировать искомый конечный автомат.
«Грамматика задана правилами:
S ::= aS | aA | A | bF
A ::= bA | aF
F ::= aF | Л
где S — наиболее общее понятие, Л — пустой символ.
Постройте детерминированный конечный автомат, распознающий язык, который задаёт эта грамматика».
(Manip;Gram+Automata)
Варианты задачи № 4
Условие 4-ой задачи в большой степени повторяло условие 3-ей задачи (В1, В2), однако в задаче требовалось построить регулярное выражение, определяющее заданный (автоматный) язык. Заметим, что в этой задаче существует множество вариантов задания языка регулярным выражением. У тех, кто работал с компьютерным манипулятором, была
возможность экспериментировать с различными регулярными выражениями, проверяя их правильность на задаваемых самим студентом словах языка.
(Manip;Gram+Regular)
Варианты задачи № 5
Условие 5-ой задачи для 1 и 2 вариантов были аналогичны условию 4-ой задачи с тем изменением, что построить нужно было не регулярное выражение, а конечный автомат.
(Manip;Gram+Automata)
Для 3-го и 4-го вариантов задача существенно отличалась, и к ней не предлагалось компьютерного манипулятора в случае, если задача решалась на компьютере. Вариант 3 (вариант 4 аналогичен). «Грамматика задана правилами (см. правила в 3-ем варианте задачи № 3). Постройте LL(1) грамматику этого языка».
(Paper;Gram)
Варианты задачи № 6
Для 1-го и 2-го вариантов нужно было построить другой вариант представления язы-ка,используемого в 3-ей задаче, — машину Тьюринга. Для работающих в компьютерном классе был предложен эмулятор машины Тьюринга, позволяющий записывать её описание и запускать на введенных студентом данных.
(Manip;Turing)
В 3-ем и 4-ом вариантах задача была иной: в условиях грамматики, описанной в 3-ей задаче, нужно было ответить на вопрос: «Сколько слов длины 6 задаёт эта грамматика». Для этой задачи предлагалось дать текстовый ответ, и манипуляторы не использовались.
(Paper;Gram+Combin)
Варианты задачи № 7
Для 1-го и 2-го вариантов нужно было построить еще один вариант представления языка, используемого в 1 и 2 вариантах 3-ей задачи, — описание грамматикой. Ответ представлялся в текстовом виде и не поддерживался манипулятором.
(Paper;Gram)
В 3-ем и 4-ом вариантах задача была иной:
Вариант 3 (вариант 4 аналогичен). «Постройте машину Тьюринга, которая убирает из слова в алфавите {а; Ь} два последних символа, если они там есть, в противном случае оставляет слово неизменным».
(Manip;Turing)
Варианты задачи № 8
Для 1-го и 2-го вариантов нужно было написать предикат, «различающий» расстановку фишек на шахматной доске на основе отношений вида: являться соседней и иметь заданный цвет [8].
Вариант 1 (вариант 2 аналогичен) изображен на рис. 1.
(Manip;Predicate)
В 3-ем и 4-ом вариантах требовалось построить алгоритм Маркова. Компьютерный манипулятор не предлагался, и решение нужно было представить в текстовом виде.
Вариант 3 (вариант 4 аналогичен). «Постройте алгоритм Маркова, который убирает из слова в алфавите {а; Ь] два последних символа, если они там есть, в противном случае оставляет слово неизменным».
(Paper;Markov)
Предикаты
Напишите формулу исчисления предикатов, описывающую свойство, которым обладает комбинация фишек на левой картинке, но не обладает комбинация на правой. 9
Объекты считаются соседними, если содержащие их клетки имеют общую сторону.
Рис. 1. Условие задачи №8 1-го варианта (скриншот экрана)
Варианты задачи № 9
9-я задача во всех вариантах предполагала работу с графами. В 1-м и 2-м вариантах нужно было построить граф, используя понятия остовного дерева и изоморфности.
Вариант 1 (вариант 2 аналогичен). «Приведите пример связного графа на 6 вершинах, у которого больше одного остовного дерева и все они не изоморфны. Не забудьте обосновать, почему Ваш пример удовлетворяет условию задачи».
(Рарег;СгарИ+Машр)
Вариант 3 (вариант 4 аналогичен) изображен на рис. 2.
Следует обратить внимание, что, хотя для этой задачи и был предоставлен манипулятор (тем, кто работал за компьютером), он использовался в пассивной роли для построения графа. Тестирование на удовлетворение условиям задачи не проводилось.
(Рарег;СгарИ+Машр)
Графы
Постройте граф на 7 вершинах с минимальным количеством рёбер, дпя которого данные деревья будут остоаными. Обоснуйте минимальность.
Исходные картинки должны исчезнуть, на их месте должен появиться искомый граф.
в
Рис. 2. Условие задачи № 9 3-го варианта (скриншот экрана)
4. ОБОСНОВАНИЕ ОТБОРА ЗОДАЧ
Для того чтобы определить, по каким задачам можно производить сравнение, приведем таблицу 1, в которой представлено краткое описание задач, и таблицу 2, в которой указано сопоставление задач первого и второго дня. Например, решения задачи 6 первого дня можно сравнивать с решениями задачи 7 второго дня.
Таблица 1. Содержание задач
В1, В2 В3, В4 Математическое содержание задачи
(первый день) (второй день)
№1 №1 Построить логическую схему из элементов (булеву функцию)
№2 №2 Доказательство свойств построенной функции
№3 Доказать комбинаторное свойство строк
№3 По грамматике построить автомат
№4 №4 Построить регулярное выражение по языку, заданному описанием цепочек
№5 Построить конечный автомат по (тому же) языку, заданному описанием цепочек
№5 По грамматике построить грамматику с однозначностью ветвления
№6 Построить машину Тьюринга для распознавания слов (того же языка)
№6 Посчитать количество цепочек языка описанного выше с ограничением на длину
№7 Построить грамматику языка, описанного в предыдущих задачах
№7 Построить машину Тьюринга
№8 Построить предикат, различающий две конфигурации
№8 Построить алгоритм Маркова для предыдущей задачи на машину Тьюринга
№9 №9 Построение графа с заданными свойствами
Таблица 2. Сопоставление задач первого и второго дня по содержанию
В1, В2 № 1-1 № 1-2 № 1-3 № 1-4 № 1-5 № 1-6 № 1-7 № 1-8 № 1-9
В3, В4 № 2-1 № 2-2 № 2-6 № 2-4 № 2-3 № 2-7 № 2-5 № 2-8 № 2-9
Перед началом эксперимента были выдвинуты следующие гипотезы:
1. Конструктивные задачи будут решаться лучше при работе с манипуляторами, которые позволяют проводить эксперименты и таким образом проверять гипотезы, получая от компьютера обратную связь.
2. Успешное выполнение конструктивных задач повлечет более успешное выполнение теоретической задачи по этой же тематике.
3. Задачи, требующие интеллектуальных действий с умозрительными объектами (например доказательство утверждений), которые не имеют визуализированных метафор для внешнего манипулирования, будут решаться на бумаге и на компьютере одинаково успешно.
4. Представление одной задачи в различных интерпретациях (представлениях) математических сущностей (например, через регулярное выражение, конечный автомат, машину Тьюринга) повысит успешность решения задачи во всех её интерпретациях.
Для проверки первой гипотезы нужно сравнить решения задач 1 (1-1, 2-1), 2-3, 4 (1-4, 2-4), 1-5,1-6, 2-7,1-8 с компьютером и без него.
Для проверки второй гипотезы нужно изучить корреляции между задачами 1-1 и 1-2, 2-1 и 2-2,1-4 и 1-3,1-5 и 1-3,1-6 и 1-3, 2-7 и 2-8,1-4 и 1-7,1-5 и 1-7,1-6 и 1-7.
Для проверки третьей гипотезы нужно сравнить решения задач 2 (1-2,2-2), 1-3,2-5,2-6, 1-7, 2-8 с компьютером и без него.
Для проверки четвертой гипотезы нужно изучить попарные корреляции между задачами:
— 1-3,1-4,1-5,1-6,1-7, 2-3, 2-5, 2-6,
а также сравнить результаты их решения с остальными задачами.
Ниже приводятся таблицы, в которых сравнивается успешность решения задач в разных условиях (с компьютером, то есть обратной связью) и без него.
5. АНАЛИЗ РЕЗУЛЬТАТОВ ЭКСПЕРИМЕНТА
Для того чтобы оценить педагогическое воздействие того или иного фактора, следует использовать различные методы, такие, например, как наблюдение и анкетирование. В совокупности со статистическими оценками (даже если их уровень значимости низкий) это позволит сделать утверждения с меньшей потенциальной ошибкой.
В связи с этим отметим работу [9], в рамках исследования, проведенного международным сообществом по методике обучения математике (1СМ1). В ней предлагается метод «триангуляции» для педагогических исследований. Этот метод предполагает использование трех разных способов проверки гипотезы, причем имеются в виду не только статистические методы, но и педагогические наблюдения, анкеты, экспертные свидетельства и пр. В нашей работе мы использовали метод экспертной оценки результатов, анкетирование и три различных критерия проверки статистических гипотез, что позволяет надеяться на надежность полученных выводов.
6. СТАТИСТИЧЕСКАЯ ОБРАБОТКА РЕЗУЛЬТАТОВ ЭКСПЕРИМЕНТА
6.1. Используемые критерии
При обработке экспериментов использовалось три различных метода проверки статистических гипотез:
1. Критерий Крамера-Уэлча — тест, основанный на распределении Стьюдента и предназначенный для проверки статистической гипотезы о равенстве математических ожиданий случайных величин, имеющих не обязательно равные известные дисперсии, однако предполагается, что генеральная совокупность имеет нормальное распределение. «Критерий Крамера-Уэлча — разность выборочных средних арифметических для двух выборок делится на естественную оценку среднего квадратического отклонения этой разности. Естественность указанной оценки состоит в том, что неизвестные дисперсии заменены их выборочными оценками. Из многомерной центральной предельной теоремы и из теорем о наследовании сходимости вытекает, что при росте объемов выборок распределе-
ние статистики Т Крамера-Уэлча сходится к стандартному нормальному распределению с математическим ожиданием 0 и дисперсией 1» [10].
Для проверки нулевой гипотезы используется статистический критерий
(X - Л
г =
£2 + v n т
где X, Y — выборочные средние, a2x, а2у — выборочные дисперсии, n и m — число значений в выборке для X и Y соответственно. Критическое значение определяется из уравнения Ф(^кр) = (1 - 2а)/2 для одностороннего критерияи Ф(^кр) = (1 - а)/2 для двустороннего. Здесь а — уровень значимости, Ф(г) — функция Лапласа.
2. U-критерий Манна-Уитни. Критерий предназначен для оценки различий между двумя выборками по уровню какого-то признака, количественно измеренного [11, с. 49]. Будем использовать критерий способом, предложенным в работе Гублера [12]. Этот метод предполагает, что выборки объединяются и ранжируются по уровню признака [13, с. 35]. Предположим, что значения расположены на прямой и изображаются точками, точки выборок раскрашены разными цветами. Далее рассматривается интервал, на котором есть точки обоих цветов. Чем меньше область перекрывающихся значений, тем более вероятно, что различия достоверны [11, с. 49].
Детальное описание применения U-критерия Манна-Уитни описано, например, в книгах [11,13].
3. Two-proportion z-test. Для применения этого критерия вместо числа баллов за решение задачи рассматривается бинарная шкала «успех-неуспех». Мы будем считать, что 0 или 1 балл за решение означает неуспех, 2 или 3 — успех.
Таким образом, можно считать, что мы имеем дело с повторными независимыми испытаниями (схемой Бернулли) и сравниваем вероятности «успеха» в двух сериях испытаний.
Приведем описание критерия из электронного учебника [14]:
«Пусть теперь проводятся две серии испытаний, и требуется проверить гипотезу о равенстве вероятностей «успехов» p1 и p2 в этих сериях (two-proportion z-test):
Ho : pi - P2.
Частота «успеха» в первой серии H1 ~ N(p,^Jp1(1 - p 1)/n1), во второй серии —
H2 ~ N[p2, \Jp2(1 - p2)/n2), где n1 и n2 — число испытаний в первой и второй сериях соответственно. В силу композиционной устойчивости нормального распределения разность частот H — H1 - H2 также будет иметь нормальное распределение H ~ N(тн, ан), где
тн — p1 - p2,
2 _ p1(1 - p1) p2 (1 - p2) & н — + *
n1 n2
При условии истинности H0 (то есть при p1 — p2 — p) стандартизованная разность частот
Нл — H?
z =
y/p(1 - pW1/n1 + 1/n2 имеет стандартизованное нормальное распределение N(0; 1).
Зжшяя в гажшател^газвес^н^ю истинную вероятность p на её эффективную оценку — агрегированную частоту
П1Н1 + П2Н2
П1 + П2 '
получим приближённое выражение для статистики критерия
Z =_HlzH2_.
s/H (1 - Н Wl/ni + l/n2
Подчеркнём, что указанная статистика может использоваться лишь при достаточно больших объёмах наблюдений n1 и n2.
Если альтернативная гипотеза Н : p1 Ф p2 , то критическая область для статистики критерия выбирается двусторонней, если Н : p1 < p2 или Н : p1 > p2, то левосторонней или правосторонней соответственно».
6.2. Сравнение результатов решения задач с компьютерной поддержкой и без неё
В таблице 3 приведены следующие данные: количество участников, решавших ту или иную задачу, количество набранных баллов по трехбалльной шкале, среднее и дисперсия по выборке. Данные представлены в виде двух столбцов, что позволяет сравнить результаты решения каждой задачи за компьютером и в обычной аудитории. Жирным выделены результаты, где по критерию Крамера-Уэлча результаты с использованием компьютера лучше. Большинство из них значимы с высокой степенью достоверности. Серой заливкой выделены строки, в которых результаты без использования компьютера лучше результатов с компьютером. Однако по данному критерию различия не являются значимыми. Если в качестве уровня значимости взять 5 %, то только в 7-ой задаче нуль-гипотеза может быть не принята. Поскольку этот результат плохо согласуется с опытом авторов и другими наблюдениями, было решено провести сравнение по двум другим критериям: U-критерию Манна-Уитни и критерию "two-proportion z-test".
В таблице 4 представлены результаты проверки нуль-гипотез по U-критерию Манна-Уитни. Видно, что критерий Манна-Уитни более соответствует экспертной оценке. Там, где по U-критерию Крамера-Уэлча нуль-гипотеза отвергается на уровне значимости менее 30 %, U-критерий Манна-Уитни позволяет отвергнуть её на уровне значимости 5 %, то есть показывает различие средних значений генеральной совокупности с большой вероятностью. Для того чтобы объяснить поведение экспертов, у которых мнения совпадают с результатами оценки по U-критерию Крамера-Уэлча, обратим внимание на медианные значения числа набранных баллов. Можно предположить, что эксперты чувствуют медианную оценку, и, если одна из них больше другой, делают вывод о значимом отличии результатов. Если обе оценки нулевые, то различия оцениваются как незначимые. Из этого правила выпадает оценка результатов задачи № 9. В ней медианы равны нулю, но одно из средних почти вчетверо больше другого. U-критерий Манна-Уитни оценивает результаты как значимые. Экспертная оценка (выделена жирным в столбце оценки по критерию Крамера-Уэлча) разошлась с оценкой U-критерия Манна-Уитни только на задаче № 2. В ней медианные значения равны 0, а среднее одного результата примерно в три раза больше другого.
Таблица 3. Сравнительный статистический анализ результатов решения одинаковых задач за компьютером и на бумаге
С компьютером Без компьютера
№ задачи и № варианта Суммарное число баллов по 3-х балльной системе (в скобках число решавших) Среднее число баллов и выборочная дисперсия Суммарное число баллов по 3-х балльной системе (в скобках число решавших) Среднее число баллов и выборочная дисперсия Статистика критерия Крамера-Уэлча. Проверка нуль-гипотезы "результаты решения не отличаются от результатов решения на бумаге"
1 (В1, В2, В3, В4) 122,5 (56) 2,19 (1,70) 88 (102) 0,86 (1,80) 0,71 (с уровнем значимости 25 % результаты с компьютером лучше)
2 (В1, В2, В3, В4) 6 (56) 0,11 (0,31) 31 (102) 0,31 (0,66) -0,20 (результаты на компьютере хуже)
3 (В1, В2) 28 (28) 1 (1,36) 113 (72) 1,57 (1,58) -0,33 (результаты на компьютере хуже)
3 (В3, В4) 51,9 (28) 1,85 (1,34) 23 (30) 0,77 (0,71) 0,76 (с уровнем значимости 24 % результаты с компьютером лучше)
4 (В1, В2, В3, В4) 129,97 (56) 2,32 (1,17) 67 (102) 0,66 (1,03) 1,12 (с уровнем значимости 13 % результаты с компьютером лучше)
5 (В1, В2) 63,82 (28) 2,28 (0,92) 62 (72) 0,86 (1,43) 0,93 (с уровнем значимости 17 % результаты с компьютером лучше)
5 (В3, В4) 13 (28) 0,46 (0,96) 19 (30) 0,63 (1,03) -0,12 (результаты на компьютере хуже)
6 (В1, В2) 34,7 (28) 1,24 (1,64) 34 (72) 0,47 (1,05) 0,47
6 (В3, В4) 20 (28) 0,71 (1,28) 14 (30) 0,47 (0,83) 0,17
7 (В1, В2) 32 (28) 1,14(2,05) 47 (72) 0,65 (1,45) 0,26
7 (В3, В4) 66,48 (28) 2,37 (1,29) 4(30) 0,13 (0,18) 1,85 (с уровнем значимости 3 % результаты с компьютером лучше)
8 (В1, В2) 33 (28) 1,18 (2,15) 125 (72) 2,15 (1,75) -0,29
8 (В3, В4) 13 (28) 0,46 (0,82) 6 (30) 0,2 (0,29) 0,25
9 (В1, В2) 6 (28) 0,21 (0,60) 19 (72) 0,26 (0,64) -0,04
9 (В3, В4) 32 (28) 1,14(1,62) 10 (30) 0,33 (0,82) 0,52 (с уровнем значимости 30 % результаты с компьютером лучше)
Таблица 4. Сравнительный статистический анализ результатов решения одинаковых задач за компьютером и на бумаге
С компьютером Без компьютера Статистические критерии
№ задачи и № варианта Среднее число баллов и среднеквад-ртичное отклонение Медиана Среднее число баллов и среднеквадратичное отклонение Медиана Критерий Крамера-Уэлча равенства математических ожиданий и-критерий Манна-Уитни
1 (В1, В2, В3, В4) 2,19 (1,30) 3 0,86 (1,34) 0 0,71 (с уровнем значимости 25 % результаты с компьютером лучше) Различия статистически значимы
2 (В1, В2, В3, В4) 0,11 (0,56) 0 0,31 (0,81) 0 -0,20 (результаты на компьютере хуже) Различия статистически незначимы
3 (В1, В2) 1 (1,17) 1 1,57 (1,26) 2 -0,33 (результаты на компьютере хуже) Различия статистически значимы
3 (В3, В4) 1,85 (1,16) 2,46 0,77 (0,84) 1 0,76 (с уровнем значимости 24% результаты с компьютером лучше) Различия статистически значимы
4 (В1, В2, В3, В4) 2,32 (1,08) 2,81 0,66 (1,01) 0 1,12 (с уровнем значимости 13 % результаты с компьютером лучше) Различия статистически значимы
5 (В1, В2) 2,28 (0,98) 2,64 0,86 (1,10) 0 0,93 (с уровнем значимости 17% результаты с компьютером лучше) Различия статистически значимы
5 (В3, В4) 0,46 (0,98) 0 0,63 (1,01) 0 - 0,12 (результаты на компьютере хуже) Различия статистически незначимы
6 (В1, В2) 1,24 (1,28) 0,53 0,47 (1,02) 0 0,47 Различия статистически значимы
6 (В3, В4) 0,71 (1,13) 0 0,47 (0,91) 0 0,17 Различия статистически незначимы
7 (В1, В2) 1,14(1,43) 0 0,65 (1,20) 0 0,26 Различия статистически незначимы
7 (В3, В4) 2,37 (1,14) 3 0,13 (0,42) 0 1,85 (с уровнем значимости 3% результаты с компьютером лучше) Различия статистически значимы
8 (В1, В2) 1,18 (1,47) 0 2,15 (1,32) 2,5 -0,29 Различия статистически значимы
8 (В3, В4) 0,46 (0,90) 0 0,2 (0,54) 0 0,25 Различия статистически незначимы
9 (В1, В2) 0,21 (0,77) 0 0,26 (0,80) 0 -0,04 Различия статистически незначимы
9 (В3, В4) 1,14(1,27) 0 0,33 (0,90) 0 0,52 (с уровнем значимости 30% результаты с компьютером лучше) Различия статистически значимы
В таблицах 4 и 5 серым выделены строки, соответствующие задачам, в которых различия согласно критерию Манна-Уитни статистически незначимы.
В таблице 5 представлены результата проверки нуль-гипотезы по статистическому критерию "two-proportion z-test". Результаты полностью согласуются с оценкой по U-критерию Манна-Уитни.
Таблица 5. Результаты применения критерия "two-proportion z-test" приведены для уровня статистической значимости 5 % (критическое значение критерия 1,65 для одностороннего, 1,96 для двустороннего). Жирным выделены значения критерия при котором эксперты определили различие результатов
Two-proportion z-test Число человек щ Число человек П2 Частота успехов с комп. Hi Частота успехов без комп. H2 Агрегированная частота H1 Значение статистики критерия Z2 U-Манна-Уитни
1 (В1, В2) 56 102 0,73 0,29 0,44 5,32 +
2 (В1, В2, В3, В4) 56 102 0,04 0,10 0,08 -1,34 -
3 (В1, В2) 28 72 0,33 0,52 0,47 -1,71 +
3 (В3, В4) 28 30 0,62 0,26 0,43 2,77 +
4 (В1, В2, В3, В4) 56 102 0,77 0,22 0,42 6,71 +
5 (В1, В2) 28 72 0,76 0,29 0,42 4,27 +
5 (В3, В4) 28 30 0,15 0,21 0,18 -0,55 -
6 (В1, В2) 28 72 0,41 0,16 0,23 2,67 +
6 (В3, В4) 28 30 0,24 0,16 0,20 0,76 +
7 (В1, В2) 28 72 0,38 0,22 0,26 1,63 +
7 (В3, В4) 28 30 0,79 0,04 0,41 5,79 +
8 (В1, В2) 28 72 0,39 0,58 0,53 -1,7 +
8 (В3, В4) 28 30 0,15 0,07 0,11 1,07 +
9 (В1, В2) 28 72 0,07 0,09 0,08 -0,27 +
9 (В3, В4) 28 30 0,38 0,11 0,24 2,40 +
6.3. Обсуждение результатов
Если следовать канонам статистической обработки результатов, то по критерию Крамера-Уэлча на уровне значимости 5 % можно принять только одну гипотезу: построение машины Тьюринга за компьютерным манипулятором дает лучшие результаты, чем её построение на бумаге (задача № 7, варианты 3,4).
Этот результат вполне ожидаем, так как построение машины Тьюринга аналогично программированию, а программировать на компьютере легче, чем на бумаге.
Далее следует обратить внимание на те результаты, которые становятся значимыми при применении U-критерия Манна-Уитни и критерия "two-proportion z-test".
Во-первых, представляют интерес задачи, в которых решение на бумаге приводит к лучшим результатам, нежели на компьютере. Это задачи № 2 (варианты 1, 2, 3, 4), № 3 (варианты 1 и 2), № 5 (варианты 3 и 4). Все эти задачи предполагали обычное «бумажное» решение, но студентам было предложено решать задачи, сидя за компьютером и вводить решение, набирая текст на клавиатуре. Хотя различия не значимы, однако они позволяют выдвинуть гипотезу, что использование компьютера для «дублирования» того, что обычно делается на бумаге, не только не дает эффекта, но и даёт отрицательный
1Н = (Н • n1 + Н2 • n2)/(n1 + n2)._
2Z = (Н1 - Н2)//(Н(1 - H)(1/n1 + 1/n2)).
эффект. Для объяснения этого эффекта можно использовать наблюдения за ходом эксперимента. Работающие за компьютером студенты явно или неявно предполагали некоторый диалог с системой, тестирование вводимых решений. Несмотря на то, что при работе с компьютером не ограничивалось использование ручки и бумаги, установка на работу с компьютером мешала «экспериментам на бумаге», так как поля для ввода текста трудно использовать в роли «черновика». Также был выявлен случай, когда наличие компьютерного манипулятора с проверкой частичных решений дало худшие (незначимо) результаты — № 8 (варианты 1 и 2).
Представляет интерес сравнение результатов экзамена тех, кто не выполнил в течение семестра лабораторные работы, основанные на компьютерных манипуляторах, и сдавал экзамен в «бумажной» форме. Их результаты существенно ниже тех, кто сдавал экзамен на компьютере (табл. 6), и ниже тех, кто сдавал экзамен тоже в «бумажной» форме, но выполнил лабораторные работы (табл. 7). Последнее говорит о положительном влиянии занятий с конструктивными задачами на компьютере на последующее решение задач в любой форме (как в компьютерной, так и в бумажной).
Возникает вопрос: почему применение критерия Крамера-Уэлча дает результаты, отличные от применения U-критерия Манна-Уитни и критерия "two-proportion z-test"? В критерии Крамера-Уэлча мы используем баллы (оценки выставлялись по трехбалль-
Таблица 6. Сравнение результатов решения задачи № 4, 5 на построение регулярного выражения и конечного автомата соответственно (в компьютерном манипуляторе) студентов, которые не выполняли лабораторной работы с манипуляторами в течение семестра и проходили экзамен в «бумажной», форме со студентами, которые проходили экзамен в компьютерной форме. Проверка гипотезы «результаты решения на компьютере лучше результатов решения на бумаге»
С компьютером Без компьютера
№ задачи и Суммарное Среднее число Суммарное Среднее число Критерий
№ варианта число баллов баллов и вы- число баллов баллов и вы- Крамера-Уэлча
по 3-х балль- борочная дис- по 3-х балль- борочная дис- равенства мате-
ной системе персия ной системе персия матических ожи-
(в скобках чис- (в скобках чис- даний и критерий
ло решавших) ло решавших) "two-proportion z-test"
4 (В1, В2, В3, 129,97 (56) 2,32 (1,17) 14 (39) 0,36 (0,64) 1,46 (с уровнем
В4) значимости 7 % результаты с компьютером лучше) По критерию "two-proportion z-test" значимо на уровне 0,001 % для двустороннего критерия
5 (В1, В2) 63,82 (28) 2,28 (0,92) 15 (39) 0,38 (0,70) 1,50 (с уровнем значимости 7 % результаты с компьютером лучше) По критерию "two-proportion z-test" значимо на уровне 0,001 % для двустороннего критерия
Таблица 7. Сравнение результатов решения задачи № 4, 5 на построение регулярного выражения и конечного автомата соответственно (в компьютерном манипуляторе) студентов, которые выполняли лабораторную работу с манипуляторами в течение семестра и проходили экзамен в «бумажной» форме, со студентами, которые не выполняли лабораторной работы и также проходили экзамен в «бумажной» форме. Проверка гипотезы «результаты решения на компьютере лучше результатов решения на бумаге»
Без компьютера (лабораторные работы с манипуляторами выполнены) Без компьютера (лабораторные работы с манипуляторами не выполнены)
№ задачи и № варианта Суммарное число баллов по 3-х балльной системе (в скобках число решавших) Среднее число баллов и выборочная дисперсия Суммарное число баллов по 3-х балльной системе (в скобках число решавших) Среднее число баллов и выборочная дисперсия Критерий Крамера-Уэлча равенства математических ожиданий
4 (В1, В2, В3, В4) 53 (63) 0,84 (0,44) 14 (39) 0,36 (0,64) 0,46 (с уровнем значимости 32% результаты с компьютером лучше) По критерию "two-proportion z-test" значимо на уровне 10 % для двустороннего критерия и на уровне 5% — для одностороннего
5 (В1, В2) 63 (63) 1,00 (0,62) 15 (39) 0,38 (0,70) 0,50 (с уровнем значимости 30% результаты с компьютером лучше) По критерию "two-proportion z-test" значимо на уровне 2 % для двустороннего критерия
ной шкале), в U-крнтерии Манна-Уитни мы сравниваем баллы разных групп между собой, но не используем величины этих баллов, в критерии "two-proportion z-test" мы используем бинарную шкалу "успех-неуспех". Заметим, что экспертные оценки в большей степени соответствуют двум последним критериям. Из этого можно сделать вывод, что система балльных оценок плохо приспособлена к оценке результатов обучения (в отличие, например, от веса деталей, который может быть предметом статистического исследования в технике). Более «естественные» результаты дают методы сравнительной оценки и бинарная оценка результатов решения задач.
6.4. Исследование корреляций
Перейдем к исследованию зависимостей между решениями различных задач и решениями задач в различной форме. Для этого будем использовать выборочный коэффициент корреляции и проверять нуль-гипотезы о равенстве корреляций.
Приведем необходимые данные о формулах, по которым ведутся вычисления.
Выборочная корреляция [15, http://statistica.ru/theory/koeffitsient-korrelyatsii/] Пусть {Х\, У[),(Х2, У2),...,(Хп, Уп) — выборка из п наблюдений пары переменных (X, У), которые распределены по нормальному закону.
Выборочный коэффициент корреляции г определяется как
г= !П=1 X -Х)У - У)
щ=1 X - ху г}=1 У - У)
где X и У — выборочные средние.
Проверка нуль-гипотезы о равенстве корреляций [15, http://statistica.ru/theory/ znachimost-razlichiya-mezhdu-dvumya-vyborochnymi-koeffitsientami-korrelyatsii/]
Пусть у нас есть две выборки, по которым подсчитаны выборочные коэффициенты корреляции г1 и г2. Нуль-гипотеза будет состоять в том, что коэффициенты корреляции по генеральной совокупности равны.
Для проверки используется преобразование Фишера:
Z1 = -ln ( 1 + Г1 ), z2 = -ln ( 1 + r2). 1 2 U - r1> 2 vi - r2)
Известно, что определенные таким образом z1 и z2 можно считать нормально рас-
(1 (1 + р1 \ 1 2 \ (1 (1 + р2 \ 1
пределенными с параметрами -]'-ц + (-1)2> -)'-1 +
2 ^ Р1 П1 П1 Р2 П2
-г- соответственно.
(П2 - 1)^
Тогда при справедливости нуль-гипотезы оказывается, что величина z1 -z2 будет нормально распределена со средним 0 и дисперсией
ш2 =
f—+—Ч)+f— 2
П1 -1 (П1 - 1)2^ Уп2 -1 (П2 - 1)2
Z1 - Z2
Поэтому статистику-можно считать наблюдением стандартной нормальной
ш
величиньi U.
При заданных z1 и z2 уровень значимости равен:
SL = P {U > Z1—Z2 1 + р {и <- Z-Z2 1 = 2Ф{ - Z-Z2 1, ( ш > У ш > У ш >
где Ф(х) — функция распределения стандартного нормального закона.
Построение доверительного интервала для коэффициента корреляции [15, http: //statistica.ru/theory/znachimost-koeffitsienta-korrelyatsii-doveritelnyy-interval/]
Распределение выборочного коэффициента корреляции сложное, поэтому часто пользуются преобразованием Фишера для аппроксимации точного распределения коэффициента корреляции:
1 1 ( 1 + Г А z = - • ln - .
2 Ч - r
При больших значениях n распределение выборочного коэффициента корреляции r стремится к нормальному z.
Для преобразованного г стандартная ошибка среднего равна
1
БЕ =
у/и - 3
Таким образом, двусторонний доверительный интервал для г будет определяться:
нижняя граница: г[ = г - г1-(Х /2 ■ 5Е,
верхняя граница: ги = г + г1-(/2 ■ БЕ. 1
Для « = 5% и БЕ = — получаем интервал
ул - 3
С1г = (г -1,96--1-, г + 1,96--—
^ \/и - 3 \/и - 3 >
Для построения доверительного интервала для коэффициента корреляции сделаем обратное преобразование, получим:
(е2г1 - 1 е2ги - 1
е2ги 1
Для проверки гипотезы о том, что предварительное решение конструктивной задачи положительно влияет на следующую за ней теоретическую по той же теме, построим таблицу корреляций для задач, в которых использовалось предварение теоретической задачи конструктивной (табл. 8). Из таблицы видно, что существенного влияния конструктивной задачи на следующую за ней теоретическую задачу на ту же тему не наблюдается; хотя в отличие от работы за компьютером, где корреляция всегда положительна, при работе на бумаге наблюдаются даже отрицательные корреляции. В целом, ни значимых корреляций, ни значимых различий между корреляциями при работе с компьютером и без него не наблюдается. Таким образом, гипотеза не подтвердилась.
Таблица 8. Корреляции между решениями конструктивных задач и следующими за ними теоретическими задачами по той же тематике. Отдельно приведены данные для решения конструктивных задач с манипуляторами и без них (на бумаге). Проверка нуль-гипотезы о равенстве корреляций
1-1 и 1-2 2-1 и 2-2 1-4 и 1-3 1-5 и 1-3 1-6 и 1-3
С комп. 0,12 0,12 0,08 0,09 -0,16
Без комп. -0,05 0,24 -0.13 -0,11 -0,22
Значимость различий 0,73 незначимое 0,51 незначимое 0,90 незначимое 0,88 незначимое 0,28 незначимое
1-4 и 1-7 1-5 и 1-7 1-6 и 1-7 2-7 и 2-8
С комп. 0,17 0,42 0,04 0,28
Без комп. 0,10 0,23 0,26 0,03
Значимость различий 0,30 незначимое 0,90 незначимое 0,96 незначимое 1,12 незначимое
Проверим теперь гипотезу о том, что задачи, требующие интеллектуальных действий с умозрительными объектами (например доказательство утверждений), которые не имеют визуализированных метафор для внешнего манипулирования, будут решаться на бумаге и на компьютере одинаково успешно.
Из семи возможных сравнений только одно (по задаче 7 первого варианта) не подтверждает гипотезу, в то время как четыре задачи (см. табл. 9) обнаруживают даже обратную тенденцию: решение задач, в которых компьютер использовался только для ввода ответа, отрицательно коррелирует с использованием компьютера. Таким образом, для решения теоретических задач, решение которых требует только умственных действий, компьютерный ввод решения, видимо, создает отвлекающие от обдумывания задачи сложности. В целом, можно считать, что выдвинутая гипотеза подтвердилась.
Таблица 9. Проверка нуль-гипотезы о равенстве корреляций между решениями задач с манипуляторами и тех же задач, но без манипуляторов
1-2 с комп. 2-2 с комп. 1-3 с комп. 2-5 с комп. 2-6 с комп.
и 1-2 б/к и 2-2 б/к и 1-3 б/к и 2-5 б/к и 2-6 б/к
Значимость -1,47 -1,47 -1,71 -0,55 0,79
различий 7% 7% значимое незначимое незначимое
1-7 с комп. и 1-7 б/к 2-8 с комп. и 1-8 б/к
Значимость различий 1,67 значимое 1,07 незначимое
Проверим теперь гипотезу о том, что представление одной задачи в различных интерпретациях математических сущностей (например, через регулярное выражение, конечный автомат, машину Тьюринга) повысит успешность решения задачи во всех её интерпретациях. Для этого рассмотрим решение задач, в которых использовалось несколько различных интерпретаций математических сущностей.
В таблицах 10, 11 жирным выделены коэффициенты корреляции, для которых доверительные интервалы с 5 % уровнем значимости находятся в положительной области. Таким образом, задач со значимой корреляцией примерно вдвое меньше, чем остальных. На основании этих данных нельзя утверждать, что использование нескольких интерпретаций задачи в одном задачном блоке повышает уровень решения.
Рассмотрим «странный» показатель — сумму коэффициентов корреляции. Для работы с компьютером она будет 1,92, без компьютера 1,27 (табл. 10). Хотя взаимосвязи между результатами работы на компьютере несколько выше, в целом студенты решают задачи как независимые, и разнообразие интерпретаций не влияет на решение каждой задачи.
Таблица 10. Коэффициенты корреляции между задачами, отличающимися представлениями (интерпретации) математических сущностей (первый день). В каждой клетке через черту даны коэффициенты для вариантов решения: с компьютером/без компьютера
1-3 1-4 1-5 1-6 1-7
1-3
1-4 0,08/-0,13
1-5 0,09/-0,11 0,44 / 0,12
1-6 -0,16/-0,22 0,21/ 0,37 0,38 / 0,52
1-7 0,25 / 0,13 0,17/0,10 0,42 / 0,23 0,04 / 0,26
Во второй деть работы «сумма корреляций» для работы с компьютером меньше, чем без компьютера 0,56 против 1,39 (табл. 11). Значит, утверждать, что использование компьютерных манипуляторов увеличивает связь между близкими по смыслу задачами, нельзя.
Таблица 11. Коэффициенты корреляции между задачами, отличающимися представлениями (интерпретации) математических сущностей (второй день). В каждой клетке через черту даны коэффициенты для вариантов решения: с компьютером / без компьютера
2-3 2-5 2-6
2-3
2-5 0,35 / 0,44
2-6 -0,04 / 0,27 0,25 / 0,68
Корреляционный анализ решений разных задач
Перейдем к изучению корреляций между результатами решения различных задач, вычислив корреляции отдельно для задач первого дня и второго и разделив их на решение с компьютером и без него (табл. 12,13,14,15). Для удобства приводим рядом с каждой задачей перечень выделенных в начале статьи атрибутов.
Таблица 12. Корреляции между результатами решений задач первого дня экзамена с использованием компьютера
Корреляции В1, В2 комп. 28 человек Задача 1 (Manip; LogSchem) Задача 2 (Paper; LogSchem) Задача 3 (Paper;String) Задача 4 (Manip; Gram+Regular) Задача 5 (Manip; Gram+Automata) Задача 6 (Manip; Turing) Задача 7 (Paper; Gram) Задача 8 (Manip; Predicate) Задача 9 (Paper; Graph+Manip)
Задача 1 (Manip; LogSchem) 0,12 0,20 0,50 0,37 0,30 0,13 0,20 0,17
Задача 2 (Paper; LogSchem) 0,12 0,05 0,08 -0,12 0,25 -0,15 -0,05
Задача 3 (Paper; String) 0,20 0,08 0,09 -0,16 0,34 0,19 0,24
Задача 4 (Manip; Gram+Regular) 0,50 0,05 0,08 0,44 0,21 0,17 0,42 0,17
Задача 5 (Manip; Gram+Automata) 0,37 0,08 0,09 0,44 0,38 0,42 -0,06 0,10
Задача 6 (Manip; Turing) 0,30 -0,12 -0,16 0,21 0,38 0,04 0,29 0,05
Задача 7 (Paper; Gram) 0,13 0,25 0,34 0,17 0,42 0,04 0,23 0,07
Задача 8 (Manip; Predicate) 0,20 -0,15 0,19 0,42 -0,06 0,29 0,23 0,06
Задача 9 (Paper; Graph+Manip) 0,17 -0,05 0,24 0,17 0,10 0,05 0,07 0,06
Таблица 13. Корреляции между результатами решений задач первого дня экзамена без использования компьютера
Корреляции В1, В2 б/к 72 человека Задача 1 (Manip; LogSchem) Задача 2 (Paper; LogSchem) Задача 3 (Paper; String) Задача 4 (Manip; Gram+Regular) Задача 5 (Manip; Gram+Automata) Задача 6 (Manip; Turing) Задача 7 (Paper; Gram) Задача 8 (Manip; Predicate) Задача 9 (Paper; Graph+Manip)
Задача 1 (Manip; LogSchem) 1,00
Задача 2 (Paper; LogSchem) -0,05 1,00
Задача 3 (Paper; String) 0,13 0,03 1,00
Задача 4 (Manip; Gram+Regular) -0,05 0,18 -0,13 1,00
Задача 5 (Manip; Gram+Automata) -0,12 0,01 -0,11 0,12 1,00
Задача 6 (Manip; Turing) -0,04 0,13 -0,22 0,37 0,52 1,00
Задача 7 (Paper; Gram) 0,03 0,32 0,13 0,10 0,23 0,26 1,00
Задача 8 (Manip; Predicate) 0,09 0,08 -0,09 0,07 0,16 0,20 0,02 1,00
Задача 9 (Paper; Graph+Manip) -0,09 0,14 -0,15 0,07 0,11 0,20 0,08 0,06 1,00
Таблица 14. Корреляции между результатами решений задач второго дня экзамена с использованием компьютера
Корреляции В3, В4 комп. 28 человек Задача 1 (Manip; LogSchem) Задача 2 (Paper; LogSchem) Задача 3 (Paper; String) Задача 4 (Manip; Gram+Regular) Задача 5 (Manip; Gram+Automata) Задача 6 (Manip; Turing) Задача 7 (Paper; Gram) Задача 8 (Manip; Predicate) Задача 9 (Paper; Graph+Manip)
Задача 1 (Manip; LogSchem) 1,00
Задача 2 (Paper; LogSchem) 0,12 1,00
Корреляции В3, В4 комп. 28 человек Задача 1 (Manip; LogSchem) Задача 2 (Paper; LogSchem) Задача 3 (Paper; String) Задача 4 (Manip; Gram+Regular) Задача 5 (Manip; Gram+Automata) Задача 6 (Manip; Turing) Задача 7 (Paper; Gram) Задача 8 (Manip; Predicate) Задача 9 (Paper; Graph+Manip)
Задача 3 (Paper; String) 0,33 -0,17 1,00
Задача 4 (Manip; Gram+Regular) -0,15 0,13 0,47 1,00
Задача 5 (Manip; Gram+Automata) 0,30 0,11 0,35 0,29 1,00
Задача 6 (Manip; Turing) -0,16 -0,12 -0,04 0,40 0,25 1,00
Задача 7 (Paper; Gram) 0,25 0,11 0,40 0,35 0,26 0,10 1,00
Задача 8 (Manip; Predicate) 0,32 -0,10 0,44 0,13 -0,16 0,09 0,28 1,00
Задача 9 (Paper; Graph+Manip) -0,05 0,28 -0,05 0,30 0,35 0,33 -0,01 -0,18 1,00
Таблица 15. Корреляции между результатами решений задач второго дня экзамена без использования компьютера
Корреляции В3, В4 б/к 30 человек Задача 1 (Manip; LogSchem) Задача 2 (Paper; LogSchem) Задача 3 (Paper; String) Задача 4 (Manip; Gram+Regular) Задача 5 (Manip; Gram+Automata) Задача 6 (Manip; Turing) Задача 7 (Paper; Gram) Задача 8 (Manip; Predicate) Задача 9 (Paper; Graph+Manip)
Задача 1 (Manip; LogSchem) 1,00
Задача 2 (Paper; LogSchem) 0,24 1,00
Задача 3 (Paper; String) 0,10 0,07 1,00
Задача 4 (Manip; Gram+Regular) 0,13 0,32 0,53 1,00
Задача 5 (Manip; Gram+Automata) 0,06 0,10 0,44 0,61 1,00
Корреляции В3, В4 б/к 30 человек Задача 1 (Manip; LogSchem) Задача 2 (Paper; LogSchem) Задача 3 (Paper; String) Задача 4 (Manip; Gram+Regular) Задача 5 (Manip; Gram+Autom.) Задача 6 (Manip; Turing) Задача 7 (Paper; Gram) Задача 8 (Manip; Predicate) Задача 9 (Paper; Graph+Manip)
Задача 6 (Manip; Turing) 0,05 0,30 0,27 0,56 0,68 1,00
Задача 7 (Paper; Gram) -0,01 -0,08 0,09 -0,01 0,27 0,01 1,00
Задача 8 (Manip; Predicate) 0,05 -0,10 -0,04 -0,09 0,13 -0,05 0,03 1,00
Задача 9 (Paper; Graph+Manip) -0,18 -0,10 -0,20 0,26 0,17 0,17 -0,11 -0,14 1,00
Таблица 16. Проверка нуль-гипотезы о равенстве (различии) корреляций для вариантов В1 и В2 при решении с компьютером и без него
Задача 1 (Manip; LogSchem) Задача 2 (Paper; LogSchem) Задача 3 (Paper; String) Задача 4 (Manip; Gram+Regular) Задача 5 (Manip; Gram+Autom.) Задача 6 (Manip; Turing) Задача 7 (Paper; Gram) Задача 8 (Manip; Predicate) Задача 9 (Paper; Graph+Manip)
Задача 1 (Manip; LogSchem)
Задача 2 (Paper; LogSchem) 0,73
Задача 3 (Paper; String) 0,31 0,13
Задача 4 (Manip; Gram+Regular) 2,57 0,58 0,90
Задача 5 (Manip; Gram+Automata) 2,16 0,29 0,88 1,52
Задача 6 (Manip; Turing) 1,50 1,09 0,28 0,74 0,73
Задача 7 (Paper; Gram) 0,43 0,33 0,97 0,30 0,90 0,96
Задача 8 (Manip; Predicate) 0,47 1,03 1,21 1,65 0,95 0,42 0,90
Задача 9 (Paper; Graph+Manip) 1,11 0,82 1,69 0,41 0,06 0,69 0,05 0,01
Таблица 17. Проверка нуль-гипотезы о равенстве (различии) корреляций для вариантов ВЗ и В4 при решении с компьютером и без него
Задача 1 (Manip; LogSchem) Задача 2 (Paper; LogSchem) Задача 6 (Manip; Graph+Manip) Задача 4 (Manip; Gram+Regular) Задача 3 (Manip; Gram+Automata) Задача 7 (Manip; Turing) Задача 5 (Paper; Gram) Задача 8 (Paper; Markov) Задача 9 (Paper; Graph+Manip)
Задача 1 (Manip; LogSchem)
Задача 2 (Paper; LogSchem) 0,51
Задача 6 (Paper; Graph+Manip) 0,91 1,85
Задача 4 (Manip; Gram+Regular) 1,20 0,88 0,90
Задача 3 (Manip; Gram+Automata) 1,02 1,70 1,34 0,33
Задача 7 (Manip; Turing) 1,13 0,82 0,38 1,64 1,47
Задача 5 (Paper; Gram) 1,08 0,04 2,48 1,71 0,47 0,03
Задача 8 (Paper; Markov) 1,25 0,00 0,64 0,97 2,20 1,12 1,28
Задача 9 (Paper; Graph+Manip) 0,55 1,66 0,70 0,19 0,68 0,44 0,82 0,20
Обратим внимание на критические значения критерия, для которых принимается или отвергается нуль-гипотеза о равенстве корреляций (табл. 16,17):
— для двустороннего критерия с уровнем значимости а = 0,05 (5 %) при значении критерия больше 1,96 принимается альтернативная гипотеза о неравенстве корреляций;
— для двустороннего критерия с уровнем значимости а = 0,1(10 %) при значении критерия больше 1,64 принимается альтернативная гипотеза о неравенстве корреляций.
Таким образом, корреляции решений 1-ой задачи с 4-ой и 5-ой значимо выше для работы с компьютером. Поскольку первая задача по содержанию существенно отличается от 4-ой и 5-ой и объединяет их только использование компьютерных манипуляторов, можно сделать заключение о наличии здесь такого фактора, как «решение конструктивной задачи с манипулятором». Корреляцию в результатах у 4-ой и 8-ой задач можно считать подтверждением существования этого фактора. Видно, что в строках и столбцах 2 и 7, соответствующих задачам, в которых нет манипулятора, нет значимого различия в корре-
ляциях между решениями задач. Единственным "нарушением" является корреляция решений задач 3 и 9. В третьей задаче нужно было доказать некоторое комбинаторное свойство строк (манипулятор не использовался), в 9-ой задаче нужно было построить граф с некоторыми комбинаторными свойствами (манипулятор в этой задаче был, однако не нес никакой дидактической нагрузки, кроме ввода ответа). Следует предположить наличие какого-то иного фактора, возможно, не связанного с изучаемыми характеристиками. Для того чтобы отмести наличие случайных факторов, проведем аналогичный анализ для вариантов В3 и В4, которые несколько отличались от В1 и В2, а экзамен проводился на следующий день. Для этого упорядочим номера так, чтобы задачи одного варианта соответствовали задачам другого варианта (задачу № 8 не следует принимать во внимание, так как у неё не было аналогов в вариантах другого дня). Из таблицы видно, что значимые различия корреляций на второй день наблюдаются по другим задачам.
7. АНКЕТИРОВАНИЕ СТУДЕНТОВ
Сравним теперь роль компьютерного инструмента с ролью учебника на основе мнения студентов.
После завершения всего цикла дискретной математики (три курса: «Дискретная математика», «Комбинаторика и теория графов», «Математическая логика и теория алгоритмов») среди студентов 2-3 курсов факультета компьютерных технологий и информатики СПбГЭТУ «ЛЭТИ» был проведен опрос студентов, в котором они высказали свое мнение об эффективности различных средств обучения в условиях дистанционного обучения (опрос делался в условиях пандемических ограничений).
Несмотря на то, что вопросы (рис. 3,4) не были направлены на сравнение выполнения заданий на бумаге и на компьютере, косвенно они подтверждают высказанную выше гипотезу о том, что использование компьютерного инструмента помогает разобраться с материалом по сравнению с самостоятельной работой по учебнику.
441 г&Ероп эёэ 150
13В (31,3%)
121 (27.4%)
114(25,9%)
50 (11,3%)
18(4,1%)
Рис. 3. Статистика ответов на вопрос «Оценка эффективности различных видов деятельности: самостоятельное изучение материала по учебнику с решением задач»
Для статистического анализа результатов, приведенных на рисунках 3 и 4, будем считать, что студенты, указавшие в оценке 3, 4 или 5 баллов считают влияние данного методического средства важным для себя, а указавшие 1 и 2 балла — не существенным (также рассмотрим далее и другой способ деления, в котором существенными считаются
Рис. 4. Статистика ответов на вопрос «Оценка эффективности различных видов деятельности: объяснение материала через инструментальные и программные средства для демонстрации методов и алгоритмов изучения материала»
только оценки 4 и 5; увидим, что это не повлияло на результат проверки статистической гипотезы). Таким образом, мы свели данные к бинарной модели оценки фактора: существенен/несущественен. Поэтому можно использовать статистический критерий "two-proportion z-test" (табл. 18).
Таким образом, гипотеза о том, что влияние компьютерного инструмента при объяснении нового материала оказывает больший эффект, чем самостоятельное изучение его по учебнику, статистически обоснована.
Таблица 18. Анализ анкетирования студентов об эффективности манипуляторов в усвоении новых математических идей по критерию "two-proportion z-test"
Частота успехов Щ (указанный фактор существенен) для первого вопроса Частота успехов H2 (указанный фактор существенен) для второго вопроса Агрегированная частота H = (Hi • щ + + H2 • U2)/(ni + П2) Число студентов (ni = n2) Приближенное значение статистики критерия z = H1-H2 VH(i-H) V1/ni + 1/n2
В качестве существенности фактора рассматривается его оценка студентами в З, 4 или 5 баллов
0,57 0,91 0,74 447 -11,8
В качестве существенности фактора рассматривается его оценка студентами в 4 или 5 баллов
0,30 0,69 0,49 447 -11,7
Критическое значение критерия 1,65 для уровня значимости 0,05
8. ВЫВОДЫ
1. Значимые различия в использовании или неиспользовании компьютерных манипуляторов для решения математических задач проявляются только на конструктивных задачах, в которых у студента есть возможность проводить эксперименты и верифицировать частичные решения в форме математических конструкций.
2. Использование компьютера как аналога «бумаги» отвлекает студента от осмысления задачи, если задача требует построения математической модели «в уме», то есть построения умственных конструкций, не имеющих внешних представлений.
3. Работа с манипуляторами с обратной связью в течение семестра улучшает результаты решения таких задач, даже если они предлагаются в «бумажной» форме.
4. Использование компьютерных динамических манипуляторов существенно для
объяснения нового материала и высоко оценивается самими учащимися.
Список литературы
1. ChukhnovA. S. Constructive Tasks as a Tool of Invasive and Non-invasive Assessment of Knowledge // Computer tools in education. 2019. № 3. P. 96-104. doi: 10.32603/2071-2340-2019-3-96-104
2. Чухнов А. С. Конструктивные задачи в олимпиадах по математике и информатике // Компьютерные инструменты в образовании. 2018. № 6. С. 56-62. doi:10.32603/2071-2340-2018-6-56-62
3. Иванов С. Г., Поздняков С. Н., Чухнов А. С. Задачи Олимпиады по дискретной математике и теоретической информатике / Учебно-методическое пособие. СПб.: Изд-во СПбГЭТУ «ЛЭТИ», 2021.
4. Pozdniakov S. N., Chukhnov A. S., Pangina N. N. Analysis of the Understanding of the Material of Theoretical Informatics in Competitions and Olympiads in Informatics // Computer tools in education. 2018. № 2. P. 55-67. doi: 0.32603/2071-2340-2018-2-55-67
5. Кудрявцев Т. В. Психология технического мышления: процесс и способы решения технических задач. М.: Педагогика, 1975. 304 с.
6. Адамар Ж. Элементарная геометрия. Часть первая. Планиметрия. М.: ОГИЗ, 1948. 608 с.
7. Александров И. И. Сборник геометрических задач на построение. М.: Учпедгиз, 1950.176 с.
8. Баркер-Пламмер Д., Барвайз Дж. И Этчменди, Дж. Мир Тарского. Стэнфорд: CSLI Publications, 2008.
9. Kelle U., Buchholtz N. The Combination of Qualitative and Quantitative Research Methods in Mathematics Education: A "Mixed Methods" Study on the Development of the Professional Knowledge of Teachers / Bikner-Ahsbahs A., Knipping C., Presmeg N. eds. Approaches to Qualitative Research in Mathematics Education. Advances in Mathematics Education. Dordrecht, Netherlands: Springer, 2015. Ch. 12. P. 321-363. doi: 10.1007/978-94-017-9181-6_12
10. Орлов А. И. Эконометрика. Учебник. М.: Издательство «Экзамен», 2002.
11. Сидоренко Е. В. Методы математической обработки в психологии. СПб.: ООО «Речь», 2000.350 с.
12. Гублер Е.В. Вычислительные методы анализа и распознавания патологических процессов. Л.: Медицина, 1978. 296 с.
13. Стариченко Б. Е. Обработка и представление данных педагогических исследований с помощью компьютера/ Екатеринбург: Урал. гос. пед. ун-т., 2004. 218 с.
14. Трофимов А. Г. Математическая статистика. М.: НИЯУ МИФИ.2022 http://datalearning.ru/index. php/textbook?cid=1&mid=3&topic=3 (дата обращения: 24.02.2022).
15. Портал знаний. Глобальный интеллектуальный ресурс: statistica.ru (дата обращения: 24.02.2022).
Поступила в редакцию 19.10.2021, окончательный вариант— 11.11.2021.
Чухнов Антон Сергеевич, старший преподаватель кафедры алгоритмической математики СПбГЭТУ «ЛЭТИ» им. В. И. Ульянова (Ленина), ЕЗ septembreange@gmail.com
Поздняков Сергей Николаевич, доктор педагогических наук, заведующий кафедрой алгоритмической математики СПбГЭТУ «ЛЭТИ» им. В. И. Ульянова (Ленина), pozdnkov@gmail.com
Computer tools in education, 2022
№ 1: 57-84
http://cte.eltech.ru
doi:10.32603/2071-2340-2022-1-57-84
Constructive Problems in Discrete Mathematics: a Comparative Analysis of the Exam with and without a Computer
Chukhnov A. S.1, Senior Lecturer, El septembreange@gmail.com PozdnyakovS. N.1, PhD, pozdnkov@gmail.com
1 Saint Petersburg Electrotechnical University, 5, building 3, st. Professora Popova, 197022, Saint Petersburg, Russia
Abstract
The paper analyzes an experiment on the use of manipulators for solving constructive tasks related to the different concepts in teaching discrete mathematics students of a technical university. These concepts include a logical circuit, a finite automaton, a regular expression, a Turing machine, etc. In these problems, it was required to build some construction with given properties. The constructed structures could be tested on the data entered by the user, that is, the possibilities of feedback could be used when searching for a solution. However, the computer tools used — manipulators — did not allow checking the correctness of the input solution. The data of the experiment, in which about 100 students participated, are presented. In the experiment, one part of the students was asked to take the exam on a computer with the possibility of using manipulators, while others solved the same tasks «on paper». About half of the tasks were not equipped with manipulators, that is, they were theoretical tasks typical of a written exam. In the proposed set, some constructive and theoretical tasks had a common object, so the study studied the possible impact of constructive activities on the subsequent solution of a theoretical task on the same topic. Also in this experiment, the same problem statement was used for different forms of representation of the mathematical essence, for example, in the terminology of constructing a finite automaton, regular expression, grammar, algorithm. On the basis of statistical processing of the results, conclusions were drawn about a significantly better solving of constructive problems with computer support and about the negative impact of a computer in solving problems that required mental operations that do not have an adequate representation in computer support, for example, on a computer with instrumental support, it is much more effective to solve problems by printed aids. Based on the analysis of the results, some other hypotheses were stated, which are not statistically confirmed, but can serve as a starting point for further research.
Keywords: discrete mathematics, constructive problems, computer tools, manipulators, feedback, exams.
Citation: A. S. Chukhnov and S. N. Pozdnyakov, "Constructive Problems in Discrete Mathematics: a Comparative Analysis of the Exam with and without a Computer," Computer tools in education, no. 1, pp. 57-84, 2022 (in Russian);doi: 10.32603/2071-23402022-1-57-84
MyxHOB A. C., n03flHHK0B C. H.
References
1. A. S. Chukhnov, "Constructive Tasks as a Tool of Invasive and Non-invasive Assessment of Knowledge," Computer tools in education, no. 3, pp. 96-104, 2019; doi: 10.32603/2071-2340-2019-3-96-104
2. A. S. Chukhnov, "Constructive Problems in Competitions in Mathematics and Computer Science," Computer tools in education, no. 6, pp. 56-62, 2018 (in Russian); doi: 10.32603/2071-2340-2018-6-56-62
3. S. G. Ivanov, S. N. Pozdnyakov, and A. S. Chukhnov, Zadachi Olimpiady po diskretnoi matematike i teoreticheskoi informatike. Textbook [Tasks of the Olympiad in Discrete Mathematics and Theoretical Computer Science. Textbook], St. Petersburg, Russia: ETU (LETI) Publ., 2021 (in Russian).
4. S. N. Pozdnyakov, A. S. Chukhnov, and N. N. Pangina, "Analysis of the Understanding of the Material of Theoretical Informatics in Competitions and Olympiads in Informatics," Computer tools in education, no. 2, pp. 55-67, 2018; doi: 10.32603/2071-2340-2018-2-55-67
5. T. V. Kudryavtsev, Psychology of technical thinking: process and ways of solving technical problems, Moscow: Pedagogy, 1975 (in Russian).
6. J. Hadamard, Lessons in Geometry: Plane geometry, Moscow: OGIZ, 1948 (in Russian).
7. I. I. Aleksandrov, Collection ofgeometric construction problems, Moscow: Uchpedgiz, 1950 (in Russian).
8. D. Barker-Plummer, J. Barwise, and J. Etchemendy, Tarski's World, Stanford, CA, USA: CSLI Publications, 2008.
9. U. Kelle and N. Buchholtz, "The Combination of Qualitative and Quantitative Research Methods in Mathematics Education: A "Mixed Methods" Study on the Development of the Professional Knowledge of Teachers," in A. Bikner-Ahsbahs, C. Knipping, and N. Presmeg, eds., Approaches to Qualitative Research in Mathematics Education. Advances in Mathematics Education, Dordrecht, Netherlands: Springer, 2015, ch. 12, pp. 321-363; doi: 10.1007/978-94-017-9181-6_12
10. A. I. Orlov, Econometric. Textbook, Moscow: Publishing house "Exam", 2002 (in Russian).
11. E. V. Sidorenko, Methods of mathematical processing in psychology, St. Petersburg, Russia: Rech, 2000 (in Russian).
12. E. V. Gubler, Computational methods for the analysis and recognition of pathological processes, Leningrad, Russia: Medicine, 1978 (in Russian).
13. B. E. Starichenko, Processing and presentation of pedagogical research data using a computer, Yekaterinburg, Russia: Ural State Pedagogical University, 2004 (in Russian).
14. A. G. Trofimov, "Testing hypotheses about the probability of "success" in the Bernoulli scheme," in Math statistics, Moscow: NRNU MEPHI, 2022. [Online lectures] (in Russian). Available: http:// datalearning.ru/index.php/textbook?cid=1&mid=3&topic=3
15. StatSoft Russia, "Knowledge Portal. Global intellectual resource," in Statistica.ru, 2022. [Online] (in Russian). Available: http://statistica.ru
Received 19-10-2021, the final version — 11-11-2021.
Anton Chukhnov, Senior Lecturer of Department of Algorithmic Mathematics Saint Petersburg Electrotechnical University, EZ septembreange@gmail.com
Sergei Pozdnyakov, PhD, Head of Algorithmic Mathematics Department, Saint Petersburg Electrotechnical University, pozdnkov@gmail.com
