CC BY
42
УДК 519.86, 65.01
ВАК 13.00.02, 05.13.14, 05.25.05
РИНЦ 14.35.09
Т.В. Крупа, П.Е. Овчинников, Ю.А. Северина, О.А. Шаляпина,
Е.В. Рыбалко
Обеспечение эффективного образовательного процесса на основе стандартизации средств электронного тестирования
Рассматриваются вопросы повышения эффективности учебного процесса за счет использования развитой системы обучающих электронных тестов. Обсуждаются проблемы стандартизации обучающих тестов. Показана частная методика разработки эффективных обучающих тестов, проведен анализ результатов применения обучающих тестов в учебном процессе, ориентированном на малые группы слушателей.
Ключевые слова: учебный процесс, эффективность, электронное обучение, электронные тесты, стандарты, малые группы.
PROVISION OF EFFECTIVE EDUCATIONAL PROCESS BASED ON STANDARDIZING E-TESTS MEANS
Some issues on increasing education process efficiency as a result of usage of developed system of training electronic tests are considered. Some problems of standardization of educational tests are discussed. A particular technique of effective training tests development is shown, followed by analysis of the results of applying the training tests in the educational process, focused on small groups of students.
Keywords: education process, efficiency, e-Learning, e-Tests, standards, small groups.
Введение
Очередной виток развития технологического уровня и уровня доступности информационных технологий (ИТ) вновь вызвал повышенное внимание к понятию эффективности учебного процесса, которое авторы рассматривают как обеспечение усвоения учащимися содержания преподаваемого курса в установленные сроки с наименьшими затратами времени, без ущерба для требуемой степени усвоения материала:
• со стороны учащегося - на выполнение заданий и упражнений, направленных на изучение и закрепление материала, его осознанного понимания и практического применения в дальнейшем;
• со стороны преподавателя - на разработку материалов,
предназначенных для обучения и контроля, в том числе входного контроля с целью определения готовности учащихся воспринимать планируемый учебный материал, и на проверку выполненных заданий.
Повысить эффективность учебного процесса, таким образом, можно, совершенствуя как организацию работы преподавателя, так и организацию изучения материала учащимися.
Одним из возможных способов реализации указанных возможностей является создание и введение в кафедральную практику развитой системы обучающих электронных тестов, разрабатываемых с соблюдением единых принципов и рекомендаций.
Отличительными чертами подобных тестов являются:
• небольшой объем (20-25 тестовых заданий);
• непродолжительное время, отведенное на прохождение теста (20-30 минут);
• прилагаемый к тестам учебный материал (вплоть до готовых ответов), изучение которого полностью покрывает задания тестов;
• возможность повторного дистанционного прохождения тестирования.
Такой подход, с точки зрения методики построения образовательного процесса, имеет две существенных особенности:
• преподаватели заблаговременно получают информацию, позволяющую быстро выявлять учащихся, не готовых усваивать планируемый материал курса;
• учащиеся заблаговременно получают информацию, помогаю-
Татьяна Викторовна Крупа,
к.псх.н., президент Тел.: (495) 258-44-08 Эл. почта: [email protected] «ГлобалЛаб» https://globallab.org/ru/
Tatyana V. Krupa,
PhD in Psychological Sciences, President Tel.: (495) 258-44-08 E-mail: [email protected] GlobalLab https://globallab.org/ru/
Павел Евгеньевич Овчинников,
руководитель проектов Тел.: (495) 258-44-08 Эл. почта: [email protected] Фирма «1С» www.1c.ru
Pavel E. Ovchinnikov,
Project manager Tel.: (495) 258-44-08 E-mail: [email protected] Company «1С» www.1c.ru
щую систематизировать, осознанно анализировать и применять наиболее существенные материалы изучаемого курса.
Первая особенность предоставляет возможность преподавателю принять решение о внесении необходимых корректировок в план обучения. Проведение же тестирования в электронном виде, с применением автоматической проверки правильности ответов, экономит значительное количество рабочего времени преподавателя, позволяя сразу сосредоточиться на анализе полученных результатов.
Вторая особенность предоставляет возможность учащимся:
• всесторонне осмыслить изучаемый материал;
• обобщить полученные знания;
• закрепить их;
• применить знания на практике, в том числе при прохождении итогового контроля.
1. Понятие эффективности учебного процесса
В современных отечественных учебно-методических материалах [1, 2] учебный процесс определяется как специально организованный, целенаправленный, систематический процесс развивающейся и взаимосвязанной деятельности преподавателя и обучаемого, направленный на усвоение учащимися системы знаний, умений, навыков, с учетом факторов, которые этот процесс порождают, условиями, в которых он протекает, результатами, к которым он приводит. Основу учебного процесса составляют преподавание - деятельность преподавателя по руководству усвоением учащимися содержания изучаемого курса и учение - система интеллектуальных и практических действий учащихся, обеспечивающая усвоение ими содержания изучаемого курса.
Вопросам стандартизации образовательного процесса, а в особенности применению электронных средств и информационных технологий (ИТ), уделяется в международной и отечественной научно-педагогической практике самое пристальное внимание [3-7].
Приведенная выше терминология в целом соответствует терминологии международного стандарта [8] в области ИТ для обучения, образования и подготовки. Однако следует обратить внимание, что указанный стандарт выделяет в учебном процессе обучение (англ. learning), определяемое как приобретение знаний, умений и ориентации, и подготовку (англ. training), определяемую как развитие умений и/или понимания на основе процедурно определенных обучающих действий, направленных на их конкретное применение.
Кроме того, международный стандарт выделяет в учебном процессе не две, а четыре основные роли:
• обучаемый (англ. learner) -лицо, которое учится;
• преподаватель (англ. teacher) - лицо, которое учит;
• инструктор (англ. trainer) -лицо, которое поддерживает, осуществляет и облегчает подготовку;
• наставник (англ. tutor) - лицо или ИТ-система, которая помогает обучаемому.
Заметим, что при использовании ИТ в образовательном процессе международный стандарт допускает полную самодостаточность компьютерных систем при их использовании в роли наставника. Для всех прочих ролей участие в образовательном процессе человека остается обязательным, несмотря на возможности использования самых различных видов ИТ в образовательных целях.
Классическими звеньями учебного процесса являются:
• подготовка учащихся к восприятию;
• восприятие учащимися нового материала;
• осмысление воспринятого материала;
• обобщение;
• закрепление;
• применение знаний на практике;
• контроль, анализ результатов.
Основополагающий педагогический принцип систематичности и последовательности образовательного процесса предполагает преподавание и усвоение знаний в
Юлия Александровна Северина,
магистрант кафедры корпоративных информационных систем Тел.: (985) 761-58-01 Эл. почта:[email protected] Московский физико-технический институт (государственный университет) www.mipt.ru
Yulia A Severina,
Master student of Corporate Information Systems Department Tel.: (985) 761-58-01 E-mail: [email protected] Moscow Institute of Physics and Technology (State University) www.mipt.ru
Ольга Андреевна Шаляпина,
магистрант кафедры корпоративных информационных систем Тел.: (985) 761-58-01 Эл. почта: [email protected] Московский физико-технический институт
(государственный университет) ■www.mipt.ru
Olga A Shalyapina,
Master student of Corporate Information Systems Department Tel.: (985) 761-58-01 E-mail: [email protected] Moscow Institute of Physics and Technology (State University) www.mipt.ru
определенном порядке, по определенной системе, требуя логического построения как содержания, так и самого процесса обучения. Поскольку терминологический аппарат в любой области знаний является основополагающим, позволяя достигнуть взаимопонимания между участниками любого процесса, особенно учебного, именно освоение терминологии должно занимать в обучении ключевое место, начиная с самого первого звена педагогической работы - подготовки учащихся к восприятию.
На основе указанного принципа систематичности можно определить понятие общей эффективности учебного процесса как соотношения степени и глубины усвоения учащимися требуемых знаний, умений и навыков (компетенций) к полным временным затратам всех участников учебного процесса: Е = Ех х D / 24 где Ех -степень усвоения знаний, D - глубина усвоения знаний, ti - временные затраты /-го участника учебного процесса.
Также можно определить экономическую эффективность учебного процесса, используя для расчета временные и трудовые затраты преподавателей [9, 10], ка-тегоризировать которые можно по описанным выше основным ролям: Е = Ех х D / х с, где Ех - степень усвоения знаний, D - глубина усвоения знаний, ti и ci - временные затраты и ставки i-го преподавателя (категории) соответственно.
Определение, а тем более адекватная оценка степени и глубины усвоения требуемых знаний,
умений и навыков - задача более сложная с точки зрения ее формализации, самой распространенной формой решения которой является проведение различных видов педагогического тестирования [11].
Понятие эффективности учебного процесса, таким образом, неразрывно связано с понятием его качества, определяемого как расхождение между запланированными целями и достигнутыми результатами обучения. При этом в рамках учебного процесса могут быть выделены следующие уровни и соответствующие им способы оценки эффективности:
• отдельной учебной программы;
• отдельного учебного курса;
• отдельного учебного модуля;
• отдельного учебного занятия;
• отдельного учебного (педагогического) приема.
На рис. 1 схематично представлена структура учебного процесса, определенного таким образом.
Кроме того, могут быть выделены понятия эффективности и точности различных педагогических средств контроля, среди которых нас в основном интересуют уровни:
• отдельного педагогического теста;
• отдельного тестового вопроса (задачи).
При этом понятие эффективности имеет для тестов и их элементов другой смысл, заключающийся в способности выявлять латентные (ненаблюдаемые) параметры уровня подготовленности испытуемого [12] при заданных ограничениях
Рис. 1. Схематичное представление учебного процесса
Елена Викторовна Рыбалко,
слушатель программы профессиональной переподготовки «Преподаватель информатики и математики» института дополнительного образования Тел.: (926)785-33-59 Эл. почта: [email protected] Московский городской педагогический университет www.mgpu.ru
Elena V Rybalko,
Student of professional educational program «Teacher of informatics and mathematics» in the Institute of additional education Tel.: (926)785-33-59 E-mail: [email protected] Moscow City Pedagogical University www.mgpu.ru
по времени прохождения и объеме испытаний, а точность - в способности получения адекватных вероятностных характеристик этих параметров с заданной разрешающей способностью.
2. Роль различных видов тестов в учебном процессе
Тесты и составляющие их тестовые задания принято разделять на два различных вида [13]:
• обучающие - задания, направленные на развитие личности;
• контролирующие - задания, направленные на диагностику уровня и структуры подготовленности.
В большей части современной педагогической литературы основное внимание уделяется методическим вопросам разработки именно контролирующих тестов, в том числе тестов в электронной форме. Подобная расстановка приоритетов не вызывает удивления, поскольку именно контролирующие тесты являются наиболее важной и ответственной частью оценки (англ. assessment) уровня подготовленности выпускников различных учебных заведений. Аналогичные по сути тесты используются при проведении профессиональной сертификации специалистов в компаниях-вендорах, при оценке и профилировании кандидатов в кадровых службах и рекрутинговых агентствах, при проведении внутренней аттестации специалистов на предприятиях.
Международные стандарты в области электронного тестирования [15, 16] также в основном описывают требования к разработке и применению именно контролирующих тестов, сосредотачиваясь на их особом виде - электронных тестах, имеющих важные последствия для испытуемого (англ. high-stake e-Tests).
Примером активно используемых тестов подобной направленности могут служить государственные экзамены на получение водительских прав, единый государственный экзамен для школьников, профессиональные сертификационные экзамены таких фирм,
как IBM, Microsoft, Cisco, 1С. Ряд из подобных экзаменов уже сейчас проводится в электронной форме, что предъявляет дополнительные требования не только к самим тестам, но и к сервисам электронного тестирования, среди которых важно отметить необходимость юридически значимой идентификации испытуемого.
При описании основных характеристик качественных контролирующих тестов обычно указывается, что они должны быть надежны (англ. reliable), т.е. позволять стабильное измерение и дифференциацию различных уровней подготовленности, и значимы (англ. valid), т.е. поставлять полезные сведения относительно именно того объекта, для проверки которого они предназначены. Кроме того, контролирующие тесты должны быть узнаваемы (англ. recognizable), т.е. учащиеся должны получать все необходимые инструкции по их прохождению, и реалистичными (англ. realistic), т.е. ограничивать необходимое время и усилия на их выполнение разумными пределами. Совокупность указанных характеристик способна сделать контролирующие тесты объективными (англ. objective), т.е. избавленными от любых субъективных влияний экзаменаторов на полученные оценки.
Критики идеи активного использования в образовательном процессе объективных тестов зачастую указывают на то, что подобные формализованные тесты провоцируют учащихся на «зубрежку» и другие стратегии поверхностного изучения предмета. Кроме того, использование результатов объективных тестов для оценки образовательной ценности самих учебных заведений может провоцировать преподавателей на избыточное внимание к фактографическим знаниям по предмету в ущерб его более глубокому пониманию.
Еще две существенные проблемы, ограничивающие роль и возможности активного использования объективных тестов, в особенности дистанционных тестов в электронной форме, связаны с обширными возможностями их фальсификации -как путем подмены испытуемых в
момент прохождения теста, так и путем использования запрещенных при прохождении теста вспомогательных информационных источников.
3. Особенности композиции заданий в учебных тестах
В наиболее популярной учебно-методической литературе [13], посвященной вопросам тестирования, выделяются понятия тестовых заданий, каждое из которых имеет определенную форму и предназначено для проверки какого-то определенного знания или умения, и теста, представляющего собой некоторую совокупность (систему, композицию) тестовых заданий.
Напомним, что обсуждаются, как правило, только контролирующие тесты, среди которых выделяются следующие типы по их отношению к отдельной дисциплине:
• гомогенный - измеряет знание по одной учебной дисциплине;
• гетерогенный - включает в себя несколько гомогенных тестов по нескольким дисциплинам;
• интегративный - состоит из заданий, для ответа на которые требуются знания нескольких учебных дисциплин.
С точки зрения композиции заданий выделяются следующие типовые системы:
• цепные задания - задания, в которых правильный ответ на последующее задание зависит от ответа на предыдущее;
• тематические задания - совокупность заданий любой формы, созданных для контроля знаний по изучаемой теме;
• ситуационные задания - задания, разрабатываемые для проверки знаний и умений испытуемых действовать в практических, экстремальных и других ситуациях.
Основное внимание уделяется, как правило, заданиям в тестовой форме, имеющим следующие основные преимущества:
• утвердительная форма предложения воспринимается лучше, чем вопросительная;
• в тестах лучше понятен смысл и значение заданий;
• четкая и быстрая дифферен-цируемость правильного ответа от неправильного.
Среди различных форм тестовых заданий большинство отечественных и зарубежных авторов выделяют шесть типовых:
• с выбором одного правильного ответа (число ответов от 2 до 5);
• с выбором одного наиболее правильного ответа;
• с выбором нескольких правильных ответов (число ответов от 5 до 14).
• открытой формы;
• на установление соответствия;
• на установление правильной последовательности.
В зависимости от формы задания к его результату (ответу) могут быть применены самые разные методики расчета оценки, включая использование весовых коэффициентов.
Основное внимание при разработке контролирующих тестов традиционно рекомендуется уделять качеству дистракторов (вариантам ответов в заданиях с выбором, не являющихся правильными решениями), которые статистически должны «обманывать» примерно половину тестируемых, а также информационной изолированности одних тестовых заданий от других, не позволяющей испытуемому получить из них какие-либо дополнительные подсказки.
В более современных и точных требованиях, относящихся к разработке сертифицированных учебных курсов [14], уже выделяются требования не только к контрольным, но и другим видам тестов, в частности:
• доступ к материалам курса должен предваряться перечислением требований к входному уровню знаний слушателя. Рекомендуется проводить его проверку входным тестом, по результатам которого формируется прогноз успешности обучения и дается соответствующее методическое указание. Входной тест в зависимости от целевой аудитории может быть как обязательным для прохождения, так и необязательным;
• курс должен содержать учебные и контрольные тесты, а также практические занятия для само-
стоятельной работы (проверочные упражнения), обеспечивающие контроль усвоения теоретических материалов. Неправильные ответы к вопросам теста выбираются из числа типовых ошибок, допускаемых слушателями в ходе очного обучения. Вопросы или задания учебных тестов должны содержать комментарии к ответам, которые приводят верный ход решения или указывают вероятную причину совершения ошибки. Вопрос теста рекомендуется сопровождать иллюстрацией, например копией соответствующей экранной формы.
Как мы видим, для учебных тестов рекомендуется отказ от большинства типовых ограничений, присущих методикам разработки контрольных тестов. Подобный отказ имеет в образовательном процессе очень существенное значение, в том числе психологическое, поскольку позволяет осуществить переход от роли и психологической позиции преподавателя-контролера к роли и позиции преподавателя-наставника. Кроме того, дальнейшее развитие педагогической практики в этом направлении может быть с успехом применено для создания «дружелюбных» электронных тестов и передачи роли наставника компьютерным системам.
С учетом указанных замечаний, авторами были сформулированы следующие общие рекомендации по составлению тестовых заданий в кафедральных тестах:
• использовать утвердительные, а не вопросительные предложения при формулировке задания (вопроса);
• не использовать более одного придаточного предложения в задании;
• не допускать двоякого толкования задания (вопроса);
• каждый вопрос сопровождать краткой инструкцией;
• ответы к заданиям с выбором одного правильного ответа, с выбором наиболее правильного ответа, с выбором нескольких правильных ответов должны относиться к одной предметной области (тезаурусу);
• для заданий на установление соответствия:
- названия групп, между элементами которых устанавливается соответствие, должны быть короткими,
- все элементы группы должны соответствовать заголовку,
- элементы в каждой группе должны быть пронумерованы;
• в качестве надежных источников следует выбирать федеральные законы (ФЗ), международные (ИСО/МЭК), межгосударственные (ГОСТ) и национальные (ГОСТ Р) стандарты. Надежными источниками могут служить также учебные пособия и монографии, другие авторские публикации с подтвержденной надежностью и адекватностью проверяемой в тесте теме. «Википедия» и различные электронные словари надежными источниками не являются, но могут быть использованы как легко доступный иллюстративный материал. При использовании переводных материалов следует самостоятельно проверять точность перевода, обращаясь к источникам на языке оригинала;
• наименования источников следует приводить точные и полные, по возможности указывать URL доступного электронного ресурса.
В обучающих (развивающих) тестах важна последовательность и безошибочность тестовых заданий (вопросов), поэтому на уровне кафедры установлены требования по их разработке в два приема:
1) разрабатывается документ формата эссе, в котором приводится общая структура теста - определяется полный набор заданий с правильными ответами, перед каждым блоком заданий приводится краткая теория с аргументированными пояснениями (доказательствами) правильности ответа, в конце документа указываются все использованные источники;
2) после обсуждения и согласования структуры теста с кафедрой в тестовые задания вносятся необходимые дистракторы.
Указанные требования, кроме всего прочего, позволяют подключать к разработке учебно-методических материалов самих учащихся, особенно старших курсов. С точки зрения повышения эф-
фективности учебного процесса подобный подход ориентирован не столько на экономию времени преподавателей, сколько на вовлечение самих учащихся в учебный процесс: возрастает их самостоятельность и ответственность при разработке документов, предназначенных для контроля знаний в письменной форме; снижается психологический разрыв с преподавателями.
Поскольку обучающие (развивающие) тесты зачастую используются как входные, основное внимание при их разработке должно уделяться знанию, пониманию и умению пользоваться соответствующей терминологией. Кроме того, за счет подключения учащихся к разработке тестов может быть в какой-то степени решена проблема приобретения ими необходимых навыков структурирования научных публикаций, что особенно важно для выпускных квалификационных работ и диссертаций. Исходя из указанных рассуждений, на кафедральном уровне были установлены требования по обязательному наличию в обучающих тестах следующих 8 блоков:
1. Проверка знания точных формулировок определений. Знание определений проверяется в заданиях с выбором одного правильного ответа. При этом первым проверяется более общее определение, затем его частные случаи.
2. Проверка понимания определений. Подробный разбор каждого определения производится в заданиях с выбором нескольких правильных ответов.
3. Проверка использования терминологии в устной и письменной речи. В заданиях на установление соответствия определения связываются с примерами из реальной практики.
4. Проверка использования терминологии при планировании. В заданиях на установление последовательности проверяется знание правильного порядка шагов (действий, работ).
5. Проверка использования терминологии при решении задач. Задачи в основном должны быть математические, связанные
с понятными примерами и потенциально решаемыми в уме. Приветствуется экономическая направленность задач.
6. Проверка знания истории. Проверяется знание дат возникновения и фамилий авторов соответствующих теорий.
7. Проверка знания текущего состояния развития теории в России и в мире, а также связи теории с экономикой и бизнесом.
8. Проверка знания более общей и смежной терминологии (эрудиции).
Дополнительные рекомендации:
• исключить задания открытой формы;
• составлять и располагать вопросы так, чтобы ответы на одни вопросов служили подсказкой к ответам на другие, причём правильные ответы на следующие вопросы могут таким образом выводиться из предыдущих и наоборот;
• использовать в обучающих тестах только явные дистракторы;
• строго соблюдать закон исключенного третьего (из двух высказываний - «А» или «не А» - одно обязательно является истинным);
• исключить в тесте любые внутренние логические противоречия и разночтения.
4. Оценка эффективности образовательного процесса
Как уже было сказано выше, эффективность образовательного процесса в целом зависит от эффективности каждой из его составляющих. Рассмотрим модель ситуации в рамках одного занятия и оценим его эффективность. Пусть одно занятие состоит из 3 частей:
1) вводная часть, где происходит установление контакта между преподавателем и учениками;
2) основная часть, где объясняется основной материал;
3) контрольная часть, где происходит контроль знаний, полученных за текущее занятие учениками.
Каждая часть может быть охарактеризована шестью независимыми событиями, происходящими с соответствующими вероятностями:
Рх - вероятность того, что ученики присутствуют на месте;
Таблица 1
Эффективность одного занятия
Т Без применения обучающих тестов С применением обучающих тестов
N N. N N.
0,5 53% 15% 4,3 28% 2,1
0,3 53% 15% 7,4 28% 3,6
0,1 53% 15% 14,2 28% 6,9
Г2 - вероятность того, что ученики готовы воспринимать материал;
- вероятность того, что ученики знакомы с той терминологией, которой пользуется преподаватель;
Г4 - вероятность того, что преподаватель присутствует на месте;
Г5 - вероятность того, что преподаватель готов объяснять материал;
Б6 - вероятность того, что преподаватель изъясняется в терминологии, понятной ученикам.
Пусть в рассматриваемой модели ситуации все описанные выше события наступают с равной вероятностью 90%. Это означает, что 90% учеников присутствуют на занятии, каждый из них готов к восприятию на протяжении 90% времени занятия, из каждых 100 слов преподавателя ученикам понятны 90 и т.д. Тогда после каждой части занятия количество учеников, успешно усвоивших материал этой
части, можно определить следую-
6
щим образом: Мр = П Р, что в опи-
¡=1
санной ситуации составляет 53% от числа всех учеников. Общее количество учеников, усвоивших материал к концу занятия, составляет
3
N = П Нр, что в описанной ситуа-
р=1
ции составляет 15% от числа всех учеников. Если выбрать некоторый порог числа учеников Т, которые должны успешно усвоить материал отдельного занятия, можно посчитать число занятий с повторным объяснением одного и того же материала, следующим образом: N = log1-NT . К примеру, если установить Т = 50%, то Ыс = 4,2 (т.е., округляя вверх, для успешного усвоения материала половиной учащихся потребуется всего 5 занятий, из которых 4 - повторных).
Для упрощения вычислений рассмотрим эффективность одного занятия как отношение количества усвоивших материал учеников (в процентном отношении к общему числу учеников) ко времени, затраченному преподавателем на проведение занятия.
Далее учтем тот факт, что описанные выше в работе тесты применимы в качестве наставника и могут быть использованы в первой
(подготовительной) части занятия, тем самым позволяя увеличить количество учеников, успешно усвоивших материал в первой части, до 100%, а также уменьшить количество времени, затрачиваемое преподавателем на проведение занятия. Таким образом, в описанной модели ситуации, N = 1, N = 28%, Ыс = 2,1 (при пороге Т = 50%), что в 2 раза меньше соответствующего числа занятий без использования обучающих тестов. Применяемая нами формула расчета эффективности иллюстрирует, как использование обучающих тестов позволяет увеличить эффективность одного занятия как минимум вдвое.
В табл. 1 приведены значения эффективности при различных порогах Т для ситуаций с применением обучающих тестов и без их применения.
Из данной таблицы видно, что количество занятий, необходимых для усвоения некоторым количеством учащихся заданного материала, увеличивается, как уже было упомянуто выше, примерно в два раза. Стоит заметить, что для ситуаций, когда обучение и (или) контроль происходят в формах, отличной от традиционной (очной), при применении обучающих тестов эффективность также возрастает.
5. Проблемы апробирования учебных тестов в малых группах
Типичные практики апробации тестов, используемые на сегодняшний день, предполагают наличие достаточно большой фокусной группы, в пределах которой тесты можно проверить на эффективность (т.е. насколько хорошо тест разделяет людей, обладающих знаниями по соответствующей теме, и тех, кто такими знаниями не обла-
дают). Как правило, исходя из результатов пробного тестирования в фокусной группе, составляется и градация оценок.
В малых группах подобные практики неприменимы из-за их численности, а именно из-за того, что законы математической статистики, используемые в больших группах, для малых групп имеют ограниченное применение из-за недостаточно репрезентативных выборок. Соответственно, в малых группах необходим свой способ распределения оценок и оценки эффективности тестов.
Авторы предлагают следующий способ оценки эффективности. Разделим все прохождения тестов на 3 группы:
1) прохождения, не включенные в следующие две группы;
2) прохождения, на момент проведения которых тестируемые имели соответствующий опыт работы, освоили соответствующий курс или (и) имеют соответствующий сертификат;
3) прохождения, при которых тестируемые пользовались подсказками или источниками, предоставленными автором (авторами) теста или проходили данный тест ранее не меньше двух раз.
Эти данные можно получить из дополнительной анкеты, которая прилагается к каждому тесту.
Как уже упоминалось, одним из необходимых свойств теста является надежность, т.е. тест должен качественно отделять прохождения первых двух групп от прохождений третьей группы.
В одной из малых групп был проведен эксперимент - проводилось тестирование по теме «Управлению проектами (рисками)», в котором принимали участие студенты кафедры, сотрудники малого предприятия и несколько случайно
Рис. 2. Среднее количество правильных ответов
выбранных добровольцев. Тест содержал 24 вопроса, в ходе эксперимента были получены следующие результаты 38 прохождений:
• в группе 1 (8 прохождений) средний процент правильных ответов составил: 45.3% ± 10.7%;
• в группе 2 (12 прохождений) средний процент правильных ответов составил: 46.2% ± 15.8%;
• в группе 3 (18 прохождений) средний процент правильных ответов составил: 72.7% ± 14.2%.
Среднее количество ответов в каждой группе изображено на рис. 2.
Также вычислялось среднее количество правильных ответов по группам для каждого из вопросов теста. Результаты приведены на рис. 3.
Следует заметить, что по статистике подобного рода преподаватель может оценить уровень знаний учеников в целом, а также модифицировать программу своего курса в соответствии с уровнем знаний учеников по темам, отраженным в различных вопросах теста.
Заключение
Как можно видеть на приведенном примере, обучающие тесты, выполненные в описываемом формате, облегченном по сравнению с традиционными контролирующими тестами, остаются надежными (англ. reliable). Также они остаются значимыми (англ. valid) при их использовании для выставления
минимальных оценок, т.е. когда результаты этих тестов служат формальной границей между оценками «неудовлетворительно» и «удовлетворительно». Указанные свойство значимости обучающие тесты сохраняют благодаря описанной выше методике их составления, аналогичной методике, которая использовалась бы при составлении контролирующего теста, предъявляющего минимальные требования для выставления оценки «удовлетворительно». Сохранение этого свойства также косвенно подтверждается статистическими данными, а именно тем, что группа 3 прошла описанный тест с результатами порядка 75% (существенно ниже необходимых 100%), из чего следует явная необходимость проведения обучения для протестированной группы. Строгая оценка значимости обучающих тестов авторами в настоящее время не проведена, хотя изучение этого вопроса входит в дальнейшие планы исследований по соответствующей тематике.
Также стоит заметить, что система тестов, разработанная таким образом, может быть переведена в электронную форму и использована в качестве удаленного наставника.
Еще один немаловажный вывод состоит в том, что правильно
Рис. 3. Среднее количество правильных ответов для различных вопросов
составленный обучающий тест повышает эффективность усвоения материала не менее чем в два раза, а также снимает избыточную нагрузку на преподавате-
лей и уменьшает время, затрачиваемое учениками на повторное изучение уже усвоенного ими материала. При системном подходе положительное влияние входных
обучающих тестов на общую эффективность учебного процесса может сказаться еще сильнее, за счет появления синергетических эффектов.
Литература
1. Новиков А.М. Основания педагогики. - М.: Эгвес, 2010. - 208 с.
2. Загвязинский В.И. Теория обучения: Современная интерпретация: учебное пособие. - М., 2001.
3. Позднеев Б.М., Сутягин М.В., Селиванцев О.И. Моделирование структуры и оценка качества процессов электронного обучения // Вестник МГТУ «Станкин». - 2012. - № 1, том 2 (19). - С. 60-65.
4. Позднеев Б.М., Сутягин М.В., Поляков С.Д., Косульников Ю.А. О развитии систем электронного обучения на основе стандартизации и сертификации // Вестник МГТУ «Станкин». - 2010. - № 1 (9). - С. 110-119.
5. Позднеев Б.М., Сутягин М.В., Селиванцев О.И. Обеспечение гарантий качества электронного обучения на основе стандартов // Вестник МГТУ «Станкин». - 2010. - № 4 (12). - С. 126-134.
6. Позднеев Б.М., Косульников Ю.А., Сутягин М.В., Семкина Т.А. Новый этап разработки международных стандартов в области e-Learning // Высшее образование в России. - 2009. - № 12.
7. ПозднеевБ.М., КосульниковЮ.А., Семкина Т.А., СутягинМ.В. Новые международные стандарты в области электронного обучения // Открытое образование. - 2009. - № 6.
8. ГОСТ Р ИСО/МЭК 2382-36-2011 Информационные технологии. Словарь. Часть 36. Обучение, образование и подготовка [Электронный ресурс]. - Режим доступа: http://protect.gost.ru/v.aspx?control=7&id=179614 (дата обращения: 18.11.2014).
9. Куприйчук А.Д., Бушуева А.Н., Дудченко А.М., Северина Ю.А., Шаляпина О.А. Создание системы стимулирования дополнительного профессионального образования и формирование кадрового резерва предприятия // Новые информационные технологии в образовании: сборник научных трудов 13-й международной научно-практической конференции «Новые информационные технологии в образовании» 29-30 января 2013 г. Часть 1. - М.: ООО «1С-Паблишинг», 2013. - С. 147-152.
10. Овчинников П.Е., Куприйчук А.Д., Шаляпина О.А. Экономические аспекты целевой подготовки кадров для обеспечения потребностей предприятий ОПК // Сборник докладов третьей конференции «Информационные технологии на службе оборонно-промышленного комплекса России», 15-18 апреля 2014 г., г. Саров. - М., 2014. - С. 220-221.
11. Ефремова Н.Ф. Тестовый контроль в образовании: учеб. пособие. - М.: Университетская книга: Логос, 2005. - 368 с.
12. Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов. - М.: Центр тестирования, 2000. - 168 с.
13. Аванесов B.C. Композиция тестовых заданий: учебная книга. - 3-е изд., доп. - М.: Центр тестирования, 2002. - 240 с.
14. Информация для пользователей и партнеров № 17200 от 17.09.2013. Развитие системы сертификации электронных курсов для получения статусов «1С:Совместимо!» и «1С-Совместно» [Электронный ресурс]. -Режим доступа: http://www.1c.ru/news/info.jsp?id=17200 (дата обращения: 18.11.2014).
15. ISO/IEC CD 30119-1 Information technology - Learning, education and training - Quality standard for the creation and delivery of fair, valid and reliable e-Tests. Part 1: Quality process reference model for e-Tests [Electronic resource]. - URL: http://www.iso.org/iso/ru/catalogue_detail.htm?csnumber=53239 (date access: 18.11.2014).
16. ISO/IEC CD 30119-2 Information technology - Learning, education and training - Quality Standard for the Creation and Delivery of Fair, Valid and Reliable e-Tests - Part 2: Application guide with use cases [Electronic resource] - URL: http://www.iso.org/iso/ru/home/store/catalogue_tc/catalogue_detail.htm?csnumber=62865 (date access: 18.11.2014).
17. IMS Question and Test Interoperability Specification. Version 2.1 - Public Draft Specification Version 2 by IMS Global Learning Consortium, Inc. [Electronic resource]. - URL: http://www.imsglobal.org/question/ (date access: 18.11.2014).
