CC BY
36
Мир науки. Педагогика и психология / World of Science. Pedagogy and psychology https ://mir-nauki.com 2020, №5, Том 8 / 2020, No 5, Vol 8 https://mir-nauki.com/issue-5-2020.html URL статьи: https://mir-nauki. com/PDF/ 19PSMN520.pdf Ссылка для цитирования этой статьи:
Гнедых Д. С., Красильников А.М., Щур А. Д., Лоик А.Н., Добрянская А.О., Белоусова Т.М. Наблюдение как метод учета факторов, влияющих на результаты компьютерного психологического тестирования // Мир науки. Педагогика и психология, 2020 №5, https://mir-nauki.com/PDF/19PSMN520.pdf (доступ свободный). Загл. с экрана. Яз. рус., англ.
For citation:
Gnedykh D.S., Krasilnikov A.M., Shchur A.D., Loik A.N., Dobryanskya A.O., Belousova T.M. (2020). Observation as monitoring method of factors affecting the results of computer-based psychological assessment. World of Science. Pedagogy and psychology, [online] 5(8). Available at: https://mir-nauki.com/PDF/19PSMN520.pdf (in Russian)
УДК 159.98 ГРНТИ 15.81.21
Гнедых Дарья Сергеевна
ФГБОУ ВО «Санкт-Петербургский государственный университет», Санкт-Петербург, Россия
Доцент
Кандидат психологических наук E-mail: [email protected] РИНЦ: https://www.elibrary.ru/author_profile.asp?id=771083
Красильников Андрей Михайлович
ЧОУ «Санкт-Петербургская гимназия «Альма Матер», Санкт-Петербург, Россия
Педагог-психолог E-mail: [email protected]
Щур Анна Дмитриевна
ЧОУ «Санкт-Петербургская гимназия «Альма Матер», Санкт-Петербург, Россия
Педагог-психолог E-mail: [email protected]
Лоик Александр Николаевич
ЧОУ «Санкт-Петербургская гимназия «Альма Матер», Санкт-Петербург, Россия
Педагог-психолог E-mail: [email protected]
Добрянская Алина Олеговна
ЧОУ «Санкт-Петербургская гимназия «Альма Матер», Санкт-Петербург, Россия
Педагог-психолог E-mail: [email protected]
Белоусова Татьяна Михайловна
ЧОУ «Санкт-Петербургская гимназия «Альма Матер», Санкт-Петербург, Россия
Педагог-психолог E-mail: [email protected]
Наблюдение как метод учета факторов, влияющих на результаты компьютерного психологического тестирования
Аннотация. Авторами статьи поднимается вопрос о контроле факторов, способных повлиять на результаты компьютерной психодиагностики, предлагается способ их выявления на этапе создания компьютерного психодиагностического инструментария с целью повышения его эффективности. Представлены результаты исследования, посвященного изучению влияния режима администрирования психологического тестирования (с помощью бланков или компьютера) на возникновение тревожности, мотивацию к выполнению заданий, понимание инструкции у респондентов. Учащиеся 2-6-х классов заполняли психологические методики на диагностику когнитивной сферы в бумажном форме и на компьютере с интервалом в две недели. Во время заполнения методик было организовано наблюдение за поведением респондентов, в ходе которого фиксировались признаки эмоционального напряжения, снижения заинтересованности в прохождении тестов, непонимания того, как выполнять задания, а также особенности работы за компьютером и с программой предъявления тестов. Полученные результаты позволили сделать следующие выводы: новизна ситуации и специфика стимульного материала методик в большей степени влияют на появление тревожности и непонимания инструкции, чем режим администрирования; для учащихся начальной школы в силу наиболее высокой вероятности возникновения затруднений при работе за компьютером рекомендуется уменьшить время проведения тестирования и предоставить тренировочные задания. В ходе создания компьютерных психодиагностических методик наблюдение за процессом тестирования дает специалистам возможность в зависимости от зафиксированных реакций респондента скорректировать процедуру тестирования или форму подачи стимульного материала. Разработанная карта наблюдения, а также результаты исследования, могут быть использованы при организации компьютерной психодиагностики.
Ключевые слова: компьютерная психодиагностика; компьютерное психологическое тестирование; метод наблюдения; тестовая тревожность; мотивация к тестированию; эквивалентность двух форм теста; психологическая безопасность компьютерного тестирования
Введение
Возможность проведения психологического тестирования с помощью компьютера является одной из наиболее востребованных в практике современного психолога. Тенденция к автоматизации данного процесса наметилась еще с конца XX века и имеет два направления -первое, это создание новых компьютерных психодиагностических методик «с нуля», второе -это попытка перевода и адаптации существующих «бланковых» методик в компьютерную форму. На первый взгляд, второй путь кажется более легким, так как создание новой методики всегда связано с большой трудоемкостью - проверкой различных видов валидности и надежности, стандартизацией, в случае необходимости - модификацией, что подразумевает повторение всего процесса заново. Однако научным сообществом был признан факт, что компьютерные формы традиционных («бланковых») методик также должны подвергаться тщательной проверке на эквивалентность, валидность, надежность и расчету новых норм [1; 2]. Основные проблемы, которые касаются процедуры проверки двух форм методики на эквивалентность, заключаются в организации одинаковых условий при их прохождении, влиянии дополнительных факторов на процесс и результаты компьютерного тестирования, а также в выборе методологии для проведения подобного рода исследований (дизайна, методов математико-статистической обработки данных и т. д.) [3].
Полученные данные свидетельствуют о том, что наличие компьютерного опыта у респондентов, тревожность, возникающая во время тестирования, мотивация к заполнению методик, уровень общекультурной и информационной компетентности и другие факторы могут повлиять на результаты исследований, направленных на выявление эквивалентности бумажной и компьютерной форм психодиагностических методик [4-7 и др.]. Доказательства того, что
https:// mir-nauki. com
даже незначительное изменение в подаче стимульного материала в компьютерной версии бумажной методики обуславливает отличие ее результатов от результатов, собранных с помощью бумажного аналога, находят свое отражение в ряде исследований. Например, в исследовании P. КуёШп с соавт. [5] было продемонстрировано, что изменение цветовой схемы в компьютерном варианте теста Бурдона (изучение скорости и качества внимания) повлекло за собой разницу в результатах при сравнении бумажной версии теста, его неизмененной компьютерной формой и компьютерной версией, имеющей отличия в цветовом решении.
Проведенное нами ранее исследование на примере теста Тулуз-Пьерона также показало, что изменение условий предъявления стимульного материла в компьютерном варианте может повлиять на результаты тестирования, и, следовательно, на вывод об эквивалентности двух форм методик [8]. При этом было замечено, что наблюдение за респондентами в процессе заполнения тестов позволяет определить, насколько ситуация компьютерной психодиагностики специфична и вызывает ли дополнительные затруднения. Таким образом, организация наблюдения за поведением испытуемых при выполнении ими тестовых заданий на этапе создания компьютерной психологической методики (или компьютерной версии бланкового теста) может помочь исследователям в учете (а иногда и контроле) вышеперечисленных факторов, способных повилять на результаты диагностики. Результаты наблюдения также позволяют подготовить наиболее полные и конкретные методические материалы и инструкции по созданию компьютерных тестов для специалистов.
Контроль и коррекция факторов в результате такого рода наблюдения также может способствовать обеспечению наиболее психологически комфортной среды для респондента при работе с компьютерными версиями традиционных методик. В частности, если какие-то особенности созданного компьютерного теста повышают тревожность или раздражительность у испытуемого, то это может привести не только к искажению результатов, но и снижению мотивации к прохождению тестирования в целом или возникновению нежелательных установок по отношению к психологическим тестам. В связи с этим еще одна роль, которая нам видится в применении метода наблюдения на этапе разработки компьютерного психодиагностического инструментария, - это забота о психологической безопасности самой процедуры компьютерного тестирования. Такая забота может заключаться, например, в разработке рекомендаций об организации рабочего пространства при заполнении теста на компьютере1.
Подобного рода скрупулезный подход к разработке компьютерного психодиагностического инструментария является особенно актуальным в том случае, если данный инструментарий предназначен для использования в сфере образования. Следует учитывать психологические особенности учащихся разных возрастов, уровень развития умений и навыков работы за компьютером, способность самостоятельно понять инструкцию к заданию, а также то, как они будут реагировать на ситуацию компьютерного тестирования. Чем больше факторов учитывается специалистами на этапе создания и апробации компьютерных тестов, тем больше вероятность повышения их качества.
Данное исследование было направлено на выявление различий в поведении и реакциях обучающихся при заполнении компьютерной и бумажной форм психодиагностических методик с целью определения факторов, специфичных для ситуации компьютерного психологического тестирования и способных повлиять на его результаты.
1 Effecton Studio. Руководство пользователя, стр. 29-31. URL: http://www.effecton. net/download/Effecton.pdf (дата обращения: 02.09.2020).
19PSMN520
Материалы и методы исследования
Выборку исследования составили учащиеся 2-6-х классов общеобразовательной школы (табл. 1).
Таблица 1
Выборка исследования
Класс 2 класс 3 класс 4 класс 5-6 класс
Количество человек 19 23 24 25
Составлено авторами
В качестве психодиагностических методик выступали: методика Тулуз-Пьерона, тест Мюнстерберга, 6 и 7 субтесты Векслера, 9 субтест Амтхауэра, 2 и 3 субтесты Амтхауэра для 5-6 классов (для 2-4 классов использовался 2 и 3 субтесты методики Э.Ф. Замбацявичене), методика «Четвертый лишний» (для 2-4 классов), методика «Сложные аналогии» (для 5-6 классов), тест Равена (серия В).
Выбор возрастного диапазона участников исследования основывался на следующих предположениях. Методики на изучение когнитивной сферы, переведенные в компьютерный формат, подразумевают точность и четкость действий, производимых со стимульным материалом (например, методики на внимание, где нужно зачеркивать или подчеркивать определенные знаки/слова, 7 субтест Векслера, в котором нужно указать область на картинке, где отсутствует какая-то деталь и т. д.). В связи с этим мы допускаем, что у учеников начальной школы могут возникать трудности при работе с компьютерной мышкой там, где нужно производить определенные действия с конкретными объектами на экране (что может быть связано с небольшим опытом работы за компьютерном или проблемами в развитии мелкой моторики). К тому же, все вышеуказанные тесты требуют сосредоточенности и усидчивости, поэтому одним из проверяемых параметров являлось то, насколько учащиеся данного возрастного диапазона способны длительно и продуктивно, не теряя мотивации, выполнять их за компьютером (иными словами, зависит ли возникновение утомляемости от формы теста).
Учащиеся заполняли методики вначале в бумажной (традиционной) форме, затем с интервалом в 2 недели те же методики выполнялись ими на компьютере. Для предъявления методик на компьютере была создана специальная программа. При заполнении бумажных форм методик использовался метод включенного наблюдения - психологи, которые непосредственно проводили диагностику, выступали в качестве наблюдателей. Во время компьютерного тестирования было организовано не включенное наблюдение, при котором взаимодействие наблюдателей с респондентами не подразумевалось. Такой вид наблюдения был выбран с целью проверки «состоятельности» созданных компьютерных форм тестов -насколько респондент при самостоятельном выполнении заданий (в случае отсутствия специалиста рядом) сможет с ними справиться. Данная проверка также обусловлена предположением о том, что автоматизация психодиагностики с помощью компьютера предполагает необязательное присутствие психолога в ходе проведения тестирования [9-11].
Для регистрации особенностей поведения учащихся в процессе тестирования была разработана карта наблюдения на основе следующих критериев:
1. Тревожность (ТР) (демонстрирует ли респондент признаки тревожности при выполнении заданий).
2. Мотивация (МТ) (наблюдается ли снижение мотивации в процессе выполнения задания).
3. Непонимание инструкции (НИ) (респондент не понимает, как выполнять предложенное задание).
4. Работа за компьютером (медленная или неточная работа с мышкой или клавиатурой).
5. Особенности работы с программой предъявления тестов (трата времени на изучение интерфейса и поиск нужной иконки, трудность восприятия информации и т. д.).
В карте наблюдения отмечались признаки, проявляющиеся в поведении учащихся, которые свидетельствовали о повышении тревожности, понижении мотивации к тестированию, наличии непонимания того, что нужно делать во время выполнения задания, а также в случае компьютерного тестирования - проявление затруднений при работе с интерфейсом программы или за компьютером в целом (табл. 2).
Таблица 2
Карта наблюдения за поведением респондентов при заполнении психодиагностических методик
Карта наблюдения за поведением респондентов при заполнении психодиагностических методик
Поведенческие показатели Тест 1 Тест 2 Тест 3 Тест 4 Тест 5 Тест 6 Тест 7 Тест 8 Тест 9 Тест 10
Тревожность
Повышение напряженности
Настраивание себя на плохой
результат
Попытка снизить тревогу
диалогом с взрослым
Другое
Снижение мотивации
Отвлечения от задания
Раздражение
Жалобы
Нежелание дочитать инструкцию
или следовать ей
Слишком быстрое выполнение
задания
Другое
Непонимание инструкции
Требуются разъяснения самого
задания
Неправильные действия
Другое
Работа за компьютером
Медленная или неточная работа с
мышкой или клавиатурой
Другое
Особенности работы с программой предъявления тестов
Тратит много времени на изучение интерфейса, на поиск нужной
иконки («кнопки» или поля для
заполнения)
Задает дополнительные вопросы
по поводу расположения объектов
на экране компьютера
Жалобы на трудность восприятия информации (маленький шрифт и
т. п.)
Другое
Составлено авторами
По итогам наблюдения проводилась количественная и качественная обработка результатов. Качественному анализу подвергались комментарии наблюдателя, зафиксированные в пункте «Другое». Это позволило учесть те проявления в поведении респондента, которые не соответствовали описанным в карте наблюдения параметрам, но все же относилось к какому-либо критерию. Например, «Постоянно эмоционально реагирует», «Трудно справляться самостоятельно с заданиями», «Сомневается в правильности выполнения своих действий», «Додумывает инструкцию», «Задает вопросы, не связанные с тестовыми заданиями («для чего и зачем мне это делать»)» и др.
За каждый наблюдаемый в поведении признак начислялся 1 балл. Далее баллы по каждому критерию суммировались. Чем выше балл, тем выше уровень тревожности, ниже мотивация к тестированию, хуже понимание инструкции к заданиям, ниже уровень развития навыков работы за компьютером. Большое количество баллов по критерию «Особенности работы с программой предъявления тестов» является показателем трудности восприятия интерфейса (что, в свою очередь, может затруднять выполнение задания даже при ясности инструкции).
Сравнение результатов наблюдений по критериям ТР, МТ и НИ проводилось с помощью Т-критерия Вилкоксона, что позволило выявить различия в поведении учащихся в процессе заполнения бумажной и компьютерной форм психодиагностических методик.
Результаты исследования
Проявления тревожности, мотивации и непонимания инструкции отличается у учащихся при заполнении разных форм методик в зависимости от класса (табл. 3). Количество набранных баллов по данным критериям представлено на рисунке 1.
Таблица 3
Различия между проявлениями тревожности, мотивации к выполнению тестирования и непонимания инструкции при заполнении компьютерной и бумажной форм методик (Т-критерий Вилкоксона)
Критерии 2 класс 3 класс 4 класс 5-6 класс
p Z p Z p Z p Z
Тревожность 0,272 -1,098 0,005 -2,812 0,001 -3,474 0,009 -2,625
Мотивация 0,715 -0,365 0,047 -1,987 0,092 -1,684 0,272 -1,098
Непонимание инструкции 0,008 -2,652 0,037 -2,124 0,012 -2,511 0,705 -0,378
Составлено авторами
Данные отличия, на наш взгляд, связаны, скорее всего, с новизной ситуации и спецификой стимульного материала. Поскольку сначала респондентами заполнялись бумажные версии методик (а компьютерные - через две недели), то более высокий уровень тревожности и большие затруднения в понимании инструкции к зданиям наблюдались именно для традиционных форм тестов. К тому же, качественный анализ карт наблюдений подтвердил, что те учащиеся, которые испытывали тревогу при заполнении бумажной версии, также тревожились и при выполнении компьютерных форм методик, что говорит больше о наличии личностной тревожности, чем о ситуативной (которая бы завесила от специфики ситуации тестирования с использованием бланка или компьютера).
Учащиеся 2-ого, а также 5-6-х классов в большей степени демонстрировали низкую мотивацию при заполнении обоих форм тестов. Это может быть связано с тем, что у школьников 8-ми лет еще не до конца сформировалось умение принять учебную задачу, а для поддержания мотивации требуется поощрение со стороны взрослого (т. е. не достаточно развита внутренняя мотивация). У школьников 5-6-х классов (в возрасте 11-12 лет) может быть
в целом снижена мотивация учения, что объясняется естественными для данного возрастного периода особенностями развития - возрастанием интереса к окружающему миру за пределами школы, увлеченностью общением со сверстниками [12].
■ ■ 1
15 10 5 0 ■ ■ ■ ■ 2 класс
Г 1 ■ 3 класс _ 4 класс
■ _ ■ 5-6 класс
1
ТР Бумажная форма 1 1 ТР Компьтерная форма МТ Бумажная форма 1 1 МТ Компьтерная форма 1 1 НИ НИ Бумажная Компьтерная форма форма
Примечание: здесь и в рисунках ниже - чем выше балл, тем выше уровень тревожности, ниже мотивация к тестированию, хуже понимание инструкции к заданиям (составлено авторами)
Рисунок 1. Количество баллов по критериям ТР - тревожность, МТ- мотивация, НИ - непонимание инструкции для бумажной и компьютерной форм тестов
На графике также видно, что уровень тревожности при заполнении компьютерных форм методик у учащихся ниже (а в 3 классе даже выше мотивация), чем при заполнении бумажных (что подтверждено статистическими данными - см. табл. 1). Такие результаты могут быть обусловлены следующим. С одной стороны, современное поколение детей привыкло работать с различными электронными устройствами (смартфонами, планшетами, компьютерами), поэтому само по себе взаимодействие с ними не вызывает эмоционального напряжения или дискомфорта. Ситуация же выполнения заданий на бумажных бланках может ассоциироваться у них с ситуацией контроля знаний (т. к. в школе большинство проверочных заданий и тестов выполняются в письменной форме), что приводит к повышению тревожности. С другой, полученные данные могут быть обусловлены спецификой сбора информации при проведении разных видов наблюдений. При заполнении компьютерных форм тестов взаимодействие детей с психологом не предполагалось (в отличие от бумажной версии), поэтому некоторые менее заметные признаки низкой мотивации и высокой тревожности могли быть упущены наблюдателем, а также не подвергались коррекции (что опять же было возможно со стороны психолога при проведении индивидуальной психодиагностики с бумажными бланками). В связи с этим, требуются дополнительные исследования для проверки предположения о том, что в ситуации компьютерного тестирования респондент менее тревожен, чем при выполнении психологических тестов на бланках.
Низкий уровень развития навыков работы за компьютером был зафиксирован у 4 человек из 19-ти во 2 классе и 1-ого учащегося из 23-х в 3 классе. При этом о затруднениях при взаимодействии с самой программой, в которой выполнялись компьютерные формы тестов, заявили в 3 и 4 классах - по 2 респондента, в 5 классе - 1 респондент (что проявлялось в возникновении дополнительных вопросов по поводу расположения объектов на экране).
Можно предположить, что, чем старше возраст учащихся, тем больше у них опыт работы в области ИКТ, и, следовательно, меньше вероятность возникновения затруднений при взаимодействии с компьютером. Отсутствие же трудностей в восприятии интерфейса у большинства респондентов свидетельствует о том, что разработанная программа является удобной для проведения психологических тестов.
В ходе наблюдения также фиксировалось, в процессе заполнения какого именно теста были продемонстрированы вышеперечисленные поведенческие признаки. Это позволило проанализировать методики с точки зрения того, насколько стимульный материал вызывает тревожность или затруднения у респондентов, а также способствует снижению мотивации к выполнению задания. Результаты сравнения по всей выборке представлены в таблице 4 и на рисунках 2-4.
Таблица 4
Различия между проявлениями тревожности, мотивации к выполнению тестирования и непонимания инструкции при заполнении компьютерной и бумажной форм методик (анализ отдельно по методикам) (Т-критерий Вилкоксона)
Методики Тревожность Мотивация Непонимание инструкции
P Z P Z p Z
Методика Тулуз-Пьерона 0,058 -1,899 0,170 -1,174 0,377 -0,883
Тест Мюнстерберга 0,180 -1,342 1,000 0,000 0,058 -1,897
6 субтест Векслера 0,003 -3,000 0,180 -1,342 0,317 -1,000
7 субтест Векслера 0,020 -2,333 0,257 -1,134 0,317 -1,000
9 субтест Амтхауэра 0,026 -2,230 0,320 -0,994 0,011 -2,556
2 субтест Амтхауэра / Э.Ф. Замбацявичене 0,003 -3,000 1,000 0,000 0,180 -1,342
3 субтест Амтхауэра / Э.Ф. Замбацявичене 0,020 -2,333 0,132 -1,508 0,014 -2,460
Методика «Четвертый лишний» 1,000 0,000 1,000 0,000 0,317 -1,000
Методика «Сложные аналогии» 0,180 -1,342 0,705 -0,378 0,157 -1,414
Тест Равена (серия В) 0,317 -1,000 0,366 -0,905 0,317 -1,000
Сложные аналогии Тест Равена (серия В) 7 суб. Векслера Четвертый лишний щ 3 суб. Амтхауэра / Замбацявичене 2 суб. Амтхауэра / Замбацявичене 9 суб. Амтхауэра 6 суб.Векслера Мюнстерберг Тулуз-Пьерон
0
Ко мпьютерная форма (ТР)
I Бумажная форма (ТР)
10
20
30
Рисунок 2. Количество баллов для каждой методики по критерию «Тревожность» (составлено авторами)
■ Компьютерная форма (МТ)
■ Бумажная форма (МТ)
Рисунок 3. Количество баллов для каждой методики по критерию «Мотивация» Доставлено авторами)
Сложные аналогии Тест Равена (серия В) 7 суб. Векслера Четвертый лишний 3 суб. Амтхауэра / Замбацявичене 2 суб. Амтхауэра / Замбацявичене 9 суб. Амтхауэра 6 суб.Векслера Мюнстерберг Тулуз-Пьерон
0 5 10 15 20
Рисунок 4. Количество баллов для каждой методики по критерию «Непонимание инструкции» Доставлено авторами)
Из представленных на графиках данных видно, что в целом как при заполнении бумажной, так и компьютерной форм, наибольшую тревожность и снижение мотивации к выполнению задания, а также наибольшие затруднения в понимании инструкции наблюдались при выполнении респондентами методики Тулуз-Пьерона и 9 субтеста Амтхауэра. Это может подтверждать гипотезу о том, что характер задания, сложность изложения инструкции и специфика стимульного материала оказывает большее влияние на эмоциональное состояние и появление затруднений при выполнении теста, чем форма, в которой он представлен - на бумаге или на экране компьютера. Более высокие показатели по тревожности при заполнении бумажных тестов опять же, на наш взгляд, могут объясняться тем, что тестирование на бланках
Сложные аналогии Тест Равена (серия В) 7 суб. Векслера Четвертый лишний 3 суб. Амтхауэра / Замбацявичене 2 суб. Амтхауэра / Замбацявичене 9 суб. Амтхауэра 6 суб.Векслера Мюнстерберг Тулуз-Пьерон
10
20
30
0
Компьютерная форма (НИ)
I Бумажная форма (НИ)
учащиеся проходили до того, как участвовали в компьютерной психодиагностике, и во втором случае все методики были для них уже знакомы.
Выводы
1. Проявление тревожности во время выполнения психодиагностических методик, снижение мотивации к тестированию, а также непонимание инструкций к заданиям обусловлено в большей степени новизной ситуации и спецификой стимульного материала методик, чем режимом администрирования (бумага/компьютер).
2. Низкий уровень развития навыков работы за компьютером, а также затруднения при взаимодействии с программой, в которой заполнялись тесты, чаще всего проявляются у учащихся начальной школы. Таким образом, следует с осторожностью подходить к разработке компьютерных психодиагностических тестов для детей 6-9-ти летнего возраста, требующих кропотливой работы с мышкой или клавиатурой, - возможны технические ошибки или увеличение времени выполнения задания за счет медленной работы с ними, что является критическим в тестах на скорость. Как следствие возможно получение неверного результата и неправильных выводов по поводу психологических особенностей респондента.
3. Во 2-м классе наблюдается низкая мотивация к выполнению заданий в ситуации психологического тестирования. Поскольку самоорганизация, работоспособность и внутренняя мотивация у учеников в этом возрасте развита еще не на достаточном уровне, не желательно проведение диагностики в течение длительного времени без присутствия психолога.
4. Некоторые тесты в силу особенностей стимульного материала (объем задания, высокая концентрация внимания, ограничение времени на выполнение и т. д.) могут повышать уровень тревожности у респондентов. По этой причине перед выполнением психодиагностических методик на компьютере возможен запуск игровых заданий для учащихся начальной школы, чтобы снизить тревогу, а также позволить респондентам привыкнуть к работе с мышкой и клавиатурой.
5. Результаты наблюдения за поведением респондентов во время работы с компьютерной версией методики на этапе ее создания может являться основанием для исключения из анализа данных по испытуемым, продемонстрировавшим высокий уровень тревожности во время тестирования, низкий уровень мотивации или информационную некомпетентность.
6. Результаты наблюдения за поведением респондентов также дают основания для корректировки процедуры компьютерного тестирования или подачи стимульного материала на этапе его проектирования.
ЛИТЕРАТУРА
1. American Psychological Association Committee on Professional Standards and Committee on Psychological Tests and Assessment. Guidelines for computer-based tests and interpretations. Washington, DC: Author. 1986.
2. International Testing Commission. International guidelines on computer-based and Internet-delivered testing. International Journal of Testing. 2006. № 6(2). P. 143-172.
3. Гнедых Д.С. Проблема оценки эквивалентности компьютерных и традиционных версий психодиагностических методик // Российский психологический журнал. 2020. № 17(1). С. 44-59.
4. Russell M., Goldberg A., O'Connor K. Computer-based testing and validity: a look back and into the future. Technology and Assessment Study Collaborative, Boston College. 2003. 18 p.
5. Kveton P., Jelinek M., Voboril D., Klimusova H. Computer-based tests: the impact of test design and problem of equivalency // Computers in Human Behavior. 2007. № 23(1). P. 32-51.
6. Бабанин Л.Н. Проблема эквивалентности традиционных и компьютеризированных психологических методик // Экспериментальная психология в России: традиции и перспективы. Сборник материалов конференции; под ред. В.А. Барабанщикова. 2010. С. 77-80.
7. Chua Y.P. Effects of computer-based testing on test performance and testing motivation // Computers in Human Behavior. 2012. № 5(28). P. 1580-1586.
8. Gnedykh D.S., Krasilnikov A.M., Shchur A.D. The specifics of computer-based psychodiagnostic situation in education // European Proceedings of Social and Behavioural Sciences. 2020. Vol. LXXXVII. P. 87-96.
9. Гнедых Д.С. Дистанционная компьютерная психодиагностика познавательной сферы учащихся: проблемы и перспективы // Педагогика и психология образования. 2019. № 2. С. 141-152.
10. Самарина Е.А., Кусакина Е.В. Оптимизация работы педагога-психолога образовательной организации с использованием программно-методического комплекса «1С:Психодиагностика» // Новые информационные технологии в образовании. Сборник научных трудов 20-й международной научно-практической конференции; под общей ред. Д.В. Чистова. 2020. С. 308-313.
11. Walton M.T., Cantor J.M., Lykins A.D. An online assessment of personality, psychological, and sexuality trait variables associated with self-reported hypersexual behavior // Archives of Sexual Behavior. 2017. № 46. P. 721-733.
12. Практическая психология образования; Учебное пособие 4-е изд. / Под редакцией ИВ. Дубровиной. СПб.: Питер, 2004. 592 с.
Gnedykh Daria Sergeevna
Saint-Petersburg university, Saint Petersburg Russia E-mail: [email protected] PHH^ https://www.elibrary.ru/author_profile.asp?id=771083
Krasilnikov Andrei Mikhailovich
Saint Petersburg gymnasium «Alma Mater», Saint Petersburg Russia
E-mail: [email protected]
Shchur Anna Dmitrievna
Saint Petersburg gymnasium «Alma Mater», Saint Petersburg Russia
E-mail: [email protected]
Loik Aleksandr Nikolaevich
Saint Petersburg gymnasium «Alma Mater», Saint Petersburg Russia
E-mail: [email protected]
Dobryanskya Alina Olegovna
Saint Petersburg gymnasium «Alma Mater», Saint Petersburg Russia
E-mail: [email protected]
Belousova Tatiana Mikhailovna
Saint Petersburg gymnasium «Alma Mater», Saint Petersburg Russia
E-mail: [email protected]
Observation as monitoring method of factors affecting the results of computer-based psychological assessment
Abstract. The authors raise the issue of controlling factors that can affect the results of computer-based psychodiagnostics and suggest the way to identify them at the stage of computer-based psychodiagnostic tools creating in order to increase their effectiveness. The article presents the results of a study on the influence of the administration mode of psychological assessment (paper- or computer-based) on respondents' anxiety, motivation to task performance and understanding of instructions. Primary and junior high school students performed paper and computer-based psychological techniques on cognitive development at two-week interval. The observation of the respondents' behavior was organized to record signs of anxiety, decreased interest in passing tests, lack of comprehension of how to perform tasks, as well as features of working at the computer and with the test presentation program. The results allowed to suggest that the novelty of the situation and the specifics of the psychological techniques' stimulus material have a greater impact on the appearance of anxiety and misunderstanding of instructions than the administration mode; for primary school students, due to the highest probability of difficulties when working at the computer, it is recommended to reduce assessment time and provide training tasks. Monitoring the task performance allows specialists, developing computer-based psychodiagnostic techniques, to modify the procedure of psychological assessment or the way of stimulus material presentation based on the recorded respondents' reactions. The developed observation chart, as well as the results of the study, can be used in the organization of computer-based psychodiagnostics.
Keywords: computer-based psychodiagnostics; computer-based psychological assessment; observation method; test anxiety; motivation to assessment; two test forms equivalence; psychological safety of computer-based assessment
