CC BY
49
УДК 159.98.01 ББК Ю91 (4Вл)
ОЦЕНКА КВАЛИФИКАЦИИ ПОЛЬЗОВАТЕЛЕЙ ТЕСТОВ: ПОДХОД БРИТАНСКОГО ПСИХОЛОГИЧЕСКОГО ОБЩЕСТВА1
Патрисия Линдлей
Представлены разработанные Британским психологическим Обществом (БПО) стандарты и перечень квалификационных категорий, необходимых профессионалам, использующим тестирование в организациях и образовательных учреждениях. В статье описаны порядок определения квалификационных категорий и процедур, управляемых и контролируемых БПО, участие БПО в создании руководств и стандартов Европейской федерации психологических ассоциаций (ЕФПА) и изменения БПО вследствие этого. Представлена позиция БПО по проблемам и перспективам тестов и тестирования.
Ключевые слова: психодиагностика, психологическое тестирование, стандарты тестов, квалификация пользователей тестов.
История и место тестов и тестирования в структуре Общества
Британское психологическое общество (Общество) представляет собой профессиональное объединение психологов Великобритании. Общество было основано в 1901 году, на 2009 г. оно насчитывало 49 ООО членов, из которых более 18 ООО являются аккредитованными психологами2.
Комитет по тестовым стандартам (КТС) является комитетом внутри Общества, определяющим тестовые стандарты и консультирующим Общество по всем вопросам, касающимся тестов и их использования. КТС разрабатывает руководства и рекомендательные материалы для распространения. КТС занимается в основном разработкой тестовых стандартов и механизмов их улучшения на практике.
Основная задача Психологического тестового центра (ПТЦ) - операционализация стандартов и процедур. Он должен разрабатывать продукты и услуги, отражающие тестовые стандарты и в то же время приносящие достаточную прибыль, чтобы покрыть административные расходы. ПТЦ работает вместе с КТС, он был основан для того, чтобы пре-
доставлять членам Общества и другим заинтересованным лицам услуги, поддерживающие высокую планку в практике тестирования и использования тестов. ПТЦ координирует распространение руководств и рекомендательных документов, информации и новостей по вопросам, касающимся тестов и тестирования, через вебсайт www.psychtesting.org.uk и издание бюллетеня «Об оценке и развитии», бесплатно распространяемого всем зарегистрированным пользователям тестов, числящимся в Реестре.
ПТЦ координирует процессы, связанные с сертификацией и регистрацией пользователей тестов, и ведет Реестр оценщиков и Реестр издателей тестов. Также ПТЦ поддерживает и осуществляет рецензирование и регистрацию тестов и публикует итоговые документы в Интернете.
Разработка британских стандартов и квалификационных категорий для пользователей и администраторов тестов
Стандарты пользователей тестов для использования тестов способностей и интеллекта в организациях были разработаны Управ-
1 Статья подготовлена на основе пленарного доклада на Всероссийской научно-практической конференции с международным участием по проблемам психодиагностики, тестам и тестированию, проведенной 8-10 сентября 2010 г. в Южно-Уральском государственном университете (г. Челябинск).
Перевод статьи А.С. Науменко.
2 Статус «аккредитованный психолог» (Chartered Psychologist, CPsychol) присуждается психологам-преподавателям и психологам-практикам, отвечающим требованиям Британского психологического общества (членство в Обществе, высшее психологическое образование, признаваемое Обществом, обучение по дополнительным программам образования, одобренным Обществом, согласие с Этическим кодексом Общества) - прим. пер.
ляющим комитетом по тестовым стандартам (УКТС, сейчас КТС) к концу 1980-х - началу 1990-х годов. Они определяли компетенции, необходимые для безопасного, этического и компетентного использования тестов в организациях. В 1991 году УКТС ввел эти стандарты и сертификацию пользователей тестов (психологов и не-психологов) для работы с тестами с максимальным баллом (например, интеллекта и способностей). Позже это получило название Уровень А. Заинтересованными сторонами, которые участвовали в определении стандартов, были пользователи, разработчики и дистрибьюторы тестов. Уровень В, охватывавший использование тестов с типичным баллом (например, личности, мотивации и ценностей) был предложен в 1995 году. Вскоре после этого начали проводиться регулярные встречи с издателями тестов - так был создан Форум издателей тестов, который дважды в год проводит совещания с КТС для обсуждения разработок и изменений.
Затем на основе Стандартов для использования тестов в организациях были разработаны Стандарты пользователей тестов в образовании. В 2003 в оргтестировании была введена новая категория - администраторы тестов. Эта квалификация основана на одном из блоков стандартов пользователей тестов. За ней последовал Уровень А в образовании, который получил название «Сертификат компетенции в области образовательного тестирования». Сейчас к рассмотрению КТС и М8В готовятся две новые квалификации - Администратор тестов в образовании и Пользователь тестов в судебной психологии.
Когда в 1991 году была введена квалификация Уровня А, тесты уже применялись не-психологами и целью сертификации было поощрение безопасного и грамотного использования тестирования. С самого начала и по сей день сертификация открыта для всех, кто может продемонстрировать навыки, признанные Обществом необходимыми для пользователя тестов. Помимо определения стандартов, которым должны соответствовать люди, претендующие на квалификационный сертификат, Общество разработало процедуры контроля качества самих процедур сертификации. Введение стандартов и квалификационных категорий повлекло за собой множество положительных изменений, среди которых:
• повышение стандартов работы среди психологов и не-психологов;
• понимание того, что наличие квалификационного сертификата является плюсом в профайле профессионала;
• принятие сертификации в качестве стандарта в отрасли, например, специалистами по управлению персоналом;
• принятие издателями тестов сертификатов Общества в качестве основы для разработки тестов.
С момента введения первой квалификационной категории было выдано большое количество тестовых сертификатов:
26 798 Организационных, Уровень А (1991 -н. в.);
9599 Организационных, Продвинутый Уровень В (1995 - н. в.);
480 Организационных, Полный Уровень В (1995-н. в.);
726 Организационных, Администрирование тестов (2003 - н. в.);
1564 Образовательных, Уровень А (2004 -н. в.).
Изначально те, кто удовлетворял требованиям и получил сертификат, могли по желанию внести свои данные в Реестр специалистов по тестированию, под держиваемый ПТЦ. Любой желающий мог проверить квалификацию человека, предлагающего услуги в области тестирования. Сегодня Реестр содержит записи о 9150 специалистах и обновляется ежегодно. Большинство специалистов в Реестре являются не-психологами.
Введение уровней А и В для пользователей тестов было очень важно в смысле появления независимого стандарта. Несмотря на то, что специалисты не обязаны подтверждать свою квалификацию получением сертификата, данный проект добровольной сертификации является очень успешным.
Как работает квалификационная
система и как оценивается качество
Общество управляет оценкой качества с помощью команды контролеров, которые ответственны за обеспечение непрерывности и качества оценки компетенций кандидатов на получение квалификации Общества. Контролеры должны быть аккредитованными психологами, зарегистированными оценщиками и должны обладать необходимой квалификацией в соответствующей области сертификации. Контролеры заключают контракт с ПТЦ и несут профессиональную ответственность перед КТС. Они самоуправляются и имеют избранного Старшего контролера, кандидатура которого проходит утверждение в КТС. Стар-
ший контролер исполняет роль председателя на их внутренних совещаниях.
Контролеры проверяют новых или возобновляющих свою деятельность оценщиков для того, чтобы убедиться, что они с помощью своих материалов и методов могут оценивать кандидатов в сертифицированные пользователи тестов. Зарегистрированные оценщики - это аккредитованные психологи, собственные оценочные методы и материалы которых были проверены и доказали свое качество Обществу. Зарегистрированных оценщиков повторно оценивают один раз в 5 лет или когда они изменяют свои оценочные процедуры или материалы. Они проводят оценку кандидатов и подтверждают их компетенции, ставя свою подпись под каждым из квалификационных разделов.
После того как Оценщик подписал их бумаги, кандидаты направляют документы в Общество для получения сертификата. Сотрудники ПТЦ проверяют статус Оценщика (является ли он действующим), полноту всех подписей и др., вносят кандидатов в Реестр специалистов по тестированию и выдают сертификат. Профессионалы, получившие сертификат, могут выбрать, хотят ли они ежегодно продлять регистрацию в Реестре или нет.
Качество работы Оценщика подтверждается Контролерами, которые инспектируют портфолио случайно выбранных кандидатов.
Почему Общество изменяет стандарты
и квалификационные категории
Квалификационные категории А и В пользователей тестов оказались успешны в качестве независимого стандарта использования тестирования, но они не обновлялись с момента их введения в конце 1980-х и начале 1990-х годов. В случае с уровнем А это 20 лет назад.
Назревала потребность в обновлении структуры квалификационных категорий, а также содержания отдельных блоков. Содержание необходимо было обновить для того, чтобы отразить новейшие тенденции в тестировании (например, включить сравнение тестов, разработанных в русле классической теории тестов и ЖТ), а также перенести акцент со статистических расчетов на понимание концептуальных вещей. Исправленная версия «организационных» уровней А/В была согласована с различными заинтересованными сторонами в 2005 г., но до сих пор не была внедрена, хотя этот процесс уже запущен. Задержка обусловлена желанием синхронизиро-
вать нововведения с разработкой модели ЕФПА и изменениями в «образовательных» квалификационных категориях.
Привязка к модели ЕЖРА
Когда стандарты Общества были обновлены, стало понятно, что необходима более простая структура для управления исправлениями в организационных квалификационных категориях. Было необходимо гармонизировать текущие и будущие разработки, касающиеся квалификационных категорий пользователей в учреждениях образования и здравоохранения.
В Великобритании очень поддержали модель ЕФПА, поскольку она одновременно давала то, что мы хотели, и являлась хорошим образцом для других европейских стран. Эта модель обладает достаточной гибкостью, чтобы учесть широкий спектр различий в психологической практике различных европейских стран и в то же время дать общую основу стандартов. Кроме того, она дает единую точку отсчета для мульти-национальных организаций и возможность гармонизации обучения и квалификационных процедур в целом ряде стран.
Модель ЕФПА предлагает следующую систему квалификационных уровней, которая сейчас принята и Обществом. Уровень 1 относится к пользователям тестов, работающим с супервизией, и имеет в виду администраторов тестов или других пользователей, использующих тесты под руководством более опытных профессионалов. Уровень 2 - это квалифицированный пользователь тестов, соответствует нашим уровням А и продвинутому В, использующим ограниченный набор тестов (например, для отбора и развития). Уровень 3 -это уровень более глубокой и/или широкой экспертизы. Например, наш текущий полный уровень В или психологи, специализирующиеся в тестировании, соответствуют уровню 3.
Данные уровни были согласованы с Европейской квалификационной системой и эквивалентными британскими квалификационными категориями. В настоящее время «1», «2» и «3» - это всего лишь рабочие названия. Новые квалификационные уровни, которые будут введены в Великобритании и будут соответствовать модели ЕФПА, будут организованы в форме модулей, касающихся психологических знаний, психометрики или практических навыков. Модули распределены по Уровням 1, 2 и 3, и квалификационные категории определяются сочетанием модулей.
Уровень 2 основан на Уровне 1, а Уровень 3 -на Уровне 2. Структура квалификационных категорий будет следующей:
Уровень начинающего пользователя тестов (Уровень 1):
ПСИХОЛОГИЧЕСКИЕ ЗНАНИЯ
• Модуль 4.102: Введение в тестирование ПРАКТИЧЕСКИЕ НАВЫКИ
• Модуль 4.103: Проведение тестов на одном или нескольких кандидатах. Часть 1
• Модуль 4.104: Проведение тестов на одном или нескольких кандидатах. Часть 2 -Организационная
•Модуль 4.106: Обеспечение безопасности и конфиденциальности тестовых материалов и результатов тестирования
Уровень пользователя тестов (Уровень 2):
ПСИХОЛОГИЧЕСКИЕ ЗНАНИЯ
• Модуль 5.201: Способности и интеллект
• Модуль 5.203: Личность
• Модуль 5.204: Оценка личности
• Модуль 5.205: Влияние на личность и способности
ПСИХОМЕТРИКА
• Модуль 5.206: Базовые принципы шкалирования и стандартизации
• Модуль 5.207: Базовые принципы интерпретации нормированных тестов
• Модуль 5.208: Теория тестов - Классическая теория тестов и надежность
• Модуль 5.209: Теория тестов - Item Response Theory (факультативно)
•Модуль 5.210: Валидность и практическое использование
ПРАКТИЧЕСКИЕ НАВЫКИ
• Общие
о Модуль 5.212: Определение потребности в оценке
о Модуль 5.213: Принятие решения об использовании или неиспользовании тестов в качестве одной из оценочных процедур
о Модуль 5.214: Адекватное использование результатов тестирования и обеспечение точной письменной и устной обратной связи клиентам и кандидатам
• Тест-специфичные
о Модуль 5.215: Вопросы интерпретации о Модуль 5.216: Устная обратная связь
о Модуль 5.217: Отчеты о тестировании Профессиональный (Уровень 3): ПСИХОМЕТРИКА
• Модуль 7.301: Подходы к тестированию и конструированию тестов
• Модуль 7.302: Надежность
• Модуль 7.303: Валидность
• Модуль 7.304: Применение
ПСИХОЛОГИЧЕСКИЕ ЗНАНИЯ
•Модуль 7.305: Компьютерная оценка и
компьютерные тестовые интерпретации
• Модуль 7.306: Определение потребностей в оценке
• Модуль 7.307: Когда и как использовать тесты
Переход к новой структуре
квалификационных категорий
Переход уже начался и ожидается, что новая квалификационная система будет введена весной 2011 г. До этого момента у нас сохраняются уровни А и В как модули внутри Уровня 2 новой структуры. Когда модель ЕФПА была одобрена, модули, соответствующие уровню А и продвинутому уровню В, должны стать основой аккредитованного европейского квалификационного Уровня 2.
Когда новая структура вступит в силу, разные новые комбинации модулей смогут быть сертифицированы - например, для того, чтобы людям не надо было непременно сдавать «Тестирование способностей» до «Тестирования личности».
Наверное, основным изменением для пользователей будет то, что новые квалификационные сертификаты будут иметь ограниченный срок действия (раньше они были бессрочными), а в отношении способа проверки уровня квалификации специалиста — достаточно будет посмотреть его профиль в Реестре пользователей тестов. Реестр будет доступен широкой публике в режиме онлайн на сайте ПТЦ.
После введения новой структуры имена всех, кто сегодня состоит в Реестре пользователей тестов, будут автоматически перенесены в новый Реестр с указанием набора сданных модулей. Дополнительно, чтобы остаться в Реестре, зарегистрированным пользователям потребуется подтвердить свою квалификацию. Кандидаты должны будут продемонстрировать доказательства профессионального использования тестов на уровне, соответствующем их квалификационной категории. Доказательством может служить в принципе любое свидетельство - записи о проведенных оценках, информация о проектах, в которых использовались тесты, записи о посещении соответствующих обучающих мероприятий и т. д. Такого рода подтверждения необходимо будет предоставлять не реже одного раза в 6 лет. По решению ЕФПА, требуется не менее
40 часов (или их эквивалента) практики в год за период не менее 4 лет из 6. Такое количество часов было одобрено Обществом как разумное требование.
Во время разработки проекта были проведены консультации с издателями тестов, тренерами, оценщиками и другими заинтересованными сторонами (например, Департаментом по труду и пенсиям и Чартерным институтом персонала и развития).
Контролеры прошли обучение для того, чтобы ознакомиться с новой структурой и содержанием сертификации, для оценщиков была разработана новая документация.
По возможности специалистам, имеющим сертификаты, но не числящимся в Реестре в настоящее время, сообщили о готовящихся изменениях.
Программное обеспечение для нового реестра сейчас в разработке, и мы надеемся, что все стартует весной 2011 г.
Планы на будущее
Основная задача - запустить новый Реестр и новую структуру квалификационных категорий. Как только это будет сделано, Общество предоставит людям возможность заносить доказательства практической работы с тестами в режиме онлайн на постоянной основе.
Сейчас мы работаем с ЕФПА над их пилотным проектом для того, чтобы получить аккредитацию Уровня 2 для наших новых квалификационных категорий, и занимаемся последними доработками документации для этого.
Разрабатываем дополнительные квалификационные категории для использования тестов в образовательных учреждениях, клинической и судебной психологии.
Мы рады тому, что у нас была возможность совместить разработку квалификационных категорий Общества с разработками
ЕФПА и использовать стандарты ЕФПА в качестве базы (которая была приспособлена для того, чтобы учесть различные контексты и удовлетворить потребности разных заинтересованных сторон). Эта работа показала, что стандарты ЕФПА могут найти гораздо более широкое применение, чем только как тестирование в организациях.
Литература!
1. Bartram, D. (1995). The development of standards for the use of psychological tests in occupational settings: The competence approach. The Psychologist, May, 219-223.
2. Bartram, D. (1996). Test qualifications and test use in the UK: The competence approach. European Journal of Psychological Assessment, 12, 62-71.
3. Bartram, D. (1998). The need for international guidelines on standards for test use: A review of European and International initiatives. European Psychologist, 3L155-163.
4. Bartram, D. (2001). The development of international guidelines on test use: the International Test Commission Project. International Journal of Testing, 1, 33-53
5. Bartram, D., Lindley, P.A. and Foster, J.M. (1990). A Review of Psychometric Tests for Assessment in Vocational Training. The Training Agency: Sheffield.
6. ITC (2001). International Guidelines on Test Use.international Journal of Testing, 1, 95-114.
7. Muniz, J., & Bartram, D. (2007). Improving International Tests and Testing. European Psychologist, 12(3), 206-219.
1 Перечень процитированных в статье литературных источников представлен с сохранением оформления автора статьи.
Поступила в редакцию 14 января 2011 г.
Патрисия Линдлей. Доктор, председатель комитета по тестовым стандартам, Британское психологическое общество (BPS).
Patricia Lindley. Dr., Chair of the Steering Committee in Test Standards (BPS).
