CC BY
506
УДК 159.98.015 ББК Ю91 -730.2+Х404.3
ТЕХНОЛОГИЯ РАЗРАБОТКИ ТЕСТОВ: ЧАСТЬ VI H.A. Батурин, H.H. Мельникова
Завершается серия статей, посвящённых описанию технологии разработки тестов. В данной статье описывается последний этап процесса разработки тестов, направленный на доработку, перепроверку и совершенствование уже изданной или иным способом распространенной методики во время ее использования. Предложены принципы разграничения таких видов работы над изданной методикой, как перевод, адаптация, локализация, модификация и разработка аналога.
Ключевые слова: эксплуатация методики, независимые психометрические исследования, новые формы, адаптация, модификация, аналог, пользовательские характеристики теста, обучение пользователей.
Этап VIII. Эксплуатационный
Судьбу методики сразу после её издания трудно предвидеть. Методика может использоваться десятки лет, дорабатываться и обновляться самим автором или фирмой издателем, как это произошло с такими методиками как CPI, MMPI, 16 PF, WAIS и WISC. А иногда методика, оказавшись невостребованной пользователем, может исчезнуть с рынка уже через год-два. Так, судя по статистике института Бьюроса, в англоязычных странах, ежегодно появляются около 100 новых методик и столько же исчезают из числа издаваемых [22]. Существуют и другие примеры, когда методика сразу после издания не была востребована, а затем, спустя несколько лет, приобретала международную популярность. Так, например, первый издатель пятен Роршаха разорился, так как почти весь тираж остался на складе, и только через несколько лет тест приобрёл огромную популярность [2].
Так что после издания или публикации методики её жизнь и судьба только начинаются. В принципе, весь период эксплуатации методики после ее издания должен контролироваться автором-разработчиком и/или теми, кто приобрёл у него абсолютные (имущественные) права. Только эти лица могут определять все, что связано с любыми изменениями методики, её усовершенствованием, модификацией, обновлением и др.
Кроме того, диагностическая методика, если она вызывает интерес, подвергается анализу, проверке другими исследователями вплоть до полного повторения процедуры разработки, психометрической перепроверке, а также профессиональному рецензированию. К сожалению, у нас в стране на подобные ме-
роприятия обычно не хватает ни сил, ни времени, ни средств. Поэтому только год назад впервые в России был издан первый том «Ежегодника профессиональных рецензий и обзоров. Методики психологической диагностики и измерения» [11], в который включены 40 рецензий на 20 методик, подготовленные по строго заданной схеме наиболее квалифицированными психодиагностами России. И только в этом году планируется начало процесса профессиональной Сертификации методик в соответствии с «Временным стандартом требований к психодиагностическим методикам» [15] в Центре сертификации НОЦ «Психодиагностика» ЮУрГУ, аккредитованном Национальным институтом сертификации профессиональных психологов (НИСПП) как уполномоченная организация.
Всем этим и другим проблемам «жизни» методики после издания посвящен Шаг 14 Технологии разработки тестов.
Шаг 14. Сопровождение использования
методики
Сопровождение использования методики включает три блока задач:
1) развитие методики;
2) обучение и консультирование пользователей;
3) контроль корректности применения и распространения методики.
Каждый из указанных блоков имеет своё назначение и предполагает разные мероприятия.
1. Развитие методики
Как и любой продукт после его выпуска «в жизнь», психодиагностическая методика
требует постоянного обновления и усовершенствования. Развитие методики обеспечивается следующими действиями:
а) оценка качества методики;
б) уточнение области валидности методики и совершенствование её интерпретации;
(в) создание новых форм, адаптация и модификация теста;
г) совершенствование пользовательских характеристик методики.
Оценка качества методики
За рубежом является нормой то, что вновь появившаяся диагностическая методика подвергается вторичному анализу вплоть до полного повторения процедуры разработки, психометрической перепроверке другими исследователями. В целом эти процедуры принято обозначать термином реаг-гег1еч’. В международной практике без него немыслимо внедрение и признание новой методики. После публикации методики обычно выходит серия статей с новыми данными о психометрических характеристиках, полученных независимыми исследователями.
Даже если на предыдущем (техническом) этапе разработки методика уже проходила рецензирование, проверка её качества независимыми исследователями остаётся актуальной. Дело в том, что рецензент при анализе методики обладает лишь тем материалом, который был изложен в публикациях, либо получен непосредственно от автора или издателя. Дело усугубляется тем, что в нашей стране необходимые для реаг-геук'м сведения и так называемые «исходные данные» вообще не принято публиковать и передавать кому бы то ни было. Как правило, рецензент не имеет опыта самостоятельного использования методики и вынужден делать выводы лишь по представленным документам. Другое дело -отзыв человека, реально использовавшего методику и самостоятельно получившего относительно её данные. Каков полезный эффект от таких исследований?
Во-первых, это, конечно, контроль надёжности психометрических данных, предоставленных автором. При этом необязательно речь идёт об умышленном искажении или подтасовке результатов. Гораздо чаще мы имеем дело даже не с обманом, а с недостаточно грамотным проведением психометрических исследований: недостатками в составе выборки, некорректным подбором критерия валидизации, ошибками в исследовательских стратегиях и т.д. Эти нюансы не всегда воз-
можно отследить по техническим документам о разработке, поскольку в большинстве случаев просто нет необходимых сведений. Кроме того, не стоит забывать, что существует так называемый «эффект Пигмалиона», когда автор, движимый желанием «вдохнуть жизнь» в своё творение, избирательно публикует материалы разработки и даже искренне «не замечает» серьёзных ошибок, игнорируя компрометирующие методику факты.
Во-вторых, независимые исследования могут быть весьма полезны для развития и усовершенствования методики. Они вносят дополнения и уточнения в психометрические сведения. А это весьма актуально, поскольку создание методик в нашей стране пока ещё удел творчества одиночек, которым недоступны большие репрезентативные выборки и трудоёмкие психометрические эксперименты. Соответственно большинство методик выходят в свет с неполными психометрическими данными: проверен какой-то один из видов надёжности на небольшой выборке, что-то отрывочно написано про валидность, проведена «спонтанная» стандартизация на случайно собранном материале и т.д.
Таким образом, независимые психометрические исследования, с одной стороны, выполняют функцию внешней экспертизы, предоставляя пользователям информацию о качестве методики. Такая информация кроме того, может служить серьёзным подспорьем для написания профессиональных рецензий на тест. С другой стороны, такие исследования дополняют недостающие сведения о психометрических характеристиках теста, которые могут быть использованы автором для улучшения качества методики.
Уточнение области валидности
методики и совершенствование
её интерпретации
Как уже говорилось выше, большинство методик выходят в свет с неполными психометрическими данными. Поэтому для их дальнейшего существования и развития ценными будут не только целенаправленные психометрические исследования, а также любые другие научные исследования с применением конкретной методики, поставляющие сведения для уточнения конструкта.
По сути, изучение валидности - процесс, не имеющий фиксированного завершения: можно лишь говорить о некоторой мере достаточности информации для того, чтобы вынести некоторую аргументированную оценку
качеству теста. И это особо касается конст-руктной валидности, которая, по мнению многих авторов, считается наиболее важным аспектом валидности, определяющим обоснованность смысловой интерпретации результатов теста [1, 15, 18].
Изучение конструктной валидности, как правило, продолжается и после публикации готового теста. Опыт его практического применения и проведённые с его помощью исследования постепенно добавляют новую полезную информацию, в свете которой всё более выкристаллизовываются возможности и ограничения теста и сфера его применения. Идентификация конструкта требует постепенного накопления информации из разных источников [1, 18]. По существу, здесь требуется широкое и разностороннее изучение того, что на самом деле представляет собой эмпирический конструкт, полученный с помощью разработанного теста. Для этого необходимо проведение многочисленных исследований, что требует больших затрат времени и сил.
Как правило, такие полномасштабные исследования недоступны автору-одиночке, поэтому разработчик часто ограничивается несколькими корреляционными исследованиями, в наиболее общем виде очерчивающими границы предполагаемого конструкта. Как результат, - большинство вновь созданных тестов имеют расширенную и обобщённую трактовку содержания, что всегда негативно отражается на качестве интерпретации, снижая вероятность прогнозов и возможность составления «работающих» диагностических отчётов. Любой тест объективно имеет «ограниченный радиус действия» - и эти ограничения проясняются при более точной идентификации конструкта.
Вот здесь как раз и могут быть полезны разнообразные исследования с применением конкретной методики (и, конечно, не только корреляционные). При условии доступности полученных данных обобщение таких исследований (например, с помощью современных технологий метаанализа) даст более рельефную, дифференцированную картину, способствуя конкретизации конструкта и проясняя возможности и ограничения теста.
Бывают случаи, когда накопление исследований на базе конкретной методики вносит поправки и уточнения в само понимание изучаемого явления, обогащая его концептуальную содержательную область. Это особенно актуально для сложных, малоизученных явлений, имеющих неявную структуру и содержа-
ние. Здесь возникает ситуация, когда требуется совмещение разработки диагностических методов с исследовательскими проектами. История создания общеизвестных многофакторных личностных опросников (начиная с Р. Кэттелла) - тому прекрасная иллюстрация. Дело в том, что без эмпирических исследований (требующих наличия метода) мы не можем чётко определить содержание, а без ясного понимания содержания - сконструировать хороший метод. По большому счёту, это -циклический процесс. Иногда возникает несколько возвратных повторяющихся циклов, на каждом из которых появляются новые, всё более совершенные версии теста, базирующиеся на всё более точной и ясной концептуальной основе.
Одна из распространённых форм развития теста связана с получением новых норм. Здесь следует выделить три аспекта, которые имеют разное целевое назначение.
Во-первых - это расширение норм. Для большинства тестов стандартизация всё же проводится на ограниченном контингенте (недостаточный объём или представительность выборки). Это особенно характерно для отечественной психодиагностики, поскольку у разработчика часто нет практической возможности обеспечить для стандартизации достаточную по объёму репрезентативную выборку. В процессе использования методики нормативная база может дополняться и расширяться. Хорошее подспорье здесь - создание банков «сырых» данных по методике [14]. Если в таких банках также присутствуют сведения о респондентах (например, социальнодемографические характеристики, данные о профессии и др.), то будет материал для хорошей стратификации выборки и из такой базы можно грамотно формировать выборку для более представительной стандартизации.
Во-вторых - необходимым условием длительного существования теста является обновление норм. Такая работа должна проводиться постоянно, поскольку нормы теряют свою актуальность с течением времени. Например, на протяжении последних десятилетий наблюдался непрерывный рост уровня развития когнитивных функций у детей и даже взрослых. Этот рост зафиксирован в «эффекте Флина» [17], поэтому разработчики и издатели за рубежом вынуждены регулярно (не реже 1 раз в 10 лет) пересматривать нормы для тестов интеллекта. К сожалению, отечественные авторы-разработчики тестов интеллекта, издатели и пользователи совершен-
но не заботятся об этом. До сих пор, например, и в научных исследованиях, и в практической работе в России используется перевод первого издания шкал Д. Векслера с нормами, разработанными в США более полвека назад! Во многих случаях обновление норм проводится в рамках более широкой адаптации теста для изменившихся условий (понятие адаптации см. ниже).
Третий аспект, касающийся норм, связан с их специализацией. К специализации относится создание дифференцированных норм для разных групп и для разных практических целей. Так, многие тесты полезно нормировать отдельно для разных возрастных, гендерных и профессиональных групп. Дифференцированная стандартизация повышает пользовательский потенциал методики и считается одним из важных показателей качества теста (см. рецензию ЕБРА). Для практики даже более полезными бывают специфические нормы для групп, непосредственно соответствующих характеру и области практического применения теста. Например, узкопрофильный тест может быть стандартизирован специально для таких совокупностей, как «первокурсники технических вузов» или «рабочие промышленных предприятий». Накопление баз данных в ходе эксплуатации теста позволяет формировать представительные выборки для такой дифференциации норм.
В разделе статьи, посвящённом стандартизации методики (см. Шаг 9) отмечается, что существует несколько видов норм, которые предназначены для разных практических целей [7]. В частности: 1) групповые нормы, которые отображают выполнение теста в выборке стандартизации; 2) предметно-ориентированные, на основании которых результат соотносят с заданным «стандартом исполнения»; 3) критериальные, которые отражают вероятность того, что испытуемые, получившие некоторый балл по тесту, достигнут критериального показателя. Тест, который при разработке был обеспечен только одним видом норм (чаще всего - это групповые), на этапе эксплуатации может получить развитие, если дополнится критериальными или предметно-ориентированными нормами. Разные виды норм дополняют друг друга, и это делает применение теста более универсальным, а интерпретацию - более «тонкой».
Напомним, что выбор вида норм определяется практической целью, поэтому специализация норм часто обслуживает потребность в расширении или изменении сферы приме-
нения теста. В этом случае мы уже имеем дело с модификацией теста (понятие и правовые основы модификации см. ниже).
Ценным вкладом в развитие теста также будет привлечение экспертного опыта пользователей (в первую очередь, для уточнения и совершенствования интерпретации). У опытного пользователя постепенно формируется качество «экспертности» - во многом интуитивное «видение» того, как интерпретировать конкретную конфигурацию данных, какую стратегию анализа лучше выбрать, на что обратить внимание в первую очередь и т. д. Путём многократных проб и ошибок пользователь приходит к умению создавать валидные интерпретации и заключения, поскольку вынужден соотноситься с практикой, и отвечать за результат. В настоящее время разработаны технологии «извлечения экспертных знаний» пользователя-профессионала, на основе которых создаются автоматизированные системы интерпретации результатов теста [16].
Создание новых форм, адаптация
и модификация тестов
В процессе эксплуатации методики у авторов или пользователей возникает необходимость внести определённые изменение или серьёзно переработать тест. Однако при этом разработчикам надо помнить, а пользователям знать то, что далеко не все изменения и не для всех тестов допустимы и с юридической, и с практической стороны.
Первое, что нужно учитывать, что никто, кроме автора(ов), не может без их согласия внести даже минимальные и даже вполне оправданные изменения в текст тестовых материалов и в другие сопровождающие тест документы. К сожалению, соблюдения этого права у нас в стране либо не понимается, либо фактически игнорируется. Многие пользователи из самых благих побуждений запросто меняют в тесте не только отдельные пункты, но даже конструкцию шкал в целом, добавляют свои шкалы и при этом считают, что произвели адаптацию и что для соблюдения авторских прав достаточно сослаться на автора, отметив, что ими проведена модификация теста такого-то автора. На самом же деле подобные действия являются грубейшим нарушением неприкосновенности произведения, защищённого законами об авторских и смежных правах, согласно которому любые изменения в произведении (в данном случае в тесте) могут производиться только с письменного разрешения автора [10]. Это положение
закона распространяется даже на издателей, которые приобретают у автора абсолютное (материальное) право на издание и продажу методики, не говоря о пользователях, купивших методику у издателя.
Те же положения об охране авторского права распространяются и на другие разновидности изменения теста, например, на создание другими лицами параллельных форм, на обновление устаревшего тестового материала и т. д.
Тем не менее использование методики после её издания обнаруживает объективную необходимость различных изменений и это понимают авторы-разработчики и издатели. Поэтому получение от автора разрешения на внесение обоснованных изменений вполне реальное дело. Да и сами авторы-разработчики, заинтересованные в долгой жизни методики, должны постоянно проводить испытание и перепроверку своей методики и вносить в неё необходимые изменения. Все это побуждает более внимательно отнестись к проблеме доработки и допустимых изменений в издаваемых тестах.
Прежде всего необходимо внести ясность в используемые для обозначения этих процессов термины: перевод, адаптация, локализация, модификация и аналог.
Перевод методики - это процесс изложения содержания (в первую очередь тестового материала) на другом языке. Проблема перевода существует не только в отношении зарубежных тестов, но в отношении перевода на языки народов, живущих в одной стране. К сожалению, отечественные тесты фактически не переводятся на языки других народов России, несмотря на то, что некоторые из них составляют значительную часть населения, например, татары или украинцы, в то время как за рубежом (особенно в США) существуют требования к обязательному переводу часто используемых в практических целях тестов на другие языки. Это связано с обеспечением равных прав и возможностей обследуемых, приехавших на учёбу, работу или постоянное место жительства. Многие контрольные образовательные тесты, например вШ, переведены на десятки языков и предназначены для отбора в магистратуру.
Адаптация методики - это процесс приспособления методики к использованию в новых или изменившихся условиях. Следует различать адаптацию отечественных и зарубежных тестов. Адаптация зарубежных тестов существенно отличается от адаптации отечественных,
поэтому она будет рассмотрена отдельно.
В принципе, адаптация методики - это процесс «неглубокой» и несущественной переработки исходного теста, который можно сравнить с косметическим ремонтом помещения, необходимого при его небольшом старении, замене собственника или предназначения помещения. Адаптация методики может производиться, например, в связи с необходимостью пересмотра норм в тесте интеллекта или в связи с социально-культурными изменениями, произошедшими в обществе.
Как уже отмечалось, кроме адаптации методик в рамках одного языка и культуры, существует адаптация иноязычных и инокультурных методик на новый язык, к другой культуре, в другой стране. Это международная проблема, которая существует по сути дела со времен первого перевода методики на другой язык и использования ее в другой стране. Именно поэтому Международная тестовая комиссия (ITS) совместно с целым рядом международных организаций в 1992 году завершила работу над созданием общих методических рекомендаций по переводу и адаптации методик для того, чтобы обеспечить эквивалентность результатов тестов в различных языковых и/или культурных группах. Рекомендации подразделяются на 4 группы: перевод, адаптация (культурно-
языковая и психометрическая), процедура проведения и интерпретация [21].
Модификация методики - это процесс существенной переработки исходной методики. В рамках той же метафоры с ремонтом помещения - это уже капитальный ремонт и перепланировка, необходимые при длительном использовании помещения или замене его предназначения. Так, модификация проводится при изменении целей диагностики, например, с отбора персонала на клиническую диагностику; при использовании в тех же целях, но на другом континенте, например, переносе с военнослужащих на заключенных; при сохранении целей и контингента - при переходе на другую форму проведения, например, перевод бланковой методики в компьютерный тест. Ещё одной разновидностью модификации является разработка новых параллельных форм.
Примерами модификации тестов-долгожителей с заменой содержания заданий, утверждений, субтестов или шкал могут служить тест 16 PF, который уже 5 раз проходил модификацию и сейчас распространяется как 16 PF-5, шкалы WAIS и WISC были модифицированы 4 и 3 раза соответственно, перера-
ботка MMPI в MMPI-2 и создание на их базе подросткового теста MMPI-А. Из отечественных методик авторами была произведена модификация, например, Универсального интеллектуального теста УИТ СПЧ в УИТ СПЧ-М (Батурин, Курганский) [8].
Аналог - это разработка нового теста с применением только разрешенных законом об охране авторских прав элементов одной или нескольких изданных методик, использование которых по каким-то причинам невозможно или нецелесообразно. В рамках строительной метафоры - это перестройка всего здания с использованием только некоторых необходимых частей старого здания: фундамента, части стен, строительных элементов и материалов, которая может происходить с сохранением его общего стиля.
В соответствии с законом в психодиагностической методике-аналоге могут быть использованы концепт и конструкты одной или нескольких базовых методик, названия некоторых шкал или субтестов, тип тестовых заданий и даже часть самих пунктов методики, которые не содержат творческих признаков [3, 6]. Некоторые исследователи для упрощения процедуры создания аналогов собрали целые банки образцов тестовых заданий или базы утверждений, используемых в опросниках. Например, ещё несколько десятилетий назад Гилфорд с коллегами собрали в приложении к своей книге более сотни типов заданий, используемых в тестах для изучения интеллекта [19].
Ещё более масштабный проект по созданию банка утверждений для опросников предпринял известный американский психолог JI. Голдберг. С группой единомышленников он создал сайт IPIP, на котором они разложили на составляющие многие известные тесты. На нем сейчас содержится более 2000 утверждений, снабженных их статистическими параметрами [20]. После этого создатели так называемой «международной колаборато-рии» предлагают очень простую технологию для разработки аналогов тестов или создания методик на основе оригинальных конструктов исходных опросников, типов шкал и самих утверждений, опираясь на корреляцию этих утверждений с какой-либо известной шкалой известного опросника. Для примера сам JI. Голдберг и его единомышленники создали шкалы-двойники и целые опросники-двой-ники очень известных, в том числе брендовых методик (В-5, CPI, 16-PF и т.д.). Они предлагают любому пользователю интернета (психологу или не психологу) брать на сайте от-
дельные пункты, шкалы или методики-двойники, дорабатывать их и использовать по своему усмотрению [20].
Безусловно, подобный подход у кого-то вызовет улыбку, у кого-то злорадное потирание рук, у кого-то гнев на разрушителей основ, а у кого-то - удовлетворение от нового подхода к созданию опросников. На наш взгляд, можно рассматривать эти банки пунктов с двух позиций. С одной стороны, сам создатель колаборатории Л. Г олдберг считает, что создание банка пунктов «обеспечивает быстрый доступ к измерению индивидуальных различий для совместных разработок ученых по всему миру» [20]. И это вроде бы благо. С другой стороны, такой подход можно отнести к категории «паразитических». Поскольку разработчики новых шкал-клонов используют огромный труд авторов-создателей базовой шкалы или теста, затраченный на их разработку. Путь создания методик-клонов подкупает своей простотой только неосведомленных в психодиагностике людей. Поскольку надо понимать, что компоновка шкалы из утверждения - это только первые четыре шага в разработке теста. Впереди самое сложное: доказательство надёжности и валидности, разработка норм, оформление методики, её издание и, наконец, признание новой методики. А вот отношение к методикам-клонам у психологического сообщества весьма прохладное.
Пока эта дилемма: использовать ли банк пунктов или же самому создавать новые пункты под конструкт стоит только перед разработчиками опросников. Пункты (задания) в тестах способностей, интеллекта и проективных (по крайней мере, графических) имеют индивидуальные и творческие элементы, охраняемые авторским правом (подробнее об юридических вопросах разработки тестов см. Шаг 12). Хотя, как отмечалось немного выше, банки типов заданий существуют уже давно.
В целом, и у нас, и за рубежом существуют десятки и даже сотни методик-аналогов, созданных на основе других. Принципиально отличных друг от друга методов и методических решений за всю историю развития психодиагностики разработано не так уж много, а конкретных методик - десятки тысяч. Подобно тестам-аналогам существуют сотни фильмов со схожим сюжетом и главными героями, сотни музыкальных произведений со сходными темами и мелодиями. Но, как уже неоднократно отмечалось, - законом охраняется «буквальная» неприкосновенность методик в
целом, в неповторимой совокупности их компонентов. Исходные же компоненты по отдельности могут быть использованы для создания аналогов и разработки новых методик.
Отечественным разработчикам нужно учиться реализовывать такие возможности для преодоления отставания от зарубежной индустрии разработки тестов. В то же время необходимо предупредить разработчиков аналога от типичной ошибки - их стремления сослаться на авторов базовой методики, считая, что это необходимо по закону, либо в силу желания «присоединиться» к более известному автору и его методике, которая, возможно, уже стала брендом. И что ещё хуже - разработчики аналогов пытаются сохранить название исходной методики, которое зарегистрировано как торговая марка, охраняемая другими законами. Но как раз эта ссылка или сохранение названия совершенно незаконны.
Во-первых, переработка всего теста, его структуры и содержания, а затем разработка на основе него другого теста, совершенно не похожего на него - может вызвать вполне обоснованное возмущения автора базовой методики. Он может вполне справедливо считать аналог плохим, который порочит его имя разработчика. И он имеет право защитить свои авторские права в судебном порядке, считая новый тест неразрешенной им модификацией. Во-вторых, фирма-издатель может в судебном порядке обжаловать неправомерное использование названия базового теста, которое зарегистрировано ею как торговая марка (значки ® и Тт после названия).
Совершенствование пользовательских
характеристик методики
Задача совершенствования пользовательских характеристик напрямую связана с вопросами качества администрирования теста. Пользовательские характеристики отвечают не только за удобство, но и за грамотность применения теста. Недочёты и неточности, возникающие в процессе проведения методики, могут свести «на нет» все усилия разработчиков по достижению валидности теста, предпринятые на предыдущих этапах процесса.
Пользовательские характеристики методики оцениваются по качеству руководства, в котором должна быть изложена тщательно прописанная технология администрирования теста: алгоритмы проведения, обработки и интерпретации результатов. К пользовательским характеристикам относятся также особенности самого тестового материала: тесто-
вые тетради, бланки, невербальный стимуль-ный материал, качество которых и удобство для применения во многом определяют успех тестирования. Также улучшают пользовательские характеристики теста вспомогательные технологии, такие как компьютерные программы обработки и представления данных, электронные модели составления отчётов.
В отечественной практике пользовательские характеристики во многих случаях просто игнорируются авторами. Нередко, при ознакомлении с новой методикой, приходится долго разбираться в тексте, чтобы просто понять, где о чём написано и как ею пользоваться. Мы привыкли к тому, что грамотность применения той или иной методики достигается самостоятельным опытом её использования. Хотя при разработке методики уделяется специальное время отработке процедуры тестирования (см. Шаг 7), окончательная доводка во многих случаях осуществляется уже в процессе применения методики на практике. Здесь как раз и начинают выявляться нечётко-сти инструкции, неэкономность последовательности действий, неудобства при обработке и другие недочёты процедуры, которые психологи-практики пытаются компенсировать своими силами. Однако такие «усовершенствования на местах» чреваты снижением, если не потерей валидности и других психометрических характеристик теста.
Поэтому на начальных этапах применения теста как никогда важно взаимодействие пользователей с разработчиками. Обратная связь, поступающая от пользователей, будет основой для рассмотрения и улучшения, доводки, шлифовки процедуры тестирования. Однако только автор может знать, что можно откорректировать в методике без потери основных психометрических качеств. Иногда получив отзывы от пользователей, разработчики принимают решение о необходимости серьёзной доработки теста, что выливается в его модификацию. Например, как уже указывалось выше, перевод теста с бланковой формы на компьютерное тестирование (который часто осуществляется на основании мотивов совершенствования пользовательских характеристик) уже считается модификацией теста и требует дополнительных психометрических процедур.
Новые редакции методик, как правило, сопровождаются совершенствованием пользовательских характеристик. Это обеспечивает дальнейшую жизнь методики, её распространение и во многом популярность. Не секрет, что
ряд неплохих методик не применяется и забыт только потому, что они неудобны в использовании: слишком громоздки, имеют сложную ручную обработку результатов, не обеспечены удобными схемами интерпретации.
Внимание пользовательским характеристикам теста - залог обеспечения корректности его применения, а значит - и его валидности на этапе эксплуатации. Поэтому здесь особо актуально авторское сопровождение методики, доводка и совершенствование процедуры, опирающаяся на обратную связь от пользователей.
2. Обучение и консультирование
пользователей
Подробное руководство к методике далеко не всегда обеспечивает грамотное её администрирование. Поэтому после издания методики возникают следующие актуальные задачи:
а) обучение пользователей с выдачей им прав (сертификатов на право) пользования конкретной методикой;
б) консультирование по вопросам администрирования и интерпретации теста для пользователей, уже применяющих методику; переподготовка пользователей при введении в эксплуатацию новых форм и модификаций методики.
Обучение пользователей
Издание или обнародование другими способами методики ставит новую проблему -проблему подготовленности пользователя для её применения. Любому психодиагносту понятно, что уровень квалификации пользователя должен соответствовать уровню сложности применения методики на практике. Для простых методик, например, одношкальных опросников из 10-15 пунктов, с дискретными вариантами ответов «да» - «нет», обработкой «по ключу» и интерпретацией в виде простых оценочных категорий не требуется высокой квалификации пользователя, которая необходима для использования сложных многошкальных или проективных методик.
Долгие годы проблема соответствия уровня квалификации пользователя сложности применяемым им на практике методикам в отечественной психологии не ставилась и даже не осознавалась. Априори считалось, что лица с высшим психологическим образованием могут пользоваться любыми методиками. В последнее время ситуация существенно изменилась вслед за международными подходами, применяемыми к решению проблемы под-
готовки и проверки уровня квалификации пользователей. Это связано также с тем, что широкое распространение тестов в образовании, медицине и менеджменте породило новые трудности и проблемы.
В докладе председателя Постоянной комиссии ЕБРА по тестам и тестированию Д. Бертрама на II Всероссийской конференции «Современная психодиагностика в период инноваций» (Челябинск, 2010) [9] приведены результаты международного опроса в 36 странах. Согласно полученным данным, 86,3 % пользователей тестов - не психологи. Эти данные заставляют переосмыслить весь процесс применения психодиагностических методик на практике. В первую очередь, приводят к необходимости расширения деятельности психологических сообществ всех стран, заключающейся в специальном обучении и проверке квалификации непрофессиональных пользователей психодиагностических методик, поскольку, согласно данным того же исследования, только 41 % всех пользователей прошли специальное обучение [9].
Особую актуальность проблеме подготовки придает и то, что в зарубежных странах уже 80 % практики тестирования осуществляется через интернет. Такие международные тренды использования тестов задают новые требования ко всем участникам процесса психодиагностики и не только к пользователям, но и к разработчикам. Как уже отмечалось раннее, в настоящее время на их плечи ложится все большая ответственность, в частности ответственность не только за качество проведения теста, но и за качественную интерпретацию результатов, поэтому они стараются автоматизировать максимально возможное количество компонентов психодиагностического процесса. Несмотря на это увеличивается и ответственность пользователей, поскольку разрабатываются все более сложные методики, предназначенные для диагностики сложных психических явлений [13], автоматизировать которые полностью просто невозможно.
Если вернуться от общих проблем подготовки пользователей к конкретной технологии, то можно ещё раз отметить, что необходимость специального обучения и его объем в первую очередь зависит от уровня сложности методик. Есть простые по своей структуре методики, которые не требуют специального обучения: здесь психологам с базовым образованием хватает знаний, полученных в университете. Для квалифицированного исполь-
зования других (более сложных) методик требуется дополнительное обучение. Оно может проходить в форме обучения, организованного при фирме-издателе (с выдачей частного сертификата по каждой из выпускаемых методик). Так поступает, например, фирма ОРР в Великобритании [23].
Для получения права использовать любые методики, относящиеся к определенной группе сложности, проводится обучение универсальным компетенциям с выдачей сертификата о проверке соответствия уровня квалификации пользователя требованиям Стандарта. Так поступают, например BPS, а в ближайшем будущем - все страны, входящие в EFPA [9,12].
В России уже разработан Стандарт требований к пользователям психодиагностических методик и процедура сертификации на три квалификационных уровня (уровни 1, 2 и 3) и один доквалификационный уровень Админи-стратора-пользователя (см. сайт уполномоченной НИСПП организации - Центра сертификации НОЦ Психодиагностика ЮУрГУ -www.cc.psytest.ru).
В основе выделения квалификационных уровней пользователей психодиагностических методик лежит принцип различения методик по своей сложности и вытекающей из этого «трудности» их применения. Объективные основания для разделения методик на три группы сложности опирается на анализ операциональной стороны деятельности пользователя психодиагностических методик [5]. Такой анализ показывает, что тестирование представляет собой процесс, состоящий из четырех качественно различных этапов'.
1) проведение методики,
2) обработка результатов,
3) интерпретация результатов,
4) сообщение результатов (клиенту, заказчику).
Каждый из этих этапов может включать действия (операции) разного уровня сложности. Выделение указанных этапов имеет практический смысл, поскольку большая часть методик имеет неодинаковую сложность на разных этапах тестирования. Например, существуют методики, которые очень просты в проведении и в обработке, но требуют глубоких знаний и опыта при интерпретации, и наоборот.
В целом можно выделить 4 уровня сложности действий пользователя, возникающих на каждом из этапов тестирования, достаточно отчётливо различающихся по степени
формализации и требующих различного уровня подготовки пользователей.
Исходя из описания уровней сложности действий в процессе применения методик разной сложности, приведенных в Стандарте требований к пользователю психодиагностических методик [4, 15], предлагается фиксировать общую оценку сложности методики в виде «Кода сложности методики» (КСМ). Код сложности состоит из 4 цифр, помещаемых в скобках через запятую и обозначающих сложность действий последовательно на каждом из 4 этапов тестирования. Например: КСМ (1, 1, 3, 3) обозначает, что дня данной методики процедуры проведения и обработки результатов (этапы 1 и 2) полностью формализованы (например, компьютеризованы), а интерпретация и сообщение результатов (этапы 3 и 4) представляют собой более сложные операции, соответствующие уровню сложности 3.
Учитывая такое разделение методик по сложности их применения на каждом из 4 этапов процесса тестирования, в Стандарте требований к пользователю предложено определять уровень квалификации психодиагно-стов-пользователей, исходя из максимальной сложности действий в процессе тестирования, которые они способны квалифицированно выполнять. Соответственно выделяются 4 уровня - один доквалификационный (ДК) и три квалификационных (1, 2, 3):
- доквалификационный уровень (Ассистент),
- квалификационный уровень 1 (Специалист),
- квалификационный уровень 2 (Консультант),
- квалификационный уровень 3 (Эксперт).
Доквалификационный уровень (Ассистент) - самостоятельное проведение методик, сложность которых ни на одном из этапов тестирования не превышает уровня сложности «1»: КСМ (1, 1, 1, 1) и участие в качестве ассистента пользователей более высокого уровня квалификации при проведении сложных методик (например, КСМ (1, 1,3,2)).
Квалификационный уровень 1 (Специалист) - самостоятельное проведение методик, сложность которых ни на одном из этапов тестирования не превышает уровня сложности «2». Например, КСМ (1, 1,2, 1); (2,2, 2,2).
Квалификационный уровень 2 (Консультант) — самостоятельное проведение методик, сложность которых ни на одном из этапов тестирования не превышает уровня слож-
ности «3». Например, КСМ (1, 2, 1,2); (2, 2, 3,
2); (3,3, 3,3).
Квалификационный уровень 3 (Эксперт) -самостоятельное проведение методик любой сложности. Например, КСМ (1, 1, 2, 1); (2, 3, 3,2); (3,3,4, 3); (4, 4,4, 4).
Таким образом, сложность методики определяет необходимую для её применения квалификацию пользователя и соответственно требующееся ему обучение, связанное с приобретением ряда чётко обозначенных компетенций.
Консультирование и переподготовка
пользователей
Сопровождение использования теста, особенно в начальный период его эксплуатации, требует постоянного контакта разработчиков (и/или обучающих организаций) с пользователями. Освоение методик высокого уровня сложности невозможно без значительной доли реальной практики и даже после соответствующего обучения пользователю требуются консультации, а иногда и услуги су-первизии, позволяющие отточить профессионализм и разрешить возникающие трудности администрирования.
Как уже было указано выше, методики, претендующие на «долгую жизнь», требуют постоянного развития. Появляются модификации тестов: новые версии, параллельные формы, расширяются области применения, обновляются стандарты. Часто даже при отсутствии серьёзных изменений в самом тесте, последующие переиздания методики насыщаются нюансами интерпретации, разработчики предлагают усовершенствованные модели написания отчётов, новые вспомогательные технологии, облегчающие обработку результатов, и другие усовершенствования. Старые версии выходят из употребления, и требуется переподготовка пользователей.
Такая переподготовка может осуществляться при центрах сертификации или быть организована непосредственно при фирме-издателе. В некоторых случаях (если изменения незначительные) может осуществляться и дистанционное обучение. Здесь, как и в любой процветающей индустрии, пользователь должен чувствовать, что производитель заботится о его интересах. Контакт с пользователями, осведомление его о новинках, изменениях и совершенствованиях инструмента является нормой хорошего тона во всех цивилизованных странах. Производитель несёт от-
ветственность за товар и удовлетворённость потребителя.
3. Контроль корректности применения
и распространения методики
Ещё одна задача, касающаяся сопровождения эксплуатации методики, связана с контролирующими мероприятиями. Здесь выделяется два аспекта:
а) контроль условий, целей и способов применения методики;
б) контроль соблюдения авторских прав (и прав других правообладателей).
Если говорить о контроле корректности использования методики, то здесь необходимо отслеживать не только правильность проведения, обработки и интерпретации теста (чему посвящено обучение), но и, что не менее важно - следить за тем, чтобы методика использовалась по назначению, для тех целей и того контингента для кого она предназначена. Публикация методики накладывает определённую ответственность на автора (и издателя), связанную с корректностью её применения. Произвольное изменение целей тестирования, неоправданное расширение области применения может нанести существенный вред, приводя к принятию некорректных решений, чем могут быть серьёзно нарушены права клиента.
При этом если вопросы, касающиеся охраны прав автора и других правообладателей, частично обеспечены юридическими основаниями [3, 6]. И здесь большинство нарушений связано с правовой неграмотностью специа-листов-психологов, то в отношении контроля корректности применения методики в нашей стране пока не существует каких-либо адекватно функционирующих рычагов урегулирования этого вопроса. Такой контроль иногда спонтанно реализует психологическое сообщество, реагируя на неадекватное применение диагностических инструментов, повлёкшее за собой причинение вреда. Однако эта функция в большей части пока обеспечивается моральными, а не юридическими основаниями.
Трудности также возникают и из-за неопределенности и размытости целевого назначения большинства тестов, которые пользователи применяют по своему усмотрению и потребностям (один и тот же тест может применяться и для отбора персонала, и для консультирования семейных пар и для оценки программы тренинга). И такая ситуация во многом является ответственностью разработчиков, поскольку в руководстве обычно не кон-
кретизируется сфера целевого назначения теста и круг решений, которые можно принимать на основе результатов диагностики. Хорошо проработанный тест всегда имеет ограниченный радиус действия, и на настоящем этапе разработчикам важно подчёркивать условия и случаи, когда методика не может применяться. Использование методики для каких-то новых целей требует дополнительной валидизации, и правомерно рассматривать такое расширение сферы применения лишь в связи с модификацией теста.
В целом жизнь методики после её издания зависит от очень многих факторов. Этот процесс может быть пущен на самотёк, что в большинстве случаев и происходит с отечественными методиками. Однако сопровождение эксплуатации методики автором-разработчиком и/или теми, кто приобрёл у него абсолютные права, может существенно повлиять на её жизнеспособность и, в конечном итоге, стать определяющим в том, сможет ли методика выполнять свою полезную функцию. Этап эксплуатации является результатом и конечной целью всего длительного процесса разработки методики. Здесь подводятся итоги, пожинаются плоды всех усилий, вложенных в инструмент на предыдущих этапах разработки.
Заключение
В заключение отметим, что одна из главных задач всего цикла статей - заронить зерно нового отношения к самой задаче разработки тестов, способствовать изменению самого подхода к этому виду профессиональной деятельности. Повторимся, что, на наш взгляд, в России назрела необходимость перехода от инициативных разработок тестов к широкомасштабным коллективным проектам, занимающим свое место в одном ряду с разработками социально значимых практических технологий в других отраслях современной науки и практики. А для этого нужно освоение современных технологий создания тестов. И именно процессуальная модель даёт здесь целостное системное видение. Его преимущество в том, что становятся различимыми и даже очевидными линии развития закладываемых психометрических характеристик, их взаимосвязи друг с другом и с конкретными действиями, производимыми на различных этапах создания теста. Процессуальный пошаговый подход даёт возможность прогнозирования результата, понимания того, как конкретное действие отразится на том или ином показателе через два-три шага.
Предлагаемая технология не является жё-
сткой зафиксированной формой. Каждый этап процесса и каждый шаг при сохранении стабильных целей и задач может наполняться вариативным содержанием в зависимости от специфики разрабатываемого теста. Именно в силу своей гибкости и допустимости разного содержания данная технология может считаться универсальной, пригодной для разработки как тестов достижений, тестов когнитивных способностей, так и разнообразных личностных методик, в том числе и сложных проективных и включающих элементы качественного анализа.
В цикле статей дано лишь общее описание этапов и шагов процесса. Авторы концентрировали своё внимание на основных целях и задачах каждого шага, а также на наиболее сложных вопросах, имеющих неоднозначное толкование и требующих прояснения. Дальнейшая работа заключается в наполнении каждого шага процесса разработки психодиагностических методик конкретными методами, процедурами и технологиями с учётом вариативности их использования при разработке разных видов тестов. Такая задача требует работы большого коллектива специалистов: теоретиков и практиков, психодиагностов и консультантов, а также педагогов и юристов.
Литература
1. Анастази, А. Психологическое тестирование / А. Анастази, С. Урбина. - СПб.: Питер, 2001. - 668 с.
2. Ассанович, М.А. Интегративная система психодиагностики методом Роршаха. -М.: Когито-Центр, 2011. - 397 с. (Психологический инструментарий).
3. Батурин, H.A. Авторские права на психодиагностические методики / H.A. Батурин, A.B. Минбалеев // ИС. Авторское право и смежные права. -2010. -№ 6.
4. Батурин, НА. Методы контроля за качеством психодиагностических методик на основе стандарта требований к психодиагностическим методикам / НА. Батурин, А.Ю. Попов // Вестник ЮУрГУ. Серия «Психология». - 2010. - Вып. 10.-№ 27 (203). - С. 7-8.
5. Батурин, H.A. Принципы определения сложности психодиагностических методик / H.A. Батурин, H.H. Мельникова // Вестник ЮУрГУ. Серия «Психология». - 2010. -Вып. 8. - № 4 (180). - С. 36-43.
6. Батурин, НА. Проблемы охраны авторских прав на психологические продукты / НА. Батурин, A.B. Минбалеев // Вестник ЮУрГУ. Серия «Психология». - 2010. -Вып. 8.-№ 4 (180). - С. 26-35.
7. Батурин, H.A. Технология разработки тестов: часть IV/ H.A. Батурин, H.H. Мельникова // Вестник ЮУрГУ. Серия «Психология». -2010. - Вып. 11.- С. 13-29.
8. Батурин, H.A. Универсальная методика для изучения уровня и структуры интеллекта / H.A. Батурин, H.A. Курганский // Вопросы психологии. - 2005. - № 5. -С. 131-139.
9. Бертрам, Д. Стандарты тестов, квалификация и сертификация пользователей тестов / Д. Бертрам // Вестник ЮУрГУ. Серия «Психология». - 2011. - Вып. 12. - № 5 (222).-С. 15-24.
10. Гражданский кодекс Российской Федерации (часть четвёртая) от 18 декабря 2006 г. № 230-ФЭ // Российская газета. -2006. - 26 декабря.
11. Ежегодник профессиональных рецензий и обзоров. Методики психологической диагностики и измерения / под ред. НА. Батурина, Е.В. Эйдмана. — Челябинск: Издательский центр ЮУрГУ, 2010. -Т.1.- 293 с.
12. Линдлей, П. Оценка квалификации пользователей тестов: подход Британского психологического общества / П. Линдлей // Вестник ЮУрГУ. Серия «Психология». -2011. -Вып. 12. -№ 5 (222). - С. 25-29.
13. Мельникова, H.H. Методы изучения комплексных психологических явлений / H.H. Мельникова // Вестник ЮУрГУ. Серия «Психология». -2010. — Вып. 10. —№27 (203).
- С. 13-15.
14. Попов, А.Ю. Возможности и перспективы создания общероссийского Банка «сырых» данных психометрических исследований / А.Ю. Попов // Современная психодиагностика в период инноваций: сб. тез. II Все-
рос. науч. конф. / отв. ред. Н.А. Батурин. Челябинск: Издательский центр ЮУрГУ, 2010. -230 с.
15. Стандарт требований к психодиагностическим методикам». — http:// www.cc.psytest.ru/ ги/ Sertifikacijametodik / Standarttrebovanik_psihodiagnosticheskim_ metodikam.
16. Червинская, K.P. Психологическая концепция извлечения экспертных знаний на моделях медицинской психодиагностики / К.Р. Червинская // Вестник ЮУрГУ. Серия «Психология». - 2008. - Вып. 2. - С. 68-80.
17. Flynn, J.R. The mean IQ of Americans: Massive gains 1932 to 1978 / J.R. Flynn // Psychological Bulletin. - 1984. -101. - P. 171-191.
18. Furr, KM. Psychometrics: An introduction / R.M. Furr & V.R. Bacharach. - Sade Publications, Inc., 2008. - 349 p.
19. Gilford, J.P. Analysis of intelligence / J.P. Gilford, R Hoepfner. - N.Y.: MeGrawHill, 1971. - 514p.
20. Goldberg, L.R. The international personality item pool and the future of public-domain personality measures / L.R. Goldberg, J.A. Johnson et al. // Available online 25 October, 2005.
21. International Test Commission for Translating and Adapting tests (version 2010) http://www. intestcom. org/Guidelines/Adapting-^- T ests.php
22. Murphy, L.L. Tests in print VII / L.L. Murphy, R.A. Spies, B.S. Plake. - The Bu-ros Institute of Mental Measurements; The University of Nebraska-Lincoln; Lincoln, Nebraska, 2006. -1196p.
23. OPP. http:// www.mbti.md / Pages / home.aspx.
Поступила в редакцию 17 мая 2011 г.
Батурин Николай Алексеевич. Доктор психологически наук, профессор, декан факультета психологии, заведующий кафедрой психодиагностики и консультирования, Южно-Уральский государственный университет, г. Челябинск; e-mail: [email protected].
Nikolay A. Baturin. PsyD, professor, the dean of the Faculty of psychology, head of the department «Psychological diagnostics and Counseling», South Ural State University; e-mail: [email protected].
Мельникова Наталья Николаевна. Кандидат психологических наук, доцент кафедры социальной психологии, Южно-Уральский государственный университет, г. Челябинск; e-mail: [email protected]
Natalia N. Melnikova. Candidate of Psychological sciences, docent of the department of social psychology of South Ural State University. Area of scientific interests: psychology of the organisation of a life, socially-psychological adaptation of the person, the system approach in psychology; e-mail: MNN [email protected]
