CC BY
347
Психодиагностика
УДК 159.98.015 ББК Ю91 -730.2+Х404.3
ТЕХНОЛОГИЯ РАЗРАБОТКИ ТЕСТОВ: ЧАСТЬ V H.A. Батурин, H.H. Мельникова
Статья является продолжением описания пошаговой технологии разработки тестов, изложение которой начато в предыдущих номерах журнала. В данной статье описывается VII (технический) этап разработки теста и рассматриваются наиболее важные задачи, связанные с написанием технических отчётов и юридическим оформлением созданного теста. Здесь же поднимаются вопросы охраны интеллектуальной собственности разработчика и издателя, проблемы рецензирования и сертификации созданных тестов.
Ключевые слова: разработка теста, технические отчёты, авторские права, рецензирование, сертификация теста.
Этап VIL Технический Шаг 11. Написание технических отчётов
Серьёзно разработанный тест по современным требованиям должен сопровождаться специальными документами - техническими отчётами. Прежде всего, необходимо рассмотреть вопрос о том, что такое «технический» отчёт, поскольку в культуре отечественной психодиагностики подобный отчёт ещё не прижился и выглядит заморской экзотикой. Сразу же отметим, что технические отчёты принципиально отличаются от диагностических отчётов, разработке которых была посвящена предыдущая статья, и их ни в коем случае нельзя путать.
Технический отчёт представляет собой сборник подробной документации о результатах, полученных на всех этапах разработки теста [4]. Это техническое описание всего того, что делали разработчики теста от момента начала работы до её завершения, сопровождающееся цифрами, таблицами, диаграммами, графиками и т. д. Значение технических отчетов подчёркивается в «Стандартах для образовательного и психологического тестирования» (AERA, АРА и NCME), а их содержание задаётся множеством частных стандартов [12]. Большинство стандартов разработки и описания теста прямо требует документирования фактически каждого этапа разработки и фиксации каждого показателя, полученного на этапе разработки и проверки создаваемого теста.
Большинство «документов» подобного рода не могут быть включены в Руководство, поскольку сделают его слишком громоздким и будут лишь «затемнять» его главное предназначение - обеспечение пользователя необходимой информацией для проведения тестирования. Эти детальные сведения о разработке в большинстве случаев не нужны рядовому пользователю методики, однако они интересны другим разработчикам, «продвинутым пользователям» и необходимы рецензентам теста и экспертам при проведении сертификации методики. Поэтому такие сведения собирают в сборники технической документации, которые формируются отдельно от Руководства и, в зависимости от стиля изложения, называются «Технический отчет», «Технический справочник», «Справочник пользователя».
Отечественные разработчики тестов фактически никогда не представляли подробных технических отчётов, да и не знали о такой необходимости. Техническая информация о процессе разработки теста и о результатах его психометрической проверки в лучшем случае включалась разработчиками в Руководство к тесту. В качестве примера можно сослаться на Руководство к Универсальному интеллектуальному тесту УИТ СПЧ-М, который недавно прошёл профессиональное рецензирование [7]. В обеих рецензиях на методику отмечено качество и полнота Руководства. Однако, справедливости ради, следует сказать, что это качество заметно только на фоне малого коли-
чества подробных Руководств к другим отечественным тестам. Информация, содержащаяся в нём, не идёт ни в какое сравнение с объёмом и содержанием технической информации о разработке, прилагаемой к профессиональным зарубежным тестам.
В качестве примера можно привести Технические отчёты к многошкальному опроснику ОР(2 32 (БНЬ §гоор). Он и представляет собой несколько отдельных брошюр по всем этапам разработки теста по 60-80 страниц каждая (!). Например, в отдельных брошюрах содержатся детальные описания проверки надёжности (42 с.), две брошюры (57 и 60 с.) посвящены различным видам валидности и т. д.
В принципе, такая подробность технического описания процесса разработки и процедур психометрической проверки теста не является обязательным условием; для небольших тестов даже нет такого объёма информации. Однако разработчику методики важно понимать, что современный грамотный пользователь убежден в необходимости такой информации. Кроме того, наличие подобной информации обо всех этапах разработки теста позволяет любому заинтересованному пользователю провести (при желании) проверку теста по тем же показателям, соблюдая те же процедуры, что использовались при разработке. Причём, такая проверка не экзотика, а регулярная практика за рубежом, когда новые тесты перепроверяются несколько раз в разных исследовательских работах.
К сожалению, таких традиций ещё нет в отечественной психодиагностике. Многие разработчики тестов не понимают, зачем демонстрировать для всех «интимные» стороны процесса разработки. А пользователи, со своей стороны, считают, что значительно важнее посмотреть на сам тест и провести пробное тестирование, чтобы приобрести опыт; и тогда и только так самому можно оценить тест [2]. В отличие от этого, например, в книге А. Ана-стази прямо указывается на то, что единственный способ дать окончательный ответ на подобные вопросы - эмпирическая проверка. «Пользователей действительно интересует: «Насколько хорош данный тест? Действительно ли он отвечает своему назначению?.. Эти вопросы могут выливаться, - и время от времени действительно выливаются, - в длительные бесплодные дискуссии. Субъективные мнения, необоснованные предчувствия и личные пристрастия могут приводить одних к переоценке возможностей конкретного теста,
а у других вызывать его упорное непринятие. Объективная оценка психологических тестов предполагает в первую очередь определение их надежности и валидности в строго заданных ситуациях» [1].
Как правило, технические отчёты не издаются таким же большим тиражом, как сам тест. В принципе, не каждого пользователя интересует содержащаяся в них информация. Однако издатель обязан предоставить технический^) отчёт(ы) покупателю по его требованию. В наш век коммуникационных технологий такой отчёт может быть предоставлен по электронной почте или же его можно «снять» с сайта издательства, получив к нему доступ через логин, предоставленный желающим. Надо сказать, что отечественные издательства ещё не созрели для этого, и обычно вся открываемая покупателю информация содержится в Руководстве, а компьютерные тесты, как правило, не снабжаются ни Руководством, ни Техническим отчетом. Приобретение теста в таком случае отражается в пословице: «Купить кота в мешке». Что касается так называемых исследовательских тестов, публикуемых авторами в открытой печати, то технических сведений об их разработке обычно вообще никто не предоставляет. По нашему мнению, такая практика не является цивилизованной и не соответствует современным требованиям.
В проекте отечественного «Стандарта требований к психодиагностическим методикам» сформулированы более двадцати обязательных требований к описанию методики и сопутствующим документам.
Шаг 12. Юридическое оформление
Авторские права на психологические тесты. До недавнего времени вопрос о каких-то юридических процедурах оформления разработанного отечественного или адаптированного зарубежного теста не возникал. Даже те разработчики, которые знали о необходимости этого шага и имели доступ к соответствующим законам, не знали, как их использовать. Ещё с советских времен привычной была правовая безграмотность психологов в целом и психодиагностов в частности. Достаточно сказать, что первые публикации на эту тему вышли только в 2010 году [4]. В этих публикациях отмечено, что самыми распространёнными нарушениями авторских прав в области психодиагностики являются неправомерное издание «составных произведений»
(сборников тестов, «энциклопедий» лучших тестов и т. д.) и «производных» произведений, перевод и адаптация зарубежных тестов, вольное обращение с отечественными тестами, распространение контрафактных психодиагностических продуктов, неправомерное распространение психодиагностических методик через Интернет и доведение до всеобщего сведения через другие информационнотелекоммуникационные сети, сканирование и размножение тестов на тех или иных материальных носителях.
В советский период авторские права в психодиагностике, как и в психологии в целом, осознавались и охранялись по аналогии с обычными литературными и научными произведениями. Поэтому довольно строго соблюдались в основном личные неимущественные авторские права: право авторства, право на имя, право на обнародование и право на защиту произведения от искажения. Значение охраны имущественных авторских прав осознавалось и отстаивалось только единицами, а права зарубежных авторов практически игнорировались [10, 11]. В обществе соблюдение законов об их авторских правах считалось необязательным.
Так, подавляющее большинство зарубежных тестов, разными путями попавших в СССР, было переведено без понимания необходимости охраны имущественных авторских прав разработчиков и издателей теста-оригинала. Многие годы они копировались всеми доступными для того времени средствами и распространялись из рук в руки, а позднее - через публикации в широкой печати. Увеличение количества издательств, распространение цифровой печатной техники и особенно использование Интернет-технологий ещё больше обострили существенные проблемы в охране авторских прав как отечественных, так и зарубежных авторов и правообладателей [3, 4].
В современной России охране авторских прав, по сути дела, положил начало вступивший в силу в 1993 г. Закон РФ «Об авторском праве и смежных правах» [8]. Однако только введение в действие с 1 января 2008 г. четвёртой части Гражданского кодекса Российской Федерации [6], куда в систематизированном виде вошли все основные законы, определяющие судьбу интеллектуальной собственности, пробудило более пристальное внимание психологов к охране авторских прав на психодиагностический инструментарий. Пер-
вое, что пришлось понять психологам, это то, что не существует отдельных правовых норм об охране их специфических продуктов. Поэтому, с одной стороны, только понимание содержания норм об охране авторских прав в общем и целом позволит психодиагностам и психологам использовать их при урегулировании своих отношений, возникающих в связи с созданием и использованием психологических продуктов. С другой стороны, анализ норм об охране авторских прав позволяет выявить неохраняемые авторским правом объекты и их отдельные части, которые на законных основаниях могут свободно использовать в своей деятельности разработчики психодиагностических продуктов.
Как и следовало ожидать, в списке видов и признаков, охраняемых законом произведений, в качестве отдельного вида произведения не выделены психологические. Их можно отнести лишь к категории «другие произведения». Психологические продукты являются чаще всего сложными, состоящими из нескольких элементов, произведений различных видов: «литературных» - тексты опросников, руководств; «произведений изобразительного искусства» - фотографии, «чернильные пятна», картинки; «аудиовизуальных продуктов» - видеосюжеты, компьютерные анимации и т. д.
Важным аспектом понимания норм об охране авторских прав являются признаки произведений. Во-первых, любое произведение должно быть продуктом умственной творческой деятельности', во-вторых, оно должно быть выражено в той или иной объективной форме. Эти признаки относятся ко всем видам произведений, охраняемым авторским правом, а именно: а) оригинальные авторские (исходные работы); б) производные (новые произведения, основанные на предшествующих работах); в) составные (составленные из нескольких исходных работ); г) коллективные (продукт нескольких создателей). Авторы-разработчики должны хорошо осознавать, к какому виду произведений относится разработанная ими методика, а исходя из этого решать все задачи, связанные с охраной авторских прав. Необходимо признать, что некоторые из перечисленных признаков произведений, определяющих границы охраны психодиагностических продуктов, до сих пор остаются дискуссионными и неоднозначными [3, 4].
В различных странах авторские права по-разному распространяются на психодиагно-
стические продукты, в зависимости от их введения в оборот для широкого использования. В Америке, Англии и других англоязычных странах публичному обнародованию должна предшествовать процедура регистрации продукта (теста). При этом следует отметить, что в последние годы это требование становится необязательным.
В континентальной Европе и в России авторские права распространяются как на обнародованные, так и на необнародованные произведения, выраженные в какой-либо объективной форме, в том числе в письменной, устной форме (в виде публичного произнесения и иной подобной форме), в форме изображения, в форме звуко- и видеозаписи, в объемно-пространственной форме. То есть для возникновения, осуществления и защиты авторских прав в России не требуется регистрация разработанной методики или соблюдение каких-либо иных формальностей, в том числе проверка критериев охраны в каком-либо государственном органе. В отношении программ для ЭВМ и баз данных возможна их регистрация, осуществляемая по желанию правообладателя в Федеральной службе по интеллектуальной собственности и патентам (далее Роспатент). По желанию автора психодиагностической методики и она сама, и её товарный знак могут также быть зарегистрированы в Роспатенте.
Особого внимания заслуживает проблема охраны авторских прав при переводе зарубежных тестов на русский язык и их издании, что является в настоящее время распространенной, но юридически неграмотной практикой. В этом случае разработчику русскоязычной версии теста следует знать и соблюдать ряд правил, принятых в международной практике.
1. Приобретение текстов методик у зарубежной фирмы-издателя, как правило, даёт покупателю только право использовать их (проводить исследования или психодиагностические обследования) на языке оригинала. Использование перевода теста в этом случае допускается только в личных целях. Этот запрет касается и публикации перевода оригинального теста в научных изданиях. Исключения составляют тесты, предназначенные зарубежным автором оригинального теста для научных исследований. Как правило, они не издаются на языке оригинала для широкого практического применения. В этом случае для соблюдения закона достаточно получить
письменное согласие автора на перевод, адаптацию и использование теста в научных целях, но не коммерческих. Все авторские права при этом сохраняются за автором оригинального теста. Авторы перевода и адаптации не приобретают право издавать и распространять их в любом виде: в брошюре, книге, на диске, за приобретение которых покупатели заплатят деньги, т. е. переведенный тест при его публикации и распространении начинает использоваться в коммерческих целях. Хотя авторы перевода и адаптации искренне считают, что публикация в широкой печати направлена только на научное использование.
2. Для осуществления перевода теста с целью его дальнейшей адаптации и использования требуется заключение договора с правообладателем, например фирмой-издателем или дистрибьютором, наделённым соответствующими правами. Обычно за рубежом правообладатели издаваемых профессиональных тестов неохотно идут на подписание договора, дающего права даже на перевод, не говоря уже об адаптации, поскольку им очень сложно контролировать соблюдение их авторских имущественных прав и возможность приобретения переводчиком авторских прав на перевод теста как на производное произведение в соответствии с иностранным законодательством (в данном случае российским законодательством).
3. Для законного перевода, адаптации и последующего издания или проведения тестирования компьютерных и компьютеризированных тестов в режиме on- или off line в коммерческих целях необходимо заключать лицензионный договор, предоставляющий право распространять фиксированное количество тестов или на дистрибуцию теста в ограниченное количество времени (лет или месяцев).
4. Наконец, существует возможность приобрести исключительное право на психологические продукты посредством заключения договора об отчуждении исключительного права у правообладателя. В этом случае все имущественные права переходят к новому правообладателю, например к автору-пере-водчику, адаптатору или фирме-издателю, но неимущественные авторские права сохраняются за автором.
Особое внимание следует обратить на такую часть произведения, как его название. В соответствии с четвертой частью ГК РФ авторские права распространяются на название как на часть произведения, так же как и
на другие его компоненты, обладающие признаками правовой защиты.
В отечественной психологической практике распространено сохранение названия теста, несмотря на то, что в процессе переработки (адаптации и стандартизации), производимой с разрешения правообладателя, тест претерпевает значительные изменения. При этом автор переработки начинает настаивать на охране уже своих авторских прав на методику как на производную, но с одновременным сохранением названия исходного теста-оригинала и даже фамилии его автора. Очевидно, что это взаимоисключающие вещи. Если разработчик претендует на статус автора нового производного произведения, то он, охраняя авторские права автора исходного теста, обязан изменить название нового производного теста. При этом понятно, почему автор производного теста стремится сохранить известное всем, «раскрученное» название, которое порой уже превратилось в бренд. Под старым названием легче продавать новый продукт.
Для предотвращения описанной ситуации за рубежом обладатели авторских прав или их правопреемники регистрируют название теста как торговый знак, обозначаемый значками «R» в кружочке или буквами «Тт». Следует рекомендовать отечественным разработчикам на этапе юридического оформления разработанной или законно модифицированной методики регистрировать её название в Роспатенте.
Вместе со всем этим в настоящее время за рубежом все более широко применяется практика отказа от авторских прав, который оформляется через лицензию Creative Commons. Знак СС (в кружке) - «права не охраняемы» предполагает, что произведение по желанию автора или по иным причинам стало всеобщим достоянием и может свободно использоваться без согласия автора и выплаты авторского вознаграждения, естественно, при сохранении всех неимущественных авторских прав за автором исходного теста.
Отечественным психодиагностам важно знать, что охраняемые авторским правом произведения могут использоваться создателями тестов для разработки ими производных и составных произведений (методик). Однако при этом, необходимо помнить, что если даже используются психодиагностические продукты, срок имущественной охраны которых истек (обычно 70 лет после смерти автора), то за автором бессрочно сохраняются все неиму-
щественные авторские права, и прежде всего право на неприкосновенность произведения и защиту произведения от искажений. Авторство, имя автора и неприкосновенность произведения охраняются бессрочно. В России они могут принадлежать только физическому лицу и являются неотчуждаемыми, т. е. их нельзя передать другому лицу, родственнику или тому, кто когда-то приобрел имущественные авторские права.
Поскольку за всю историю психодиагностики в мире разработано примерно 200 ООО тестов разного «калибра» и предназначения, то, естественно, что очень многие из них являются производными от других тестов или составленными из компонентов различных тестов. Поэтому авторы еще на стадии разработки и тем более перед изданием теста и выходом его в свет должны знать, какие компоненты тестов являются юридически законными, охраняемыми авторским правом.
Исходя из признаков произведений (тестов), защищаемых авторским правом, а также согласно сложившейся международной судебной практике, можно выделить несколько наиболее важных признаков и компонентов.
Защищаемые законами об авторском праве признаки и компоненты психологического продукта (психодиагностического инструмента):
1. Полный текст всего стимульного материала (вербальный, рисуночный, аудиовизуальный и т. д.).
2. Индивидуальная конструкция каждого субтеста, раздела или шкалы, состоящая из полной (фиксированной) совокупности пунктов (утверждений, заданий, картинок и т. п.).
3. Отдельные пункты, имеющие индивидуальные и специфические признаки и являющиеся продуктом творчества автора (авторов).
4. Руководство к методике как цельный и оригинальный текст.
5. Процедуры и результаты проверки методики на надёжность, валидность, достоверность, представленные в Технических руководствах или других сопутствующих методику документов.
6. Результаты стандартизации в виде таблиц с нормами и пересчётными шкалами.
7. Компьютерные программы, включающие в себя содержание любого из предыдущих шести пунктов признаков.
Не защищаемые законом об авторском праве признаки и компоненты психологиче-
ского продукта (психодиагностического инструмента):
1. Общенаучные понятия, теории, идеи и другие компоненты методологической основы продукта, всё, что относится к признакам метода, а не к конкретной методике.
2. Выбранные для диагностики черты, свойства, качества, включенные в конструкт новой разработанной методики.
3. Тип заданий, вопросов, утверждений.
4. Отдельные пункты любой методики -вопросы и задания, не содержащие в себе оригинальные и творческие компоненты.
5. Бланки и формы для регистрации ответов, не содержащие сложных и (или) креативных графических элементов.
Напомним еще раз, что по российским законам не требуется специальной регистрации теста, чтобы он стал охраняемым законом об интеллектуальной собственности. Достаточно обнародовать его путем публикации или даже устного публичного сообщения. Посоветуем еще раз, что авторам теста или издателям следует регистрировать как торговую марку аббревиатуру теста в Роспатенте, если ожидается, что тест со временем будет иметь большую популярность и «долгую» жизнь.
Рецензирование методики. В международной практике рецензирование разработанных тестов является фактически обязательной процедурой для издаваемых профессиональных тестов. Рецензирование проводится как в обычных научных журналах, так и в специальных изданиях. Один из первых сборников рецензий на психологические тесты был подготовлен Оскаром К. Бьюросом в 1938 г. в США, именем которого сейчас назван институт, продолжающий выпуск сборников профессиональных рецензий, а также выпускающий компендиум Test in Print (TIP) - издаваемые тесты. Сборник рецензий был назван и сохраняет свое название до сих пор - «Mental Measurement Yearbook» (MMY) - Ежегодник психических измерений. На сегодняшний день выпущено 17 томов этого ежегодника, в каждом из которых содержится по две рецензии примерно на 200 новых или модернизированных тестов.
За десятилетия своего существования MMY создал традицию, по которой каждый пользователь тестов хорошо знает, что именно в нем можно найти независимую и компетентную оценку-рецензию на интересующий их измерительный инструмент, а каждый издатель или распространитель тестов еще луч-
ше знает, что самый надежный путь к коммерческому успеху их продукта - через репутацию в MMY.
В Европе также уже несколько десятилетий существуют процедуры рецензирования тестов, например, в BPS (Великобритания), СОТ AN (Голландия), DNV (Норвегия), рецензии на основе DIN 33430 (Германия). Кроме того, существуют международные системы рецензирования тестов, например, «Модель рецензирования Европейской федерации психологических ассоциаций (EFPA) по описанию и оценке психологических тестов» (версия 3.41, 2005)1 и Руководства Международной тестовой комиссии (ITC) для перевода и адаптации тестов (2005) и для компьютерного и Интернет-тестирования (2006).
Все эти системы и процедуры имеют много общего, и главное - в них точно указано, каким критериям должны соответствовать параметры теста, чтобы он был положительно прорецензирован. Тем самым задаются общие требования и снижается субъективность рецензий.
В России до недавнего времени вообще не было опыта профессионального рецензирования психодиагностических методик. Только в прошлом году в издательстве ЮУрГУ вышел первый том «Ежегодника профессиональных рецензий и обзоров. Методики психологической диагностики и измерения» [7], прообразом которого является MMY и частично Модель для рецензирования EFPA. Ежегодник был подготовлен к изданию международной редакционной коллегией (главный редактор -Е. Эйдман, зам. главного редактора Н. Батурин). В подготовке рецензий на 20 методик приняли участие 40 членов Коллегии рецензентов - 20 докторов психологических наук и 20 не менее квалифицированных кандидатов психологических наук.
Рецензии на каждый тест начинаются с его краткой характеристики по пунктам, близким к пунктам предваряющим рецензии в MMY. Все рецензии Ежегодника (по две на каждую методику) написаны по одной стандартной схеме2.
1 Русский перевод Модели рецензирования доступен на сайте www.lab.psytest.ru с разрешения Постоянной комиссии по тестам и тестированию (ЭСТТ) ЕРРА.
2 Все Положения о рецензировании размеще-ны на специальном сайте www.yearbook.psytest.ru
Схема рецензии состоит из пяти разделов:
1. Краткое описание методики (готовится в редакции Ежегодника).
2. Автор рецензии, ученое звание, место работы.
3. Описание теста.
3.1. Характеристика концепта и конструкта методики.
3.2. Подробное описание шкал с указанием количества заданий в каждой шкале.
3.3. Анализ Руководства к тесту.
3.4. Требования к квалификации психодиагноста.
3.5. Особенности процедуры проведения (администрирования).
3.6. Инструкции по обработке результатов и таблицы перевода в шкальные оценки.
3.7. Инструкции по интерпретации результатов и обратной связи.
4. Разработка и психометрические характеристики методики.
4.1. Принцип отбора заданий (пунктов, утверждений).
4.2. Выборки апробации (объем и состав).
4.3. Надежность (виды, статистические процедуры, величины коэффициентов).
4.4. Валидность (виды, статистические процедуры, величины коэффициентов).
4.5. Нормы (разновидности и объем выборок стандартизации).
5. Заключение.
5.1. Общая оценка качества теста (достоинства и ограничения).
5.2. Соответствие инструмента оцениваемым функциям и заявленным областям применения.
5.3. Рекомендации по развитию инструмента.
Сертификация теста - это процедура документального признания, что тест соответствует Стандартам, принятым профессиональным психологическим сообществом. Сертификация психодиагностических методик необходима, и это признается во всём мире, в первую очередь для того, чтобы обеспечить безопасность обследуемых (клиентов) от причинения им вреда при использовании некачественного психодиагностического инструментария. Сертификация проводится специальными органами профессиональных психологических сообществ.
Первые стандарты тестов были разработаны в США еще Американской психологической ассоциацией (АРА) в 1954 году. С тех пор эти стандарты четыре раза пересматрива-
лись, и в настоящее время в Америке действуют Стандарты образовательного и психологического тестирования (AERA, АРА и NCME) 1999 года. Собственные стандарты имеют национальные сообщества Великобритании, Норвегии, Швеции, Германии и др., с 2001 г. существует европейский стандарт требований в виде «Модели рецензирования EFPA...» [13].
В России предпринималось несколько попыток разработки стандартов: в 80-х годах в рамках «аттестации компьютерных методик» (сопредседатели комиссии по аттестации -
A.Г. Шмелев, В.И. Похилько, A.A. Кроник и
B.Н. Каптелин); в 90-е годы А.Г. Шмелевым в проектах документов о создании системы лицензирования и экспертизы методик при РПО; в начале 10-х годов нашего века группой
C.Б. Малыха в виде «Экспертных критериев оценки методических средств психологической диагностики» при Министерстве образования РФ. Заслуживает упоминания и попытка предложить свой вариант стандартных требований к психологическим тестам, которая была предпринята ярославскими психологами A.A. Руковишниковым и М.В. Соколовой под руководством В.И. Чиркова. В основе этого проекта лежал перевод американских стандартов 1985 г. (AERA, АРА и NCME). К этим попыткам можно добавить и «Ежегодник профессиональных рецензий и обзоров. Методики психологической диагностики и измерения», изданный в 2010 г. Схема рецензий методик Ежегодника и сами рецензии по сути дела содержат стандартные требования к исследовательским и психодиагностическим методикам.
В настоящее время комиссиями по психодиагностике Экспертного Совета РПО и Президиума ФПОР на основе «Стандартов для образовательного и психологического тестирования» (AERA, АРА и NCME), «Модели для рецензирования ... тестов» (EFPA), «Руководства по адаптации тестов» (ITC) и с учетом содержания предыдущих пяти попыток российских психологов разработан проект «Стандарта требований к психодиагностическим методикам». Этот Стандарт будет использоваться при сертификации психодиагностических методик в «Центре сертификации психодиагностических методик, их пользователей и услуг в сфере психодиагностики» Научно-образовательного центра ЮУрГУ, являющегося уполномоченной организацией, аккредитованной НИСПП.
Наиболее близкими к отечественному Стандарту требований являются Стандарты для образовательного и психологического тестирования (AERA, АРА и NCME) 1999 г. Однако следует отметить существование двух отличий между американскими стандартами и отечественным.
Первое - это то, что американские стандарты представляют собой большую совокупность отдельных или частных стандартов. Всего в Стандартах 1999 г. содержится 266 частных стандартов. В отечественной психологии частные стандарты принято называть требованиями. Поэтому в России аналогичный документ назван «Стандарт требований к психодиагностическим методикам», а количество требований значительно меньше - 80.
Второе - в американских стандартах 1985 г. существовало разделение частных стандартов на категории: «обязательные», «желательные» и «условные», которое обозначает различие в степени обязательности соблюдения отдельных стандартов. В Стандартах 1999 г. такое деление фактически устранено и заменено на обсуждение в каждом конкретном случае степени «уместности» частного стандарта.
Однако для отечественной психодиагностики еще рано следовать таким примерам. Поэтому в данных Стандартах все требования разделены на три уровня «строгости» их соблюдения, как это было в Стандартах для образовательного и психологического тестирования 1985 г. В тексте отечественного проекта Стандарта требований «обязательные» требования отмечены цифрой «3», «рекомендуемые к соблюдению» - цифрой «2» и «желательные» -цифрой «1». Кроме того, вслед за ранними стандартами некоторых других стран предлагается при сертификации методик, не полностью удовлетворяющих требованиям Стандарта, ввести «условную сертификацию» методики сроком на 3 года. Разработчикам или авторам такой методики рекомендуется за этот срок устранить непринципиальные недостатки, привести методику в соответствие с требованиями стандарта, после чего «условный сертификат» будет заменен на полноценный. В следующем поколении Стандартов требований эти подходы, возможно, будут пересмотрены.
Содержание Стандарта требований разделено на 8 групп требований:
1. Требования к конструированию психодиагностических методик.
2. Требования к описанию методик и сопутствующим документам.
3. Требования к надежности методики.
4. Требования к валидности методики.
5. Требования к разработке норм.
6. Требования к процедуре проведения методики (администрирование) и обработке данных.
7. Требования к интерпретации и отчетам о результатах.
8. Требования к изданию теста и его распространению.
Следует подчеркнуть, что обсуждаемый вариант отечественного Стандарта требований является временным, как и стандарты других стран, поскольку в области психодиагностики идёт непрерывное развитие. Развивается всё: общая психодиагностическая культура, технологии разработки тестов, формы реализации тестовых решений, психометрические техники и технологии и т. д., а вместе с этим меняются и требования психологического сообщества к тестам и тестированию. Так, например, в США уже создана Комиссия, которая занимается пересмотром Стандартов 1999 и подготовкой Стандартов 2011.
Появление в России первого Стандарта требований позволяет разработчикам и издателям методики ещё до её издания самостоятельно проверить соответствие созданной методики требованиям Стандарта. Наличие Стандартов также станет серьёзным подспорьем разработчикам, только планирующим создание методик, так как будет служить «ориентиром» качества будущей методики.
Подчеркнем еще раз, что не все требования Стандарта являются строго обязательными. Существует и категория «рекомендуемых» и «желательных». Следовательно, разработчики могут предлагать издателям издавать и заявлять на сертификацию не полностью «идеальные» методики, претендуя на сертификаты с ограниченным сроком действия.
Напомним, что почти каждая вновь созданная методика «проживает» ещё один -«эксплуатационный» этап, который предполагает доработку, развитие и улучшение пользовательских характеристик методики. Этот этап и соответствующие технологии будут описаны в следующей статье.
Шаг 13. Издание методики
Этим шагом завершается седьмой этап процесса разработки теста. Первое, что должно быть подготовлено перед изданием методики, - это Руководство для пользователя.
Подготовка Руководства для пользователя. Руководство к методике является обязательным приложением к любой даже небольшой методике. В нем содержатся все сведения, необходимые для качественного проведения (администрирования) методики, обработки полученных данных, процедур перевода сырых данных в стандартные, схемы интерпретации результатов и описание моделей подготовки отчетов для конечных пользователей и т. д.
Если методику предполагается использовать для нескольких целей, то для каждой цели необходимо подготовить отдельные Руководства. Например, распространяемый сейчас английской фирмой ОРР, сокращенный вариант Калифорнийского личностного опросника СР1 - СР1 260, валидизирован для использования его как инструмента для диагностики лидерства. В связи с этим фирма выпускает отдельное Руководство [7].
В любом Руководстве разработчик должен представить несколько обязательных разделов:
1) область применения методики;
2) условия её применения (в том числе ограничения применения);
3) группы обследуемых, для которых эта методика предназначена;
4) число шкал, количество пунктов и их формат;
5) способы проведения (групповой или индивидуальный);
6) способы ответов на задания и время выполнения каждого раздела, субтеста или шкалы и методики в целом.
Кроме того, в Руководстве должны быть приведены подробные инструкции для обследуемого, содержащие все необходимые детали, чтобы он мог ответить на пункты (задания) методики так, как это было запланировано автором.
Часто разработчики помещают в Руководстве и результаты психометрической проверки методики. Однако это возможно только для небольших тестов. Подробные сведения о разработке и психометрической проверке методики целесообразно выносить в отдельные сборники - «Технические отчёты» (см. выше).
Одной из серьезных проблем является проблема легализации ключей в Руководствах к бланковым методикам. Современным разработчикам коммерческих методик, конечно же, не хочется публиковать ключи в Руководстве, поскольку это делает методику практически
незащищенной от копирования и несанкционированного распространения. В этом случае авторам остается только уповать на соблюдение этических норм психологами и профессионально-этических нормативов специалиста, выполняющего психодиагностические действия [10, 11]. Отметим здесь, что в некоторых странах (например, США) за публичное раскрытие ключей к профессиональным тестам предусмотрено даже уголовное наказание [1]. Многие современные издатели за рубежом и их представительства в России даже для бланковых тестов не публикуют ключи в Руководствах, а предлагают покупателям пользоваться такой услугой, как обработка теста в фирме-издателе, а ещё чаще у её дистрибьютера за небольшую плату, где при желании можно заказать и подготовку интерпретации результатов в виде отчетов для разных категорий конечных пользователей.
Другой еще более современной тенденцией в международной практике является переход на компьютеризированную форму проведения «бланковых» в прошлом тестов и еще шире - проведение специально созданных компьютерных методик в режиме on-line. В первом случае ключи методики защищены электронными программами; во втором — они вообще хранятся на сервере фирмы дистрибьютора. Уже к 2008 году по данным обследования EFPA и ITC, проведенного в 45 странах (см. статью Д. Бертрама в этом номере Вестника), более 80 % случаев тестирования проводилось в сети Интернет. В бланковом варианте сохраняются методики для детей, специальных категорий обследуемых и требующие персонального участия психодиагноста.
Издание методики. И в отечественной, и в международной практике существуют два способа издания: 1) автор сам организует издание и распространение методик или это делает университет (организация), где он работает; 2) автор передает (продает) имущественные права на издание и распространение методики специализирующимся на этом фирмам-издателям, а те, в свою очередь, передают (перепродают) часть прав дистрибьюторам.
В настоящее время в России существует 9 отечественных фирм, издающих в общей сумме около 200 методик, почти половина из которых является переводами зарубежных тестов (при этом большинство из них - это первые издания давно устаревших тестов 40-х -60-х годов). Более того, юридический статус
этих тестов не всегда очевиден. Во многих случаях это контрафактные издания.
Выше в статье были рассмотрены юридические процедуры, соблюдение которых обеспечивает законное существование методик отечественных авторов и соблюдение авторских прав зарубежных. Отметим ещё одну проблему издания методик. Некоторые издатели контрафактных зарубежных методик пытаются переложить ответственность на лиц, которые предложили им для издания перевод методики без предоставления документов о наличии у них каких-либо прав, разрешающих им переводить и «адаптировать» чужую методику. При этом такие издатели считают, что именно эти лица и должны нести ответственность, а они, заключив с ним договор, остаются в правовом поле. На самом деле это не так - поскольку на юридическом языке речь идет о «продаже краденого».
В проекте отечественного Стандарта требований существует целый раздел - «Требования к изданию теста и его распространению», в котором сформулировано девять основных требований, позволяющих автору и издателю достойно пройти этап издания разработанной методики.
Среди требований к распространению особо отметим одно - важное для разработчиков: «Издание методики в свободно распространяемых печатных изданиях допустимо только для методик, предназначенных для научных целей и самопознания пользователя». Автор, разрабатывающий психодиагностическую методику для практического использования (индивидуальная диагностика, отбор персонала, судебные экспертизы и т. д.), должен знать о том, что в Решении президиума РПО от 04.07.2008 года сказано, что психодиагностические методики, опубликованные полностью с текстами заданий, ключами и моделями интрепретаций, не могут претендовать в дальнейшем на получение сертификата методики как психодиагностической [9].
То, что это положение соответствует международным требованиям подтверждает цитата из книги А. Анастази: «Меры по ограничению распространения тестов преследуют двоякую цель: неразглашение тестовых материалов и предупреждение их неправильного применения. Тесты, которые должны быть закрытыми вследствие их применения при отборе и расстановке кадров или при принятии диагностических решений, по понятным
причинам не могут публиковаться в средствах массовой информации ни целиком, ни частично. Предание гласности даже каких-либо отдельных заданий теста может сделать невалидным последующее применение теста к другим людям» [1].
В заключение следует напомнить о «профессиональной ответственности издателей тестов». Известно, что в каталогах основных издателей тестов приводятся требования, которым должны удовлетворять их покупатели. Право на приобретение тестов обычно предоставляется только лицам, соответствующим определенному квалификационному уровню.
Все «шаги», соответствующие «техническому» этапу разработки методики традиционно оставались «за кругом» интересов отечественного разработчика и издателя. В настоящее время такая ситуация серьёзно затрудняет взаимодействие с зарубежными коллегами на цивилизованной правовой основе и замедляет развитие отечественной психодиагностики. Желательно, чтобы все описанные выше процедуры стали необходимыми компонентами разработки любого теста, претендующего на научную обоснованность и на право быть использованным в психологической науке и практике.
Литература
1. Анастази, А. Психологическое тестирование / А. Анастази, С. Урбина. - СПб.: Питер, 2001 - 668 с.
2. Барлас, Т. В. Блог на сайте www.ht.ru тема № 10 «О количественном и качественном подходе к психодиагностике» (дата обращения: 02.02.2011).
3. Батурин, H.A. Авторские права на психодиагностические методики / H.A. Батурин, A.B. Минбалеев // ИС. Авторское право и смежные права. - 2010. - № 6.
4. Батурин, H.A. Проблемы охраны авторских прав на психологические продукты / H.A. Батурин, A.B. Минбалеев // Вестник ЮУрГУ. Серия «Психология». - 2010. -Вып. 8. -№4(180).
5. Батурин, H.A. Технология разработки тестов: часть I / H.A. Батурин, H.H. Мельникова // Вестник ЮУрГУ. Серия «Психология». - 2009. - Вып. 6. -No 30 (163).
6. Гражданский кодекс Российской Федерации (часть четвёртая) от 18 декабря 2006 г. № 230-ФЭ//Российская газета. - 2006, 26 дек.
7. Ежегодник профессиональных рецензий и обзоров. Методики психологической диа-
гностики и измерения / под ред. Н.А. Батурина, Е.В. Эйдмана. - Челябинск: Издательский центр ЮУрГУ, 2010. -Т. 1.- 293 с.
8. Закон Российской Федерации «Об авторском праве и смежных правах» от 09.07.1993 № 5351-1 //Ведомости СНДРФ. -1993.-№ 32. -Ст. 1242.
9. Постановление Президиума Российского психологического общества от 04 июня 2008 года // Вестник ЮУрГУ. Серия «Психология». -2008. - Вып. 2.-№ 32(132).
10. Шмелёв, А.Г. Тест как оружие / А. Г. Шмелёв // Журнал высшей школы экономики. Серия «Психология». - 2004. - Т. 1. -№ 2. - С. 40-53.
11. Шмелёв, А.Г. Интернет-сообщество психодиагностов как инструмент профессиональной интеграции и охраны профессио-
налъной тайны /А.Г. Шмелёв, А.С. Науменко // Вестник ЮУрГУ. Серия «Психология». -2009. - Вып. 6. -№ 30. - С. 31-45.
12. American Educational Research Association, American Psychological Association, & National Council on Measurement in Education. Standards for educational and psychological testing. - Washington, DC: American Educational Research Association, 1999. - 101 p.
13. Efpa review model for the description and evaluation of psychological testsTest review form and notes for reviewers // http://www. efpa. eu/professional-development. Официально разрешённый перевод Модели на сайте
http://lab.psytest.ru/ru/Poleznajajnformacija/Model jecenzirovanija opisanijaj ocenki_psihologic heskihjestovj-azrabotannaja_EFPA_
Поступила в редакцию 7 февраля 2011 г.
Батурин Николай Алексеевич. Доктор психологических наук, профессор, декан факультета психологии, Южно-Уральский государственный университет, г. Челябинск; [email protected]
Nikolay A. Baturin. PsyD, professor, the dean of the Faculty of psychology, head of chair «Psychological diagnostics and Counseling» of South Ural State University; [email protected]
Мельникова Наталья Николаевна. Кандидат психологических наук, доцент кафедры социальной психологии, Южно-Уральский государственный университет, г. Челябинск; [email protected]
Natalia N. Melnikova. Candidate of Psychological sciences, docent of department of social psychology of South Ural State University. Area of scientific interests: psychology of the organisation of a life, socially-psychological adaptation of the person, the system approach in psychology; [email protected]
