ЗАБЫТЫЙ, НО НЕ УТРАЧЕННЫЙ ТЕСТ
В. И. Лубовский, С. М. Валявко, К. Е. Князев, МГПУ, Москва
В статье рассматривается эмпирическая попытка повышения эффективности методики «Рисуночный тест Вартегга». На основе современных подходов в психодиагностике и достижений компьютерной статистики авторы рассматривают возможность объективизации рисуночного теста и приводят сравнительные данные о его надежности и валидности.
Ключевые слова: психодиагностика; валидность; надежность; интерпретация; рисуночный тест; рисуночный тест Вартегга.
LOST, BUT NOT FORGOTTEN TEST
V. I. Lubovsky, S. M. Valyavko, K. E. Knyazev, MCU, Moscow
The article examines an empirical attempt to improve efficiency of the "Wartegg drawing test". On the basis of modern psycho-diagnostics approaches and achievements of computer statistics the authors consider that it is possible to make this drawing test more objective and with this in view the comparative data of its reliability and validity results are presented.
Keywords: psychodiagnostics; validity; reliability; interpretation; drawing tests; Wartegg drawing test; WZT.
Введение
В 50-60-е годы прошлого века было разработано и получило широкую известность большинство рисуночных тестов. Интерес исследователей и практических психологов к ним постоянно растет. Несколько в стороне остались рисуночные методики с использованием незаконченных стимулов, в частности, рисуночный тест Вартегга (Wartegg Zeichen Test, сокр. WZT).- На русский язык тест впервые был переведен в 2004 г. (второе издание — 2007 г.). К сожалению, формат этих изданий не включал исторических сведений о создании методики и опыте его использования. Поэтому для обнаружения неизвестных исторических обстоятельств, при которых был создан тест, и прояснения судьбы его автора мы привлекли для литературно-исторического анализа многочисленные зарубежные издания [9-14; 16-20; 23; 24; 27-29].
«Жизнь» теста, по нашему мнению, достойна быть отдельной темой для изучения. Приведем некоторые сведения, насколько нам
известно, не публиковавшиеся на русском языке ранее.
Краткий исторический экскурс
Рисуночный тест Вартегга — проективная рисуночная методика, разработанная в 1920-1930-х гг. австро-германским психологом Эрихом Вартеггом на уникальной методологической основе — сплаве гештальт-психологии и психоанализа.
Э. Вартегг познакомился с К. Г. Юнгом и В. В. Кандинским на курсах «Школа мудрости», организованных Г. Кейсерлингом в Берлине. В дальнейшем Вартегг писал, что именно знакомство с великим художником (Кандинским) и великим психологом (Юнгом) в значительной мере повлияло на него, подсказав некоторые идеи для теста [20]. С 1925 г. Э. Вартегг был частым участником мероприятий Берлинского психоаналитического общества, попав туда с письменного одобрения самого З. Фрейда, но так и не став его
действительным членом (в связи с отсутствием медицинского образования, обязательного в тот момент для членства). В дальнейшем Вартегг вел переписку с З. Фрейдом, в частности интересовался его мнением о возможности синтеза психоанализа и гештальтпси-хологии в 1929 г. [13]. Сохранилось всего лишь несколько писем.
По политическим соображениям в 1930-е гг. нежелательно было ссылаться на работы эмигрантов, покинувших Германию, поэтому Вартегг, живший в Берлине, всего два раза упоминал фамилии основоположников геш-тальт-подхода в своих работах. Однако именно идеи М. Вертгеймера, В. Келлера, К. Коф-ки и в особенности К. Левина, с которым Вартегг лично консультировался по вопросам восприятия стимулов, стали одной из опор для гештальтпсихологической составляющей концепции WZT.
После Второй мировой войны Э. Вартегг оказался на территории ГДР, где подвергался гонениям за предыдущую работу по созданию теста на основе гештальтпсихологии и психоанализа. Ему пришлось полностью переделать методологическую основу WZT под единственную «идейно верную марксизму-ленинизму» «павловскую психологию». Кроме того, контакты с западными институтами не поощрялись, и за попытки связаться с ними Вартегг был отстранен от участия во всех конференциях 50-х гг. прошлого века, выведен из состава Немецкой психологической ассоциации. Ему был закрыт доступ в большинство психологических лабораторий. В конечном итоге Вартегг в 1960 г. уволился из клиники в Восточном Берлине и вышел на пенсию. Он нигде больше официально не работал. В 1983 г. скончался в возрасте 86 лет.
Рисуночный тест Вартегга по причинам, указанным выше, был малоизвестен в англоговорящих и русскоговорящих странах, однако широко использовался в странах Латинской Америки, в Финляндии, Италии и германого-ворящих странах. Например, тест с популя-ционными нормами публиковали в Швейцарии (1994) [6], в Италии (1998) [7] и в Швеции (2000) [26]. О популярности его говорит тот факт, что финские издатели тестов
Psykologien Kustannus OY в 2000 г. продали около 180 000 копий методики [31]. В Бразилии WZT и сейчас является одной из самых популярных методик для отбора персонала [12; 13].
Особенностью судьбы WZT является тот факт, что, несмотря на его популярность в ряде стран, фактически отсутствуют исследования теста как инструмента диагностики. На сайте PsycInfo содержится несколько тысяч исследований, в которых применяется тест Роршаха, а WZT фигурирует только в восьмидесяти восьми [15; 18; 19; 22; 23; 24]. Существует очень мало исследований валидности и надежности WZT, и результаты, которые уже опубликованы, не являются окончательными.
Кроме того, периодически звучат призывы бойкотировать методику, так как она создавалась во времена нацистской Германии. Вар-теггу до сих пор не могут простить его якобы «нацистское прошлое» [20; 23]. Тест был опубликован в 30-х гг. ХХ в. в журнале «Национал-социалистическая Германия» (что, кстати, Вартегг сделал только из-за проблем, которые на него навлекли контакты с «еврейским психоанализом» и отсутствие немецкого гражданства), одновременно соседствуя в номерах журнала со статьями общепризнанным всеми К. Г. Юнгом, к которому подобные претензии не предъявлялись. Работы Вартегга всегда подвергались сильной цензуре. Этот факт также не мог способствовать популярности теста в англосаксонской и советской психологии.
Мы решили, не акцентируя внимание на особенностях, обусловленных сложным историческим контекстом, обратиться к научной и практической ценности методики. Значимость ее подтверждает, например, тот факт, что это единственная методика, способная оценивать потребности детей дошкольного возраста.
Описание процедуры модификации методики «Рисуночный тест Вартегга»
Стандартная A4-форма теста содержит 8 белых квадратов 4 на 4 сантиметра по 4 в ряду, разделенные и обрамленные черными линиями. В каждом квадрате бланка есть небольшой символ, как линия или точка, отправной пункт для рисования / дорисовывания.
Насколько нам известно, в российской психологической практике не предпринимались адаптации WZT к дошкольному возрасту. В мировой практике была подобная попытка М. Кингет (1952), которая предприняла модификацию инструкции в соответствии с возрастом и провела успешную апробацию на 163 детях-дошкольниках [16].
Проведя пилотажное испытание в 2010 г., мы выяснили, что дети в возрасте от 5 до 7 лет используют как отправные точки стимулы, заложенные в методике лишь в 63,3 % случаев [2]. На наш взгляд, этот факт обусловлен тем, что изначально методика разрабатывалась в 192030-е гг. и впоследствии много раз подвергалась многочисленным модификациям [16; 18; 24 и др.], часто не отражающим архетипы, заложенные автором в первоначальном варианте. Особенно показательна в этом вопросе чрезмерно перегруженная инструкция к тесту, состоящая из 66 слов (3 абзаца текста в детском варианте инструкции у М. Кингет). Это препятствует пониманию тестового задания, особенно детьми с недостатками развития [5].
Мы модифицировали стандартную форму ф1М-А4) стимульного материала с учетом современных требований и возможностей детей старшего дошкольного возраста с опорой на первичный вариант, предложенный самим Э. Вартеггом [30].
Следующий пункт работы состоял в модификации инструкции, так как она не должна нарушать экологическую валидность1 возраста. В данном случае мы имеем в виду 5-6-летних детей (в России — дошкольный возраст), которые еще не умеют читать и писать, понимать предложения, сложные в лексико-грамматиче-ском отношении, и выделять главное из этих предложений. Мы стремились максимально упростить инструкцию, сохранив оригинальный посыл, при этом не внося ненужного диссонанса с авторским содержанием. Текст инструкции, предлагаемый нами, звучит так: «Один ребенок хотел нарисовать 8 рисунков, но не успел. Его позвали гулять. Помоги ему дорисовать эти рисунки» (17 слов). Прием апелляции к чувствам ребенка достаточно
1 Экологическая валидность описывает соответствие процедуры и условий исследования «естественной» реальности.
распространен в диагностике детского возраста (например, тест Торренса), особенно он «работает» в ситуациях с незаконченными стимулами.
Проведя апробацию стимульного материала и инструкции на 200 испытуемых, мы убедились в том, что дошкольники достоверно чаще (в 98,3 % всех случаев) стали реагировать на архетипические стимулы, заложенные в тесте, использовать их в качестве отправных точек.
Начиная с Э. Вартегга и по сей день повсеместно применяется только качественный анализ [6-9; 14; 16; 18; 19; 21; 26; 30]. Следующий этап нашей работы заключался в модификации процедуры интерпретации. Для этого обратимся к изначальному замыслу создателя методики.
По мнению автора теста, уровневая диагностическая норма может быть применена с 3-6-летнего возраста, и самим автором заложена идея о критериях перевода интерпретации качественных особенностей рисунков в количественные показатели, которая, однако, так и осталась идеей, не нашедшей практической реализации. В своей работе Э. Вартегг подходил к вопросам обработки теста с клинической точки зрения. Мы же интерпретируем тест, опираясь на психологический подход, т. е. на архетипическое содержание символов. Можно выделить три основных варианта связи рисунка с предлагаемым стимулом:
1. Архетипический стимульный знак игнорируется (выражение Э. Вартегга), т. е. сознательно избегается.
2. Стимульный знак включен в структуру рисунка, но архетипическое содержание не задействовано (т. е. сознательно избегается).
3. Стимульный знак включен в структуру рисунка, и архетипическое содержание используется в полной мере.
Таким образом, содержание, заложенное Вартеггом, позволило нам выделить следующие диагностические критерии, которые заключаются в использовании заложенного архетипа (см. рис. 1):
• квадрат 1 (точка) — уверенность / неуверенность в себе;
• квадрат 2 (маленькая волнистая линия) — доброжелательность / холодность; контактность / замкнутость;
Рис. 1. Модифицированный нами вариант стимульного материала рисуночного теста Вартегга
• квадрат 3 (последовательность трех увеличивающихся вертикальных штрихов, расположенных на равных расстояниях друг от друга) — мотив стремления к успеху / мотив избегания неудач;
• квадрат 4 (маленький черный квадрат) — тревожность; страхи;
• квадрат 5 (противостоящие продольный и поперечный штрихи) — активность / пассивность; агрессия;
• квадрат 6 (горизонтальный и вертикальный штрихи) — гармония социального окружения;
• квадрат 7 (полукруг из точек) — экстра-вертность / интровертность; сензитив-ность к социальному взаимодействию;
• квадрат 8 (сводчатая дуга) — потребность в аффилиации; потребность в защите; потребность в общении [4].
Как и при интерпретации других проективных рисуночных тестов, следует помнить, что трактовки отдельных единичных показателей могут использоваться лишь как вехи при обработке тестового материала. Только целостная и стандартизированная интерпретация уникальной конфигурации признаков, обязательно дополненная общим впечатлением от рисунков, может дать полноценную квалификацию личности. Именно этот факт послужил теоретической основой для разработки оригинальной интерпретационной схемы методики WZT.
В качестве первого шага был проверен вариант интерпретации WZT, предложенный самим Э. Вартеггом. С позиции психометрического анализа обнаружено отсутствие
интервальной шкалы оценки результатов, и соответственно адекватного количественного результата, необходимого для подсчета основных психометрических показателей теста. Мы решили эту проблему путем введения интервальной шкалы оценки в тех местах, где автором были заложены хотя бы зачатки этого.
Во-вторых, на основе изначального несоответствия методики параметрам эффективного теста [15] были созданы и апробированы два варианта интерпретации:
1) скомбинировав изначальные авторские и «поставторские» схемы интерпретации, отбрасывая «лишние» (с математической точки зрения) элементы интерпретационной схемы, т. е. повышая внутреннюю согласованность каждого измеряемого параметра с помощью а-Кронбаха2;
2) предложив свою схему интерпретации при помощи метода контрастных групп3.
2 В пакете статистических прикладных программ IBM SPSS Statistics существует модуль проверки внутренней согласованности методик, с помощью которого можно увидеть внутреннюю согласованность методики при исключении пункта.
3 Под методом контрастных групп понимается процесс выделения групп по определенной характеристике (например, тревожности или агрессивности) и вычленение в рисунках этой группы определенного паттерна, закономерности, характерной именно для этой изучаемой группы. В процессе используется факторный анализ для комбинирования признаков по личностным характеристикам и а-Кронбаха для гомогенизации их.
Точно такую же работу по адаптации и модификации методик мы провели с другими рисуночными методиками: «Нарисуй человека», «Рисунок семьи», «Звезды и волны» [6].
Методы проверки
Основной проблемой для конструктной (конвергентной) проверки с учетом особенностей возраста и речевого статуса стало ограниченное число стандартизированных методик (с высокими показателями надежности, валидности, дискриминативности и установленной объективностью), пригодных для сравнения.
Необходимо учитывать, что особенности дошкольного возраста обуславливают существенные ограничения в выборе методик для проверки. Так, нецелесообразно использовать в качестве диагностического инструментария личностного развития методики следующих видов:
1) любые тесты, в которых задействует-ся письменная речь с точки зрения акта чтения и письма;
2) методики, семантический смысл содержания и инструкции которых затруднены сложными грамматическими конструкциями;
3) инструменты диагностики, требующие определенного уровня развития абстрактно-логического мышления;
4) результаты, полученные с помощью метода опроса, часто вызывают сомнение в объективности из-за непонимания инструкции и задаваемых вопросов (особенно у детей с ограниченными возможностями), а также высоким риском социально-приемлемых ответов.
Таким образом, экологическую валид-ность возраста нарушают следующие инструменты изучения личностного развития:
1) тесты-опросники;
2) анкеты;
3) опросы.
Фактически после рассмотрения остались только проективные методы оценки личностного развития. Таким образом, сузив перечень методов проверки до одной экологичной категории, конгруэнтной возрасту, мы обнаружили в доступной нам литературе только две методики, подходящие для проверки (т. е. измеряющие
те же личностные характеристики, что и рисуночный тест Вартегга), не вызывающие сомнений в объективности и обладающие высокими психометрическими свойствами: тест тревожности (Р. Теммл, М. Дорки, В. Амен) и тест общей и специальной мотивации [1].
Поэтому в дополнение к этим немногочисленным стандартизированным методикам нам пришлось прибегать к методу наблюдения как к универсальному методу проверки (£^а1а).
С применением метода наблюдения в любой науке возникает ряд методологических проблем. К их числу относится проблема объективности информации, получаемой с помощью наблюдения. Наблюдатель всегда руководствуется определенной идеей, концепцией или гипотезой. Он не просто регистрирует факты, а сознательно отбирает из них те, которые либо подтверждают, либо опровергают его мнение. Интерпретация наблюдения также всегда осуществляется с помощью определенных теоретических положений. Поэтому следует снижать субъективность. Для максимальной объективизации метода наблюдения в нашей работе мы учитывали правила, описанные Р. Б. Кет-телом, обозначив требования, по сути, к системному (в России принят термин «стандартизированное») наблюдению.
Системное (стандартизированное) наблюдение, помимо своей уникальности, безусловно, является привлекательным методом, в том числе и в психологической диагностике лиц с ограниченными возможностями, еще и потому, что не всегда можно адаптировать стимульный материал, задания, ситуации, возрастные критерии к уровню умственного и речевого развития и индивидуальным предпочтениям детей. Наблюдение, напротив, ничего не требует от ребенка с ограниченными возможностями. Оно по сути своей для них является наиболее конгруэнтным и экологичным исследовательским методом [3].
На основе теоретического анализа и собственных наблюдений за детьми нами были предложены и апробированы критерии застенчивости, тревожности, демонстративности, обидчивости. Приведем пример выделенных критериев застенчивости, которые никем не использовались ранее, и вошли в оригинальную схему системного наблюдения:
ощущает себя незащищенным, беспомощным в некоторых ситуациях; испытывает робость при общении со сверстниками и взрослыми; есть зависимость от взрослого; самостоятельно не начинает никаких действий; избегает ссор; стремится к одобрению; стесняется незнакомых людей; редко «огрызается» на замечания; склонен играть в одиночестве (с избранными детьми);
не любит привлекать к себе внимание; зацикливается на своих недостатках; боится быть неправым (знает ответ, но не отвечает).
старшего дошкольного возраста и у 7,05 % их сверстников с общим недоразвитием речи [3].
Таким образом, наблюдение в нашем исследовании является главным методом проверки. Далее опишем результаты масштабного исследования с выборкой более 600 испытуемых в возрасте от 5 до 7 лет.
Результаты, полученные после модификации WZT
Мы сравнили данные тестирования, проведенного с помощью рисуночных методик с результатами наблюдения, и получили следующее (табл. 1).
Таблица 1
Сравнение кумулятивных психометрических показателей рисуночных методик
до и после модификации
Методики Общий коэффициент надежности Общий коэффициент валидности
Авторский вариант методики Модификация при помощи а-Кронбаха (1) Новые схемы интерпретации (2) Авторский вариант методики Модификация при помощи а-Кронбаха (1) Новые схемы интерпретации (2)
Рисунок человека 0,613 0,706 0,832 0,434 0,743 0,801
Рисунок семьи 0,323 0,734 0,732 0,143 0,531 0,612
0,334 0,923 0,954 0,145 0,834 0,883
Звезды и волны 0,275 0,839 0,838 0,165 0,598 0,652
Отметим, что метод системного наблюдения использовался из-за отсутствия других диагностических средств для получения информации по распространенности застенчивости в дошкольном возрасте. В результате проведенного нами наблюдения было установлено, что застенчивость проявляется у 7,92 % нормально развивающихся детей
Полученные после выполнения нашей модификации (наличие интервальной шкалы оценки и, соответственно, достаточные коэффициенты надежности и валидности) статистические данные убедительно подтверждают эффективность теоретической основы (объединение психоанализа и гештальтпсихологии) рисуночного теста Вартегга.
Литература
1. Валявко С. М. Эмпирический опыт конструирования и формализации психодиагностических методик на примере теста общей и специальной мотивации // Системная психология и социология. 2014. № 3 (11). С. 28-40.
2. Валявко С. М., Князев К. Е. Возможности использования проективных методик для диагностики особенностей личностного развития дошкольников с общим недоразвитием речи // Экспериментальная психология. 2014. Т. 7. № 4. С. 110-122.
3. Валявко С. М., Князева А. А. Изучение личностного развития дошкольников с помощью стандартизированного наблюдения // Системная психология. 2015. № 2 (14). С. 15-24.
4. Валявко С. М., Князев К. Е., Емельянова (Князева) А. А. О возможности диагностики некоторых особенностей личностного развития дошкольников с речевым дизонтогенезом рисуночными тестами // Системная психология и социология. 2013. № 8. С. 72-78.
5. Лубовский В. И., Валявко С. М. О психодиагностическом значении тестовой инструкции // Специальное образование. 2016. № 2 (42). С. 65-76.
6. Avé-Lallement U., Vetter A. Der Wartegg-Zeichentest in der Lebensberatung. München: Reinhardt, 1994. 189 p.
7. Crisi A. Manuale del Test di Wartegg. Roma: MaGi, 1998. 368 p.
8. Diagnostikkomission SVB Label des Wartegg Zeichentests. http://www.testraum.ch/Serie%207/wzt. htm (31.05.2007).
9. Fontana U. L'Uso del test di Wartegg nella pratica clinica. Verona: CISERP. M. 1984. 189 p.
10. Fontana U. Una tecnica da non dimenticare. Il WZT validato e allargato per il clinico di oggi. Venice: Edizioni Quaderni ISRE. 2005.
11. Frank L. K. Projective methods for the study of personality // Journal of Personality. 1939. № 8. P. 389-413.
12. Freitas A. M. L. Guia de Aplicagäo e Avaliagäo do Teste Wartegg. Säo Paulo: Casa do Psicólogo. 1993. 256 p.
13. Horn M., Lockot R. Anmerkung zu zwei Briefen von Sigmund Freud an Ehrig Wartegg // Mit Ohne Freud. Zur Geschichte der Psychoanalyse in Ostdeutschland / Eds. H. Bernhardt, R. Lockot. Giessen: Psychosozial-Verlag, 2000. P. 112-117.
14. Kfouri N. J. Wartegg: Da Teoria á Prática. Säo Paulo: Vetor Editora Psico-Pedagógica, 1999. 139 p.
15. Kline P. Psychometrics and Psychology. London: Academic Press, 1979. 381 p.
16. Kinget M. The Drawing-Completion Test. New York: Grune & Stratton, 1952. 155 p.
17. Lockot R. Ehrig Warteggs Selbstverwirklichung in der Andeutung // Mit Ohne Freud. Zur Geschichte der Psychoanalyse in Ostdeutschland / Eds. H. Bernhardt, R. Lockot. Giessen: Psychosozial-Verlag, 2000. P. 118-127.
18. Lossen H., Schott G. Gestaltung und Verlaufsdynamik. Biel: Institut für Psycho-Hygiene, 1952. P. 55-71.
19. Noronha A. P. P., Primi R., Alchieri J. C. Parámetros psicométricos: uma análise de testes psicológicos comercializados no Brasil // Psicologia Ciencia e Profissäo. 2004. № 24 (4). P. 88-99.
20. Roivainen E. Ehrig Wartegg ja Wartegg-testin varhaisvaiheet // Psykologia. 2006. № 41 (4). P. 260-268.
21. Scarpellini C. Diagnosi di personalitá col reattivo di realizzazione grafica. Dal reattivo di disegno di E. Wartegg. Contributi dell'Istituto di Psicologia, Universita Cattolica del Sacro Cuore, XX. 1962. P. 1-82.
22. Souza C. V., Primi R., Miguel F. K. Validade do Teste Wartegg: correlagäo com 16PF, BPR-5 e desempen-ho profissional // Avaliagäo psicológica. 2007. № 6 (1). Р. 39-49.
23. Takala M. Studies of the Wartegg Drawing Completion Test. Annales Academiae Scientiarum Fennicae, 1964. B 131. Р. 1-112.
24. Takala M., Hakkarainen M. Über Faktorenstruktur und Validität des Wartegg-Zeichentests. Annales Academiae Scientiarum Fennicae, 1953. B 81, Р. 95-122.
25. Tamminen S., Lindeman M. Wartegg-luotettava persoonallisuustesti vai maagista ajattelua // Psykologia. 2000. № 35 (4). Р. 325-331.
26. Vetter A. Der Deutungstest (Auffassungstest) Wartegg-Vetter. Stuttgart: Wolf, 1952. 400 р.
27. Wartegg E. Ganzheit und Struktur: Gefühl // Neue Psychologische Studien. 1934. № 12 (1). Р. 99-127.
28. Wartegg E. Gefühl und Fantasiebild // Industrielle Psychotechnik. 1936. № 13 (8). Р. 33-35.
29. Wartegg E. Gestaltung und Charakter. Zeitschrift für Angewandte Psychologie und Charakterkunde 84, Leipzig: Beiheft, 1939. 58 p.
30. Wartegg E. Schichtdiagnostik-Der Zeichentest (WZT). Göttingen: Hogrefe, 1953. P. 122-136.
References
1. Valyavko S. M. Empirical Experience in the Design and Formalization of Psychodiagnostic Methods on the Test Example of General and Specific Motivation // Systems Psychology and Sociology. 2014. № 3 (11). P. 28-40.
2. Valyavko S. M., Knyazev K. E. The Possibility of Using Projective Techniques to Diagnose the Peculiarities of the Personality Development of Preschool Children with General Underdevelopment of Speech // Experimental psychology. 2014. Vol. 7. № 4 . P. 110-122.
3. Valyavko S. M., Knyazeva A. A. The Study of Personality Development of Preschool Children by Using a Standardized Surveillance // Systems psychology and sociology. 2015. № 2 (14). P. 15-24.
4. Valyavko S. M., Knyazev K. E., Emelyanova (Knyazev) A. A. On the Possibility of Some Diagnostic Features of Personal Development of Preschool Children With Verbal Dysontogenesis Picturesque Tests // Systems psychology and sociology. 2013. № 8. P. 72-78.
5. Lubovskiy V. I., Valyavko S. M. On Diagnostic Significance of Test Instruction // Special Education. 2016. № 2 (42). P.65-76.
6. Avé-Lallement U., Vetter A. Der Wartegg-Zeichentest in der Lebensberatung. München: Reinhardt, 1994. 189 p.
7. Crisi A. Manuale del Test di Wartegg. Roma: MaGi, 1998. 368 p.
8. Diagnostikkomission SVB Label des Wartegg Zeichentests. http://www.testraum.ch/Serie%207/wzt. htm (31.05.2007).
9. Fontana U. L'Uso del test di Wartegg nella pratica clinica. Verona: CISERP. M. 1984. 189 p.
10. Fontana U. Una tecnica da non dimenticare. Il WZT validato e allargato per il clinico di oggi. Venice: Edizioni Quaderni ISRE. 2005.
11. Frank L. K. Projective methods for the study of personality // Journal of Personality. 1939. № 8. P. 389-413.
12. Freitas A. M. L. Guia de Aplicagäo e Avaliagäo do Teste Wartegg. Säo Paulo: Casa do Psicólogo. 1993. 256 p.
13. Horn M., Lockot R. Anmerkung zu zwei Briefen von Sigmund Freud an Ehrig Wartegg // Mit Ohne Freud. Zur Geschichte der Psychoanalyse in Ostdeutschland / Eds. H. Bernhardt, R. Lockot. Giessen: Psychosozial-Verlag, 2000. P. 112-117.
14. Kfouri N. J. Wartegg: Da Teoria á Prática. Säo Paulo: Vetor Editora Psico-Pedagógica, 1999. 139 p.
15. Kline P. Psychometrics and Psychology. London: Academic Press, 1979. 381 p.
16. Kinget M. The Drawing-Completion Test. New York: Grune & Stratton, 1952. 155 p.
17. Lockot R. Ehrig Warteggs Selbstverwirklichung in der Andeutung // Mit Ohne Freud. Zur Geschichte der Psychoanalyse in Ostdeutschland / Eds. H. Bernhardt, R. Lockot. Giessen: Psychosozial-Verlag, 2000. P. 118-127.
18. Lossen H., Schott G. Gestaltung und Verlaufsdynamik. Biel: Institut für Psycho-Hygiene, 1952. P. 55-71.
19. Noronha A. P. P., Primi R., Alchieri J. C. Parámetros psicométricos: uma análise de testes psicológicos comercializados no Brasil // Psicologia Ciencia e Profissäo. 2004. № 24 (4). P. 88-99.
20. Roivainen E. Ehrig Wartegg ja Wartegg-testin varhaisvaiheet // Psykologia. 2006. № 41 (4). P. 260-268.
21. Scarpellini C. Diagnosi di personalitá col reattivo di realizzazione grafica. Dal reattivo di disegno di E. Wartegg. Contributi dell'Istituto di Psicologia, Universita Cattolica del Sacro Cuore, XX. 1962. P. 1-82.
22. Souza C. V., Primi R., Miguel F. K. Validade do Teste Wartegg: correlagäo com 16PF, BPR-5 e desempen-ho profissional // Avaliagäo psicológica. 2007. № 6 (1). P. 39-49.
23. Takala M. Studies of the Wartegg Drawing Completion Test. Annales Academiae Scientiarum Fennicae, 1964. B 131. P. 1-112.
24. Takala M., Hakkarainen M. Über Faktorenstruktur und Validität des Wartegg-Zeichentests. Annales Academiae Scientiarum Fennicae, 1953. B 81, P. 95-122.
25. Tamminen S., Lindeman M. Wartegg-luotettava persoonallisuustesti vai maagista ajattelua // Psykologia. 2000. № 35 (4). P. 325-331.
26. Vetter A. Der Deutungstest (Auffassungstest) Wartegg-Vetter. Stuttgart: Wolf, 1952. 400 p.
27. Wartegg E. Ganzheit und Struktur: Gefühl // Neue Psychologische Studien. 1934. № 12 (1). P. 99-127.
28. Wartegg E. Gefühl und Fantasiebild // Industrielle Psychotechnik. 1936. № 13 (8). P. 33-35.
29. Wartegg E. Gestaltung und Charakter. Zeitschrift für Angewandte Psychologie und Charakterkunde 84, Leipzig: Beiheft, 1939. 58 p.
30. Wartegg E. Schichtdiagnostik-Der Zeichentest (WZT). Göttingen: Hogrefe, 1953. P. 122-136.