CC BY
53
НАУЧНО-ТЕХНИЧЕСКИИ ВЕСТНИК ИНФОРМАЦИОННЫХ ТЕХНОЛОГИИ, МЕХАНИКИ И ОПТИКИ январь-февраль 2016 Том 16 № 1 ISSN 2226-1494 http://ntv.i1mo.ru/
SCIENTIFIC AND TECHNICAL JOURNAL OF INFORMATION TECHNOLOGIES, MECHANICS AND OPTICS January-February 2016 Vol. 16 No 1 ISSN 2226-1494 http://ntv.ifmo.ru/en
УДК 004.81
ИНФОРМАЦИОННАЯ МОДЕЛЬ МЕНТАЛЬНОГО ВРАЩЕНИЯ ФИГУР В.А. ЛяховецкийаЬ, А.С. Потаповс, Г. Крумина"
a Латвийский Университет, Рига, LV-1586, Латвия
b Институт физиологии им. И.П. Павлова РАН, Санкт-Петербург, 199034, Российская Федерация с Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация Адрес для переписки: [email protected] Информация о статье
Поступила в редакцию 22.10.15, принята к печати 17.11.15
doi:10.17586/2226-1494-2016-16-1-168-173
Язык статьи - русский
Ссылка для цитирования: Ляховецкий В.А., Потапов А.С., Крумина Г. Информационная модель ментального вращения фигур // Научно-технический вестник информационных технологий, механики и оптики. 2016. Т. 16. № 1. С. 168-173.
Аннотация
Предмет исследования. Исследована информационная структура внутренних представлений объектов и операций над ними, используемых человеком при решении задачи ментального вращения фигур. Для анализа этой информационной структуры введены в рассмотрение не только классические зависимости времени правильных ответов от угла поворота фигур, но и иные зависимости, полученные в последнее время в когнитивной психологии. Метод. В среде технических вычислений MATLAB R2010b разработана информационная модель ментального вращения фигур. В рамках модели можно менять такие параметры, как число бит во внутреннем представлении, вероятность искажения единичного бита, дискретный угол поворота, порог сравнения, степень различия при вращении. Основные результаты. Модель качественно воспроизводит такие психологические зависимости, как линейный рост от угла поворота времени правильных ответов и числа ошибок испытуемых при использовании одинаковых фигур, «плоскую» зависимость от угла поворота времени правильных ответов и числа ошибок испытуемых при использовании зеркальных фигур. Результаты моделирования позволяют предположить, что ментальное вращение является итеративным процессом поиска совпадения между двумя фигурами, каждый шаг которого может вести к значительному искажению внутреннего представления запомненных объектов. Поиск совпадений ведется в рамках внутренних представлений, не обладающих высокой инвариантностью к углу вращения. Практическая значимость. Результаты работы могут быть полезны для понимания роли обучения (в том числе с учителем) при выработке эффективных представлений информации и операций над ними в системах искусственного интеллекта. Ключевые слова
ментальное вращение, информационная модель, кодирование, ментальные репрезентации Благодарности
Работа выполнена при поддержке гранта Латвийского университета 2013/0021/1DP/1.1.1.2.0/13/APIA/VIAA/001, а также при поддержке Министерства образования и науки Российской Федерации.
INFORMATIONAL MODEL OF MENTAL ROTATION OF FIGURES V.A. Lyakhovetskiya,b, A.S. Potapovc, G. Krumina"
a University of Latvia, Riga, LV-1586, Latvia
b Pavlov Institute of Physiology RAS, Saint Petersburg, 199034, Russian Federation c ITMO University, Saint Petersburg, 197101, Russian Federation Corresponding author: [email protected] Article info
Received 22.10.15, accepted 17.11.15 doi:10.17586/2226-1494-2016-16-1-168-173 Article in Russian
For citation: Lyakhovetskiy V.A., Potapov A.S., Krumina G. Informational model of mental rotation of figures. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2016, vol. 16, no. 1, pp. 168-173.
Abstract
Subject of Study. The subject of research is the information structure of objects internal representations and operations over them, used by man to solve the problem of mental rotation of figures. To analyze this informational structure we considered not only classical dependencies of the correct answers on the angle of rotation, but also the other dependencies obtained recently in cognitive psychology. Method. The language of technical computing Matlab R2010b was used for developing information model of the mental rotation of figures. Such model parameters as the number of bits in the internal representation, an error probability in a single bit, discrete rotation angle, comparison threshold, and the degree of difference
during rotation can be changed. Main Results. The model reproduces qualitatively such psychological dependencies as the linear increase of time of correct answers and the number of errors on the angle of rotation for identical figures, "flat" dependence of the time of correct answers and the number of errors on the angle of rotation for mirror-like figures. The simulation results suggest that mental rotation is an iterative process of finding a match between the two figures, each step of which can lead to a significant distortion of the internal representation of the stored objects. Matching is carried out within the internal representations that have no high invariance to rotation angle. Practical Significance. The results may be useful for understanding the role of learning (including the learning with a teacher) in the development of effective information representation and operations on them in artificial intelligence systems. Keywords
mental rotation, information model, coding, mental representations Acknowledgements
The work has been supported by grant 2013/0021/1DP/1.1.1.2.0/13/APIA/VIAA/001 of the University of Latvia and by the Ministry of Education and Science of the Russian Federation.
Введение
Проблема кодирования и использования информации - одна из важных проблем при разработке систем искусственного интеллекта. Для ее изучения исследователи обращаются к внутренним представлениям (ментальным репрезентациям) и операциям над ними, используемым при решении различных задач человеком [1]. Одной из таких задач, популярных в когнитивной психологии, является ментальное вращение фигур. Суть ее заключается в следующем: испытуемому предъявляются две фигуры (двумерные или проекции трехмерных), расположенные слева и справа от точки фиксации (рис. 1). Одна из них представляет собой либо вторую фигуру, либо зеркальное отражение второй фигуры, повернутой на некоторый угол (от 0° до 180°). Задача испытуемого - как можно быстрее ответить, являются ли эти две фигуры одинаковыми или различными [2].
Популярность этой задачи обусловлена тем, что в случае использования одинаковых фигур зависимость времени правильных ответов от угла поворота фигуры линейна (отметим, что это одна из немногих линейных зависимостей, известных когнитивной психологии). Как правило, изучается влияние различных факторов (например, пола [3], возраста [4], утомляемости [5]) на угол наклона этой прямой. Лишь в последнее время психологи начинают уделять внимание и иным зависимостям. Показано, что для зеркальных фигур время правильных ответов не зависит от угла поворота и выше, чем для одинаковых фигур, а также, что процент ошибок в случае использования одинаковых фигур увеличивается по мере увеличения угла поворота, а в случае использования зеркальных фигур от угла поворота не зависит [6]. При моделировании основное внимание уделяется подбору параметров внутренних представлений объектов, позволяющих получить модельную линейную зависимость времени правильных ответов от угла поворота [7-9]. При этом применимость операции «вращения» к используемому внутреннему представлению не подвергается сомнению.
а б в
Рис. 1. Примеры фигур, используемых для изучения ментального вращения (а-в)
Прежде нами рассматривались задачи узнавания и заучивания последовательности шахматных позиций, а также задача полного воспроизведения последовательности движений руки. Для этих задач были разработаны модели информационной структуры памяти, описывающие распределения ошибок, которые допускают испытуемые при припоминании. На этих примерах было показано, что по распределениям ошибок можно судить о внутреннем представлении информации в рабочей пространственной памяти [10-13]. Целью настоящей работы является разработка информационной модели, использующей оригинальное внутреннее представление информации и набор операций над ним, позволяющей качественно описать не только широко известную линейную зависимость времени правильных ответов от угла поворота, но и иные вышеупомянутые психологические зависимости.
Структура модели
Для внутреннего представления фигур используются вектора, содержащие N элементов, каждый из которых кодирует бинарный признак фигуры. Пусть X - внутреннее представление фигуры А, X = (х,), , = 1^. Результаты психологических опытов позволяют предположить следующую последовательность действий испытуемых. Сначала X переносится в «рабочую память» для последующих сравнений с внут-
X0 = (xf), xf = rotation(x,), rotation(x,)
= Г
ренним представлением Y второй фигуры B, Y = (у). Затем производится последовательный пошаговый поиск совпадения между двумя фигурами, «вращение» X на некоторый угол а. Операция вращения (rotation) требует модельного времени и может сопровождаться потерей информации.
Как правило, считается, что операция вращения производится с единожды полученным внутренним представлением фигуры [14]. Нами предложен несколько иной подход: предполагается, что сложность формы предъявляемых фигур ведет к тому, что испытуемый не способен быстро построить полную трехмерную модель объекта (в терминологии Марра [1]), удобную для вращения. Вместо этого он «вращает» приближенный 2,5-мерный эскиз. И, после осуществления итерации вращения, восстанавливает признаки xfa из нового, возможно искаженного, эскиза. Потеря информации при переносе в рабочую память и при вращении моделируется как искажение элементов X с вероятностью PNoise:
(xi> Р > PNoise -Xj, иначе
Xka = rotation(X(k~1)a), k = 1-3.
После каждой операции вращения внутренние представления двух фигур X и Y сравниваются по-битово:
А(ка) = |xfa — yfa| .
Если различие фигур A(ka) превосходит NDijj бит, то фигуры считаются неравными, и осуществляется последующая операция вращения, иначе фигуры считаются одинаковыми, и модель останавливается.
Внутреннее представление Y фигуры B строится следующим образом. Если фигура B совпадает с фигурой A, повернутой на ka градусов, то при повороте фигуры A на la градусов, l=k, X совпадает с Y. При других углах поворота часть бинарных признаков фигуры B не совпадает с соответствующими признаками фигуры A - чем больше относительный угол поворота между фигурами, тем больше степень различия, характеризуемая коэффициентом Kd.
,„ ГхР, (к = I, Vi) U(a^B, i > s)
у!" = ]' о р , s = mm(N,Kdlk — Ц).
( —х", иначе
Если фигура B ни при одном угле поворота не совпадает с фигурой A (зеркальные фигуры), то для всех углов поворота бинарные признаки фигуры B не зависят от бинарных признаков фигуры A. Чтобы получить правильный ответ («не равны») на пару зеркальных фигур, модель должна сравнить внутренние представления X и Y при всех углах вращения ka.
Результаты и их обсуждение
Для разработки модели использовалась среда технических вычислений MATLAB R2010b. На основе предварительных модельных опытов были выбраны следующие параметры: N = 10, PNoise = 0,07, a = 60°, NDijf=2. Для первой фигуры из пары A и для зеркальной фигуры B значения признаков x, и у, берутся случайным образом на основе равномерного распределения: р> 0,5 (1, ) иначе 1 0,
С моделью проведено 10000 опытов при различных значениях Kd: Kd = 1-3.
">0S, i = 1-N.
иначе
5
S 4 s
И 3
а
<D й
0 60 120 Угол поворота, град.
Рис. 2. «Время» правильных ответов модели 1 - зеркальные; 2 - обычные, К =3; 3 - обычные, К =2; 4 - обычные, К =1
Зависимость модельного времени правильных ответов от числа операций вращения представлена на рис. 2. По оси абсцисс - число операций вращения, соответствующих углу поворота одной фигуры по отношению к другой. По оси ординат - число итераций, которое требуется модели для принятия правильного решения о равенстве объектов, эквивалент времени правильных ответов испытуемых, одна итерация - эквивалент одного «такта» обработки информации человеком. Из рисунка видно, что модель, как и нетренированные испытуемые, не использует следующую стратегию - сначала зеркально отразить одну
2
1
из фигур, а затем поворачивать ее в поисках совпадения, в этом случае время правильного ответа на зеркальную фигуру зависело бы от угла поворота [15]. В результате модельные зависимости для зеркальных и обычных фигур принципиально различны: для обычных фигур «время» растет по мере роста угла поворота, для зеркальных фигур «время» не зависит от угла поворота и выше, чем для обычных фигур. Полученное взаимоотношение между зависимостями характерно для целого ряда психологических опытов, в которых испытуемому требуется больше времени на принятие решения о непринадлежности объекта некоторому множеству, чем на принятие решения о принадлежности объекта этому множеству.
Интересно отметить, что время правильных ответов на зеркальные фигуры у тренированных испытуемых, которых заранее знакомят с набором фигур и принципом формирования этого набора, линейно зависит от угла поворота [15]. По-видимому, тренированные испытуемые формируют более сложное внутреннее представление фигур, позволяющее осуществлять операцию отражения.
Чем больше степень различия между обычными фигурами от угла поворота К¿, тем больше модельного времени уходит на принятие правильного решения о совпадении обычных фигур. При Кл = 2 и Кл = 3 зависимость становится достоверно линейной по критерию Фишера = 2) = 57,85,
¥(КЛ = 3) = 7358,90, р<0,05). Результаты психологических опытов также свидетельствуют в пользу гипотезы о достаточно высоких значениях К¿, показывающих, что внутренние представления фигур в высокой степени не инварианты к повороту. Так, многочасовая тренировка вращения фигур при некоторых заданных углах поворота не приводит к улучшению результатов для иных углов поворота [16]. Использование подобного предыдущего опыта испытуемыми возможно только при многонедельной (!) практике [17]. Известно и о резком снижении вероятности опознания при повороте уже на 15° неполного контура изображения и последующем ее уменьшении при углах поворота, не превышающих 60° [18]. Возможно, для рассматриваемого диапазона углов поворота (более 60°) будет справедлива и более простая модель, в которой для обычных фигур значения у, не зависят от х, для любого угла 1а, отличного от ка.
Ю «
В О
40 35 30 25 20 15 10 5
60 120 Угол поворота, град.
180
Рис. 3. Процент ошибок модели: 1 - обычные, К = 3; 2 - обычные, Кс =2; 3 - обычные, Кс =1; 4 - зеркальные
Зависимость процента ошибок модели от угла поворота представлена на рис. 3. По оси абсцисс -число операций вращения, соответствующих углу поворота одной фигуры по отношению к другой. По оси ординат - процент ошибок модели. Для зеркальных фигур процент ошибок не зависит от угла поворота и от К, а для обычных фигур процент ошибок линейно растет по мере увеличения угла поворота: чем больше степень различия между обычными фигурами от угла поворота К, тем больше ошибок допускает модель. Модельная зависимость роста числа ошибок от угла поворота также свидетельствует о несовершенстве внутренних представлений стимулов у испытуемых, об их неприспособленности к осуществлению операции вращения без потерь, так как, если бы внутренние представления стимулов были бы инварианты к углу поворота, то процент ошибок не зависел бы от угла. Подобное отсутствие инвариантности внутренних представлений объяснимо, если учесть сложность формы фигур, используемых в качестве тестовых стимулов.
Сравним полученные результаты с результатами моделей, описанных в [7, 8]. Модель «оракул» и модель «подбора угла вращения» способны объяснить классическую линейную зависимость времени правильных ответов от угла, но принципиально не допускают ошибок, также модельные зависимости для зеркальных и обычных фигур совпадают. Модель «восхождения на холм» подбирает подходящий угол поворота на основе поиска локального максимума функции подобия между двумя фигурами. Эта модель способна допускать ошибки, но модельные зависимости времени правильных ответов и процента ошибок от угла нелинейны, модельные зависимости для зеркальных и обычных фигур также совпадают. Байесовская квадратурная модель с равными априорными вероятностями для гипотез о зеркальности и одинаковости фигур ведет к совпадающим модельным зависимостям для зеркальных и обычных фигур. Байесовская квадратурная модель с неравными априорными вероятностями для гипотез воспроизводит зави-
0
симость времени правильных ответов от угла поворота, однако процент ошибок для обычных фигур в этой модели слабо зависит от угла, возрастая к углу поворота в 180° лишь до 4%. Модельный процент ошибок значительно меньше, чем 28% ошибок, сделанных испытуемыми при ментальном вращении обычных фигур на 180° (см. рис. 2 [7]). Напротив, в разработанной нами модели процент ошибок при Kj=2 и K¿=3 достаточно высок при больших углах поворота (рис. 3) и подобен проценту ошибок испытуемых. Модель случайного блуждания (random walk) [8] способна воспроизводить зависимости времени правильных ответов и числа ошибок от угла поворота и для одинаковых, и для зеркальных фигур как для всей выборки испытуемых в целом, так и для отдельных испытуемых. Однако в этой модели пороги принятия решения являются свободными параметрами, зависящими от угла поворота. Также линейность зависимости времени от угла поворота для одинаковых фигур является изначальным допущением, используемым при разработке модели. Сильным допущением является и то, что в этой модели испытуемые поворачивают зеркальные фигуры на 90° перед тем, как дать ответ (см. формулы 1a, 1b [8]).
Таким образом, несмотря на достаточно простую, по сравнению с другими моделями, структуру, небольшое число свободных параметров (число бит во внутреннем представлении, вероятность искажения единичного бита, дискретный угол поворота, порог сравнения, степень различия при вращении), разработанная модель позволяет получить зависимости, качественно подобные кривым, полученным в психологических опытах. Причем воспроизведение некоторых из этих кривых недоступно многим моделям ментального вращения.
Заключение
В работе на основе подхода, использованного прежде в [13], предложена информационная модель ментального вращения фигур. Она позволяет качественно воспроизвести такие психологические зависимости, как линейный рост от угла поворота времени правильных ответов и числа ошибок испытуемых при использовании одинаковых фигур, «плоскую» зависимость от угла поворота времени правильных ответов и числа ошибок испытуемых при использовании зеркальных фигур. Результаты моделирования противоречат традиционной точки зрения, согласно которой ментальное вращение состоит из однократного получения испытуемым внутреннего представления объекта и последующего его «вращения». Напротив, можно предположить, что ментальное вращение является итеративным процессом поиска совпадения между двумя фигурами, каждый шаг которого может вести к значительному искажению внутреннего представления запомненных объектов. Поиск совпадений ведется в рамках внутренних представлений, не обладающих высокой инвариантностью к углу вращения. Результаты моделирования и психологических опытов показывают, что при решении незнакомых ранее задач в условиях дефицита времени человек использует относительно простые представления знаний, которые могут быть усовершенствованы только в результате длительной тренировки. Результаты работы могут быть полезны для понимания роли обучения (в том числе с учителем) при выработке эффективных представлений информации и операций над ними в системах искусственного интеллекта.
Литература
1. Марр Д. Зрение. Информационный подход к изучению представления и обработки зрительных образов. М.: Радио и связь, 1987. 400 с.
2. Shepard R.N., Metzler J. Mental rotation of three-dimensional objects // Science. 1971. V. 171. N 3972. P. 701-703.
3. Bryden M.P., George J., Inch R. Sex differences and the role of figural complexity in determining the rate of mental rotation // Perceptual and Motor Skills. 1990. V. 70. N 2. P. 467-477.
4. Hertzog C., Rypma B. Age differences in components of mental rotation task performance // Bulletin of the Psychonomic Society. 1991. V. 29. N 3. P. 209-212. doi: 10.3758/BF03342680
5. Krumina G., Liakhovetckii V., Skilters J. Impacts of fatigue on mental rotation // Perception Suppl. 2015. V. 44. N 4. P. 159-160.
6. Gardony A.L., Taylor H.A., Brunyé T.T. What does physical rotation reveal about mental rotation? // Psychological Science. 2014. V. 25. N 2. P. 605-612. doi: 10.1177/0956797613503174
7. Hamrick J.B., Griffiths T.L. What to simulate? Inferring the right direction for mental rotation // Proc. 36th Annual Meeting of the Cognitive Science Society. Quebec, Canada, 2014. P. 577-582.
8. Larsen A. Deconstructing mental rotation // Journal of Experimental Psychology: Human Perception and Performance. 2014. V. 40. N 3. P. 1072-1091. doi: 10.1037/a0035648
9. Seepanomwan K., Caligiore D., Baldassare G., Cangelosi A. Modelling mental rotation in cognitive robots // Adaptive Behavior. 2013. V. 21. N 4. P. 299-312. doi: 10.1177/1059712313488782
10. Крумина Г., Ляховецкий В.А. Проблемы кодирования стереоизображений в памяти человека // Оптический журнал. 2010. Т. 77. № 7. С. 14-18.
11. Ляховецкий В. А., Боброва Е.В. Воспроизведение запомненной последовательности движений правой и левой руки: позиционное и векторное кодирование // Журнал высшей нервной деятельности. 2009. Т. 59. № 1. С. 45-54.
12. Ляховецкий В.А., Потапов А.С. Представление информации в рабочей пространственной памяти при узнавании и воспроизведении // Математическая биология и биоинформатика. 2014. Т. 9. № 1. C. 206-215. doi: 10.17537/2014.9.206
13. Ляховецкий В.А., Потапов А.С., Попечителев Е.П. Методика изучения и модель информационной структуры памяти человека // Известия ЮФУ. Технические науки. 2006. № 11 (66). С. 4-9.
14. Johnson A.M. Speed of mental rotation as a function of problem solving strategies // Perceptual and Motor Skills. 1990. V. 71. N 3. P. 803-806.
15. Cooper L.A. Mental rotation of random two-dimensional shapes // Cognitive Psychology. 1975. V. 7. N 1. P. 20-43. doi: 10.1016/0010-0285(75)90003-1
16. Heil M., Rosler F., Link M., Bajric J. What is improved if a mental rotation task is repeated - the efficiency of memory access, or the speed of a transformation routine? // Psychological Research. 1998. V. 61. N 2. P. 99-106.
17. Wright R., Thompson W.L., Ganis G., Newcombe N.S., Kosslyn S.M. Training generalized spatial skills // Psychonomic Bulletin and Review. 2008. V. 15. N 4. P. 763-771. doi: 10.3758/PBR.15.4.763
18. Шелепин Ю.Е., Чихман В.Н., Вахрамеева О. А., Пронин С.В., Фореман Н., Пэсмор П. Инвариантность зрительного восприятия // Экспериментальная психология. 2008. Т. 1. № 1. С. 7-33.
Ляховецкий Всеволод Александрович
Потапов Алексей Сергеевич
Крумина Гунта
кандидат технических наук, приглашенный исследователь, Латвийский Университет, Рига, ЬУ-1586, Латвия; младший научный сотрудник, Институт физиологии им. И.П. Павлова РАН, Санкт-Петербург, 199034, Российская Федерация, [email protected]
доктор технических наук, доцент, профессор, Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация, [email protected]
доктор технических наук, профессор, заведующий кафедрой, Латвийский Университет, Рига, ^-1586, Латвия, [email protected]
Vsevolod A Lyakhovetskiy
Alexey S. Potapov Gunta Krumina
PhD, visiting researcher, University of Latvia, Riga, LV-1586, Latvia; junior researcher, Pavlov Institute of Physiology RAS, Saint Petersburg, 199034, Russian Federation, [email protected] D.Sc., Associate professor, Professor, ITMO University, Saint Petersburg, 197101, Russian Federation, [email protected] D.Sc., Professor, Head of Chair, University of Latvia, Riga, LV-1586, Latvia, [email protected]
