CC BY
13456
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
ИССЛЕДОВАНИЕ ОСОБЕННОСТЕЙ ВОСПРИЯТИЯ ВИДЕОИНФОРМАЦИИ ПРИ ПОМОЩИ ФРАКТАЛЬНОГО АНАЛИЗА ТРАЕКТОРИИ ДВИЖЕНИЯ ГЛАЗ
Беляев Р. В., Колесов В. В., Меньшикова1 Г. Я., Попов2 А. М., Рябенков2 В. И.
Институт радиотехники и электроники им. В.А.Котельникова РАН, 125009 Москва
^Московский государственный университет им. М.В.Ломоносова, психологический факультет, 125009 Mocква ^Московский институт радиотехники, электроники и автоматики, 119454 Mocква
Поступила в редакцию 11.05.2011, после доработки — 16.05.2011
Считывание видеоинформации и ее анализ зрительным аппаратом человека есть многофакторный процесс, который давно является предметом исследования с помощью различных технологий специалистами разного профиля, связанных с изучением человека: физиологами, психологами, медиками, инженерами и пр. Необходимая составляющая работы зрительного анализатора - движения глаз — внешнее проявление этого процесса исследуется множеством методов с использованием различных устройств его регистрации. Однако количественная составляющая в этой области развита недостаточно и не позволяет сопоставлять результаты различных экспериментов. Цель настоящей работы — получение числовых характеристик процесса зрительного восприятия, которые дает фрактальный анализ результатов соответствующих измерений. Экспериментальные результаты получены на компьютерной установке iView X фирмы SMI GmbH традиционным для физиологии методом айтрекинга—отслеживания позиционирования и ориентации глаза при считывании видеоинформации с монитора компьютера. Для каждого измерения, осуществляемого через выбранный временной интервал, фиксировались координаты центра зрачка и их пересчитанные значения, учитывающие все сопутствующие параметры. По полученным точкам строили трек движения глаза — самопересекающуюся ломаную с большим, но конечным числом изломов. Анализ такого трека проведен известным методом определения фрактальной размерности сложных недифференцируемых кривых. Длина кривой вычислялась при многократном просмотре записи с использованием измерительного элемента, размер которого при каждом последующем проходе уменьшается с заданным шагом. Зависимость полученной длины трека, нормированная на известную реальную его длину, от номера шага характеризуется сходимостью при предельном переходе к бесконечно малому размеру измерительного элемента и численно выражается углом наклона аппроксимирующей прямой для каждого конкретного трека. Получены критерии для количественной оценки зрительного восприятия, которые могут быть использованы при разработке как психофизиологических технологий идентификации и диагностики личности, так и информационных технологий, использующих особенности когнитивных процессов.
Ключевые слова: информационные технологии, когнитивные технологии, движение глаз, восприятие видеоинформации, психофизиологические особенности зрительного аппарата, фрактальный анализ, фрактальная размерность.
УДК 004.932.2; 159.931______________________________________________________________________
СОДЕРЖАНИЕ
1. введение (57)
2. ЭКСПЕРИМЕНТАЛЬНАЯ ЧАСТЬ (57)
3. анализ процесса распознавания графического объекта (59)
4. фрактальная размерность как метод анализа особенностей 1
траектории движения глаза (60)
5. оценка характерных
особенностей паттерна
движения глаз (61)
6. заключение (66) литература (67)
1 НОМЕР | ТОМ 3 | 2011 | РЕНСИТ
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
1. ВВЕДЕНИЕ
Восприятие человеком окружающей действительности происходит по многим сенсорным каналам. Важнейшим из них, безусловно, является зрительный канал, обладающий наибольшей информационной емкостью. Движения глаз- необходимая составляющая работы зрительного анализатора живых организмов. Движения глаз могут быть классифицированы по различным основаниям. Существует деление на быстрые движения глаз, такие как саккады, тремор и дрейф, и медленные, такие как медленное прослеживание и вер-гентные движения глаз. Некоторые авторы разделяют движения глаз на согласованные и несогласованные. Саккады относят к согласованным, а вергентные движения глаз, тремор и дрейф - к несогласованным движениям глаз. Движение глаз осуществляется мышцами, иннервируемыми глазодвигательным, блоковым и отводящим нервами. При этом движения глаз могут быть как произвольными, так и непроизвольными, нормальными и патологическими. При этом непроизвольные движения глаз отражают внутреннее состояние человека, и их можно интерпретировать.
Изучение процесса анализа специально выбранных тестовых изображений при распознавании давно привлекает внимание специалистов разных специальностей связанных с изучением человека и различными сторонами его деятельности: физиологов, психологов, медиков, инженеров и т.п. При этом стало ясно, что сам характер восприятия и анализа видеоинформации в сильной степени зависит от поставленной перед наблюдателем задачи. Внешним проявлением этого процесса является движение глаз человека при выполнении задания.
Глаза человека активно двигаются в поисках информации, которая важна для взаимодействия с окружающей средой. Одна из основных задач движения глаз заключается в том, чтобы спроецировать различные участки сцены в фовеальную (ямка диаметром 0,3 мм в центре желтого пятна) область сетчатки, которая обладает максимальной остротой зрения. Парадокс этого процесса состоит в том, что зрительная система должна выбрать направление движения глаз на объект до того, как произойдет процесс его детального рассмотрения, т.е. вслепую. Однако в многочисленных исследованиях было показано, что глаза перемещаются в пространстве не случайно, а выбирают те
ИССЛЕДОВАНИЕ ОСОБЕННОСТЕЙ 57 ВОСПРИЯТИЯ ВИДЕОИНФОРМАЦИИ
объекты, которые наиболее интересны и соответствуют выполняемой субъектом задаче [1, 2]. Этот непрерывный временной процесс обладает своими особенностями, которые были изучены в многочисленных работах [3, 4]
В последнее время было предложено несколько моделей, в которых высказываются гипотезы о том, какие факторы являются определяющими для направления движения глаз. Некоторые модели [5], которые называются моделями восходящих процессов (bottom-up models), предполагают, что движения глаз определяются простыми зрительными признаками — яркостью, цветом, контрастом, движением. Распределение всех указанных признаков в пространстве называют «картой выпуклости» (silence map) Согласно этой модели, именно эта карта и определяет паттерн движения глаз в пространстве. Другие модели, называемые моделями нисходящих процессов (top-down models) предполагают, что движения глаз зависят от того, как интерпретирует наблюдатель всю сцену в целом, и что он ожидает увидеть, рассматривая ее [6].
Возможность анализа процесса наблюдения изображения (визуального поиска) связана с используемым методом регистрации положения глаз наблюдателя. Так один из первых исследователей с таким подходом советский психофизиолог Альфред Лукьянович Ярбус (1914-86), работавший в Москве вместе с выдающимся нейрофизиологом Лурье, создал устройство для регистрации движения глаза и получил первые интересные хорошо регистрируемые результаты. В дальнейшем созданное А. Ярбусом устройство было существенно усовершенствованно и модернизировано в соответствии с новыми техническими возможностями.
Уже ранние работы в этом направлении показали, что проявляются индивидуальные особенности испытуемых, принимающих участие в экспериментах. Но при этом отсутствовали какие-либо числовые характеристики, позволяющие сопоставлять результаты различных опытов.
2. ЭКСПЕРИМЕНТАЛЬНАЯ ЧАСТЬ
Изолированные движения одного глаза независимо от другого у здорового человека невозможны, оба глаза всегда двигаются одновременно, то есть всегда сокращается пара глазных мышц.
Глазное яблоко представляет собой шарообразное тело, которое имеет несколько осей
РЕНСИТ | 2011 | ТОМ 3 | НОМЕР 1
58 БЕЛЯЕВ Р.В., КОЛЕСОВ В.В., МЕНЬШИКОВА Г.Я., ПОПОВ А.М., РЯБЕНКОВ В.И.
вращения. Его положение в орбите практически ничем не ограничено. Все оси вращения пересекаются в точке вращения глазного яблока, которая в норме находится на 13,5 мм сзади от роговицы. Движение глаз вызывается содружественными сокращениями глазных мышц, то есть сокращением одних и расслаблением других.
Движение глаз в орбитах, выполняет разнообразные функции в построении зрительного образа и восприятии пространства, обеспечивая измерение и анализ пространственных свойств предметов (форма, положение, величина объектов, их удаленность, скорость движения). Наиболее важная функция этого движения заключается переводе в центр сетчатки, где острота зрения наибольшая, изображения объекта, которое отобразилось сначала на периферии поля зрения. Перевод взгляда на предмет осуществляются с помощью быстрых саккадических движений и конвергенционно-дивергенционных движений. При фиксации взгляда на неподвижном объекте глаз совершает ряд движений: мелкие непроизвольные колебания, которые существенно не влияют на зрительное восприятие (тремор); относительно медленные движения, которые препятствует появлению пустого поля, когда объект перестает восприниматься (дрейф ); быстрые движения, также препятствующие появлению пустого поля (флики, или микросаккады).
Основными физиологическими характеристиками, которые могут использоваться для оценки различных когнитивных процессов, являются такие характеристики как число и продолжительность фиксаций, скорость и направление сак-кад, регрессионные движения глаз. Было показано, что указанные параметры могут успешно объяснить закономерности процессов зрительного поиска, чтения, принятие решения и многих других. Однако эти традиционно измеряемые характеристики являются слишком упрощенными для оценки сложных когнитивных процессов. Предпринимаются попытки найти более адекватные формы обработки паттернов движения глаз, которые могли бы достоверно показать особенности когнитивных процессов обработки информации. По временному критерию движения глаз делится на саккады, периоды фиксации и плавные движения глаз.
Саккады. При свободном рассматривании наши глаза совершают быстрые скачки - саккады
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
- из одной точки фиксации в другую. Амплитуда саккадических движений может варьировать от нескольких угловых минут (при микроскачках) до нескольких градусов (например, если переводить взор из левой части поля зрения в правую). Средняя угловая скорость движения глаз тем выше, чем больше амплитуда саккады и доходит до 200600 град/сек. Длительность саккад варьирует от 10 до 80 мс и примерно пропорциональна амплитуде саккады.
Периоды фиксации. Даже во время периодов фиксации,которые длятся примерно от 0,15 до 2 сек, глаза немного смещаются за счет глазного тремора, который никогда не прекращается (его амплитуда - несколько угловых минут, а частота находится в пределах 20-150 Гц). Во время продолжительной произвольной фиксации глаз происходит также медленные «дрейф», за счет которого точка фиксации уходит от фиксируемого объекта. С помощью микросаккад происходит компенсация этих дрейфов и восстановление правильной фиксации объекта.
Плавные движения глаз. При необходимости фиксировать движущийся объект требуется выполнение плавных следящих движений глаз. При этом угловая скорость вращательных движений глаз примерно соответствует скорости движения объекта, если скорость последнего не превышает 60-80 град/сек. На плавные следящие движения глаз через переменные интервалы от 0,3 до 2 сек накладываются коррекционные саккады. В этом случае изображение фиксируемой точки предмета остается в пределах 2 град от фовеа. При скорости движения предмета выше 80 град/сек следящие движения глаз происходят значительно медленнее, чем движения предмета, поэтому его изображение перемещается по сетчатке. Если скорость движения предмета не превышает 180 град/сек, то смещение изображения по сетчатке компенсируется с помощью дополнительных саккад большой амплитуды. Координация таких следящих движений глаз обычно осуществляется за счет последующих движений головы [7, http://medvuz.info].
Движения глаз регистрировались при помощи компьютерной установки iView X немецкой фирмы SMI GmbH, позволяющей определять местоположение взора на экране монитора бесконтактным способом, названным «системой темного зрачка». Для этого глаз наблюдателя освещался инфракрасным (ИК) излучением,
1 НОМЕР | ТОМ 3 | 2011 | РЕНСИТ
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
RED камера
Комплекс предъявления Комплекс регистрации и анализа
Рис. 1. Блок-схема компьютерной установки для регистрации движения глаз.
которое хорошо отражается всеми областями поверхности глаза кроме области зрачка (рис.1). Параметры ИК-изображения глаза регистрировались видеокамерой и фиксировались в файле данных. Для каждого измерения, осуществляемого через 20 мсек, фиксировались координаты в пикселах центра зрачка (в системе координат видеокамеры) и их пересчитанные значения, учитывающие непроизвольные движения головы наблюдателя, координаты взора (в системе координат монитора), горизонтальный и вертикальный «диаметр» зрачка на перспективном ИК-изображении глаза. Перед проведением основного эксперимента проводилась обязательная процедура калибровки, в которой испытуемого просили поочередно смотреть на несколько тестовых опорных точек на экране монитора. Голова испытуемого фиксировалась при помощи подбородника. Расстояние от глаз испытуемого до монитора было равно 58 см. Размер экрана был равен 32х24 см и в угловых единицах составлял 29х23 угл. град.
Из 7 видов глазных движений, которые различаются по временным и пространственным характеристикам, в экспериментальной установке регистрировались 3 вида движений глаз. К ним относятся саккады, фиксации и паттерн движения глаз при наблюдении объектов, который формируется как хронологический порядок фиксаций и саккад и несет информацию о стратегии сбора информации для зрительной системы при выполнении определенной задачи.
Траектории отображения движения глаза строились путем соединения точек с координатами, определенными при последовательных периодических выборках через установленные временные интервалы (Т=0,02с).
ИССЛЕДОВАНИЕ ОСОБЕННОСТЕЙ 59 ВОСПРИЯТИЯ ВИДЕОИНФОРМАЦИИ
3. АНАЛИЗ ПРОЦЕССА РАСПОЗНАВАНИЯ ГРАФИЧЕСКОГО ОБЪЕКТА
Исследование процессов восприятия видеоинформации возможно с помощью различных технологий, одной из которых является регистрация движения глаз.
Считается, что геометрический рисунок, непроизвольно воспроизводимый взором при фиксации объекта, у каждого человека сугубо индивидуален и в значительной степени предопределен генетически, что может служить основой для психофизиологических технологий идентификации и диагностики личности [8].
В работе проведено исследование особенностей восприятия видеоинформации с монитора компьютера. Проведен анализ движения глаз при восприятии графической информации различной сложности. На рис. 2 показаны полученные экспериментально траектории движения глаз при предъявлении и распознавании изображения «1», замаскированного шумами. Полученные результаты показывают специфику считывания глазами информации в условиях зашумленного изображения:
a) шум,
b) слабое изображение объекта на фоне шума не опознано, но привлекло внимание,
c) объект опознан на фоне шума,
d) объект пристально изучается.
Таким образом, видно, что степень близости паттерна движения глаз и зашумленного изображения свидетельствует об успешности процесса опознания изображения. Показано, что процесс распознавания объекта начинается с неосознанных движений глаз, которые могут быть
a b
d
c
Рис. 2. Траектория движения глаз при распознавании объекта.
РЕНСИТ | 2011 | ТОМ 3 | НОМЕР 1
60 БЕЛЯЕВ Р.В., КОЛЕСОВ В.В., МЕНЬШИКОВА Г.Я., ПОПОВ А.М., РЯБЕНКОВ В.И.
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
использованы в разработке технологий автоматического распознавания образов и нахождения объектов при малых отношениях сигнал/шум.
Анализ паттерна движения глаз при восприятии видеоинформации с монитора позволяет оптимизировать и упорядочить представление больших объемов информации в целях улучшения заметности и усвояемости информации человеком-оператором. Учет особенностей восприятия видеоинформации в телекоммуникационных системах позволит разрабатывать информационные технологии для повышения эффективности когнитивных процессов.
4. ФРАКТАЛЬНАЯ РАЗМЕРНОСТЬ КАК МЕТОД АНАЛИЗА ОСОБЕННОСТЕЙ ТРАЕКТОРИИ ДВИЖЕНИЯ ГЛАЗА
Исследование и внедрение эффективных цифровых методов обработки и анализа графической информации в различных областях науки и техники является наиболее актуальной задачей при разработке современных информационных технологий. Применение когнитивных технологий, учитывающих особенности визуального восприятия графической информации человеком, позволит создать эффективные инструментальные средства и методы для разработки технологических модулей и законченных прикладных информационных систем. Анализ траектории движения глаз с применением современных информационных технологий, математических методов статистического, корреляционного и фрактального анализа позволяет определять как общие принципы зрительного восприятия той или иной информации человеком, так и выявлять индивидуальные особенности этого процесса.
Характер результатов наблюдения при движении глаза, регистрируемых описанной установкой, иллюстрируется данными, представленными на рис. 3. На приведенных примерах видно, что траектория движения глаз при анализе объектов представляет собой достаточно сложную кривую, на характер которой оказывают влияние, как физиологические особенности зрительного аппарата наблюдателя, так и когнитивные процессы, связанные с анализом графической информации, особенности которых в свою очередь могут быть связаны с профессиональной подготовкой субъекта. Однако непосредственно охарактеризовать
эти паттерны каким-либо числовым показателем достаточно затруднительно. Достаточно перспективным методом оценки и классификации сложных кривых является фрактальный анализ. Понятия фрактал и фрактальная геометрия, появившиеся в конце 70-х, с середины 80-х годов прошлого столетия прочно вошли в обиход математиков и программистов. Слово фрактал образовано от латинского fractus и в переводе означает состоящий из фрагментов. Оно было предложено Бенуа Мандельбротом в 1975 году для обозначения нерегулярных, но самоподобных структур [9]. Роль фракталов в машинной графике сегодня достаточно велика. Они приходят на помощь, например, когда требуется, с помощью нескольких коэффициентов, задать линии и поверхности очень сложной формы. Фактически найден способ анализа и классификации сложных неевклидовых объектов [10].
Основным параметром во фрактальном анализе является фрактальная размерность геометрического объекта. Фрактальная размерность является интегральной характеристикой объекта или процесса. Она обобщает понятие евклидовой
Рис. 3. Траектория движения глаз при анализе простых контурных изображений из тестового набора игры «Танграм» и элементов текста.
1 НОМЕР | ТОМ 3 | 2011 | РЕНСИТ
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
геометрической размерности и, в отличие от последней, может принимать нецелочисленные значения. Когнитивная ценность понятия фрактальной размерности состоит в том, что с его помощью можно упорядочивать исследуемые процессы и объекты по свойствам хаотичности или сложности и, таким образом, уверенно классифицировать (разделять) их.
Известно, что хорошим примером, обладающим фрактальными характеристиками, является так называемая береговая линия [10]. При определении фрактальной размерности береговой линии используется последовательность операций измерения ее мерными отрезками d, размер которых уменьшается при каждой следующей операции измерения. Тогда характеристика береговой линии определяется фрактальной размерностью, являющейся показателем степени при предельном переходе к бесконечно малому размеру мерной линейки. В общем случае этот показатель является нецелым числом. Он характеризует степень отличия такой кривой как береговая линия, от обычной прямой линии без особенностей структуры, имеющей размерность 1, и имеет величину, большую 1, но меньшую 2.
Предложенный подход анализа траектории движения глаз основан на применении известного метода определения фрактальной размерности, используемого для исследования сложных недифференцируемых кривых. При вычислении длины такой кривой ее покрывают двумерными дисками диаметра d. При этом длина траектории с уменьшением d растет по степенному закону с показателем D>1, где D и есть фрактальная размерность кривой. При измерении с покрытием траектории движения глаз в качестве меры двумерными дисками диаметром d большой вклад должны вносить области, где взгляд останавливался для более внимательного анализа видеоинформации. При исследовании трекинга каждый раз при заданном диаметре d определяется длина траектории L(d), т.е. фиксируется число дисков N(d), которое требуется для покрытия траектории и тогда L(d)=N(d)*d. Если взять отношение L/L где L0 истинная длина траектории, то оно будет стремиться к единице с уменьшением d, оставаясь<1, если пренебрегать остатком при делении на d длины последнего перехода. Не менее важно, что полученная описанным способом
ИССЛЕДОВАНИЕ ОСОБЕННОСТЕЙ 61 ВОСПРИЯТИЯ ВИДЕОИНФОРМАЦИИ
длина L нормируется на истинную длину и, следовательно, траектории разной длины можно будет сравнивать между собой. Операция проводится с фиксацией динамики L(d) при уменьшении размера двумерных дисков d.
5. ОЦЕНКА ХАРАКТЕРНЫХ ОСОБЕННОСТЕЙ ПАТТЕРНА ДВИЖЕНИЯ ГЛАЗ
Из приведенных примеров видно, что траектория движения глаз представляет собой довольно сложную ломаную самопересекающуюся линию даже без учета микросаккад и тремора. Поскольку измерительная система периодически регистрирует отображение координат точек выборки, а не реальных точек поворота (излома) движения глаза, будем в дальнейшем называть ломаную, последовательно объединяющую измеренные точки и отображающие движение глаза, не траекторией, а треком, чтобы отличать ее от реальной траектории глаза.
Для анализа и выявления индивидуальных особенностей наблюдателя представляется перспективным оценить трек неким числом, которое количественно отражало бы его особенности с точки зрения его структуры, длины и углов взаимных поворотов последовательных отрезков трека, что вероятно зависит как от конкретного наблюдателя, так и от рассматриваемого объекта.
Что касается исследуемой структуры треков, то очевидно, что интегральные статистические характеристики трека, такие как распределение «скачков» глаза по длине и направлению, средняя длина «скачка», минимальное и максимальное значение длины «скачка», остаются приблизительно одинаковыми для всех наблюдателей и объектов наблюдения и по этой причине не могут быть использованы в качестве вышеуказанного параметра трека.
Можно оценить псевдо-фрактальную размерность трека (т.к. количество итераций конечно), используя для этого методику, разработанную для реальных фрактальных объектов. При вычислении длины идеального фрактального объекта его покрывают мерными линейками d, при этом измеряемая длина растет с уменьшением d по степенному закону с показателем D>1, где D и есть фрактальная размерность объекта. Из-за большого количества изломов треки напоминают фрактальный объект типа береговой линии и можно ожидать, что эта особенность проявится при указанной
РЕНСИТ | 2011 | ТОМ 3 | НОМЕР 1
62 БЕЛЯЕВ Р.В., КОЛЕСОВ В.В., МЕНЬШИКОВА Г.Я., ПОПОВ А.М., РЯБЕНКОВ В.И.
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
процедуре вычисления длины. Сама по себе длина трека известна точно (достаточно просуммировать длины всех «скачков») и мало информативна, а вот поведение ее при изменении d представляет определенный интерес, т.к. большой вклад должны вносить изломы во всем их многообразии.
Вычисляя длину трека, необходимо зафиксировать число мерных линеек, которое потребуется для покрытия трека, и умножить его на размер мерной линейки d (L=N*d), при этом истинная длина трека равна LQ=Xdsi (сумма всех «скачков») в единицах шага измерительной сетки. Если взять отношение L/L оно, очевидно, будет стремиться к единице с уменьшением d, оставаясь <1, если пренебрегать остатком при делении на d длины последнего перехода. Тогда нормированные на истинную длину LQ треки разной длины L можно будет сравнивать между собой.
В первой серии экспериментов наблюдателям были предложены для просмотра четыре изображения (паттерны), представленные в левой колонке рис. 4 (сверху вниз): 1 - шумовой паттерн; 2 - перевернутое лицо, 3 - лицо в нормальной ориентации, 4 - пейзаж. Остальные столбцы рис.4 - треки
движения глаз, полученные для четырех наблюдателей, обозначенных как I, N, K и A. Каждый трек представлен в осях ячеек координатной сетки монитора установки, фиксирующей движения глаз.
Представленные треки уже могут быть основанием для некоторых предварительных качественных оценок процесса считывания видеоинформации зрительным аппаратом человека. Для получения численных оценок этого процесса представленные треки были обработаны по вышеизложенной методике. При этом был использован исходный принцип измерения фрактальной размерности сложного объекта - измерение трека при многократном его проходе бесконечно уменьшающимся измерительным элементом. Фрактальная размерность, однако, не определялась. Дальнейший анализ основывался на том, что относительная (нормированная на известную истинную) длина трека с уменьшением измерительной линейки растет нелинейно, но график такой зависимости в среднем линеен и угол наклона средней линии этого графика для каждого измеряемого трека может служить его количественной характеристикой.
N
K
A
4
Рис.4. Треки движения глаз при просмотре четырех, представленных в левой колонке паттернов, четырьмя наблюдателями -I, N, К и А. Координаты по осям X и Y представляют собой область отображения смещения глаза для ячеек координатной сетки
1 НОМЕР | ТОМ 3 | 2011 | РЕНСИТ
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
Рис. 5. Количественные характеристики треков каждого из наблюдателей, просматривающих все изображения рис. 4.
На рис. 5 приведены результаты соответствующей обработки треков просмотра всех изображений каждым из наблюдателей. Здесь по оси Х откладывается номер шага n, с которым по линейному закону уменьшается d - размер измерительной линейки. По оси Y — относительная длина трека при измерении с величиной d. Соответствующие зависимости обозначены, например, FA1, где F-зависимость, A-наблюдатель, 1 - порядковый номер паттерна. Кривые FI, FN, FK и FA есть графики текущего изменения длины соответствующих треков как функции линейного изменения шага d измерительного элемента. Рис. 5.1 - просмотр наблюдателем I всех изображений. Хорошо видно, что кривые FI1 и FI4 обособлены и не пересекаются между собой на всем своем протяжении кроме области, непосредственно прилегающей к точке с координатами X=100, Y=1. Т.е. характер движения глаз при просмотре шумового паттерна и пейзажа существенно различен с точки зрения описываемой обработки. Для наблюдателя N, K и A этих различий не выявляется (рис. 5, 2-4): кривые FN1, FK1, FA1 и FN4, FK4 FA4 близки или почти сливаются. Просмотр лиц у всех наблюдателей примерно одинаков, за исключением наблюдателя I, который лица рассматривает по-разному.
На рис. 6 приведены такие же графики изменения относительной длины траектории движения глаз для случая, когда одно и то же изображение просматривается всеми наблюдателями. То есть рис. 6.1 - просмотр четырьмя наблюдателями паттерна «шум», рис. 6.2 - паттерна «перевернутое лицо» и т.д. Из рис. 6 следует, что наблюдатели A и N примерно одинаково «смотрят на мир»: их
ИССЛЕДОВАНИЕ ОСОБЕННОСТЕЙ 63 ВОСПРИЯТИЯ ВИДЕОИНФОРМАЦИИ
наблюдателей, просматривающих по одному изображению рис. 4. кривые близки на всех рисунках и практически сливаются на рис. 6.2. Чего нельзя сказать о наблюдателях I и K, за исключением их практически одинакового восприятия шумового паттерна (рис.6.1). Просмотр шумового паттерна довольно четко разделил наблюдателей на 2 группы, каждой из которых соответствует очень близкий наклон результирующих зависимостей для исследуемых треков.
Еще яснее видно разделение наблюдателей на две пары по характеру восприятия ими предлагаемой видеоинформации на рис. 7, где сведены все результаты обработки треков по описанной методике - 16 графиков зависимостей их относительных длин от длины измеряющей линейки. Для наблюдателя К характерны зависимости с наибольшим наклоном. Средние величины наклона кривых, не пересекающиеся с кривыми других
Рис.7. Количественные характеристики треков четырех наблюдателей при анализе изображений, представленных в первой колонке рис. 4.
РЕНСИТ | 2011 | ТОМ 3 | НОМЕР 1
64 БЕЛЯЕВ Р.В., КОЛЕСОВ В.В., МЕНЬШИКОВА Г.Я., ПОПОВ А.М., РЯБЕНКОВ В.И.
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
наблюдателей, характерны для наблюдателя I. Графики «одинаковосмотрящих» наблюдателей A и N почти сливаются по всей длине, т.е. на протяжении всех 100 шагов уменьшения линейки.
На рис. 7 приведен также результат обработки случайного трека (Frand), сформированного с применением стандартного рандомайзера. Обращает на себя внимание резкое отличие трека Frand, соответствующего последовательности независимых случайных выборок по осям X и Y, от остальных 16 кривых. Наклон этой зависимости очень мал и отличается на порядок величины от наклона средних линий для всех других треков, полученных в реальных экспериментах. Этот факт, по-видимому, отражает “отсутствие разумного начала” при генерации трека со случайными координатами.
Общим для всех полученных зависимостей является характер сходимости кривых к области точки с координатами X=100 и Y=1. Эта сходимость характеризуется углом наклона некоторой средней линии для результатов обработки каждого конкретного трека — основное отличие в полученных зависимостях. Во всех случаях наблюдаемое на графиках масштабное подобие характера кривых, отличающихся в основном только углом наклона, возможно связано с характером изменения используемых при расчетах измененяемых размеров измерительного элемента. Характерные выбросы на кривых связаны с дискретной структу-
разных наблюдателей и разных объектов наблюдения. Можно ожидать, что применение методики расчета фрактальной размерности для сопоставления различных треков в идентичных условиях позволит на основании результатов расчетов и используя в качестве значащих параметров наклоны усредненных линий сходимости, найти численные соотношения для сопоставления разных треков и выявления индивидуальных особенностей наблюдателей.
Во второй серии экспериментов девять различных изображений (картины и антикварные художественные изделия) рассматривались тремя наблюдателями с различной искусствоведческой подготовкой (M, Ig и An). На рис. 8 представлены фотографии объектов просмотра с нанесенными на них измеренными треками движения глаз наблюдателей.
Результаты обработки треков по вышеизложенной методике представлены на рис. 9. Здесь представлены распределения углов наклона (ось Y) для каждого наблюдателя (M, Ig и An) в зависимости от номера рассматриваемого объекта N (ось X). Из рисунка видно, что для значительной части объектов величины углов наклона для наблюдателя M располагаются выше всех других, что можно охарактеризовать как повышенное внимание к мелким деталям изображения. Для наблюдателя Ig, не выражающего значительного интереса к представленным предметам, соответствующий график
рой числового поля, на котором задана траектория движения глаз.
Численные результаты обработки — углы наклона средних линий для каждой зависимости — сведены в таблицу. Здесь указано также количество точек выборки на каждом соответствующем треке.
Определяющая наклон средней линии сходимости конечная цифра, то есть сам характер сходимости (наклон средней линии), как показывают результаты обработки наблюдений, отличен для
Таблица
Углы наклона средних линий и число точек выборки измеренных треков
наблю- датель Шумовое изображение Лицо (обр. изображение) Лицо (норм. изображение) Пейзаж
угол нак- лона х10-5 точ- ки вы- бор- ки угол нак- лона х10-5 точ- ки вы- бор- ки угол нак- лона х10-5 точ- ки вы- бор- ки угол нак- лона х10-5 точ- ки вы- бор- ки
FI(1:4) 9.2 6094 8.9 5959 7.6 5854 8.7 5934
FN(1:4) 14 6109 13 6033 13 6005 11 6090
FK(1:4) 14 6104 21 6079 18 6074 15 6038
FA(1:4) 8.2 5128 9.5 4935 8.9 4874 74 4916
Frand 0.22 5281
располагается в нижней части значений величины углов наклона. Наблюдатель An практически одинаково профессионально осматривает все представленные изображения и предметы.
испытуемых в зависимости от номера наблюдаемого объекта.
1 НОМЕР | ТОМ 3 | 2011 | РЕНСИТ
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
ИССЛЕДОВАНИЕ ОСОБЕННОСТЕЙ 65 ВОСПРИЯТИЯ ВИДЕОИНФОРМАЦИИ
M
Ig
An
1
2
3
4
5
РЕНСИТ | 2011 | ТОМ 3 | НОМЕР 1
66 БЕЛЯЕВ Р.В., КОЛЕСОВ В.В., МЕНЬШИКОВА Г.Я., ПОПОВ А.М., РЯБЕНКОВ В.И.
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
6
7
8
9
Рис.8. Траектории движения глаз при просмотре 9различных изображений (картины и антикварные художественные изделия)
3 наблюдателями с различной искусствоведческой подготовкой.
6. ЗАКЛЮЧЕНИЕ
В телекоммуникационных системах конечным элементом является видеотерминал, на который выводится необходимая графическая информация для человека-оператора. Известно, что имеется естественное ограничение по количеству одновременно воспринимаемой человеком информации, поступающей к нему по каналу зрительного наблюдения. Кроме того скорость реакции оператора при продолжительном просмотре видеоизображения существенно падает. Поэтому разработка видеосистем должна производиться с учетом
психофизиологических особенностей зрительного аппарата человека.
В работе предложено использовать метод определения фрактальной размерности для исследования записи периодических выборок во времени сложных движений глаза наблюдателя при рассматривании и анализе различных объектов. Метод состоит в многократном просмотре всей длины каждой записи с использованием измерительного элемента, размер которого при каждом следующем проходе по полной длине записи уменьшается с заданным шагом и для каждого
1 НОМЕР | ТОМ 3 | 2011 | РЕНСИТ
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
такого прохода определяется значение вычисленной длины записи, отнесенное к реальной длине записи. В результате при таком подходе каждая запись движения глаза (трек) отображается в виде некоторой сходящейся функциональной зависимости, хорошо аппроксимируемой наклонной линией. При этом разным наблюдателям при заданных параметрах просмотра по применяемому методу соответствуют различные наклоны этих аппроксимирующих прямых.
Приведенные результаты показывают, что во-первых имеются существенные отличия в характере треков при рассмотрении одного и того же изображения каждым из наблюдателей, а во-вторых характер движения глаз при рассмотрении одного и того же изображения у разных наблюдателей также существенно отличается.
Важным результатом является нахождение критериев для получения количественной оценки, которую можно использовать при сопоставлении паттернов для установления связи характера изображения (тексты, специальные расположения текстов и подбор характера текстов и т.п., картины и фотографии) с индивидуальными характеристиками наблюдателя.
В работе показано, что критерием различения наблюдателей может служить угол наклона средней линии кривой отражающей результаты последовательных операций определения длины записи с применением измерительного элемента с уменьшающимся размером.
ЛИТЕРАТУРА
1. Ярбус АЛ. Роль движений глаза в процессе зрения. М., Наука, 1965, 173 c.
2. Buswell GT. How peopk look at pictures: A study of the psychology of perception in art. Chicago, University of Chicago Press, 1935, 198 p.
3. Гиппенрейтер ЮБ. Движения человеческого глаза. М., МГУ, 1978, 179 с.
4. Барабанщиков ВА. Окуломоторные структуры восприятия. М., ИП РАН, 1997, 384 с.
5. Itti L, Koch C. A saliency-based search mechanism for overt and covert shifts of visual attention. Vision Research, 2000, 40(10-12):1489-1506.
6. Torralba A, Oliva A, Castelhano MS, Henderson JM. Contextual guidance of eye movements and attention in real-world scenes: The role of global features in object search. Psychological Review, 2006, 113(4):766—786.
ИССЛЕДОВАНИЕ ОСОБЕННОСТЕЙ 67 ВОСПРИЯТИЯ ВИДЕОИНФОРМАЦИИ
7. Движение глаз и зрительное восприятие. Ред. Ломов БФ, Вергилес НЮ, Митькин АА. М., Наука, 1979, 277 с.
8. Findlay JM, Gilchrist ID. Active Vision: the Psychology of Looking and Seeing. New York, Oxford University Press, 2003, 220 p.
9. Mandelbrot BB. The fractal geometry of nature. New York, WH.Freeman & Co, 1982, 480 p.
10. Потапов АА. Фракталы в радиофизике и радиолокации: топология выборки. М., Университетская книга, 2005,
848 c.
Беляев Ростислав Владимирович,
к.ф.-м.н, с.н.с, член-корр. РАЕН,
ИРЭ им. ВА. Котельникова РАН,
125009 Москва, ул.Моховая, д.11, корп.7, тел. +7 495 629 3368, belyaev@cplire.ru
Колесов Владимир Владимирович,
к.ф.-м.н., завлабораторией, действ. член РАЕН, ИРЭ им. ВА. Котельникова РАН,
125009 Москва, ул.Моховая, д.11, корп.7, тел. +7 495 629 3368, kvv@cplire.ru
Меньшикова Галина Яковлевна,
к. псих. н, завлабораторией психологии восприятия, МГУ им. М.ВЛомоносова, факультет психологии 125009 Москва, ул. Б.Никитская, 4, к.21, тел. +7 495 629 7554, men’shikova@psy.msu.ru
Попов Александр Михайлович,
доцент,
МИРЭА, каф. физики
119454 Москва, пр-т Вернадского, д. 78, тел. +7 495 434 9317, popov@mirea.ru
Рябенков Виктор Иванович
к.т.н, доцент МИРЭА, каф. физики
119454 Москва, пр-т Вернадского, д. 78, тел. + 7 495 434 9317, ryabenkov@mirea.ru
РЕНСИТ | 2011 | ТОМ 3 | НОМЕР 1
68
INFORMATION TECHNOLOGIES
STUDY OF THE SPECIAL FEATURES OF THE PERCEPTION OF VIDEO INFORMATION BY THE FRACTAL ANALYSIS OF THE TRAJECTORY OF THE EYES MOTION
Belyaev R.V., Kolesov V.V.
Kotel’nikov Institute of Radio-Engineering and Electronics, Russian Academy of Sciences,
Mokhovaya str., 11, b. 7, 125009 Moscow, Russian Federation kvv@cplire.ru
Men’shikova G.Ya.
Lomonosov Moscow State University, Faculty of Psychology,
B.Nikitskaya str., 4, b. 21, 125009 Moscow, Russian Federation men’shikova@psy.msu.ru
Popov A.M., Ryabenkov V.I.
Moscow State Institute of Radio-Engineering, Electronics and Automation,
Vernadsky prosp., 78, 119454 Moscow, Russian Federation ryabenkov@mirea.ru
Readout video information and its analysis by means of human’s visual organs is a multiple-factor processes which has long ago was a subject of investigation with the help of various technologies by specialists of different specialities connected with the study of man and different sides of his activity: physiologists, psychologists, physicians, engineers and the like. The necessary component processes of visual analyzer-movements of eyes —which is external appearance of this processes are investigated by multiple methods with using variety of tools for its registration. However, the quantitative estimations in this area are developed insufficiently and do not make it possible to compare the results of different experiments. The purpose of this investigation-an obtaining numeric characteristics of visual perception which may be given by fractal analyses of fit experimental data received with computer utility iView X of SMI GmbH company by using traditional for physiology eye tracking method - to follow up orientation and position of eyes while sensing video information from computer’s monitor. For everyone measurement realized via the selected time interval there were registered position data a centre of eye’s pupil and their evaluated values with taking into consideration attendant parameters. By using received points there were drawn up tracks of eyes movement - self-crossing broken line with large but finite number of crossing. An analysis of such tracks was made with known method of calculation a fractal dimension for complex undifferentiated curves. The length of such curve was calculated with recurrent scanning of registered data with using a measuring element the length of which was diminished with a selected step on every next reiteration. Functional dependence of track’s length received by such method, normalized on theirs known real length, is characterized by convergence with extreme transition to small value of measurement element’s length. It appeared that every such track was characterized by it’s own inclination’s angle of approximate line. There were obtained criterions for quantitative evaluation of visual perception which can be used for development as psychophysiological technology of identification and diagnostics of personality and information technology by using features of cognitive processes.
Keywords: information technologies, cognitive processes technologies, eyes movements, perception of video information, psychophysiological features of visual organs, fractal analysis, fractal dimension.
UDC 004.932.2; 159.931
Bibliography — 10 references Received 11.05.2011, revised 16.05.2011
RENSIT, 2011, 3(1):56-68 REFERENCES
1. Yarbus AL. Rol’ dvigheniy glaga vprotsesse greniya [The role of eye movements in vision]. Moscow, Nauka Publ., 1965, 173 p.
2. Buswell GT. How people look at pictures: A study of the psychology of perception in art. Chicago, University of Chicago Press, 1935,
198 p.
3. Gippenreyter YuB. Dvigheniya chelovecheskogo glaga [Movement of the human eye]. Moscow, MGU Publ., 1978, 179 p.
4. Barabanschikov VA: Okulomotornye struktury vospriyatiya [Oculomotor structures of perception]. Moscow, IP RAS Publ., 1997, 384 p.
5. Itti L, Koch C. Vision Research, 2000, 40(10-12):1489-1506.
6. Torralba A, Oliva A, Castelhano MS, Henderson JM. Psychological Review, 2006, 113(4):766—786.
7. Lomov BF, Vergiles NYu, Mit’kin AA, eds. Dvighenie glag i gritel’noe vospriyatie [Eye movements and visual perception]. Moscow, Nauka Publ., 1979, 277 p.
8. Findlay JM, Gilchrist ID. Active Vision: the Psychology of Looking and Seeing. New York, Oxford University Press, 2003, 220 p.
9. Mandelbrot BB. The fractal geometry of nature. New York, WH.Freeman & Co, 1982, 480 p.
10. Potapov A.A. Fractaly v radiofigike i radiolokatsii: topologiya vyborki [Fractals in Radiophysics and Radiolocation: topology of sample]. Moscow, Universitetskaya kniga Publ., 2005, 848 p.
1 НОМЕР | ТОМ 3 | 2011 | РЕНСИТ
