CC BY
113
где функция f(K) определяется следующим образом:
f(K) = \
K
для t > 0,008856,
12,92
' K + 0,055Y 1,055 J
для t £ 0,008856.
IV
Функция f(K) необходима для аппроксимации нелинейного поведения гаммы в пространстве sRGB. В приведенной формуле используется значение 7=2,2, что соответствует среднему значению для реалистичного отображения.
Во втором преобразовании компоненты выбранной белой точки определяются как Xn=0,950456, Yn=1,0, Zn=1,088754. Значения ин-тенсивностей в пространстве CIE L*a*b* рассчитываются по следующим формулам:
L* = 116 • g(Y/Y) -16,
a* = 500 •[ g(X/Xn) - g(Y/Yn)],
b* = 200 •[ g(Y/Yn) - g(Z/Zn)].
Функция g(t) выбрана таким образом, чтобы избежать точки бесконечной сингулярности при t=0:
g(t) =
t3 для t > 0,008856,
7,787 • t + — для t £ 0,008856. 116
После подобного преобразования работа с заливкой сцены эталонными цветами может производиться намного точнее и быстрее, так как уровень помех и бликов значительно снижен по сравнению с sRGB-пространством, использованным ранее. Следовательно, такие этапы, как классификация цвета пикселя, фильтрация и локализация
объектов, значительно улучшаются и по качеству выносимых решений, и по скорости выполнения.
В заключение отметим, что описанный набор алгоритмов позволяет успешно справиться с задачей ориентации на игровом полигоне. Погрешность определения пространственных координат составляет менее 5 мм на расстоянии 0,5 м и обусловлена главным образом низким разрешением обрабатываемых кадров (для минимизации времени обработки выбрано разрешение 256x256 точек). Время полной обработки одного кадра составляет менее 10 мс на кадр.
В долгосрочной перспективе разработанный комплекс мер позволит вести работу по таким направлениям, как определение границ применимости различных существующих решений и методов искусственного интеллекта, совершенствование методов и алгоритмов распознавания изображений, создание комплексной системы автономного функционирования в динамической среде.
Литература
1. Миронов С.В., Трушкин Ф.А. Система анализа визуальных данных мобильного робототехнического комплекса // Мобильные роботы и мехатронные системы: матер. науч. шк.-конф. (Москва, 23-24 октября 2006). М.: Изд-во Моск. ун-та, 2006.
2. Бухалто А.Н. [и др.]. Нейрокомпьютеры в системах обработки изображений. Кн. 7; [под общ. ред. Ю.В. Гуляева и А.И. Галушкина]. М.: Радиотехника, 2003. 192 с.
3. CIE, Commission Internationale de l'Eclairage Proceedings. Cambridge University Press, 1931.
4. Буянов А.А., Власов А.И., Макеев С.С. Исследование нейросетевых алгоритмов, применяемых для распознавания образов // Молодые ученые - науке, технологиям и профобразованию для устойчивого развития: проблемы и новые решения: 2-я Междунар. конф. СНГ. М., 2000. Ч. 2, 3.
5. Власов А.И. Аппаратная реализация нейровычисли-тельных управляющих систем // Приборы и системы управления. 1999. № 2. С. 61-65.
УДК 004.424.4
ПОИСК ЭЛЕКТРОННЫХ ИЗОБРАЖЕНИЙ ПО СЕМАНТИЧЕСКИМ ПРИЗНАКАМ
С.Ю. Папулин (МГТУ им.. Н.Э. Баумана, [email protected])
Статья посвящена поиску изображений по семантическим признакам, основанному на преобразовании визуальных признаков изображения в вид, удобный для восприятия человеком. Рассмотрена общая концепция поиска изображений по текстовому описанию особенностей изображений, а также поиска текстовой информации по семантическим признакам изображения.
Ключевые слова: поиск изображений, поиск текстовой информации, семантический признак, семантический признак связи, семантический объект, образ, семантический преобразователь, признак изображения, аннотация изображения.
Известно, что визуальные данные являются наиболее информативным источником для познания окружающего мира, поскольку все, что попадает в поле зрения, обрабатывается параллельно. Так, для описания одного конкретного предмета
может потребоваться несколько предложений, имеющих последовательную форму построения, и потеря хотя бы одного из них или какого-либо значимого слова может исказить образ предмета. В то же время с помощью визуального представ-
ления данного предмета можно за долю секунды оценить все его основные признаки и сформировать правильный образ. Поэтому поиск визуальных данных, в частности изображений, может значительно расширить возможности поисковых систем и предоставить необходимую пользователю информацию не только в текстовом виде, но и в более простом и удобном для восприятия визуальном изображении.
Существует множество систем поиска изображений, использующих различные механизмы и имеющих широкие возможности. Наиболее часто применяемым является механизм поиска с использованием текстовой аннотации изображения, которую формирует сам пользователь, вводя описывающие изображение слова, либо применяются специальные алгоритмы аннотации по контекстному содержанию, в котором располагается изображение. Последний случай относится к таким источникам данных, как страницы в Интернете, Word-, PDF-документы и др.
Другой класс систем поиска изображений использует механизмы контентного поиска [1, 2], который основан на извлечении особенностей изображения (цвет, текстура, форма, расположение) и записи их как набора признаков. Каждый признак хранится в виде конкретных числовых значений. Входными данными для поиска являются изображение, набросок, сделанный с помощью специальных средств или от руки, или конкретные признаки, которые предоставляются пользователю в форме списка.
В данной статье рассматривается еще один механизм поиска изображений, объединяющий возможности как текстового, так и контентного поиска. Преимуществом текстовой формы описания является возможность использования абстрактных понятий, обобщающих слов. Поэтому текстуальный поиск изображений позволяет искать целые классы изображений или объектов на них, что сложно реализовать, используя в качестве входа поисковой системы отдельные изображения, не обладающие обобщающей способностью.
Таким образом, поиск изображений по семантическим признакам использует в качестве входных данных текстовое описание, которое преобразуется в набор числовых признаков для дальнейшего применения методов контентного поиска.
Классификация способов поиска изображений
Как упоминалось ранее, механизмы поиска изображений можно разделить на два класса: текстовый и контентный [3]. Более подробная классификация представлена на рисунке 1.
Из рисунка видно, что для текстового способа поиска применяют текстовую аннотацию и тематическое описание изображения. О текстовой ан-
нотации уже достаточно подробно говорилось, тематическое описание по большей мере основано на классификации текстовой аннотации и предоставляется пользователю в виде списка возможных тем изображений. Следует отметить, что существуют системы, позволяющие соотнести изображение с определенной категорией с использованием методов контентного извлечения признаков [3-5]. В основном такие системы определяют, присутствует ли на изображении человек, где сделан снимок: в открытом пространстве или в помещении.
Поиск изображений
Текстовая аннотация изображения
Тема
Изображение
Набросок и/или отдельные признаки
Параметры изображения
Рис. 1. Классификация способов поиска изображений
Для осуществления контентного поиска, как правило, используют конкретные изображения, наброски, отдельные признаки, представленные в виде списка, и параметры изображения (размеры, цветное или монохромное и др.).
Введение в поиск изображений по семантическим признакам
Данный механизм поиска изображений можно охарактеризовать как комбинацию текстового и контентного поисков. Необходимо ввести определения основных понятий.
Семантический признак - признак, представленный в форме естественного языка. В данном случае под естественным языком подразумевается текстовое описание признака. Семантический признак может описывать цветовые, текстурные признаки, особенности формы, признаки отношения (например, положение, структура).
Семантика признаков - отношение между представлением признаков на естественном языке человека и в удобном для обработки электронно-вычислительными средствами виде.
Семантический признак связи - семантический признак, определяющий отношения между признаками, то есть взаимное расположение, структуру. Признаки, в свою очередь, бывают числовыми (или символьными) и семантическими.
Образ, или семантический объект, может быть четким или нечетким. Четкому образу соответствует определенный набор признаков с определенными отношениями между собой. Нечеткий образ - обобщение нескольких четких или неполный четкий.
Кроме того, можно выделить семантические признаки изображения, регионов изображения или объектов изображения.
Семантические признаки изображения описывают все изображение, которое представляется одним неделимым объектом без структурной декомпозиции вглубь, и все семантические признаки связи между признаками располагаются на одной плоскости.
Если в качестве предобработки изображения используются различные методы сегментации, каждый выделенный регион может иметь собственные семантические признаки региона. Отношения между признаками различных регионов, а также признаками одного региона описываются с помощью семантических признаков связи. Кроме того, каждый регион можно разбить еще на несколько, то есть применить рекурсивную декомпозицию вглубь. Взаимосвязь между различными уровнями декомпозиции определяют семантические признаки связи.
В случае, когда применяются методы распознавания и выделения объектов изображения или когда они заранее известны (например, объект задан в форме аннотации и изображение содержит только его), их можно описать с помощью семантических признаков объектов. Способы представления семантических признаков регионов и объектов во многом схожи, но для объектов используется дополнительная описательная характеристика - семантический объект.
Общий подход к построению систем поиска изображений по семантическим признакам
Для упрощения изложения под семантическим признаком будет также подразумеваться семантический объект, под семантическим признаком изображения - семантические признаки регионов и объектов, а под признаком - числовой (или символьный) признак.
Для построения систем поиска изображений по семантическим признакам применяется семантический преобразователь, который определяет семантику признаков.
Семантика признаков изображения основана на взаимосвязи между семантическими признаками и признаками в числовой форме. На рисунке 2 показан общий принцип преобразования семантических признаков в числовые. Семантический преобразователь содержит БД семантических признаков, в которой каждый семантический признак соотносится с одним признаком или целой группой.
Семантический признак
Семантический преобразователь
Поиск признака
!
БД
семантических признаков
Признак в числовом виде
Рис. 2. Механизм преобразования семантического признака в числовой
Таким образом, на вход семантического преобразователя поступает семантический признак, по которому осуществляется поиск признака в БД, а выходом является признак в числовом виде.
Чтобы представить весь процесс поиска по семантическим признакам, рассмотрим последовательность сохранения признаков изображений в БД (см. рис. 3) и процедуру поиска изображений (см. рис. 4).
Последовательность действий при записи признаков изображений в БД практически ничем не отличается от порядка при реализации контентно-го поиска, то есть на вход поступает изображение, которое преобразуется в набор признаков, и полученные признаки записываются в БД.
Отметим, что процедура поиска отличается от процедуры контентного поиска введением блока семантического преобразователя, который конвертирует семантические признаки в числовые. Поэтому вместо привычного для контентного поиска запроса в виде изображения пользователь вводит текстовое описание изображения, которое представляется как набор семантических признаков. Затем при помощи преобразователя семантические признаки переводятся в числовой вид и сравниваются с признаками изображений, хранящихся в БД. Результат пользовательского запроса формируется на основе данных о сравнении.
Изображение
Извлечение признаков изображения
=>
Признаки изображения в числовом виде
БД признаков изображений в числовой форме
Рис. 3. Последовательность сохранения признаков изображения в БД
Семантический признак
Семантический преобразователь
-и/
Признак в числовом виде.О
Результат поиска
Формирование результата сравнения, список изображений
31
Сравнение признаков,
Q и I(i)
О
Признак в числовом виде, I(i)
БД изображений
и признаков изображений в числовой форме.
Примечание: Q - запрашиваемый признак, Щ) - признак >го изображения.
Рис. 4. Процедура поиска изображений по семантическим признакам
Особенности поиска изображений по семантическим признакам
Применение текстового описания для поиска требуемых изображений в качестве запроса позволяет использовать методы синтаксического и морфологического анализа, которые обычно внедряются в системы поиска текстовой информации. Данный анализ проводится для определения семантических признаков текстового запроса, которые в дальнейшем будут переведены в числовой вид.
Рассмотрим небольшой пример использования текстового запроса для поиска изображений.
Пусть запрос содержит следующее предложение: Красная полосатая звезда с синим пятном в центре.
В этом случае грамматический анализ запроса можно представить так, как изображено на рисунке 5, то есть выделяется основной объект (слово, обозначающее предмет), который представляется как образ (или признак формы). Затем к этому образу привязываются семантические признаки, играющие в предложении роль определения и обозначающие признак предмета. При объединении образа с семантическими признаками формируется новый образ. Устанавливаются различные взаимосвязи между образами, которые описываются семантическими признаками связи. В итоге текстовый запрос преобразуется в определенный набор образов и/или семантических признаков.
Механизм преобразования текстового запроса в набор семантических признаков, а затем в набор числовых признаков при реализации поиска по семантическим признакам может быть изменен. Рассмотрим способ поиска, при котором нет необходимости в таком преобразовании, что позволяет использовать только методы поиска текстовой информации.
Поиск по аннотации семантических признаков
Данный поиск характеризуется обратным направлением работы семантического преобразователя: если при поиске изображений по семантическим признакам используется преобразование
семантических признаков в числовые, то в поиске по аннотации семантических признаков используется преобразование числовых признаков в семантические. Общая схема семантического преобразователя представлена на рисунке 6.
Кроме того, изменяется структура хранения признаков, так как в этом случае в БД записывается аннотация изображения, а также изменяется место использования семантического преобразователя, то есть теперь семантический преобразователь применяется в последовательности сохранения описания изображения (рис. 7), а из процедуры поиска исключается (рис. 4).
Таким образом, обработка текстового запроса на поиск изображения может осуществляться преимущественно методами текстуального поиска информации.
Поиск текстовой информации по семантическим признакам изображения
Использование семантического преобразователя открывает возможность для реализации еще одного способа поиска информации, а именно, поиска текстовой информации по семантическим признакам изображения.
В данном случае на вход поступает изображение, которое преобразуется в набор числовых признаков с помощью методов извлечения признаков
Числовой признак изображения
Семантический преобразователь
Поиск признака
БД
семантических признаков
Семантический признак
Рис. 6. Механизм преобразования числового признака в семантический
/Образ 3 - Красная полосатая звезда с синим пятном в центре
'Семантический признак связи 2 - Образ 2 в центре Образа 1
Семантический признак связи 1 - Образ 1 с Образом 2
Образ 1 - Красная полосатая звезда
Семантический ^ признак цвета
I Семантический ^/О признак текстуры^,__признак формы
Семантический у Образ или семантический
Образ 2 - синее пятно
Семантический I,__признак цвета
Красная X полосатая Узвёзда
в центре
Рис. 5. Пример анализа запроса для систем поиска изображений по семантическим признакам
Изображение
Признаки изображения в числовом виде
БД текстовой аннотации изображений
Семантические
признаки (или текстовая аннотация)
Рис. 7. Последовательность сохранения текстовой аннотации изображения
изображения. Затем числовые признаки преобразуются в семантические. По ним формируется текстовый запрос к БД, которая хранит аннотации различных текстовых источников данных (например, страницы в Интернете), текстовых документов. Результатом поиска является список текстовых источников, которые связаны с содержанием входного изображения.
Рассмотренные механизмы поиска изображений по семантическим признакам, аннотации семантических признаков, а также механизм поиска текстовой информации по семантическим признакам изображения предоставляют широкие возможности для объединения различных методов поиска изображений и текстовой информации.
Все представленные в данной статье способы поиска основаны на использовании семантического преобразователя, от расположения которого в общей структуре поиска меняются характер поиска и, как следствие, результат.
В заключение следует отметить, что значения семантических признаков и образов достаточно
субъективны; так как признаки или образ определенного предмета у разных людей могут отличаться, результат поиска тоже является субъективным и зависит от БД семантических признаков в семантическом преобразователе. Поэтому с целью более объективного поиска возможно применение для каждой системы поиска собственной БД семантических признаков или использование в рамках одной системы нескольких БД семантических признаков. Но в таком случае увеличиваются затрачиваемые на поиск ресурсы, что существенно сказывается на производительности.
Литература
1. Colin C. Venters and Dr. Matthew Cooper. A review of content-based image retrieval systems // Joint Information Systems Committee (JISC). 01.06.2000. URL: http://www.jisc.ac.uk/media/ documents/programmes/jtap/jtap-054.pdf (дата обращения: 25.09.2010).
2. Remco C. Veltkamp and Mirela Tanase. A survey of content-based image retrieval systems // Geometry, Imaging and Virtual Environments Lab, Utrecht University, The Netherland. 08.03.2001. URL: http://www.aa-lab.cs.uu.nl/cbirsurvey/cbir-survey/ (дата обращения: 25.09.2010).
3. Marinai S. A survey of document image retrieval in digital libraries. 9th Colloque International Francophone sur l'Ecrit et le Document (CIFED 2006). 2006. URL: http://www.dsi.unifi.it/~si-mone/Papers/cifed06.pdf (дата обращения: 25.09.2010).
4. Matthew Simpson, Md Mahmudur Rahman, Dina Demner-Fushman, Sameer Antani, George R. Thoma. Text- and Content-based Approaches to Image Retrieval for the ImageCLEF 2009 Medical Retrieval Track. The Cross-Language Evaluation Forum (CLEF) 2009. URL: http://www.clef-campaign.org/2009/working_ notes/simpson-paperCLEF2009.pdf (дата обращения: 25.09.2010).
5. Бухалто А.Н. [и др.]. Нейрокомпьютеры в системах обработки изображений; [под общ. ред. Ю.В. Гуляева и А.И. Галушкина]. М.: Радиотехника, 2003. Кн 7. 192 с.
УДК 81:002
МЕТОДЫ АВТОМАТИЗИРОВАННОЙ ОЦЕНКИ КАЛЛИГРАФИИ
А.А. Демин (МГТУ им. Н.Э. Баумана, [email protected])
Статья посвящена автоматизированной оценке каллиграфии, целью которой являются выявление основ формирования графического навыка письма, анализ технологических приемов первоначального обучения письму, способствующих развитию такого навыка, а также раскрытие способов корректировки почерка.
Ключевые слова: каллиграфия, кинетическое сходство, стигмаграфический метод, стенографическая сетка, метод Карстера.
В эпоху всеобщего перехода от бумажного представления информации к электронному актуальной является проблема обучения первоклассников каллиграфически правильному письму. Трудности, возникающие при овладении техникой письма, имеют разные причины: физиологические, психологические и педагогические.
Прежде всего определим понятия каллиграфии и каллиграфических ошибок.
Каллиграфия - искусство красивого письма, то есть умение писать правильным (четким) и устойчивым почерком.
Каллиграфические ошибки - нарушение пропорции элементов букв по ширине, высоте и
