CC BY
279
УДК 519.7
А.А. Макаренко, В.Т. Калайда
Применение нейросетевых технологий
для идентификации изображения лица человека
Статья содержит обзор основных нейросетевых технологий, применяемых
для идентификации полутоновых изображений, и обсуждается возможность их
использования для решения задачи обнаружения лица человека на изображении.
Введение
Многие направления науки и техники, имеющие отношение к получению, обработке, хранению и передаче информации, в значительной степени ориентируются в настоящее время на развитие систем, в которых информация имеет характер изображений. Одной из самых сложных задач для таких систем является распознавание изображений. Распознавание изображений широко примененяется в различных областях науки и техники. В технике это может быть контроль топологии печатных плат, текстуры ткани, робототехника (интеллектуальные системы). В информатике — контроль доступа к информации по идентификации личности (биометрическая идентификация). Кроме того, нарастающая угроза терроризма ставит задачу обеспечения безопасности в местах большого скопления людей (стадионы, концертные залы, кинотеатры, музеи), банковских учреждениях и бизнес-центрах, на транспортных объектах (аэропорты, железнодорожные станции, автовокзалы, морские порты), а также на стратегически важных объектах и пограничных переходах. В связи с этим возникает необходимость в создании надежных систем идентификации личности человека, в том числе и по изображению лица.
В настоящее время всё более широкое распространение получают биометрические системы идентификации человека. Традиционные системы идентификации требуют знания пароля, наличия ключа, идентификационной карточки либо иного идентифицирующего предмета, который можно забыть или потерять. В отличие от них биометрические системы основываются на уникальных биологических характеристиках человека, которые трудно подделать и которые однозначно определяют конкретного человека. К таким характеристикам относятся отпечатки пальцев, форма ладони, узор радужной оболочки, изображение сетчатки глаза. Лицо, голос и запах каждого человека также индивидуальны [1—3].
Распознавание человека по изображению лица выделяется среди биометрических систем, во-первых, тем, что, не требуется специальное или дорогостоящее оборудование. Для большинства приложений достаточно персонального компьютера и обычной видеокамеры. Во-вторых, не нужен физический контакт с устройствами. В большинстве случаев достаточно просто пройти мимо или задержаться перед камерой на небольшое время.
К недостаткам распознавания человека по изображению лица следует отнести то, что сама по себе такая система не обеспечивает 100%-й надёжности идентификации. Там, где требуется высокая надёжность, применяют комбинирование нескольких биометрических методов.
Задача обнаружения лица на изображении является первым шагом, предобработкой в процессе решения задачи идентификации личности человека по изображению лица (например, узнавания лица, распознавания выражения лица).
Задача обнаружения лица на изображении является более чем простой для человеческого зрения, однако при попытке построения автоматической системы обнаружения лиц приходится столкнуться со следующими сложностями:
• сильно варьирующийся внешний вид лица у разных людей;
• даже относительно небольшое изменение ориентации лица относительно камеры влечет за собой серьезное изменение изображения лица;
• присутствие индивидуальных особенностей (усы, борода, очки, морщины и т. д.) существенно осложняет автоматическое распознавание;
• изменение выражения лица может сильно сказаться на том, как лицо выглядит на изображении;
• часть лица может быть невидима (закрыта другими предметами) на изображении;
• условия съемки (освещение, цветовой баланс камеры, искажения изображения, привносимые оптикой системы, качество изображения) в значительной степени влияют на получающееся изображение лица;
В настоящее время для решения задачи обнаружения лица используются следующие подходы:
• метод главных компонентов [4];
• факторный анализ [5];
• моментный анализ [6];
• линейный дискриминантный анализ [5];
• метод опорных векторов [7];
• скрытые марковские модели [8];
• асЪгуе appearance models (активные модели внешнего вида) [9];
• вейвлетный анализ [10];
• подходы, основанные на искусственных нейронных сетях [11-15].
Наиболее перспективными среди них являются подходы с использованием искусственных нейронных сетей.
Нейронные сети давно и успешно применяются для решения многих задач распознавания. Достоинством использования нейросетей для решения задачи обнаружения лица является возможность получения классификатора, хорошо моделирующего сложную функцию распределения изображений лиц p (x | face J. Недостатком же является необходимость в тщательной и кропотливой настройке нейросети для получения удовлетворительного результата классификации.
Основные преимущества, которыми обладают нейронные сети, следующие.
Настройка нейронной сети для решения определённой задачи производится в процессе обучения на наборе тренировочных примеров. Таким образом, не требуется вручную определять параметры модели (выбирать ключевые признаки, учитывать их взаимоотношение и т.п.) — нейронная сеть извлекает параметры модели автоматически наилучшим образом в процессе обучения. Остаётся только построить тренировочную выборку. В задачах классификации при этом происходит неявное выделение ключевых признаков внутри сети, определение их значимости и системы взаимоотношений между признаками. В настоящее время разработаны мощные, гибкие и универсальные механизмы обучения различных типов нейронных сетей. Кроме того, архитектура нейронной сети и процедуры обучения позволяют гибкую настройку на конкретную решаемую задачу. Для большинства нейронных сетей процедура обучения является эвристическим алгоритмом, что, с одной стороны, обеспечивает приемлемость получаемых решений, а с другой стороны, не требует непомерных вычислительных ресурсов.
Нейронные сети обладают хорошей обобщающей способностью. Это значит, что опыт, полученный в процессе обучения на конечном наборе образов, нейронная сеть может успешно применять на всё множество образов. Кроме интерполяционных обобщающих способностей, нейронные сети (многослойные персептроны, например) могут хорошо экстраполировать, т. е. применять свой опыт на качественно иных образах, чем те, которые встречались в обобщающей выборке.
Нейронные сети не требуют наложения каких-либо ограничений на тренировочную выборку и не полагаются на то, что она обладает какими-либо априорными свойствами, в отличие, например, от статистических методов. Не требуется никакого предварительного изучения характера данных. Нейронная сеть принимает тренировочный набор «как есть» и учится производить правдоподобное решение, не претендуя на абсолютную истину. То есть строится наилучшая нефизическая модель, которая не является максимально точным соответствием реального процесса, но даёт приемлемую его аппроксимацию. Имеется ряд примеров, когда нейронные сети показывали себя лучше статистических методов. Кроме того, в статистике не имеется аналогов некоторых нейросетевых методов, таких, например, как карты Кохонена, машина Больцмана и, что важно для распознавания изображений, когнит-роны.
Естественным образом архитектура нейронных сетей реализуется на параллельных вычислительных средствах: специализированных микросхемах, оптических и квантовых компьютерах. Это открывает широкие перспективы применения нейронных сетей в будущем. Нейронная сеть характеризуется нечётким и распределённым хранением информа-
ции. То есть нет отдельного нейрона, отвечающего за какое-либо понятие или признак, и удаление или искажение работы этого нейрона не приведёт к фатальным последствиям.
Но несмотря на все достоинства, применение нейронных сетей к изображениям требует специальных усилий. Это связано, в первую очередь, со сложным характером изображений, особенно изображений трёхмерных объектов реального мира, какими и являются лица людей.
Технология обнаружения лица, используемая нами, описана в [15] и состоит из следующих этапов.
На этапе обучения нейронной сети предъявляется предварительно подготовленный набор изображений определенного размера, содержащий как изображения лица, так и нелицевые изображения (фон, части лиц и т.п.). Некоторые из этих изображений представлены на рис. 1.
Рис. 1 — Изображения из обучающей выборки
На данном наборе нейронная сеть учится отличать изображения лица от нелицевых изображений.
Этап детектирования изображения лица состоит в следующем: изображение, на котором необходимо найти лицо, последовательно масштабируется с некоторым коэффициентом, полученный таким образом набор изображений предъявляется нейронной сети. Предъявленное изображение сканируется входным слоем нейронной сети (то есть участки изображения с некоторым шагом подаются на вход нейронной сети), и происходит выделение кандидатов на каждом из изображений.
Основная идея, лежащая в основе нейронных сетей [16-18], — это последовательное преобразование сигнала параллельно работающими элементарными функциональными элементами.
Для решения задачи обнаружения лица на изображении применялось большое количество нейронных сетей различных архитектур. Рассмотрим вкратце основные из них.
Обзор нейросетевых архитектур Многослойные персептроны
Наиболее популярный класс многослойных сетей прямого распространения образуют многослойные персептроны, в которых каждый вычислительный элемент использует пороговую или сигмоидальную функцию активации.
Персептрон представляет собой сеть, состоящую из нескольких последовательно соединенных слоев формальных нейронов (рис. 2). На низшем уровне иерархии находится входной слой, состоящий из сенсорных элементов, задачей которого является только прием и распространение по сети входной информации. Далее имеются один или, реже, несколько скрытых слоев. Каждый нейрон на скрытом слое имеет несколько входов, соединенных с выходами нейронов предыдущего слоя или непосредственно с входными сенсорами Х1,..., Хп , и один выход. Нейрон характеризуется уникальным вектором весовых коэффициентов ю. Функция нейрона состоит в вычислении взвешенной суммы его входов с дальнейшим нелинейным преобразованием ее в выходной сигнал:
У =
1
1 + ехр
( Л
X -©
V I
Выходы нейронов последнего, выходного, слоя описывают результат классификации У = У(Х). Особенности работы персептрона состоят в следующем. Каждый нейрон суммирует поступающие к нему сигналы от нейронов предыдущего уровня иерархии с весами, определяемыми состояниями синапсов, и формирует ответный сигнал (переходит в возбужденное состояние), если полученная сумма выше порогового значения. Персептрон переводит входной образ, определяющий степени возбуждения нейронов самого нижнего уровня иерархии, в выходной образ, определяемый нейронами самого верхнего уровня. Число последних, обычно, сравнительно невелико. Состояние возбуждения нейрона на верхнем уровне говорит о принадлежности входного образа к той или иной категории.
Данный вид нейронных сетей обучается с помощью алгоритма обратного распространения ошибки. Основная идея обратного распространения состоит в том, как получить оценку ошибки для нейронов скрытых слоев. Известные ошибки, делаемые нейронами выходного слоя, возникают вследствие неизвестных пока ошибок нейронов скрытых слоев. Чем больше значение синаптической связи между нейроном скрытого слоя и выходным нейроном, тем сильнее ошибка первого влияет на ошибку второго. Следовательно, оценку ошибки элементов скрытых слоев можно получить как взвешенную сумму ошибок последующих слоев. При обучении информация распространяется от низших слоев иерархии к высшим, а оценки ошибок, делаемые сетью, — в обратном направлении, что и отражено в названии метода.
Была проведена практическая реализация нескольких различных конфигураций многослойного персептрона. Некоторые результаты работы одной из конфигураций нейронной сети представлены на рис. 3.
Рис. 3 — Результаты работы многослойного персептрона: слева — нейронная сеть правильно захватила лицо; справа — нейронная сеть не нашла повернутое лицо человека, выбрав часть головы
Радиально-базисные нейронные сети
Радиально-базисные нейронные сети состоят из двух слоёв (рис. 4). Первый слой имеет радиально-базисную активационную функцию у = exp {—52/2ст2 , где ст — среднеквадратичное отклонение, характеризующее ширину функции (размер кластера); 8 — расстояние между входным и весовым вектором: 82 = |Х — Ж|2 — ю1 )2 . Таким образом, скрытый слой
I
представляет собой набор кластеров в пространстве образов и выполняет первый этап кластеризации входного образа — значение активационной функции каждого нейрона быстро
Рис. 2 — Структура многослойного персептрона
с пятью входами, тремя нейронами в скрытом слое, и одним нейроном выходного слоя
уменьшается с удалением от центра кластера. Второй слой нейронов имеет линейную активационную функцию и выполняет второй этап кластеризации — распределяет кластеры по классам.
Обучается такая сеть в два этапа. Первый этап осуществляется без учителя. На нём первый слой выделяет компактно расположенные группы кластеров. При этом корректируются центры кластеров. Второй этап обучения осуществляется с учителем. На нем второй слой учится распределять входные образы, пропущенные через первый слой, по классам. Это выполняется или матричными методами, или алгоритмом обратного распространения ошибки.
На рис. 5 представлены некоторые результаты работы радиально-базисной нейронной сети.
Рис. 4 — Структура радиально-базисной нейронной сети
Рис. 5 — Результаты работы радиально-базисной нейронной сети: слева — нейронная сеть правильно захватила лицо; справа — нейронная сеть не нашла повернутое лицо человека, выбрав часть головы
Самоорганизующиеся карты Кохонена
Алгоритм функционирования самообучающихся карт представляет собой один из вариантов кластеризации многомерных векторов. Обычно нейроны располагаются в узлах двумерной сетки с прямоугольными или шестиугольными ячейками (рис. 6). При этом, как было сказано выше, нейроны также взаимодействуют друг с другом. Величина этого взаимодействия определяется расстоянием между нейронами на карте.
Рис. 6 — Карты Кохонена
Сигнал в такую нейросеть поступает сразу на все нейроны, а веса соответствующих синапсов интерпретируются как координаты положения узла, и выходной сигнал формируется по принципу «победитель забирает все», то есть ненулевой выходной сигнал имеет нейрон, ближайший (в смысле весов синапсов) к подаваемому на вход объекту.
Самоорганизующиеся карты Кохонена используют алгоритм обучения без учителя. Обучение состоит из последовательности коррекций векторов, представляющих собой нейроны. На каждом шаге обучения из исходного набора данных случайно выбирается один из векторов, а затем производится поиск наиболее похожего на него вектора коэффициентов нейронов. После того как найден нейрон-победитель, производится корректировка весов ней-росети. При этом вектор, описывающий нейрон-победитель, и векторы, описывающие его соседей в сетке, перемещаются в направлении входного вектора.
На рис. 7 представлены результаты работы карт Кохонена.
Рис. 7 — Результаты работы самоорганизующихся карт Кохонена: слева — нейронная сеть правильно захватила лицо; справа — нейронная сеть не нашла повернутое лицо человека, выбрав боковую часть головы
В результате практической реализации вышерассмотренных нейронных сетей было выяснено, что они не обеспечивают необходимой надежности и универсальности, так как не обладают инвариантностью к изменению масштаба изображения, повороту и очень чувствительны к изменению условий съемки, фону и шумам на изображении.
Основной недостаток рассмотренных выше нейронных сетей — то, что изображение представлено в виде п-мерного вектора, не учитывающего ни двумерную локальную организацию пикселей, ни возможность деформации. То есть данные виды нейронных сетей не обладают инвариантностью к изменению масштаба и повороту. Описываемые далее типы нейронных сетей позволяют учесть топологию пространства изображения. Принципы работы таких сетей основываются на разбиении изображения на маленькие участки и иерархическом сопоставлении как взаимного их расположения, так и содержания.
Неокогнитрон
В основу структуры неокогнитрона положена организация зрительной системы человека. Главная особенность неокогнитрона — это двумерная организация локальных участков и плоскостная иерархическая структура (рис. 8).
■ I
Рис. 8 — Структура неокогнитрона
Каждый слой состоит из плоскостей простых и сложных клеток. Каждый нейрон простой плоскости связан с локальным двумерным участком плоскостей предыдущего слоя, веса всех нейронов в пределах одной плоскости одинаковы, и плоскость реагирует на определённый образ, находящийся в участке изображения. Положение активированного таким образом нейрона в простой плоскости отмечает участок, в котором найден этот образ, независимо от искажения этого образа. Нейрон сложной плоскости связан с участком своей простой плоскости и обнаруживает активность нейронов на этом участке, уменьшая тем самым чувствительность к позиции образа.
Обучение неокогнитрона осуществляется по методу «обучение без учителя». Механизм обучения использует тип конкурентоспособного обучения. В основе его лежит выделение наиболее сильно возбужденного нейрона в области конкуренции и дальнейшее увеличение его весовых коэффициентов.
Практическая реализация неокогнитрона не проводилась в связи с его вычислительной сложностью, поэтому было решено обратить основное внимание на упрощенный вариант неокогнитрона — сверточную нейронную сеть.
Сверточные нейронные сети
Архитектура свёрточной нейронной сети основывается на принципах архитектуры нео-когнитрона, упрощённого и дополненного обучением алгоритмом обратного распространения ошибки.
В основе сверточной нейронной сети лежат идеи, предложенные Ле Куном и Бенджио (рис. 9) [19]:
• локальные рецепторные поля (обеспечивают локальную двумерную связность нейронов);
• общие веса (обеспечивают детектирование некоторых черт в любом месте изображения и уменьшают общее число весовых коэффициентов);
• иерархическая организация с пространственными подвыборками.
Свёрточная нейронная сеть обеспечивает частичную устойчивость к изменениям масштаба, смещениям, поворотам, смене ракурса и прочим искажениям.
СопуоЫкта! ?иЬклпр1т^ СотгоЫошЛ БиЪзашр]^ КиИу
ЮШКЮ1
Рис. 9 — Архитектура сверточной нейронной сети
Архитектура сверточной нейронной сети, состоит из многих слоёв. Слои бывают двух типов: свёрточные и подвыборочные. Свёрточные и подвыборочные слои чередуются друг с другом.
В каждом слое имеется набор из нескольких плоскостей, причём нейроны одной плоскости имеют одинаковые веса, ведущие ко всем локальным участкам предыдущего слоя (как в зрительной системе человека). Изображение предыдущего слоя как бы сканируется небольшим окном и пропускается сквозь набор весов, а результат отображается на соответствующий нейрон текущего слоя. Таким образом, набор плоскостей представляет собой карты характеристик и каждая плоскость находит « свои» участки изображения в любом месте предыдущего слоя.
Следующий за свёрточным слоем подвыборочный слой уменьшает масштаб плоскостей путём локального усреднения значений выходов нейронов.
Таким образом, достигается иерархическая организация. Последующие слои извлекают более общие характеристики, меньше зависящие от искажений изображения.
Для обучения сверточных нейронных сетей может применяться как стандартный метод обратного распространения ошибки, так и его различные модификации.
Заключение
Технология нейронных сетей предлагает подход, в корне отличный от традиционных методов идентификации изображений. Ее особенность в том, что не требуется предварительного изучения характера данных, «ручного» определения параметров модели (выбор ключевых признаков, их взаимосвязей и т.п.). Нейронная сеть извлекает параметры модели автоматически наилучшим образом в процессе обучения. Другой отличительной особенностью этой технологии является возможность реализации параллельных вычислений.
Ряд нейронных сетей (неокогнитрон, сверточные нейронные сети) разработаны по аналогии со зрительной системой человека и тем самым изначально предназначены для обработки изображений. Их эффективность доказана успешным применением для идентификации изображений букв, цифр, печатных плат и т. п.
В настоящее время наиболее популярными нейронными сетями, применяемыми для идентификации изображений, являются многослойные персептроны, так как они просты в реализации и обладают малой вычислительной сложностью. Однако проведенная нами практическая реализация нескольких различных конфигураций данных нейронных сетей показала, что они не полностью обеспечивают необходимую надежность и универсальность, так как не обладают инвариантностью к изменению масштаба изображения, повороту и очень чувствительны к изменению условий съемки, фону и шумам на изображении. Этим же недостаткам подвержены схемы самоорганизующихся карт Кохонена и радиально-базис-ных нейронных сетей.
Анализ литературы по проблеме, а также успешная реализация сверточных нейронных сетей [15] для задач идентификации и выделения сюжетной части изображения позволяют надеяться, что в этом направлении могут быть получены наиболее эффективные результаты.
Литература
1. Панканти Ш., Болле Р.М., Джейн Э. Биометрия: будущее идентификации // Открытые системы. - 2000. - № 3.
2. Филлипс Дж., Мартин Э., Уилсон С. Л., Пржибоски М. Введение в оценку биометрических систем // Открытые системы. - 2000. - № 3.
3. Глазунов А. Компьютерное распознавание человеческих лиц // Открытые системы. - 2000. - № 3.
4. Sung K.K., Poggio T. Learning Human Face Detection in Cluttered Scene — Lecture Notes in Computer Science - Computer Analysis of Images and Patterns, 1995. P. 432-439.
5. M.-H. Yang, N. Ahuja, and D. Kriegman. Face Detection Using Multimodal Density Models — Computer Vision and Image Understanding (CVIU), vol. 84, no. 2, pp. 264-284, 2001.
6. Калайда В. Т. Применение методов морфологического анализа для задач идентификации полутоновых изображений // Оптика атмосферы и океана. - 2003. - Т. 16. - № 09. -С. 862-865.
7. Jochen Maydt and Rainer Lienhart. Face Detection with Support Vector Machines and a Very Large Set of Linear Features — IEEE ICME 2002, Lousanne, Switzerland, pp. 33-40, Aug. 2002.
8. S. Marchand-Maillet and B.M. Erialdo. Pseudo two-dimensional hidden markov models for face detection in colour images — in Proceedings Second International Conference on Audio-and Video-based Biometric Person Authentication (AVBPA), 1999.
9. G.J. Edwards, C.J. Taylor, T.F. Cootes. Interpreting Face Images using Active Appearance Models — Int. Conf. on Face and Gesture Recognition 1998. pp. 300-330, 1998.
10. Chris Perkins, Tobin Fricke. Wavelets — Department of Electrical Engineering University of California at Berkeley, December 1, 2000, 18 p.
11. G. Burel and D. Carel. Detection and Localization of Faces on Digital Images — Pattern Recognition Letters, vol. 15, no. 10, pp. 963-967, 1994.
12. Takacs B., Wechsler H. Locating Facial Features Using SOFM — International Conference on Pattern Recognition, 1994. - Vol. 2. - P. 55-60.
13. S.-H. Lin, S.-Y. Kung and L.-J. Lin. Face Recognition/Detection by Probabilistic Decision-Based Neural Network — IEEE Trans. Neural Networks, vol. 8, no. 1, pp. 114-132, 1997.
14. H. Rowley, S. Baluja, and T. Kanade. Neural Network-Based Face Detection — Proc. IEEE Conf. Computer Vision and Pattern Recognition, pp. 203-208, 1996.
15. Garcia C.M., Delakis. A. Neural Architecture for Fast and Robust Face Detection — IEEE-IAPR International Conference on Pattern Recognition (ICPR2002), Quebec City, Aout 2002, p. 40-43.
16. Уоссермен Ф. Нейрокомпьютерная техника: Теория и практика. - 1992. - 184 с.
17. Ежов А.А., Шумский С.А. Нейрокомпьютинг и его применения в экономике и бизнесе. - Москва, 1998.
18. Горбань А.Н., Дунин-Барковский В. Л., Кирдин А.Н. и др. Нейроинформатика. -Новосибирск: Наука. Сибирское предприятие РАН, 1998.
19. Y. Le Cun and Y. Bengio. Convolutional networks for images, speech, and timeseries — The Handbook of Brain Theory and Neural Networks, M.A. Arbib, Ed., pp. 255-258. MIT Press, Cambridge, MA, 1995.
Калайда Владимир Тимофеевич
Канд. техн. наук, ст. науч. сотр. кафедры автоматизированных систем управления ТУСУРа Телефон: (3822) 49 22 42 Эл. почта: [email protected]
Макаренко Алексей Александрович
аспирант кафедры автоматизированных систем управления ТУСУРа Телефон: (3822) 49 09 10 Эл. почта: [email protected]
А.А. Makarenko, V.T. Kalaida
Neural nets involving in tasks of human face recognition
This paper includes a survey of base neural networks technologies applied to the half-tone images recognition tasks and contains a description of possibility of its use for human face localization on images.
УДК 681.51.015.26:330.43 А.А. Мицель, Е.Б. Грибанова
Компьютерное имитационное моделирование экономических объектов
В статье рассмотрена компьютерная система имитационного моделирования экономических объектов. В систему включены 15 моделей различных экономических объектов. Приводятся примеры модели мониторинга рынка и результатов моделирования.
Введение
Под компьютерным имитационным моделированием в широком смысле понимают любые машинные эксперименты [1], с помощью которых можно получать представление об основных характеристиках исследуемого объекта.
В различных экономических системах мы сталкиваемся с действием случайных факторов. Применение традиционных средств поддержки управленческих решений и прогнозирования в этих условиях затруднено, и тем ценнее возможность использования метода имитационного моделирования, повышенный интерес к которому проявляется сегодня в развитых странах [2]. Поэтому в более узком смысле под имитационным моделированием будем подразумевать реализацию стохастических моделей.
Как известно, математическая модель некоторого явления или процесса может быть представлена функциональной зависимостью между совокупностью входных (независимых) переменных xi (i = 1,..., n) и одной или несколькими выходными (зависимыми) переменными у:
