CC BY
134
НАУЧНО-ТЕХНИЧЕСКИИ ВЕСТНИК ИНФОРМАЦИОННЫХ ТЕХНОЛОГИИ, МЕХАНИКИ И ОПТИКИ январь-февраль 2018 Том 18 №1 ISSN 2226-1494 http://ntv.i1mo.ru/
SCIENTIFIC AND TECHNICAL JOURNAL OF INFORMATION TECHNOLOGIES, MECHANICS AND OPTICS January-February 2018 Vol. 18 No 1 ISSN 2226-1494 http://ntv.ifmo.ru/en
УДК 612-087-1
ТЕХНОЛОГИИ ШТРИХОВОГО КОДИРОВАНИЯ ДЛЯ ЗАДАЧ ЛИЦЕВОЙ БИОМЕТРИИ: СОВРЕМЕННОЕ СОСТОЯНИЕ И НОВЫЕ РЕШЕНИЯ Г.А. Кухарев^, Н. Казиевас, Д.А. Цымбалd
a Западно-поморский Технологический университет в Щецине, Щецин, 320588161, Польша
b Санкт-Петербургский государственный электротехнический университет (ЛЭТИ), Санкт-Петербург, 197376, Российская Федерация
c Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация d Антарес Софтвер, Великий Новгород, 173015, Российская Федерация Адрес для переписки: kaznaz@list.ru Информация о статье
Поступила в редакцию 04.12.17, принята к печати 30.12.17 doi: 10.17586/2226-1494-2018-18-1-72-86 Язык статьи - русский
Ссылка для цитирования: Кухарев Г.А., Казиева Н., Цымбал Д.А. Технологии штрихового кодирования для задач лицевой биометрии: современное состояние и новые решения // Научно-технический вестник информационных технологий, механики и оптики. 2018. Т. 18. № 1. С. 72-86. doi: 10.17586/2226-1494-2018-18-1-72-86
Аннотация
Предмет исследования. Рассмотрена проблема использования технологий штрихового кодирования в задачах лицевой биометрии. Выполнен анализ достижений и оценены недостатки существующих решений и примеров построения штрих-кодов по изображениям лиц и выделенным по ним признакам. Метод. Определены пути реализации рассматриваемой проблемы, приведены новые решения на базе линейных (Code 128) и двумерных (QR) штрих-кодов, а также их цветных вариантов. Рассмотрены состав и объем данных, используемых в лицевой биометрии и в связанных с ней приложениях - медицине, криминалистике и судебно-медицинской экспертизе. Среди этих данных - изображения лиц, а также наборы антропометрических точек и дополнительная информация к ним, информация о фенотипе лица и гендерной принадлежности человека и, наконец, документальная информация. Основной результат. Показаны результаты «записи и переноса» этих данных в рамках различных вариантов компоновки штрих-кодов, а также результаты их считывания и способы укрытия от считывания. Предложенные цветные штрих-коды определены как «BIO Code 128» и «BIO QR-code». При графическом отображении и записи в памяти компьютера их можно рассматривать как цветные растровые изображения, несущие в каждом слое информацию о лице. При этом документальная информация может быть прочитана непосредственно по таким цветным штрих-кодам (изображениям), а остальная информация (изображение лица, его антропометрика, сопроводительные параметры) -после декомпозиции цветных штрих-кодов на слои R, G и B. Практическая значимость. Предложенные в статье варианты компоновки штрих-кодов «BIO Code 128» и «BIO QR-сode» и программы их генерации (написанные в среде пакета MATLAB) могут быть использованы в дальнейших исследованиях проблемы штрихового кодирования в задачах лицевой биометрии и ее приложениях. Ключевые слова
лицевая биометрия, штриховое кодирование, цветные штрих-коды, COLOR QR^ode, «BIO Code 128», «BIO QR-
TOde», биометрия, медицина, криминалистика, судебно-медицинская экспертиза
Благодарности
Работа была выполнена в соответствии с НИР «Синтез эмоциональной речи на основе глубокого машинного обучения».
BARCODING TECHNOLOGIES FOR FACIAL BIOMETRICS: CURRENT STATUS AND NEW SOLUTIONS G.A. Kukharevab, N. Kaziyevac, D.A. Tsymbald
a West Pomeranian University of Technology, Szczecin, 320588161, Poland
b Saint Petersburg State Electrotechnical University "LETI", Saint Petersburg, 197376, Russian Federation c ITMO University , Saint Petersburg, 197101, Russian Federation d Antares Software, Veliky Novgorod, 173015, Russian Federation Corresponding author: kaznaz@list.ru
Article info
Received 04.12.17, accepted 30.12.17 doi: 10.17586/2226-1494-2018-18-1-72-86 Article in Russian
For citation: Kukharev G.A., Kaziyeva N., Tsymbal D.A. Barcoding technologies for facial biometrics: current status and new solutions.
Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2018, vol. 18, no. 1, pp. 72-86 (in Russian). doi: 10.17586/2226-1494-2018-18-1-72-86
Abstract
Subject of Research. Application of barcoding technologies in the tasks of facial biometrics is posed and discussed. We analyze the achievements and estimate the shortcomings of existing solutions and examples of barcode creation according to the face images and the features extracted by them. Method. The ways of the problem implementation are determined and new solutions are presented based on linear (Code 128) and two-dimensional (QR) bar codes, as well as their color variants. The composition and volume of data are considered being used in the facial biometry and related applications: medicine, criminalistics and forensic-medical examination. Among these data there are face images, as well as sets of anthropometric points and additional information to them, information about the phenotype of FI and gender, and, finally, documentary information. Main Results. We have shown the results of these data "recording and transferring" within the framework of various barcode layouts, as well as the results of their reading and ways of hiding from reading. The proposed color barcodes are defined as "BIO Code 128" and "BIO QR-code". While graphical display and computer memory record, they can be viewed as colored raster images that carry information about the face in each layer. At this, documentary information can be read directly from such color images by standard barcode scanners, and the rest of the information (face image itself, its anthropometric, accompanying parameters) is read and restored after their decomposition into layers R, green and blue. Practical Relevance. The layout variants of the "BIO Code 128" and "BIO QR-code" barcodes and the programs for their generation (written in the MATLAB package environment) can be used in the further studies of the barcoding problem in the tasks of the facial biometrics and its applications.
Keywords
facial biometrics, barcoding, color barcodes, COLOR QR-code, «BIO Code 128», «BIO QR-code», biometrics, medicine, criminology, forensic-medical examination
Acknowledgements
The work was carried out as the part of science research work "Synthesis of emotional speech based on the deep machine learning".
Введение
Технологии штрихового кодирования в логистических потоках товаров, почтовых отправлений и контейнерных грузов широко и бесповоротно вошли в нашу повседневную жизнь. Штрих-коды здесь используются на этапах маркировки и идентификации товаров, отправлений и грузов, их складирования и учета, а также на этапах контроля их продвижения до конечного пункта логистического потока. Кроме материальных потоков, штриховое кодирование используется также в финансовых потоках, потоке документооборота, потоках сферы услуг.
Однако наибольшее впечатление среди новых логистических потоков создают «потоки пассажиров» в аэропортах. В информационной системе аэропорта реализуются продажи электронного билета, электронная регистрация пассажира, контроль и (или) аутентификация при входе на борт самолета, а также регистрация и отслеживание багажа. Каждый этап сопровождается обработкой штрих-кода на всех проездных документах. Например, на маршрутной квитанции электронного билета штрих-код PDF417 содержит фамилию и имя пассажира и номера всех выполняемых им рейсов. В общем случае технология штрихового кодирования используется здесь для регистрации и идентификации пассажиров, удостоверения их личности (проверки их аутентичности) и, одновременно, может выполнять или выполняет защиту их персональных данных.
Обратим внимание на потоки мигрантов, возникшие в новейшей истории Европы, а также на транзит мигрантов в страны Северной Европы через Россию. Среди мигрантов замечены не только беженцы из стран Средиземноморья и стран Ближнего Востока, охваченных войной, но и боевики - участники военных действий и военных формирований, наемники и террористы, разыскиваемые правоохранительными органами России и Интерполом. Прозрачные границы Евросоюза (ЕС) дают им возможности незаметной миграции внутри ЕС.
И, естественно, на фоне непрерывных террористических угроз и потоков неконтролируемой миграции возникает повышенный интерес к биометрическим технологиям распознавания людей и совмещенным с ними технологиям штрихового кодирования [1]. Биометрические технологии обеспечат проверку аутентичности мигрантов при трансграничном контроле. Технологии штрихового кодирования реализуют автоматизацию биометрических процессов, унификацию и каталогизацию документов - удостоверений личности, быструю проверку их аутентичности и безошибочный обмен данными о мигрантах по универсальным стандартам и международным каналам и т.д. И, конечно же, здесь должны использоваться технологии штрихового кодирования с более широкими возможностями и функциями, чем в аэропортах.
В мае 2017 г. Европейская комиссия планировала представить свои выводы о целесообразности создания общей для всех стран Евросоюза информационной системы, которая будет содержать биомет-
рические данные граждан ЕС. Отсутствие такой системы и взаимного доступа членов Союза к национальным базам заметно осложняют превентивную борьбу с терроризмом. В рамках этой и подобных систем и инициатив предполагается, что все люди, въезжающие на территорию ЕС, будут проходить обязательную авторизацию, а авиакомпании и туроператоры должны передавать данные о пассажирах и туристах спецслужбам стран, в которые они собираются. Это позволит заранее проверять прибывающих в ЕС лиц на причастность к террористической активности или другим серьезным преступлениям [2].
Среди биометрических технологий поиска и аутентификации людей особенно привлекательны технологии, основанные на распознавании изображений лиц (ИЛ), в том числе и с помощью мобильных устройств, реализующих эти функции «здесь и сейчас». В дополнение к этому, идеальным решением могло бы быть формирование штрих-кода только тогда, когда это нужно (т.е. в реальном времени - непосредственно по лицу человека). В этом случае идентификацию людей можно производить «в потоке» и «на расстоянии», незаметно для самого человека, не требуя от него каких-либо действий. Отметим, что необходимость использования штрих-кодов в биометрии была отмечена в работе [3], а первое применение штрихового кода для идентификации людей было показано в [4]. Другие идеи использования Ш и 2Б штрих-кодов в приложении к биометрии были представлены в работах [5-11], обзор и анализ которых будет приведен в следующих разделах статьи.
К сожалению, к настоящему времени нет примеров практического использования штрихового кодирования в задачах лицевой биометрии. Именно поэтому в настоящей статье ставятся и обсуждаются проблемы и подходы к реализации технологий штрихового кодирования для представления ИЛ и защиты информации о ИЛ.
Представление ИЛ в рамках штриховых кодов
Поставим нашу задачу следующим образом: задано исходное изображение лица, информацию о котором необходимо записать в рамках заданных или выбранных стандартных штрих-кодов.
При этом возникает несколько вопросов.
- О какой информации идет речь?
- Каковы объемы этой информации? И чем они определяются?
- Какую емкостью хранения символов должен иметь штрих-код для записи нужной информации о лице?
- Какой штрих-код (Ш или 2Б) необходимо использовать в этих случаях?
С учетом изложенного, целью настоящей статьи является поиск и представление ответов на все эти вопросы. Общий сценарий решения этой задачи можно представить так, как показано на рис. 1.
1 3 5
Рис. 1. Общий сценарий решаемой задачи: 1 - исходное изображений лиц c 68-ю антропометрическими точками; 2 - блок кодирования заданной информации об изображении лиц; 3 - двумерные штрих-коды (здесь QR и PDF417), хранящие информацию в закодированном виде; 4 - декодер информации;
5 - конечный результат, полученный восстановлением изображений лиц из двумерного штрих-кода
В компьютерной биометрии ИЛ - это двумерная матрица числовых значений, каждое из которых задается, как минимум, одним байтом, если значения выбираются из диапазона 0-255. При этом ИЛ для шкалы GRAY представлены одной матрицей, цветные ИЛ - тремя матрицами. Стандартный размер числовой матрицы в биометрии 320*240, а терминах ИЛ - 320*240 пикселей. Заметим, что на практике конечный результат «5» на рис. 1 может (но не должен) отличаться от исходного ИЛ. Конечный результат должен сохранить исходную геометрическую форму и пропорции ИЛ, его размеры, шкалу и формат представления (например, «.png», «jpg»...), а также фенотип человека. При этом фенотип ИЛ является одним из самых главных его параметров, без знания которого не могут быть решены ни задача аутентификации человека, ни задача его поиска и сравнения с другими лицами. И в этом состоит главная проблема представления ИЛ в рамках их штрихового кодирования.
Возможно, что именно эта проблема, а также очень большой объем информации о ИЛ сдерживали применение технологии штрихового кодирования в биометрии.
ИЛ: основная информация, ее виды и дополнения
Еще 20 лет назад основная информация о ИЛ определялась тремя видами данных: 2Б-изображением лица; антропометрическими точками лица; параметрами фенотипа - цветом волос, кожи, губ и глаз. При этом 2Б-изображение лица - объект исследования, поиска и распознавания во многих приложениях, например, в биометрии, криминалистике, медицине (для оценки психофизического состояния человека), а также в задачах моделирования и реконструкции 3Б-форм лица. В свою очередь, 3Б-формы лица используются не только в биометрии и медицине, но также и в задачах лицевой хирургии, в задачах деидентификации - защиты лица человека от распознавания, а также в задачах черепно-лицевой реконструкции, применяемой в криминалистике и восстановлении внешнего облика исторических личностей [12].
Без информации о фенотипе поиск людей по изображению лица в шкале GRAY возможен только в рамках очень ограниченной базы. Эта проблема отчетливо видна из фотопортретов, показанных на рис. 2. Представленные на рис. 2 лица c фенотипом Ф1-Ф3 можно отнести к людям малой расы европеоидной ветви - индо-средиземноморской и балкано-кавказской.
Ф1 Ф2 Ф3 Скетч G1 G2 G3
Рис. 2. Три фенотипа людей и скетч, представляющий каждого из них [13]
Скетч может представлять всех этих людей (по факту - разной расы), но ни одного из них точно. В правой части рисунка показаны те же изображения лиц, но представленные в шкале GRAY. И, как видно, представление о фенотипе этих лиц формируется уже не так отчетливо.
Заметим также, что подобие портретов этих людей по антропометрическим точкам (АПТ) лица также не дает гарантии о подобии их фенотипов. С другой стороны, на основе АПТ, полученных из двух исходных 2Б-изображений (анфас и в профиль), реализуется самый простой способ получения 3Б-моделей лиц, при этом фенотип является здесь наиболее важной информацией, поскольку определяет текстуру таких моделей.
В последнее время, однако, как показывает практика жизни, необходимо учитывать и гендерную информацию, т.е. пол людей. И связано это с тем, что трансгендерные переходы человека (одним из элементов которого является коррекция или смена пола) становятся обыденным явлением, а признание человеком своей принадлежности к определенному полу (каминг-аут) не всегда соответствует тому, что можно увидеть на его фотопортрете1.
Наконец, без внимания нельзя оставить и проблему генетического штрихового кодирования ДНК (БМА-ЪагсоШ^). Известно [13], что в каждом живом организме некоторая стандартная последовательность нуклеотидов (отрезок ДНК) является его уникальным генетическим кодом, позволяющим однозначно определить видовую принадлежность организма. Если представить эту последовательность нук-леотидов в форме цветных полосок, то она становится похожей на штрих-код, хотя впервые эта последовательность была представлена в форме черно-белых полос разной ширины. С этого момента и появился термин «генетический штриховой код».
Стандартную последовательность нуклеотидов хорошо понимают и читают биологи, но ее также можно перевести как в оригинальный, так и в стандартный штрих-код. Так, в работе [14] приведен пример оригинального штрихового кода, который представлял условного человека. Этот штрих-код отражал 24 пары нуклеотидов:
СС АС ОТ СС СС ОО ТТ ОО СС АА СО ОС СС АС ОТ СТ АС ТТ АА ОС ТТ АТ АС АТ
и использовался для ДНК-идентификации личности в ограниченной популяции людей. Пример последовательности нуклеотидов и способы ее представления в форме цветных полос и QR-кода приведен на рис. 3. Приведенный на рис. 3 QR-код можно прочитать и увидеть перечисление всех 48 нуклеотидов, приведенных выше.
И, хотя проблема генетического штрихового кодирования выходит за рамки лицевой биометрии, сама ДНК является одной из модальностей биометрии, и ее представление в рамках стандартных штрих-кодов было бы чрезвычайно важным для практики решения задач ДНК-идентификации людей, а также совершенствования доступа к соответствующим базам и библиотекам. Последние могли бы широко ис-
1 М1р8://т."тк1ре(11а.(М£М1к1/каминг-аут
пользоваться не только биологами, но и специалистами в медицине, криминалистике и судебно-медицинской экспертизе, например, в профессиональных и учебных целях. Все сказанное выше можно отнести и к проблеме ДНК-фингерпринтинга (БМА-й^егрппй^).
Кодировка нуклеотидов
СС АТ ОТ СС АТ АС АТ
A зеленый
C синий
G черный
T красный
QR-код
Рис. 3. Последовательность нуклеотидов и способы ее представления
Исходя из всего отмеченного выше, три основных вида информации о лице (само ИЛ, АПТ и фенотип) будут рассматриваться нами в настоящей статье, как объекты для штрихового кодирования. Их дополнение тендерной информацией и информацией о ДНК и соответствующими им штрих-кодами будет представлено единичными примерами.
Объемы информации для штрих-кодирования в лицевой биометрии
Если решается задача полного восстановления ИЛ для его визуального представления и восприятия человеком, то исходные объемы этой информации определяются рядом параметров, обсуждаемых ниже.
Для цветного изображения лица этот объем составляет (M*N*3), а для изображения в шкале GRAY -(M*N), где M и N - число строк и столбцов изображения. Стандартом в биометрии, например, является представление ИЛ размером 320*240 пикселей, в котором область лица занимает не менее 80%.
Для антропометрических точек исходная информация представлена матрицей координат (x, y) размером не более P*2 и, возможно, как дополнительная информация - P значениями яркости пикселей и (или) P значениями глубин в этих координатах (что необходимо для реконструкции модели 3D). При этом верхняя граница P<100, а нижняя граница определяется индивидуально в каждом отдельном приложении или, возможно, на основании информативности АПТ. Как пример такого выбора рассмотрим рис. 4. Здесь показано исходное ИЛ с нанесенными на него 68 АПТ (рис. 4, а), автоматически полученными по алгоритму, представленному в [15].
Овал лица Брови Нос Глаза Область рта
ИЛ и расстояния от кончика носа до всех АПТ
160 140 120 100 80 60 40 20
0
40 б
60 68
Рис. 4. Изображение лица, 68 антропометрических точек (а) и расстояния от них до кончика носа (б)
Далее на графике (рис. 4, б) для 20 ИЛ из базы СиНК [16] показана динамика изменений расстояний от этих точек до кончика носа, принятого за центр овала лица. Из рис. 4 видно, что наибольшая динамика изменений расстояний наблюдается на овале лиц и по области рта. При этом расстояния для областей бровей, носа и глаз не так сильно изменяются, что, возможно, связано с предварительной нормализацией всех ИЛ. Отмеченный факт можно использовать для выбора тех АПТ, которые сохраняют индивидуальность ИЛ даже при их предварительной нормализации. Таких точек набирается всего 37. И только их можно оставить для записи в штрих-коде, если, например, они используются в алгоритме сравнения ИЛ. В случаях использования АПТ (рис. 5) для целей реконструкции 3Б-форм поверхности лица необходимо использовать не только эти 68 точек, но и, возможно, некоторые дополнительные точки на области лба, областях носа правее
а
и левее его центра и верхней части головы. Результат триангуляции и варианты 3Б-форм лица, построенных на основе 68 точек, также показаны на рис. 5. При этом видно, что текстура исходного ИЛ определяет только выделенные части лица в 3Б-форме, но не охватывает область лба и верхнюю часть головы. Именно поэтому верхняя граница числа АПТ была нами определена как Р^100.
Рис. 5. Изображение лица с 68 точками на нем (а), результат триангуляции (б) и 30-модели лица (в)
Для параметров фенотипа ИЛ используются как вербальное описание, так и цветовая гамма, заданная, например, гистограммой или числовыми значениями пикселей для областей волос, глаз, губ и отдельно для кожи лица.
Например, при вербальном описании цвет волос может быть представлен как «блондин, рыжий, шатен, брюнет» (blond, red, brown, black hair); глаза - как «серые, голубые, карие, зеленые» (gray, blue, brown, green); кожа лица - как «темно-коричневая» (с оттенками от сине-черного до шоколадного), «светло-коричневая и светлая» (с оттенками от серого до белого). При этом цветовая гамма, как фенотип, лучше всего передается в самом цветном изображении значениями его пикселей, что требует сохранения (M*N*3) чисел (как минимум, по байту на число).
Если решается задача использования информации о ИЛ для его автоматического поиска, то объемы информации о фенотипе будут значительно меньшими (чем показано выше), поскольку в этом случае ИЛ представляется набором выбранных в результате селекции или редукции признаков, используемых в системе распознавания. Так, яркостная гистограмма, интегрально представляющая оценку цветовой гаммы ИЛ, требует только 3*BIN чисел, где BIN<<256. А в задачах поиска изображений гистограмма является одним из основных инструментов поиска (см., например, [17]).
Относительно генетического штрих-кода человека и представления его в рамках стандартных символик отметим следующее. Как было показано в [14], для ограниченной популяции людей длина стандартной последовательности не так велика и легко может быть записана в рамках QR-кодов (такой QR-код показан на рис. 3). Длина стандартной последовательности нуклеотидов человека в генеральной его совокупности пока что, видимо, не совсем ясна. Например, для мыши [13] генетический код составляет 648 пар нуклеотидов, т.е. почти 1300 символов. Если для человека он будет примерно такого же размера, то формально нет препятствий для его записи в рамках QR-кодов.
Общая информация о ИЛ определяется его размерами M и N, которая задается конкретными численными значениями. Размеры числовых матриц, представляющих ИЛ, обсуждались выше. И здесь сразу отметим, что на сегодняшний день задача полноразмерного представления ИЛ для биометрии в рамках линейных, однослойных и не композитных штрих-кодов так и не решена. Исходя из этого и забегая вперед, отметим, что эта задача может быть относительно просто решена в рамках цветных штрих-кодов, структура которых подобна цветным изображениям. Примеры этого будут обсуждаться в разделе «Критерии для выбора носителя штрих-кода».
Посмотрим, что же с остальной информацией о ИЛ? В каких символиках ее можно разместить? И что об этом говорит практика? Например, в пионерских работах [6, 7] предложен новый тип двумерных штриховых кодов, которые авторы назвали HCC2D (High Capacity Colored 2-Dimensional). По своему строению это многослойные QR-коды, которые в таком случае становятся цветными. При этом показано, что емкостные характеристики HCC2D-кода значительно превосходят характеристики QR-кода, но сохраняют все достоинства QR-кодов по обеспечению защищенного сохранения и безошибочного чтения информации из них при потере части элементов HCC2D-кода и его повороте на плоскости. Также показано, что штрих-код HCC2D, как QR-коды, можно использовать в мобильных приложениях. Эта же группа авторов представила свои исследования по записи выбранных признаков, представляющих ИЛ, в штрих-
а
б
в
Примеры подготовка данных о ИЛ для штрихового кодирования
код HCC2D, считывании ее и использовании ее в задачах распознавания ИЛ [8, 9]. Для экстракции признаков из ИЛ использовались три подхода: спектральные компоненты, вычисленные в рамках процедуры «eigenfaces» на базе методов PCA (Principal Component Analysis) и LDA (Linear Discriminant Analysis); расчет и выбор АПТ; поиск особых (ключевых) точек на ИЛ с помощью дескрипторов SURF. Как оказалось, первый подход обеспечивал минимум числа признаков для последующего распознавания ИЛ, которые можно было разместить в штрих-коде HCC2D, но требовал сопровождения его набором функций собственного базиса, которые там уже не поместить. Число координат АТП (по два байта на каждую) для построения полной модели лица (в форме Active Shape Model и Active Appearance Model [8, 9]) также превосходило возможности HCC2D. Третий подход с выбранным числом особых (ключевых) точек позволял разместить их в штрих-коде HCC2D. В итоге авторы [8, 9] использовали компромиссный вариант решения задачи распознавания ИЛ в системе, где первый и второй подход обеспечивали предобработку ИЛ, а третий - признаки для распознавания, которые записывались и считывались в системе. При этом предполагалось использование физического размера 147*147 модулей для построения символики кода HCC2D в этой задаче. Однако дальнейшего широкого применения штрих-кода HCC2D в биометрии все же не удалось обнаружить. Возможно, что на это повлияли не совсем удачные (и несовременные) способы экстракции признаков из ИЛ. Но главным было все-таки то, что авторы использовали только стандартные для QR-кода способы записи и представления информации в слоях HCC2D.
Как упоминалось выше, наиболее важная информация о ИЛ - это его фенотип, а наиболее ясное его описание основано на вербальном представлении. Как пример, фенотип может быть представлен цветовыми характеристиками примитивов лица, приведенными в таблице.
Примитив ИЛ Характеристика по фенотипу
HAIR blond redhead brown brunette gray-haired
EYES gray blue brown green not known
SKIN blue-black dark-brown light-brown light-light not known
Цвет волос блондин рыжий шатен черный седой
Цвет глаз серый голубой коричневый зеленый не определен
Оттенок кожи голубой темно-коричневый светло-коричневый светлый не определен
Таблица. Вербальное описание фенотипа, представленное цветовыми характеристиками
Возможно, что таблица не совсем точна и не совсем полна, но и из нее уже видно, что вербальная информация о фенотипе ИЛ не потребует больших ресурсов памяти, поскольку наибольшее число букв и знаков составляет 66 (10+9+11+7+12+17), если фенотип определен характеристиками, имеющими в описаниях примитивов максимальное число букв и знаков. В этом случае вся информация о фенотипе может быть размещена в рамках линейных штрих-кодов Code 128 [18].
Например, в рамках стандарта штрих-кода GS1-128 (или Code 128) фенотип можно представить способами, показанными на рис. 6. Эти штрих-коды получены авторами настоящей статьи с помощью программы в среде MATLAB с использованием процедуры barCode128gen.m, доступной на сайте1.
3-уровневый штрих-код GS1-128
gray; blue-black
Фенотип: blond; gray; blue-black
SKIN: blue-black
Рис. 6. Представление вербального описания фенотипа в рамках Сос1е-128
Решения, показанные на рис. 6, можно рассматривать как один из возможных способов представления фенотипа лиц людей. В дополнение к фенотипу, в рамках Code 128 можно представить и гендер-ную информацию, указав конкретный пол человека. Исходной информацией для таких штрих-кодов могут быть данные из применяемых сегодня документов (например, заграничных паспортов, личных лист-
1 http://freesourcecode.net/socialtags/ barcodes
blonL; gra; -
ков по учету кадров), данные, полученные визуально при первом контакте с человеком во время его регистрации, а также результат декларирования пола по процедуре «каминг-аут».
В работах [10, 11] были показаны способы представления фенотипа в форме гистограмм и градиентов яркости ИЛ, записанных в штрих-кодах символики БАМ: БАМ-8 и БАМ-13. Этот способ возник на идеях биологического кода лица человека [19] и его конкретизации для каждого отдельного человека, чтобы уникально представлять фенотип по ИЛ. Гистограммы яркости ИЛ и градиенты яркости ИЛ вычислялись на ограниченном числе интервалов, последующем квантовании результата в диапазоне десятичных цифр от 0 до 9 и табличном (по стандартам БАМ-кодов) преобразовании его в окончательный штрих-код. Предложенные в [10, 11] решения не требуют больших вычислительных затрат, а также использования специализированных пакетов программ по обработке изображений, что создает условия для формирования штрих-кодов в рамках мобильных систем. Как следует из результатов тестирования, представленных в [10, 11], предложенные решения определили новое решение для практики использования штрих-кодов в реальных условиях - динамики изменения параметров изображений лиц. Показано, что получаемые при таких способах штрих-коды остаются стабильными при изменении локальных размеров лиц, наклоне в плоскости ХУ, изменении ракурса и зеркальном повороте вокруг вертикальной оси, а также при изменениях мимики лица и наличии на нем теней от локального освещения.
Варианты представления фенотипа лица в кодах БАМ-8, основанные на гистограммах и градиентах яркости, приведены на рис. 7 [10, 11]. Здесь показано, что штрих-код остается неизменным с изменением выражения лица и при изменении возраста человека. Другие примеры показаны в [10, 11] и других работах авторов настоящей статьи.
1
2 10 5
0
9 9 8 6 4 5 7 6
1 2 3 4 5 6 7 8 Barcode EAN-8
9 9 8 6
4 5 7 6
Возраст 24 года Возраст 61 год1 8 9 8 6 5 4 7 5
б
89865475 г
Рис. 7. Примеры штрих-кодов, основанных на гистограммах и градиентах яркости: одно и то же лицо с разной экспрессией (а); штрих-код (Barcode) соответствующий этим двум лицам (б); один и тот же человек с разным возрастом (в); штрих-код, соответствующий этим лицам (г)
Однако решения, предложенные в [10, 11], не получили дальнейшего развития ввиду ограниченной емкости кодов EAN-8 и EAN-13 и не возможности записи буквенной информации и специальных знаков. Минусом кодов EAN-8 и EAN-13 является также необходимость использования первых трех знаков штрих-кода как служебной информации (принадлежности к стране изготовителя товара) или, как свободного штрих-кода с префиксом 200-299. Однако дальнейшее развитие идей [10, 11] может быть основано на использовании цветных штрих-кодов на базе Code 128.
Наконец, четвертый способ описания фенотипа лица основан на упрощенном представлении каждой отдельной области лица одним числом цветовой гаммы RGB [5]. Такое упрощенное представление ИЛ и соответствующая этому лицу таблица значений RGB показаны на рис. 8.
Области ИЛ и параметры цветовой гаммы
Область лица RED GREEN BLUE Тип/цвет
Волосы 20 20 20 Черный
205 205 0 Рыжий
150 75 50 Шатен
Губы 240 90 100 Розовый
Кожа 250 200 180 Абрикос
Оригинал и упрощенное представление областей лица
Рис. 8. Способ описания фенотипа лица [5]
Авторы статьи [5] ориентировались на использование QR-кода, однако не очень точно представили емкость данных, записываемых в QR-код. Кроме того, в статье [5] не было приведено данных о практиче-
а
в
89865675
ской реализации этого способа, а также не показан пример использования упрощенной модели лица в каком-либо приложении. Тем не менее, оригинальность этого подхода заслуживает внимания и опробы-вания на практике.
Критерии для выбора носителя штрих-кода
Каждый тип (символика) штрих-кода разрабатывался для достижения наилучших параметров по одной или нескольким характеристикам. Среди этих характеристик мы обратим внимание на те, которые могли бы быть связаны с возможностями наиболее полного представления информации о ИЛ (см. разделы «ИЛ: основная информация, ее виды и дополнения» и «Объемы информации для штрих-кодирования в лицевой биометрии») в стандартных символиках штрихового кодирования: 1. 2.
3.
4.
5.
емкость информации, достаточная для записи и хранения цветных ИЛ и АПТ;
возможность записи специальных знаков, а также цифровой информации, в том числе и в форме числовых матриц;
максимальный геометрический размер символики штрихового кода и возможность управления им; возможность записи буквенной информации на кириллице и латинице;
простота записи и считывания информации и популярность использования штрих-кода в быту.
Конечно, пункт 1 не выполним ни одном из стандартных штрих-кодов.
Если сравнить выделенные характеристики по источникам в интернете [20, 21] и практике использования штрих-кодов, то наиболее полно им удовлетворяют только двумерные штрих-коды, а среди них -в81 QR-code. Емкость для записи знаков здесь составляет 7089 цифр или 4296 буквенно-цифровых знаков. Чтение этого кода возможно по любому направлению, а его популярность перешла все границы. Наконец, на основе в81 QR-code легко строятся цветные QR-коды [6-9, 22], а также цветные штрих-коды со структурой, аналогичной полутоновым и цветным изображениям [23, 24]. В рамках решений [23, 24] можно сохранять не только буквенно-цифровую информацию, но и цифровые изображения. Идеи [6-9] обсуждались выше. В дополнение к ним в работе [22] показано, что несколько слоев QR-кодов, объединенных в общую слоистую структуру, образуют цветной QR-код, который эффективно увеличивает объем данных в три и шесть раз для трех и шести базовых цветов соответственно. Утверждается также, что слоистый QR-код с тремя слоями может содержать до 12888 буквенно-цифровых символов (эквивалент примерно 10 страниц с двойным интервалом при 12-точечной печати шрифтов). Слоистый QR-код с шестью слоями может содержать до 25776 буквенно-цифровых символов, или примерно 20 страниц текста. Идею создания и чтения цветного QR-кода (также реализованную нами в среде пакета МАТЬАБ) представляет рис. 9.
Исходная информация RED GREEN BLUE
COLOR QR-код
0
COLOR QR-код как изображение
Результат реконструкции
COLOR QR-код
0Й0
Чтение
GREEN
BLUE
Рис. 9. Идея создания и чтения цветного QR-кода
Полученный таким образом цветной QR-код может быть записан как изображение, например, в шкале RGB. Запись этого изображения в формате .png (portable network graphics - формат, использующий сжатие без потерь) дает возможность использовать процедуры типа «resize & resampling», не боясь утраты информации при ее считывании из цветного QR-кода.
Следующая идея - встраивание изображения в QR-код (Grayscale Pictures in QR Codes - [23]) и (или) QR-кода в изображение (QR Images - [24]), что, правда, приводит к некоторому уменьшению вероятности обнаружения ошибок считывания. На рис. 10 приведены варианты читаемых QR Image из работы [24]. В идее [24] есть и значительные минусы: один из них был упомянут выше, а другой - это нерациональное использование ресурсов цветных изображений. Здесь во всех трех слоях конечного изображения «вложено» одно и то же сообщение.
Однако все же обратим внимание на левое ИЛ со встроенным в него QR-кодом (рис. 10). Это практически почти готовое решение для технологии штрихового кодирования в биометрии, если фотопортрет
и содержание встроенного в него штрих-кода представляют информацию одного и того же человека. При этом открытость (доступность) фотопортрета может быть как плюсом (например, для бейджика), так и минусом, поскольку кодирование (или укрытие) фотопортрета автоматически приведет к искажению и недоступности прочтения встроенного в него штрих-кода. И эти проблема особенно важна при использовании мобильных устройств считывания штрих-кодов [25].
Рис. 10. Примеры читаемых QR Image [24]
Новые решения в рамках двумерных цветных штрих-кодов
Представим новые сценарий создания цветных QR-кодов, которые условно назовем «BIO QR-code», поскольку информация, вложенная в них, используется в лицевой биометрии. Все графические результаты, представленные ниже, получены в рамках авторских программ, реализованных в среде пакета MATLAB версии 201S года и библиотеки zxing libraries1.
В рамках «BIO QR-œde» все три слоя конечного изображения содержат свою отдельную информацию. Вся информация о человеке для представления ее в «BIO QR-œde» выбирается из следующего набора компонент:
- одно ИЛ в шкале GRAY, два слоя или все три слоя ИЛ для шкалы RGB;
- набор АПТ (ANTRO), в который также входят размеры изображения, по которому получены АПТ и документальное дополнение - ФИО человека, которому принадлежат АПТ;
- генетический штрих-код человека;
- вербальная (документальная) информация (INFO) о человеке: ФИО человека, год рождения, место работы, е-mail и т.д.
Первый вариант компоновки информации в рамках «BIO QR-code» показан на рис. 11. Эта компоновка имеет запись PIA, что определено ее составом компонент и их последовательностью записи в слоях: P - Photo, I - INFO, A - ANTRO. Здесь в первом слое содержится полное изображение лица (Photo) в шкале Gray; во втором слое - «QR-код INFO» с вербальной информацией о человеке; в третьем слое -«QR-код ANTRO» с АПТ и дополнительной информацией. Здесь и далее нами использовано изображение лица (ИЛ) f-039-0l.jpg из тестовой базы фото CUFS [1б].
BIO QR: PIA Photo INFO ANTRO
Рис. 11. Первый вариант компоновки информации для «BIO QR-code»
Документальная информация считывается без ошибок непосредственно с «BIO QR-code» с помощью программы pdf4l7/ версия 7.0.2. В этом примере слой «QR-код INFO» содержит следующую информацию: CUHK Face Sketch Database (CUFS), photo: f-039-0l.jpg ### http://mmlab.ie.cuhk.edu.hk/archive/facesketch.html. Вся остальная информация становится видимой и (или) считывается из отдельных слоев «BIO QR-code» при его декомпозиции. QR-код «ANTRO» содер-
l http://github.com/zxing
жит: два числа, представляющих размер ИЛ, весь набор из 68 координат для антропометрических точек этого ИЛ, а также следующий идентификационный текст: # Base CUFS: Female f-039-01.jpg.
На рис. 12 представлены еще два варианта (PAP и PIP) построения цветного двумерного штрих-кода «BIO QR-code», которые также свободно читаются с помощью программы «pdf417/версия 7.0.2», установленной на планшете.
«BIO QR-code»
Компоненты, входящие в «BIO QR-code»
Рис. 12. Варианты PAP и PIP компоновки информации для «BIO QR-code»
Здесь показаны компоненты, составляющие эти «BIO QR-code», и среди них два слоя исходного цветного ИЛ, а также QR-код «ANTRO» и QR-код «INFO». При этом два слоя исходного цветного ИЛ позволяют полностью реконструировать его в шкале RGB.
На рис. 1З приведены все три варианта (PIA, PAP и PIP) кодов «BIO QR-code», показанные с разным уровнем яркости внутренних слоев. Этим способом можно управлять «доступом к считыванию» информации с «BIO QR-code»: или его открывать, или его закрывать.
PIA
PAP
PIP
I
Ü
VO CD
Рис. 13. Варианты «BIO QR-code» с разным уровнем яркости внутренних слоев
Наконец приведем еще два «BIO QR-code», которые показаны на рис. 14 и 15. Так, на рис. 14 приведен «BIO QR-code» с открытым доступом к вложенным в него изображениям лиц, которые можно увидеть только после их раскодирования. Здесь, например, применен самый простой способ кодирования - с использованием процедуры скремблирования строк и столбцов ИЛ. Подобным образом можно закодиро-
вать и координаты АПТ с тем, чтобы их также нельзя было понять при прочтении «BIO QR-code». Ясно, что здесь в обоих случаях может быть применен и любой другой способ кодирования, используемый в обработке растровых изображений.
Слой 2
Рис. 14. Закодированное представление двух слоев «BIO QR-code»
а б
Рис. 15. Исходное изображение (а) и его реконструкция из «BIO QR-кода» (б)
На рис. 15 показаны два фото. Первое (рис. 15, а) - фото-оригинал из тестовой базы FERET. Два слоя этого фото-оригинала были записаны в «BIO QR-code» с компоновкой по типу PAP. Второе фото (рис. 15, б) - результат реконструкции фото из «BIO QR-code». На область лица результата реконструкции нанесены все 68 АПТ, также перенесенные в рамках «BIO QR-code». Заметим, что результат реконструкции, цветное ИЛ, получено из двух компонент, считанных со слоев red и blue «BIO QR-code».
Новые решения в рамках линейных цветных штрих-кодов
Выше мы уже показали использование линейного штрих-кода Code 128 для записи информации о фенотипе ИЛ. Рассмотрим примеры создания на базе Code 128 варианта линейного «BIO Code 128», предназначенного для переноса цветного ИЛ и включения как минимум удвоенного (относительно «Code 128») объема буквенно-цифровой (вербальной) информации.
RGB
а б
Рис. 16. Примеры цветного линейного штрих-кода «BIO Code 128». На рис. 16, а: 1 - исходная сцена, на которой выделена область цветного изображения лица; 2 - «BIO Code 128», принадлежность которого (конкретному человеку) может быть легко прочитана непосредственно по этому цветному штрих-коду (в данном случае - Georgy Kukharev; на рис. 16, б, показан «BIO Code 128» для изображения лица из базы [16] и три входящих в него слоя. При этом 1-й и 2-й слои предназначены для вербальной
(например, документальной) информации
В этом случае штрих-код «BIO Code 128» представляет собой трехслойное цветное изображение размером M*N, согласованное с размером Code 128. Первые два слоя «BIO Code 128» предназначены для сопроводительной или документальной информации (записываемой по стандарту Code 128), а последний слой (blue) содержит компоненты R, G и B передаваемого ИЛ. Пустое место справа можно также заполнить полезной информацией.
На рис. 16 приведены два примера построения «BIO Code 128»: «а» - в режиме «онлайн», «б» - в режиме офлайн.
Во втором варианте компоновки «BIO Code 128» последний его слой может содержать две компоненты исходного цветного ИЛ (необходимых для будущего его полноцветного восстановления) и всю информацию по координатам АПТ. Первый и второй слой «BIO Code 128» остаются при этом для сопроводительной и документальной информации.
Наконец, третий вариант «BIO Code 128» может содержать два слоя для переноса графической или любой другой мультимедийной информации, а оставшийся слой - для буквенно-цифровой (вербальной) информации, записываемой по стандарту Code 128.
Заключение
В статье обсуждалась проблема использования технологий штрихового кодирования в лицевой биометрии и связанных с ней приложениях - криминалистике, медицине и судебно-медицинских исследованиях. Выполнен краткий обзор существующих решений и примеров построения штрих-кодов для изображения лиц и выделенным по ним признакам. На основе этих примеров в статье приводятся новые решения штрихового кодирования в лицевой биометрии, реализуемые на базе линейных (Code 128) и двумерных (QR) штрих-кодов, а также их цветных вариантов. Выбор этих символик был определен исходя из состава и объема данных, используемых в лицевой биометрии. Среди этого состава рассмотрены изображения лиц, наборы координат антропометрических точек, информация о фенотипе лица и гендер-ной принадлежности человека, а также документальная информация. Предложенные в статье решения основаны на различных способах компоновки цветных штрих-кодов из всего состава данных, а также их считывания и укрытия от считывания. Полученные таким образом цветные штрих-коды определены в статье как класс «BIO Code 128» и «BIO QR-code». При графическом представлении и записи в памяти компьютера этот класс штрих-кодов можно рассматривать как цветные растровые изображения, несущие в каждом слое информацию о лице. При этом документальная информация может быть прочитана непосредственно с цветного штрих-кода, а остальная информация (само изображение лица, его антропомет-рика, сопроводительные параметры) может быть прочитана и восстановлена после декомпозиции штрих-кодов на слои R, G и B. Рассмотренные в статье варианты штрих-кодов могут быть использованы как офисные и конференцийные бейджи, а также в биометрии (биометрические информационные системы, авторизация/регистрация, трансграничный контроль людей в потоках мигрантов), медицине (медицинские информационные системы, лицевая психология, хирургия и пластика, судебно-медицинская экспертиза), криминалистике (совершенствование информационных систем, использование переносимой в штрих-коде информации для распознавания преступников, реконструкции лица по словесному портрету или по черепу). Для этих приложений показаны примеры штрих-кодов «BIO Code 128» и «BIO QR-TOde», полученных в режимах онлайн и офлайн. Особенности организации структур данных, содержащихся в штрих-кодах, способы их записи и считывания, а также полные алгоритмы формирования «BIO Code 128» и «BIO QR^ode» будут представлены в следующей статье. Поскольку все эксперименты по формированию перечисленных выше штрих-кодов реализованы в среде пакета MATLAB, то разработанные программы могут послужить инструментом не только в биометрии, медицине, криминалистике и судебно-медицинской экспертизе, но и в других приложениях. Важные фрагменты этих программ, а также все промежуточные результаты, получаемые при формировании «BIO Code 128» и «BIO QR-TOde», также предполагается раскрыть в следующей статье.
Литература
1. Кухарев Г.А. Поиск изображений лиц в больших базах данных // Мир измерений. 2009. № 4(98). С. 22-30.
2. Портякова Н., Коцур В. Судьба общей биометрической базы ЕС решится к маю [Электронный ресурс]. Режим доступа: https://iz.ru/news/671446, свободный. Яз. рус. (дата обращения 22.03.2017).
3. Heeter T.W. Method for verifying human identity during electronic sale transactions. Patent US5878155. Filling date: 05.09.96. Publication date: 02.03.99.
4. Soldek J. et al. Image analysis and pattern recognition in biometric technologies // Proc. Int. Conf. on the Biometrics: Fraud Prevention, Enhanced Service. Las Vegas, USA, 1997. P. 270-286.
References
1. Kukharev G.A. Search of faces images in large databases. Mir Izmerenii, 2009, no. 4, pp. 22-30. (In Russian)
2. Portyakova N., Kotsur V. The fate of the EU's common biometric base will be decided by May. Available at: https://iz.ru/news/671446 (accessed 22.03.2017).
3. Heeter T.W. Method for verifying human identity during electronic sale transactions. Patent US5878155, 1999.
4. Soldek J. et al. Image analysis and pattern recognition in biometric technologies. Proc. Int. Conf. on the Biometrics: Fraud Prevention, Enhanced Service. Las Vegas, USA, 1997, pp. 270-286.
5. Jung E., Kim J., Woo S., Kim S. Simplification of face image using feature points. Proc. 5th Int. Conf. on Soft Computing
5. Jung E., Kim J., Woo S., Kim S. Simplification of face image using feature points // Proc. 5th Int. Conf. on Soft Computing and Intelligent Systems (SCIS&ISIS). Okayama, Japan, 2010. P. 1071-1073.
6. Grillo A., Lentini A., Querini M., Italiano G.F. High capacity colored two dimensional codes // Proc. Int. Multiconference on Computer Science and Information Technology (IMCSIT 2010). 2010. P. 709-716.
7. Querini M., Grillo A., Lentini A., Italiano G.F. 2D color barcodes for mobile phones // International Journal of Computer Science and Applications. 2011. V. 8. N 1. P. 136-155.
8. Querini M., Italiano G.F. Facial biometrics for 2D barcodes // Proc. of the Federated Conference on Computer Science and Information Systems (FedCSIS 2012). Wroclaw, Poland, 2012. Art. 6354334. P. 755-762.
9. Querini M., Italiano G.F. Facial recognition with 2D color barcodes // International Journal of Computer Science and Application. 2013. V. 10. N 1. P. 78-97.
10. Кухарев Г.А., Матвеев Ю.Н., Щеголева Н.Л. Формирование штрих-кода по изображениям лиц на основе градиентов яркости // Научно-технический вестник информационных технологий механики и оптики. 2014. № 3(91). С. 88-95.
11. Кухарев Г.А., Матвеев Ю.Н., Щеголева Н.Л. Экспресс-метод формирования штрих-кода по изображениям лиц // Научно-технический вестник информационных технологий механики и оптики. 2014. № 2(90). С. 99-106.
12. Wilkinson C. Facial reconstruction - anatomical art or artistic anatomy? // Journal of Anatomy. 2010. V. 216. N 2. P. 235-250. doi: 10.1111/j.1469-7580.2009.01182.x
13. Шнеер В.С. ДНК-штрихкодирование видов животных и растений - способ их молекулярной идентификации и изучения биоразнообразия // Журнал общей биологии. 2009. Т. 9. № 4. С. 296-315.
14. Гарафутдинов Р.Р., Чебукова О.В., Сахабутдинова А.Р., Вахитов В.А., Черемис А.В. Генетическое штрихкодирование как подход к идентификации личности на примере популяции русских Республики Башкортостан // Вестник биотехнологии и физико-химической биологии им. Ю.А. Овчинникова . 2012. Т. 8. № 3. С. 19-25.
15. Kazemi V., Sullivan J. One millisecond face alignment with an ensemble of regression trees // Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Columbus, USA, 2014. P. 1867-1874.
16. CUHK Face Sketch Database (CUFS) [Электронный ресурс]. Режим доступа: http://mmlab.ie.cuhk.edu.hk/archive/facesketch.html. свободный. Яз. анг. (дата обращения 27.03.2017).
17. Кухарев Г.А., Каменская Е.И., Матвеев Ю.Н., Щеголева Н.Л. Методы обработки и распознавания изображений лиц в задачах биометрии / под ред. М.В. Хитрова. СПб.: Политехника, 2013. 388 с.
18. Востриков А.А., Сергеев А.М. Штриховое кодирование. СПб.: ГУАП, 2010. 56 с.
19. Dakin S.C., Watt R.J. Biological «bar codes» in human faces // Journal of Vision. 2009. V. 9. N 4. P. 1-10.
20. Barcode Comparison Chart [Электронный ресурс]. Режим доступа: www.makebarcode.com/specs/barcodechart.html свободный. Яз. анг. (дата обращения 25.09.2017).
21. Nesson C. Encoding multi-layered data into QR codes for increased capacity and security. South Dakota School of Mines and Technology, 2013. 22 p.
22. Duda J. Embedding grayscale halftone pictures in QR codes using correction trees // arXiv:1211.1572v3. 2012. 16 p.
23. Garateguy G.J., Arce G.R., Lau D.L., Villarreal O.P. QR images: optimized image embedding in QR codes // IEEE Transactions on Image Processing. 2014. V. 23. N 7. P. 28422853. doi: 10.1109/TIP.2014.2321501
24. Yang Z., Xu H., Deng J., Loy C.C., Lau W.C. Robust and fast decoding of high-capacity color QR codes for mobile applications // arXiv:1704.06447v1. 2017. 13 p.
25. Цымбал Д.А., Чепурной К.В. Метод распознавания размытых штрих-кодов на мобильных устройствах без автофокусировки // Всероссийская конференция «Математические методы распознавания образов» (ММРО-15). Петрозаводск, 2011. С. 1-5.
and Intelligent Systems, SCIS&ISIS. Okayama, Japan, 2010, pp. 1071-1073.
6. Grillo A., Lentini A., Querini M., Italiano G.F. High capacity colored two dimensional codes. Proc. Int. Multiconference on Computer Science and Information Technology, IMCSIT, 2010, pp. 709-716.
7. Querini M., Grillo A., Lentini A., Italiano G.F. 2D color barcodes for mobile phones. International Journal of Computer Science and Applications, 2011, vol. 8, no. 1, pp. 136-155.
8. Querini M., Italiano G.F. Facial biometrics for 2D barcodes. Proc. of the Federated Conference on Computer Science and Information Systems, FedCSIS 2012. Wroclaw, Poland, 2012, art. 6354334, pp. 755-762.
9. Querini M., Italiano G.F. Facial recognition with 2D color barcodes. International Journal of Computer Science and Application, 2013, vol. 10, no. 1, pp. 78-97.
10. Kukharev G.A., Matveev Y.N., Shchegoleva N.L. Creating of barcodes for facial images based on intensity gradients. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2014, no. 3, pp. 88-95. (In Russian)
11. Kukharev G.A., Matveev Y.N., Shchegoleva N.L. Express method of barcode generation from facial images. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2014, no. 2, pp. 99-106. (In Russian)
12. Wilkinson C. Facial reconstruction - anatomical art or artistic anatomy? Journal of Anatomy, 2010, vol. 216, no. 2, pp. 235-250. doi: 10.1111/j.1469-7580.2009.01182.x
13. Shneyer V.S. DNA barcoding of animal and plant species as an approach for their molecular identification and describing of diversity. Zhurnal Obshchei Biologii, 2009, vol. 9, no. 4, pp. 296-315. (In Russian)
14. Garafutdinov R.R., Chubukova O.V., Sahabutdinova A.R., Vakhitov V.A., Chemeris A.V. Genetic barcoding approach as to the identification of the person on the example of Russians of the Republic of Bashkortostan. Yu.A. Ovchinnikov Bulletin of Biotechnology and Physical and Chemical Biology, 2012, vol. 8, no. 3, pp. 19-25. (In Russian)
15. Kazemi V., Sullivan J. One millisecond face alignment with an ensemble of regression trees. Proc. IEEE Conference on Computer Vision and Pattern Recognition, CVPR. Columbus, USA, 2014, pp. 1867-1874.
16. CUHK Face Sketch Database. Available at: http://mmlab.ie.cuhk.edu.hk/facesketch.html (accessed 27.03.2017).
17. Kukharev G.A., Kamenskaya E.I., Matveev Y.N., Shchegoleva N.L. Methods for Face Image Processing and Recognition in Biometric Applications. Ed. M.V. Khitrov. St. Petersburg, Politekhnika Publ., 2013, 388 p. (In Russian)
18. Vostrikov A.A., Sergeev A.M. Bar Coding. St. Petersburg, SUAI Publ., 2010, 56 p. (In Russian)
19. Dakin S.C., Watt R.J. Biological "bar codes" in human faces. Journal of Vision, 2009, vol. 9, no. 4, pp. 1-10.
20. Barcode Comparison Chart. Available at: www.makebarcode.com/specs/barcodechart.html (accessed 25.09.2017).
21. Nesson C. Encoding multi-layered data into QR codes for increased capacity and security. South Dakota School of Mines and Technology, 2013, 22 p.
22. Duda J. Embedding grayscale halftone pictures in QR codes using correction trees. arXiv:12111572v3, 2012, 16 p.
23. Garateguy G.J., Arce G.R., Lau D.L., Villarreal O.P. QR images: optimized image embedding in QR codes. IEEE Transactions on Image Processing, 2014, vol. 23, no. 7, pp. 2842-2853. doi: 10.1109/TIP.2014.2321501
24. Yang Z., Xu H., Deng J., Loy C.C., Lau W.C. Robust and fast decoding of high-capacity color QR codes for mobile applications. arXiv:1704.06447v1, 2017, 13 p.
25. Tsymbal D.A., Chepurnoi K.V. Method of recognizing blurred barcodes on mobile devices without autofocusing. All-Russian Conf. on Mathematical Methods of Pattern Recognition. Petrozavodsk, Russia, 2011, 5 p. (In Russian)
Авторы
Кухарев Георгий Александрович - доктор технических наук, профессор, профессор, Западно-поморский Технологический университет в Щецине, Щецин, 320588161, Польша; профессор, Санкт-Петербургский государственный электротехнический университет (ЛЭТИ), Санкт-Петербург, 197376, Российская Федерация, Scopus ID: 18037842200, gkukharev@wi.zut.edu.pl Казиева Назым - инженер, аспирант, Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация, ORCID ID: 0000-0002-7559-1795, kaznaz@list.ru
Цымбал Дмитрий Александрович - кандидат технических наук, генеральный директор, Антарес Софтвер, Великий Новгород, 173015, Российская Федерация,
Dmitry.Tsymbal@antares-software.ru
Authors
Georgy A. Kukharev - D.Sc., Full Professor, West Pomeranian University of Technology, Szczecin, 320588161, Poland; Professor, Saint Petersburg State Electrotechnical University "LETI", Saint Petersburg, 197376, Russian Federation, Scopus ID: 18037842200, gkukharev@wi.zut.edu.pl
Nazym Kaziyeva - engineer, postgraduate, ITMO University, Saint Petersburg, 197101, Russian Federation, ORCID ID: 00000002-7559-1795, kaznaz@list.ru
Dmitry A. Tsymbal - PhD, CEO, Antares Software, Veliky Novgorod, 173015, Russian Federation, Dmitry. Tsymbal@antares-software.ru
