Научная статья на тему 'Реконструкция пространственной формы стопы человека на основе цифровых изображений'

Реконструкция пространственной формы стопы человека на основе цифровых изображений Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
124
25
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
ИЗМЕРЕНИЕ СТОПЫ ЧЕЛОВЕКА / HUMAN FOOT MEASUREMENTS / ОБРАБОТКА ИЗОБРАЖЕНИЙ / IMAGE PROCESSING / РАСПОЗНАВАНИЕ ОБРАЗОВ / PATTERN RECOGNITION / ПОДБОР ОБУВНЫХ ИЗДЕЛИЙ / SHOE FITTING / ОЦЕНКА УДОБСТВА НОШЕНИЯ ОБУВНЫХ ИЗДЕЛИЙ / SHOEWARE COMFORT ESTIMATION / 3D РЕКОНСТРУКЦИЯ / 3D RECONSTRUCTION

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Шубников Владислав Германович, Беляев Сергей Юрьевич

Реконструкция формы человеческой ступни необходима для многих задач современной обувной промышленности: это и индивидуальный пошив изделий, и задачи оценки удобства ношения. В недалеком будущем «виртуальные примерочные» в виде интернет-сайтов или порталов будут оснащены различными методами оценки удобства ношения продаваемых изделий. В том числе возможны методы, в которых будет реконструироваться 3D модель стопы, основываясь только на трех цифровых фотографиях. Понятно, что к таким фотографиям предъявляются некоторые требования. В этой статье рассмотрены специальные условия фотографирования, следуя которым описанный метод восстанавливает 3D форму стопы. Цифровые изображения могут быть получены в домашних/офисных условиях без специального студийного оборудования.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

3D Reconstruction of the Spatial Form of the Human Foot Based on Three Digital Images

3D reconstruction of human body parts is one of the most prominent directions of research in the highend technology industry. There are a lot of new tasks in the modern footwear industry, such as mass marketoriented individual shoe manufacturing and footwear fit factor estimation. In the near future “virtual fitting rooms” in the form of websites will use different approaches to footwear comfort estimation. Some of them will use 3D reconstruction of the human foot, based only on 3 digital images. In this article we described the special conditions required for obtaining such input images in typical home/office conditions without professional photo equipment. We described a 3D method for foot reconstruction.

Текст научной работы на тему «Реконструкция пространственной формы стопы человека на основе цифровых изображений»

Интеллектуальные системы и технологии

DOI: 10.5862/JCSTCS.234.5 УДК 004.932

В.Г. Шубников, С.Ю. Беляев

РЕКОНСТРУКЦИЯ ПРОСТРАНСТВЕННОЙ ФОРМЫ СТОПЫ ЧЕЛОВЕКА НА ОСНОВЕ ЦИФРОВЫХ ИЗОБРАЖЕНИЙ

V.G. Shubnikov, S.Yu. Belyaev

3D RECONSTRUCTION OF THE SPATIAL FORM OF THE HUMAN FOOT

BASED ON THREE DIGITAL IMAGES

Реконструкция формы человеческой ступни необходима для многих задач современной обувной промышленности: это и индивидуальный пошив изделий, и задачи оценки удобства ношения. В недалеком будущем «виртуальные примерочные» в виде интернет-сайтов или порталов будут оснащены различными методами оценки удобства ношения продаваемых изделий. В том числе возможны методы, в которых будет реконструироваться 3D модель стопы, основываясь только на трех цифровых фотографиях. Понятно, что к таким фотографиям предъявляются некоторые требования. В этой статье рассмотрены специальные условия фотографирования, следуя которым описанный метод восстанавливает 3D форму стопы. Цифровые изображения могут быть получены в домашних/ офисных условиях без специального студийного оборудования.

ИЗМЕРЕНИЕ СТОПЫ ЧЕЛОВЕКА; ОБРАБОТКА ИЗОБРАЖЕНИЙ; РАСПОЗНАВАНИЕ ОБРАЗОВ; ПОДБОР ОБУВНЫХ ИЗДЕЛИЙ; ОЦЕНКА УДОБСТВА НОШЕНИЯ ОБУВНЫХ ИЗДЕЛИЙ; 3D РЕКОНСТРУКЦИЯ.

3D reconstruction of human body parts is one of the most prominent directions of research in the highend technology industry. There are a lot of new tasks in the modern footwear industry, such as mass market-oriented individual shoe manufacturing and footwear fit factor estimation. In the near future "virtual fitting rooms" in the form of websites will use different approaches to footwear comfort estimation. Some of them will use 3D reconstruction of the human foot, based only on 3 digital images. In this article we described the special conditions required for obtaining such input images in typical home/office conditions without professional photo equipment. We described a 3D method for foot reconstruction.

HUMAN FOOT MEASUREMENTS; IMAGE PROCESSING; PATTERN RECOGNITION; SHOE FITTING; SHOEWARE COMFORT ESTIMATION; 3D RECONSTRUCTION.

Развитие обувной промышленности и лавинообразный рост онлайн продаж обувных изделий предполагают развитие новых методов идентификации анатомических особенностей стопы человека, новых методов оценки удобства ношения обувных изделий и других алгоритмических методов (основанных на математических по-

строениях), позволяющих с одной стороны упростить процесс производства, а с другой — увеличить процент точности выбора изделия в интернет-магазине при осуществлении покупки.

Если попытаться представить, как будет функционировать интернет-магазин обуви будущего, то это будет разновидность базы

4

данных, хранящей в облачном пространстве некие индивидуальные анатомические особенности человека. Каждый клиент, зарегистрированный в системе, будет предоставлять персональную информацию (достаточную только лишь для идентификации) и мерки своей стопы. Используя эти данные производитель сможет изготовить обувное изделие, основываясь на предоставленной информации.

Сейчас индивидуальный пошив обуви связан с хранением физических слепков (колодок) стопы клиентов, а в будущем эта информация будет представлена в цифровом виде, соответственно, стоимость хранения и обработки данных будет значительно уменьшена, что приведет к возможности массового индивидуального пошива. Также интернет-магазины будущего смогут предложить выборку из всего ассортимента изделий (доступных к покупке), которая идеально подходит для конкретного клиента.

Вопрос в том, что же должна хранить такая база данных? Если мы будем использовать приемы «старой школы» для описания особенностей стопы, то можно предложить хранить длину стопы, обхват стопы и другие простые измерения. У этого классического подхода есть очевидный (и критический) недостаток: клиент должен обладать навыками настоящего обувного мастера, чтобы с помощью гибкого метра сделать точные измерения стопы. Длину стопы измерить довольно просто, и это можно сделать весьма точно. А вот измерить обхват гибким метром намного сложнее, т. к. обыкновенный человек может придумать десятки разных способов оборачивания своей стопы гибким метром. Очевидно, что разброс результатов таких измерений будет существенным (вплоть до сантиметра), и считать такие данные достоверными попросту невозможно. Ошибка в 2 мм считается максимально допустимой для задач индивидуального пошива. Получить измерения с такой точностью вряд ли возможно для неподготовленного пользователя (непрофессионала в обувной индустрии).

Если бы мы могли получить 2Б форму стопы клиента, то задача изготовления/ оценки удобства ношения решалась бы со-

всем иначе, и это открывало бы возможность применения системы для миллионов пользователей.

вероятно, что в будущем базы данных производителей обуви/интернет-магазинов будут хранить персональную идентификационную информацию и 3Б форму стопы. предоставление доступа к этой информации будет важно для производителей обуви по индивидуальному пошиву (им не нужно будет хранить в шкафах пластиковые модели стоп клиентов; они смогут использовать 3Б модели стопы человека для производства обувного изделия на фабрике) и для интернет-магазинов. Они смогут хранить 3Б модели изделий в базе данных своих изделий и предлагать клиенту только те модели, которые виртуально хорошо подходят пользователю. при этом пользователю не нужно будет тратить время на бесконечное перелистывание каталога обувных изделий, которые ему (или ей) точно не подойдут. Интернет-магазин сможет существенно сократить свои транспортные расходы, связанные со случаями отказа при получении заказа (клиент примерил заказанное изделие, и оно ему не подошло). Это может буквально взорвать рынок онлайн продаж обувных изделий. Безусловно, такой сценарий вероятен только при возможности осуществить моделирование 3Б формы стопы с высокой точностью и при наличии надежных методов определения удобства ношения.

Существует несколько подходов к получению 3Б формы стопы человека. В наиболее простом случае можно использовать 3Б сканер или глубинный сканер. Современные 3Б сканеры — очень дорогие устройства, поэтому не могут использоваться в «каждом доме». Следовательно, это решение не годится для массового рынка.

Современные глубинные инфракрасные камеры предлагают более интересную возможность для решения данной задачи. В работе [1] показано, как глубинная камера может использоваться в процессе 3Б реконструкции в домашних условиях. В [2] сделана попытка получения точных 3Б моделей на основании цифровых изображений.

проблема качественной (точной) ре-

конструкции 3D форм человеческого тела не нова: например, в [3] сделана попытка использования видеопотока для восстановления формы и движений. В работе [4] показан один из способов, которым можно извлечь из фотографии стопы человека контур стопы в виде ломаной линии. В [5] показан метод определения линейных (не пространственных) размеров стопы человека.

Хотелось бы предложить такой способ обработки исходных данных, в результате которого можно получить трехмерную модель стопы человека с достаточно высокой точностью. Для целей индивидуального пошива обуви или виртуальной примерки точность моделирования в 0,5 мм является достаточной. По сути, требуется получить трехмерную модель стопы с минимальной ошибкой. Это цель данной работы.

Постановка задачи

Клиент предоставляет три цифровые фотографии стопы, сделанные обыкновенным смартфоном в домашних условиях с соблюдением правил фотографирования: носок должен быть черным, сплошным. для всех фотографий нужно использовать одну и ту же, свою, правую ногу. Необходимо закатать брюки и использовать чистый лист бумаги формата А4. Требование формата А4 не столь критично, алгоритм может использоваться и для формата бумаги Us Letter, и других, близких размеров. два изображения должны быть получены, располагая камеру мобильного устройства на высоте обычного офисного/домашне-

го стола. На этих изображениях должны быть внутренняя и внешняя части стопы. На третьей фотографии должна быть видна боковая проекция стопы.

Чтобы упростить обработку изображений и улучшить точность результата мы используем листы бумаги в качестве «усилителей» контраста. Используя высокий контраст интенсивности цветов между темными пикселями носка и светлыми пикселями бумаги, мы можем распознать форму стопы на изображении с очень высокой степенью точности. На выходе требуется реконструировать трехмерную форму сфотографированной стопы так, чтобы трехмерная модель отличалась от реальной трехмерной формы не более чем на 1,5 мм.

реконструкция формы стопы

Весь процесс может быть описан следующей последовательностью действий:

1. Извлечь контур бумаги и стопы из исходных изображений.

2. Детектировать контуры стопы из первых двух цифровых изображений и выполнить коррекцию перспективных искажений. Затем смешать оба откорректированных контура в единый контур: этот контур стопы будет в горизонтальной плоскости.

3. Используя базу данных 3Б моделей, выбрать наиболее удачно подходящую модель и изменить ее, применяя контуры стопы в перпендикулярных плоскостях.

Стадия I. Извлечение контура стопы из трех исходных изображений

Обработка изображения делится на две

Рис. 1. Исходные цифровые изображения для 3Б реконструкции стопы человека,

снятые современным смартфоном

4

стадии: на первой стадии детектируется контур листа бумаги, на второй извлекается контур стопы, при этом используется полученная информация о расположении листа бумаги. Если первая стадия распознавания завершилась неуспешно, то весь процесс прерывается и возвращается код ошибки.

процесс распознавания контура листа бумаги состоит из четырех шагов:

Ш а г 1. Исходное изображение масштабируется в сторону уменьшения пиксельного разрешения. Главная цель — уменьшение площади обработки изображения (в пикселях) и увеличение скорости всего процесса в целом. Важный побочный эффект заключается в том, что после уменьшения разрешения пропадают мелкие незначительные детали, имеющие шумовое происхождение. Безусловно, уменьшение разрешения не приводит к избавлению от всех шумов. Их количество становится меньше. до какой степени можно уменьшать исходное изображение? конкретная цифра получается в ходе простого эксперимента, причем условием выбора минимального размера является возможность распознать части изображения «человеческим глазом».

Шаг 2. Построение карты «однородности» для светлых оттенков на исходном изображении. Здесь необходимо пояснить, что является «однородным», и какие оттенки считаются «светлыми». Однородность пикселя (точней окрестности пикселя) может быть описана формулой:

I (X, У) > Ь;

к=х+1 I=у+1 (1)

Е ЕI ;(х, у) - ;(к, I)| < ь '

к=х-1 I=у-1

и(х, у) = <

где и(х, у) — однородность в пикселе с координатами (х, у); ;(х, у) — интенсивность пикселя в точке (х, у), считается, что вхо-

дящее изображение преобразовано в формат градации серого (цветовая информация не важна, важна интенсивность); индексы к, I отражают отношение соседства к текущему пикселю, на практике мы можем использовать только четыре соседних пикселя (вместо восьми) ради ускорения производительности вычислений без существенной потери в качестве; Ь. — значение специального барьера, чтобы отличить пиксель «светлого» оттенка (поиск «светлых» пикселей поможет нам найти зоны с высокой вероятностью обнаружения в них листа бумаги), конкретное значение Ь определяется после экспериментальной обработки статистики тестовых входящих изображений; Ьс — барьерное значение, с помощью которого мы можем утверждать, что текущий пиксель (х, у) выглядит очень похожим (или нет) на соседние пиксели (схожесть вычисляется как модуль разностей между интенсивностями пикселей).

Шаг 3. Основная идея — обнаружить в изображении крупные по площади области однородности. термин «однородность» используется здесь как признак пикселей с более или менее одинаковой интенсивностью. Чтобы выделить такие области сначала выделяются зоны связности пикселей — множество пикселей, в котором для каждого элемента (пикселя) есть другой, расположенный по соседству (имеется в виду 8-направленное соседство). Для этой цели можно использовать быстрый алгоритм

[6], базирующийся на горизонтальном и вертикальном сканировании изображения. В каждой обнаруженной компоненте связности удаляются «дыры» небольшого размера с помощью простейшей дилатации

[7]. Простейшая пиксельная «дыра» удаляется если справедливо:

;"(х, у) = ¿(х, у -1)

;"(х, у) = 1(х -1, у):

;(х, у) == о ¿(х, у -1) == ¿(х, у - к), к = +1, +2, -1, -2

;(х, у) == о

;'(х -1, у) == ;'(х - к, у), к = +1, +2, -1, -2

«Дыры» более крупных размеров детектируются с помощью алгоритма заливки области, который начинает работать

с пикселя, отнесенного к «фону», до тех пор, пока количество пройденных пикселей менее 120. Число 120 подобрано в ре-

Рис. 2. Детали процесса обнаружения листа бумаги

зультате экспериментов.

Шаг 4. Среди всех «крупных» областей однородности выбирается область, содержащая лист бумаги, и отбрасываются все области, которые чем-либо похожи на лист бумаги, например прямоугольные куски паркета светлого оттенка. Для этого в области однородности устанавливаются наиболее длинная горизонтальная и вертикальная линии. На практике используется целая серия линий, наклон которых близок к «горизонтальной» или «вертикальной». в этих условиях алгоритм может обрабатывать входные изображения, на которых лист бумаги не идеально выровнен по горизонтали и вертикали, а лишь приблизительно.

После обнаружения самых длинных «горизонтальной» и «вертикальной» линий оценивается их отношение. Если эта величина не попадает в заранее подсчитанный диапазон, то зона однородности не может содержать лист бумаги и выбрасывается из дальнейшего рассмотрения. Этот простой прием позволяет быстро отбросить зоны связности, которые не являются листом бумаги, но, тем не менее, выглядят «светло» и «однородно».

Левый (или правый) край бумаги детектируется, используя наиболее длинную

вертикальную линию: из нее выпускаются горизонтальные лучи влево (или вправо) до точки пересечения с границей области. Этот процесс показан на рис. 2 в нижнем левом углу. Если точки пересечения (обозначены красными точками) лежат на одной линии, то граница края бумаги найдена. Если нет, то текущая зона связности отбрасывается, и алгоритм рассматривает следующую. обнаружив левую границу листа бумаги (с правой границей действия те же самые, симметрично предыдущим), мы можем разметить положения точек 0, 1, 2, .., 7, показанные в правом нижнем углу на рис. 2. Координаты этих точек помогут нам построить отрезки Р0Р1, Р2Р3, Р4Р5, Р6Р7. Точки пересечения прямых, построенных на этих отрезках, дадут координаты углов листа бумаги.

процесс детектирования стопы состоит из пяти шагов:

Шаг 1. Масштабирование исходного изображения в сторону уменьшения пиксельного разрешения.

Шаг 2. Выполнение построения карты однородности с «темными» пикселями. здесь используется тот же критерий для определения «однородности», что и в процессе детектирования листа бумаги (фор-

мула (1)) с небольшим отличием: интенсивность пикселя должна быть меньше (не больше) чем заранее подобранная константа.

Шаг 3. Обрезание областей, расположенных вне листов бумаги.

Шаг 4. Обнаружение крупных областей среди всех компонент связности. На этой стадии мы отбрасываем слишком маленькие или наоборот, слишком большие области.

Шаг 5. Извлечение контура ломаной линии на основе зоны связности и сравнение этой линии с «эталонной». Для сравнения используется набор ориентированных градиентов, извлекаемых из исходного контура. Для начала исходный контур изменяется таким образом, чтобы получить контур с фиксированным количеством точек и одинаковым расстоянием между точками контура. Это позволит сравнивать контуры по упрощенной схеме: в данном случае направления градиентов фрагментов контуров будут очень похожи (если сами контуры похожи). Плюс к этому контуры нормализуются в единичный размер, используя охватывающий прямоугольник контура. Оценка схожести между обнаруженным контуром и «эталонным» контуром вычисляется по формуле:

£|a[/ ] - B[i ]|

err = ^-,

N

где N — число точек в обоих сравниваемых контурах A и B; A[i] — значение угла наклона в i-й точке контура A; B[i] — значение угла наклона в i-й точке контура B.

Если результирующая ошибка меньше заранее подобранной константы, то считается что у контуров имеется сходство. Мы используем этот очень простой метод оценки сходства контуров ради повышения производительности вычислений. В более обобщенном случае можно использовать метод «оценки площади локальных треугольников», описанный в [8].

Верхняя часть рис. 3 показывает стадии обнаружения листа бумаги, нижняя часть рисунка показывает процесс извлечения контура стопы. В левой верхней части показано много областей однородности «светлых» оттенков, которые должны быть отброшены алгоритмом распознавания. На центральной картинке в верхней части рисунка разными цветами показаны различные зоны связности. Изображение с видом стопы сбоку обрабатывается так же, как и две фотографии, сделанные из положения «вид сверху».

Рис. 3. Стадии распознавания контура листа бумаги и контура стопы

Рис. 4. Система координат (х, у) на модельной плоскости

Стадия II. Перспективная коррекция и реконструкция контура стопы

Цель перспективной коррекции — удаление искажений контуров, которые появляются в результате центральной проекции (в момент фотографирования). Коррекция выполняется с помощью матрицы томографии Н, которая устанавливает соответствие между модельной плоскостью камеры и изображением:

и X

у = Н У

1 1

(2)

где (х, у) и (и, у) — координаты точки на модельной плоскости и плоскости изображения соответственно; я — коэффициент масштабирования.

Будем считать плоскость пола модельной плоскостью. Один из углов листа бумаги используется в качестве центра системы координат, как показано на рис. 4.

матрица гомографии для каждого изображения вычисляется четырьмя углами листа бумаги, используя алгоритм, описанный в [9]. Обозначим через т.. компоненты матрицы, обратной к матрице гомографии. тогда координаты модельной плоскости могут быть вычислены через координаты на изображении с помощью выражения (2):

х =

У =

т11 * и + т12 * у + т13 т31 * и + т32 * у + т33 '

т21 * и + т22 * у + т23 т31 * и + т32 * у + т33

(3)

Формулы (3) применяются к точкам контуров, полученных из первых двух изображений. Результат показан на рис. 5.

Контуры S1 и Б2 не полностью совпадают друг с другом, как показано на рисунке. Причина заключается в том, что эти контуры располагаются на некотором возвышении над полом и сфотографированы под углом. Рассмотрим положение стопы и камеры, показанное на рис. 6.

Пусть камера располагается в точке Т и Р — произвольная точка на контуре стопы. На модельной плоскости точка Р будет отображаться в точку Q (слева на рисунке). Так как нам нужно найти ортогональную проекцию контура стопы на плоскость пола, точка Q должна быть заменена точкой Р'.

У

-> х

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Рис. 5. Трансформация исходных контуров в систему координат (х, у). соответствует первому изображению, Б2 — второму

4

Рис. 6. Коррекция стопы по высоте:

Т — точка фотографирования; Р — точка контура стопы; (( — ее проекция на модельную плоскость; Р' — точка на финальном контуре; окружность О с радиусом И примерно показывает границу стопы в окрестности точки Р

Можно примерно приблизить поверхность в окрестности точки Р сферой радиуса И, причем И — высота точки Р над модельной плоскостью (на рисунке справа). Нетрудно доказать, что координаты (хр', ур') точки Р могут быть выражены исходя из координат (х., у.) точки (( следующими формулами:

х

= хч - (х. - х,) * И / ±

2

--И

■ 8§п(хв - х,);

(4)

у \ = у. - (у. - у,) *И / ±

И * V^ + (у. - у,)2

- И

8Еп( у. - у,).

(5)

Здесь (х,, у,, £,) — координаты точки Т, и знак третьего выражения зависит от положения скорректированной точки контура по отношению к камере и стопе: если скорректированная точка расположена между камерой и стопой, то знак положительный, иначе — отрицательный.

Положение точки камеры Т = (х,, у,, £,) может быть вычислено с помощью отношений, выведенных в работе [9]:

Т = ХЛ-1 Н3; (6)

Х = 1/| Л-1Н1||. (7)

Здесь Л — матрица калибровки камеры и Н = [Н1, Н2, Н3] — матрица гомографии.

Для вычисления компонент матрицы Л воспользуемся приближением:

Л =

/ 0 0 / 0 0

(8)

где / — фокальная длина и (и, V) — координаты главной точки, равные половине ширины и высоты входного изображения соответственно.

В этом случае отношение (6) преобразуется:

х = Х *

у, =Х*

Ии /

Ик /

И33* и

/

Из 3

/

(9)

*/ = Х* И33.

Фокусное расстояние / записывается в заголовке файла, содержащего фотографию. подстановка (7) в (9) позволяет вычислить неизвестные координаты камеры.

Рис. 7. Горизонтальный и вертикальный контуры стопы

Вертикальное сечение

Сечение 3D модели

С>

-Т-

Горизонтальное сечение

Рис. 8. Масштабирование и сдвиг сечений 3Б модели стопы

Для определения высоты в точках контура стопы используем 4-шаговый алгоритм.

Шаг 1. Контуры S1 и S2 смешиваются в единый контур S. Процедура смешивания основана на осреднении несовпадающих частей контуров.

Шаг 2. Вертикальный контур стопы, извлеченный из третьего исходного изображения, нормализуется длиной контура S. Обозначим этот контур S3 (рис. 7).

Шаг 3. Используя базу данных различных 3D моделей стопы, можно выбрать модель, наибольшим образом схожую с S и S3 по ортогональным проекциям.

Шаг 4. Требуемые значения высот для точек контура стопы извлекаются из выбранной 3D модели. В результате всех этих построений вычисляются значения всех величин из правой части формул (4), (5). Формулы (4), (5) используются для коррекции контуров S1 и S2. Скорректированные контуры не имеют различий в общей части, которая становится результирующим контуром S.

Стадия III. Изменение формы стопы в 3D.

Финальная стадия всего процесса — выбор модели стопы из базы данных и ее модификация с помощью 2D контуров стопы, полученная на предыдущем шаге. Важный вопрос: какая 3D модель должна быть выбрана в качестве «базовой» для процесса модификации? Предлагается выбрать из базы данных 3D модель, наиболее похожую на 2D контур, извлеченный из изображения (на этапе распознавания)

в горизонтальном и вертикальном проекциях.

Выбранная модель равномерно масштабируется по всем осям координат, следуя условию: размер модели вдоль оси z (длина стопы) должна быть такой же, как длина горизонтального контура. В масштабированной модели построим продольные и радиальные сечения. Эти сечения масштабируются и сдвигаются до тех пор, пока их горизонтальные и вертикальные проекции не совпадут с соответствующими срезами контуров, обнаруженных на предыдущей стадии II (рис. 8).

Эксперименты и результаты

Для оценки качества измерений стопы были привлечены 63 человека. Стопа каждого из них была отсканирована с помощью сканера 3D Artec MH-T [10] с точностью сканирования 0,1 мм (информация из технического описания сканера), а также были сделаны по три фотографии стопы. Реконструировали 3D модели стоп, которые сравнивались с точными 3D формами, по-

Рис. 9. Значения модуля разности ошибки в 63 экспериментах

4

лученными 3Б сканером. На рис. 9 показан модуль разности Д(ошибка между ними), отсортированный в порядке увеличения.

Средняя ошибка измерений равна 1,21 мм, а максимальное значение ошибки 2,18 мм.

Алгоритм, описанный в статье, позволяет реконструировать 3Б модели стопы только по трем фотографиям. Алгоритм

обеспечивает 1-2 мм точности восстановления 3Б формы стопы. Указанной точности вполне достаточно для решения задачи виртуальной примерки в интернет-магазинах и анализа форм стоп людей, проживающих в различных регионах. с некоторыми допущениями данный алгоритм может быть применен для индивидуального пошива обуви, где требуется точность порядка 0,5—1,0 мм.

СПИСОК ЛИТЕРАТУРЫ

1. Isadi S., Kim D., Hilliges o., Molyneaux D., Newcombe R., Kohli P., Shotton J., hodges S., Freeman D., Davison A., Fitzgibbon A. KineticFusion: Real-time 3D Reconstruction and Interaction Using a Moving Depth Camera // Proc. of the 24th Annual ACM Symp. on User Interface Software and Technology. 2011. Pp. 559-568.

2. Denkowski M., Mikolajczak P., Chlebiej M. Estimating 3D Surface Depth Based on Depth-of-Field Image Fusion // Internat. Conf. Warsawa, Poland. 2008. Pp. 90-99.

3. Remondino F., Roditakis A. Human Figure Reconstruction and Modeling from Single Image or Monocular Video Sequence // 4th Internat. Conf. on 3D Digital Imaging and Modeling. Bannf, Canada, 2003. Pp. 116-123.

4. Шубников В.Г., Беляев С.Ю. Foot contour detection using digital images // Научно-технические ведомости СПбГПУ. Информатика. Телекоммуникации. Управление. 2014.

№ 5(205). С. 63-71.

5. Беляев С.Ю., Шубников В.Г. Определение размеров стопы человека по фотографиям // Научно-технические ведомости СПбГПУ. Информатика. телекоммуникации. Управление. 2014. № 2(193). С. 23-30.

6. heckbert P. A Seed Fill Algorithm, Graphics Gems. Academic Press, 1990 [электронный ресурс] / URL: https://github.com/erich666/ GraphicsGems/blob/master/gems/SeedFill.c

7. Gonsalez R., Woods R. Digital Image Processing. Prentice Hall, 2007.

8. Alajlan N., rube I., Kamel M., Freeman G. Shape Retrieval Using Triangle-Area Representation and Dynamic Space Warping // Pattern Recognition. 2007. Vol. 40. Iss. 7. Pp. 1911-1920.

9. Zhang Z. A Flexible New Technique for Camera Calibration // IEEE Transactions Pattern Analysis Machine Intellect. 2000. Vol. 22(11). Pp. 1330-1334.

REFERENCES

1. Isadi S., Kim D., Hilliges o., Molyneaux D., Newcombe R., Kohli P., Shotton J., hodges S., Freeman D., Davison A., Fitzgibbon A. KineticFusion: Real-time 3D Reconstruction and Interaction Using a Moving Depth Camera, Proceedings of the 24th Annual ACM Symposium on User Interface Software and Technology, 2011, Pp. 559—568.

2. Denkowski M., Mikolajczak P., Chlebiej M. Estimating 3D Surface Depth Based on Depth-of-Field Image Fusion, International Conference, ICCVG 2008, Warsawa, Poland, November 10-12, 2008, Pp. 90-99.

3. remondino F., roditakis A. Human Figure Reconstruction and Modeling from Single Image or Monocular Video Sequence, 4th International Conference on 3D Digital Imaging and Modeling, 6-19 October 2003, Bannf, Canada, Pp. 116-123.

4. Shubnikov V.G., Belyaev S.Yu. Foot contour detection using digital images. Nauchno-tehnicheskie vedomosti SPbGPU. Informatika. Telekommunikatsii. Upravlenie [St. Petersburg State

Polytechnical University Journal. Computer Science. Telecommunication and Control Systems], 2014, No. 5(205), Pp. 63-71. (rus)

5. Belyaev S.Yu., Shubnikov V.G. Opredelenie razmerov stopyi cheloveka po fotografiyam [Estimating a human foot size from images]. Na-uchno-tehnicheskie vedomosti SPbGPU. Informatika. Telekommunikatsii. Upravlenie [St. Petersburg State Polytechnical University Journal. Computer Science. Telecommunication and Control Systems], 2014, No. 2(193), Pp. 23-30. (rus)

6. Heckbert P. A Seed Fill Algorithm, Graphics Gems. Academic Press, 1990. Available: https:// github. com/erich666/GraphicsGems /blob / master/ gems/SeedFill.c

7. Gonsalez R., Woods R. Digital Image Processing. Prentice Hall, 2007.

8. Alajlan N., rube I., Kamel M., Freeman G. Shape Retrieval Using Triangle-Area Representation and Dynamic Space Warping, Pattern Recognition, 2007, Vol. 40, Issue 7, Pp. 1911-1920.

9. Zhang Z. A Flexible New Technique for Analysis Machine Intellect (PAMI), 2000, Vol. Camera Calibration, IEEE Transactions Pattern 22(11), Pp. 1330—1334.

ШУБНИКоВ Владислав Германович — преподаватель кафедры прикладной математики Института прикладной математики и механики Санкт-Петербургского политехнического университета Петра Великого, кандидат технических наук.

195251, Россия, Санкт-Петербург, ул. Политехническая, д. 29.

E-mail: [email protected]

SHUBNIKoV Vladislav G. Peter the Great St. Petersburg Polytechnic University.

195251, Politekhnicheskaya Str. 29, St. Petersburg, Russia.

E-mail: [email protected]

БЕлЯЕВ Сергей Юрьевич — доцент кафедры прикладной математики Института прикладной математики и механики Санкт-Петербургского политехнического университета Петра Великого, кандидат физико-математических наук.

195251, Россия, Санкт-Петербург, ул. Политехническая, д. 29.

E-mail: [email protected]

BELYAEV Sergey Yu. Peter the Great St. Petersburg Polytechnic University.

195251, Politekhnicheskaya Str. 29, St. Petersburg, Russia.

E-mail: [email protected]

© Санкт-Петербургский политехнический университет Петра Великого, 2015

i Надоели баннеры? Вы всегда можете отключить рекламу.