CC BY
1
Научная статья УДК 004.942
DOI: 10.14529/ctcr240302
ПРИМЕНЕНИЕ КОМПЬЮТЕРНОГО ЗРЕНИЯ ДЛЯ ОПРЕДЕЛЕНИЯ РЕПЕРНЫХ ТОЧЕК ПРИ ОЦЕНКЕ ГЕОМЕТРИИ ЛИЦА
И.Д. Шитоев12, [email protected], https://orcid.org/0000-0002-6391-9271 С.В. Муравьев3,4, [email protected], https://orcid.org/0000-0002-3342-4710 М.Д. Иванова1, [email protected], https://orcid.org/0000-0002-1471-8326 Г.З. Клоян2, [email protected], https://orcid.org/0000-0001-6615-8159
Пермский национальный исследовательский политехнический университет, Пермь, Россия
2 ООО «Йорд Тех», Пермь, Россия
3 Пермский государственный медицинский университет имени академика Е.А. Вагнера, Пермь, Россия
4 Научно-медицинский центр «Родник», Пермь, Россия
Аннотация. Применение компьютерного зрения для определения геометрии лица при помощи реперных точек является относительно новым подходом в медицине. Актуальность данного исследования обусловлена не только необходимостью разработки новых методов и подходов в определении геометрии лица, но и растущим интересом к развитию и применению искусственного интеллекта в медицине. Цель исследования. Цель данной статьи - разработать математические и нейросете-вые алгоритмы, определяющие геометрию лица при помощи реперных точек. Материалы и методы. Для обучения нейронной сети использовалась малая выборка из 1000 размеченных фотографий, находящихся в открытом доступе, на которых изображен портрет человека по плечи анфас. Рассматривались только взрослые (18+) представители европеоидной расы. Разметка фотографий производилась с помощью инструмента графического анализа изображений LabelImg 1.8.6, в котором в режиме графического интерфейса вручную отмечались области нахождения (классы определения) реперных точек. В качестве архитектуры нейронной сети выбрана YOLO 8. Результаты. Было показано, что точность поиска точек обученной на 1000 сгруппированных фотографиях нейронной сетью достигает 98,15 %, что свидетельствует о хорошем определении границ объектов и их классификации. Заключение. Проведенное исследование продемонстрировало успешную разработку и применение нейросетевых алгоритмов для определения альтернативных реперных точек, характеризующих геометрию лица. Полученные результаты подтверждают эффективность предложенной авторами методики в косметологии, а также указывают на ее потенциал для применения в других областях медицины, таких как стоматология, неврология и хирургия.
Ключевые слова: нейронная сеть, реперные точки, компьютерное зрение, геометрия лица
Благодарности. Работа выполнена при поддержке Пермского научно-образовательного центра мирового уровня «Рациональное недропользование».
Для цитирования: Применение компьютерного зрения для определения реперных точек при оценке геометрии лица / И.Д. Шитоев, С.В. Муравьев, М.Д. Иванова, Г.З. Клоян // Вестник ЮУрГУ. Серия «Компьютерные технологии, управление, радиоэлектроника». 2024. Т. 24, № 3. С. 16-28. DOI: 10.14529/ctcr240302
© Шитоев И.Д., Муравьев С.В., Иванова М.Д., Клоян Г.З., 2024
Original article
DOI: 10.14529/ctcr240302
THE USE OF COMPUTER VISION TO DETERMINE REFERENCE POINTS WHEN EVALUATING THE GEOMETRY OF A FACE
I.D. Shitoev1'2, [email protected], https://orcid.org/0000-0002-6391-9271 S.V. Muravev34, [email protected], https://orcid.org/0000-0002-3342-4710 M.D. Ivanova1, [email protected], https://orcid.org/0000-0002-1471-8326 G.Z. Kloyan2, [email protected], https://orcid.org/0000-0001-6615-8159
Perm National Research Polytechnic University, Perm, Russia 2 LLC "Yord Tech", Perm, Russia
Academician Ye.A. Vagner Perm State Medical University, Perm, Russia 4 Scientific and Medical Center "Rodnik", Perm, Russia
Abstract. The use of computer vision to determine the geometry of a face using reference points is a relatively new approach in medicine. The relevance of this study is due not only to the need to develop new methods and approaches in determining the geometry of the face, but also to the growing interest in the development and application of artificial intelligence in medicine. The research objective. The purpose of this article is to develop mathematical and neural network algorithms that determine the geometry of a face using reference points. Material and methods. To train the neural network, a small sample of 1,000 marked-up photos in the public domain was used, which depict a full-face portrait of a man up to his shoulders. Only adult (18+) representatives of the Caucasian race were considered. The photos were marked up using the Labellmg 1.8.6 graphical image analysis tool, in which the areas of finding (classes of definition) of reference points were manually marked in the graphical interface mode. YOLO 8 was chosen as the neural network architecture. Results. It was shown that the accuracy of the point search by a neural network trained on 1000 grouped photographs reaches 98.15 %, which indicates a good definition of the boundaries of objects and their classification. Conclusion. The conducted research demonstrated the successful development and application of neural network algorithms to determine alternative reference points characterizing the geometry of the face. The results obtained confirm the effectiveness of the technique proposed by the authors in cosmetology, and also indicate its potential for use in other fields of medicine, such as dentistry, neurology and surgery.
Keywords: neural network, reference points, computer vision, facial geometry
Acknowledgments. The study was carried out with the support of the world-class Perm scientific and educational center "Rational Subsoil Use".
For citation: Shitoev I.D., Muravev S.V., Ivanova M.D., Kloyan G.Z. The use of computer vision to determine reference points when evaluating the geometry of a face. Bulletin of the South Ural State University. Ser. Computer Technologies, Automatic Control, Radio Electronics. 2024;24(3):16-28. (In Russ.) DOI: 10.14529/ctcr240302
Введение
Важным фактором, способствующим популярности компьютерного зрения, стало значительное увеличение вычислительной мощности графических процессоров. Прежде компьютерам требовалось большое количество времени на обработку и анализ изображений, а сегодня графические процессоры могут эффективно справляться с этой задачей. Благодаря этому использование компьютерного зрения стало доступно в реальном времени. Вместе с этим появление инструментов и библиотек для обработки данных и обучения моделей также стимулирует рост компьютерного зрения. Эти инструменты значительно упрощают процесс разработки и тестирования алгоритмов компьютерного зрения, делая его доступным для широкого круга специалистов [1-4].
Биометрические технологии все более распространены в системах компьютерного зрения. Это инновационные методы, позволяющие использовать физические и поведенческие характеристики человека для идентификации и аутентификации технологии [4-6]. В настоящее время распознавание биометрических характеристик лица широко распространено в различных сферах деятельности, включая безопасность, здравоохранение, банковское дело, государственное управ-
ление и др. (например, аутентификация в банке, разблокировка смартфона, распознавание преступников по камерам). В последнее время такие технологии все больше применяются в косметологии, так как обладают рядом неоспоримых преимуществ, в частности, являются бесконтактными и неинвазивными. В основе технологии распознавания биометрических характеристик лица лежит использование компьютерного зрения. Применение таких технологий зачастую не требовательно к аппаратным ресурсам, и с каждым годом стоимость таких решений снижается за счет развития технологий съемки.
Актуальность разработанного продукта основана на повышении интереса пациентов к совершенствованию эстетических и гармонических характеристик лица, в том числе эстетики в зоне улыбки [2, 3, 7]. В настоящее время большинство имеющихся решений отличаются развлекательной направленностью. Современные инструменты не оценивают реальную геометрию лица и его возрастные изменения и редко используются на практике, так как не обладают средствами объективной оценки и прогноза проведенных вмешательств. Разрабатываемая программная система является портативной, доступной и обладающей необходимым набором инструментов для предоставления точного и количественного анализа, способна решить перечисленные проблемы и тем самым усовершенствовать процесс наблюдения и диагностики.
Цель: разработать математические и нейросетевые алгоритмы, определяющие геометрию лица при помощи реперных точек.
Материалы и методы. Для обучения нейронной сети использовалась малая выборка из 1000 размеченных фотографий, находящихся в открытом доступе, на которых изображен портрет человека по плечи анфас. Рассматривались только взрослые (18+) представители европеоидной расы. Разметка фотографий производилась с помощью инструмента графического анализа изображений labelimg1.8.6, в котором в режиме графического интерфейса вручную отмечались области нахождения (классы определения) реперных точек. В качестве архитектуры нейронной сети выбрана YOLO 8 [8].
Все фотографии были разделены на 5 групп, принадлежность к которым могла быть явно определена, исходя из визуальных или количественных критериев (табл. 1).
Таблица 1
Группа выборки
Table 1
Sample Group
№ Признак Название Критерий Число Название Критерий Число
1 Гендер Мужчины 750 Женщины 750
2 Возраст Зрелые 18-60 920 Пожилые 61+ 580
3 Телосложение Худые и нормальные ИМТ < 25 1140 Полные ИМТ > 25 360
4 Форма лица Квадрат кРУг Ширина лба = ширине рта 815 Удлиненное 685
5 Нарушения Есть 1290 Нет 210
1. Определение ключевых реперных точек
Поиск реперных точек осуществляется, исходя из принципов симметрии и общих признаков геометрии лица, характерных для всех представителей выборки (рис. 1). В рамках исследования осуществляется поиск 27 основных точек [9], обозначенных заглавными латинскими буквами с индексом. В дальнейшем при анализе, например, мимики, список точек может быть расширен и дополнен точками на бровях, дополнительными точкам в области глаз, лобной части и т. п. Выбор точек зависит от решаемой задачи и для текущего исследования является полным.
Для определения реперных точек был разработан математический алгоритм по определению специальных точек на трехмерной модели (рис. 2), пространственное положение которых относительно друг друга позволяло сделать вывод о наличии тех или иных нарушений симметрии и гармонии лица. На основе алгоритма фотограмметрического построения модели математического определения пространственного положения реперных точек реализовано приложение для мобильных устройств [10], с помощью которого был проведен ряд исследований, направленных на
Шитоев И.Д., Муравьев С.В., Применение компьютерного зрения для определения
Иванова М.Д., Клоян Г.З. реперных точек при оценке геометрии лица
решение таких ортопедических задач, как оценка нарушений осанки и зубочелюстной системы [11, 12] и мониторинг динамики изменений выявленных нарушений в ходе реабилитационного процесса.
Рис. 1. Реперные точки Fig. 1. Reference points
Рис. 2. Пример определения реперных точек
на трехмерной модели головы Fig. 2. Example definition of reference points on a three-dimensional head model
В дальнейшем разработка была направлена на решение задач в области эстетической косметологии, связанных с количественной оценкой нарушений геометрических параметров лица.
Разработка программного обеспечения для прикладной интерпретации параметров рельефа и цветовых характеристик лица по результатам фотограмметрической оценки трехмерного изображения головы проводилась в несколько этапов:
1) получение фотоснимков объекта по серии фотоснимков с метаданными;
2) построение трехмерного объекта головы;
3) определение реперных точек и их координат в пространстве;
4) оценка пространственного взаимоположения реперных точек;
5) интерпретация взаимоотношения реперных точек, формирование заключения.
2. Ограничения математического алгоритма
В ходе проведенных экспериментов на основе алгоритма фотограмметрического построения модели математического определения пространственного положения реперных точек был выявлен ряд недостатков применения в основе чистой математической модели для определения положения ключевых диагностических точек. По результатам обработки более 1000 моделей наиболее распространенными по частоте проблемами являлись неточное определение положения точек: глаз (40 %), шей (36 %), носа (4 %). Проблемы с определением других точек встретились в 17 % случаев. Анализ причин возникновения проблем показал, что зачастую на точность определения точек оказывали влияние такие факторы, как: перекрытие волосами исследуемых областей, в том числе выбившиеся пряди, наличие челки, бороды (24 %), светлые волосы (3 %) светлая одежда (3 %), светлый фон (3 %), наличие украшений (2 %). В ряде случаев искомые точки лежали за пределами заданных диапазонов (7 %). Также в 3 % случаев трехмерная модель получилась размыта по причине движения фотографируемого добровольца во время съемки либо нарушения плавности движений фотографирующего. В остальных случаях причину найти не удалось.
Для повышения качества поиска было принято решение использовать совокупность готовых нейросетевых инструментов, находящихся в свободном доступе. Обучение проводилось на моделях фотографируемых добровольцев с нанесенными в области нахождения реперных точек маркерами. В качестве маркеров использовались метки из цветной самоклеящейся бумаги диаметром 5 мм.
Далее для поиска реперных точек применялась нейросетевая обработка пространственной модели головы. Для создания виртуальной копии трехмерного объекта использовался метод фотограмметрии, включающий в себя съемку неподвижного объекта камерой смартфона с разных ракурсов с последующим восстановлением объемной модели по фотографиям на основе их уникальных признаков.
Поскольку распознавание лиц является сложной задачей в силу того, что объемное трехмерное изображение лица содержит большое количество информации, обработка и интерпретация которой делает нейронную сеть дорогостоящей в вычислительном отношении [13], было принято решение проводить поиск реперных точек на плоском снимке, выполненном анфас, и в дальнейшем переносить их на трехмерный объект. Также на этом этапе работ был осуществлен переход от готовых решений к разработке и обучению своей нейронной сети.
3. Результаты тестирования нейронной сети
В результате использования обученной нейронной сети на малой выборке размеченных фотографий удалось получить хорошее совпадение в положении реперных точек на фотографиях, не используемых для обучения. В отличие от математического алгоритма, в котором наибольшую сложность определения имели точки ушей, основные проблемы с поиском точек у нейронной сети были связаны с определением точек шеи на фотографиях, имеющих цвет одежды, сходный по оттенку с цветом кожи, а также в связи с различной длиной шеи. При этом с поиском остальных точек разработанная нейронная сеть справилась в большинстве случаев.
Для оценки полученного результата использовался ряд стандартных метрик [11, 14, 15], таких как:
• F-мера - это метрика для оценки точности алгоритмов машинного обучения, используемых в задачах классификации и семантической сегментации. Она сочетает в себе метрики точности (Precision) и полноты (Recall) в единую меру качества модели. Она помогает выбрать оптимальный порог IOU для принятия решения о наличии или отсутствии объекта на изображении при работе с алгоритмом YOLO (рис. 3а);
• Recall-Confidence Curve - это график, который отображает соотношение между полнотой (recall) и уверенностью (confidence) алгоритма машинного обучения в прогнозировании. Recall-Confidence Curve позволяет оценить, насколько хорошо алгоритм справляется с предсказанием реальных положительных примеров при разной степени уверенности. Например, если алгоритм имеет высокую полноту при низкой уверенности, это может указывать на то, что он не может достаточно точно различить истинные положительные примеры от ложных, и нужно провести дополнительную настройку модели (рис. 3b);
• Precision-Confidence Curve (кривая точность - доверие) - это график, который показывает точность модели машинного обучения в зависимости от уровня ее доверия. Он может использоваться для оценки производительности модели, отображая точность предсказаний на основе того, насколько уверена модель в своих результатах. Кривая точности-доверия может помочь оценить, какие точности вы достигаете на разных уровнях доверия к результатам модели, и может привести к более информативным метрикам производительности, чем просто точность (accuracy) или F1-мера (рис. 3 c);
• Precision-Recall Curve (кривая точность - полнота) - это графическое представление производительности бинарного классификатора, которое используется для оценки эффективности модели машинного обучения в распознавании положительных и отрицательных примеров. Кривая позволяет оценить баланс между точностью и полнотой модели, настраивая пороговое значение для принятия решения о классификации (больше или меньше порогового значения). Чем выше точность и полнота, тем ближе кривая будет к левому верхнему углу графика, что является оптимальной производительностью модели (рис. 3d).
а) F-мера (0,99-0,484)
b) кривая полнота - достоверность (1-0)
c) кривая точность - достоверность (1-0,83)
d) кривая точность - полнота (0,995)
Рис. 3. Метрики оценки работы нейронной сети Fig. 3. Metrics for evaluating the work of a neural network
Точность определяет отношение числа корректно обнаруженных объектов ко всему количеству обнаруженных объектов и вычисляется по формуле TP
Точность =-. (1)
TP+FP v '
Полтона определяет отношение числа корректно обнаруженных объектов ко всем объектам
класса и вычисляется по формуле TP
Полнота = ———. (2)
TP + FN v '
F-мера позволяет сравнить 2 модели, одновременно оценив полноту и точность, и вычисляется по формуле
2
F-мера = —i-1—. (3)
Точность Полнота
Есть всего 4 возможных исхода при выделении ограничивающих рамок и обнаружении объекта (табл. 2): истинно положительные (TP), истинно отрицательные (TN), ложно положительные (FP) и ложно отрицательные (FN). TP означает число объектов, которые модель правильно обнаруживает (положительный класс). TN обозначает количество пикселей на изображении, которые не содержат объект (отрицательный класс). FP-результат означает, что модель некорректно определила положительный класс и представляет собой некоторое количество ошибочных обнаружений, FN - количество объектов, которые модель не находит, а TN - количество пикселей на изображении, которые не содержат объект. На представленных далее результатах видно, что точность идентификации большинства реперных точек достигла 1,0.
Таблица 2
Исходы обнаружения объекта
Table 2
Object detection outcomes
Реальность
Прогноз TP FP
FN TN
Графики, автоматически генерируемые при работе нейронной сети YOLO8, описывают процесс обучения и результаты сети в процессе тестирования (рис. 4). В частности, график train/boxloss отображает значение функции потерь для каждой эпохи обучения, которое связано с ошибками распознавания объектов и их позиционирования (определением их координат рамок bounding boxes). Если модель ошибается в нахождении координат рамок, это ведет к высокому значению box_loss. val/cls_loss отвечает за потерю, связанную с определением классов объектов на изображении. Если модель ошибается в определении класса объекта, это ведет к высокому значению cls_loss. Соответственно val/boxloss, val/dflloss - отображают значение ошибок (loss) для каждого параметра - бокса и локализации. dffl_loss (дифференциальная функция потерь по Focal Loss^) - это улучшенный вариант cls_loss, разработанный для борьбы с проблемой неравных значений классов, когда на изображении есть редко встречающиеся объекты. Dffl_loss помогает модели лучше справляться с такими объектами и снижать общий cls_loss.
Метрика precision (B) показывает точность (precision) обнаружения объектов на изображениях. rain/dflloss отображает значение функции потерь (ошибки) детектора лиц на этапе обучения. metrics/recall показывает, насколько полно и точно модель находит объекты, определяя, сколько объектов было найдено во всех изображениях, разделенных на общее количество объектов в этих изображениях. metrics/mAP50 и metrics/mAP50-95 показывают среднюю точность обнаружения объектов в зависимости от порога обнаружения. mAP50 показывает точность при использовании порога обнаружения в 50 %, а mAP50-95 - от 50 до 95 %.
Результаты показали, что mAP нейронной сети составил 98,15 %. Видно, что box_loss, obj_loss, а значит, и cls_loss во время обучения модели постоянно уменьшались. Средняя точность при mAP_0,5 постоянно увеличивалась. mAP_0,5 близок к 0,99, что говорит о хорошем эффекте обучения на представленном наборе данных.
В целях увеличения точности модели было произведено дообучение уже обученной модели (рис. 5) на расширенном количестве данных (500 + 500 фотографий) в течение 300 эпох (1200 + 300 эпох).
Рис. 4. График результатов обучения модели YOLO8 на 1200 эпохах Fig. 4. Graph of learning outcomes of the YOLO8 model for 1200 epochs
Рис. 5. График результатов дообучения модели YOLO на 1500 эпохах Fig. 5. A graph of the results of the YOLO model training over 1500 epochs
Представленные на рис. 4 и 5 графики включают две линии - линию обучения и линию проверки. Линия обучения (train) отображает показатели производительности модели на каждой эпохе обучения на обучающих данных. Линия проверки (val) свидетельствует о том, как модель проходит проверку на проверочном наборе данных, который она не видела во время обучения. При первоначальном обучении линии train и val были близки. Однако при переобучении на обучающих данных линия обучения продолжала уменьшаться при увеличении разброса данных линии проверки. Таким образом, уменьшение промежутка между train и val линиями говорит о лучшей генерализация модели на новые данные. После дообучения модели удалось снизить количество ошибок, связанных с распознаванием и позиционированием до 0,8, определением классов до 0,4, редко встречающихся объектов до 0,9. Для оценки точности нейросетей модели в задаче обнаружения реперных точек использовалась Матрица ошибок, которая представляют собой таблицу, демонстрирующую комбинации прогнозируемых и фактических значений. Каждая строка в мат-
рице соответствует реальному классу объектов, а каждый столбец - предсказанному классу (рис. 6). На основе матрицы ошибок можно вычислить различные метрики, такие как точность, полнота, точность предсказания и F1-меру.
Реальность
Рис. 6. Матрица ошибок модели Fig. 6. Matrix of model errors
4. Результаты
Опираясь на расположение точек, определенных нейросетью на фотографии человека анфас, методами фотограмметрии на основе фотографий, сделанных с других ракурсов камерой мобильного устройства и при помощи специально разработанных алгоритмов, строится трехмерная модель головы, на которую переносятся найденные точки (рис. 7).
Рис. 7. Определение реперных точек на трехмерной модели Fig. 7. Definition of reference points on a three-dimensional model
На основе полученных реперных точек на трехмерной модели, выполняя их проекцию на фронтальную и сагиттальную плоскости, можно построить треугольники, для которых можно посчитать значения углов в градусах, образуемые в районе вершины точки А0 (табл. 3). При этом точка А0 является серединой отрезка А^2.
Таблица 3
Угловые показатели фактической сагиттальной поверхности
Table 3
Angular indices of the actual sagittal surface
Вид сбоку Вид спереди
Обозначение Значение угла, ° Обозначение Значение угла, °
a (Ai, Ao, Do) 5,113 a (Ab Ao, Do) 92,251
в (Do, Ao, No) 18,o38 в (Do, Ao, No) 92,913
Y (No, Ao, Co) 14,726 Y (No, Ao, Co) 91,91
5 (Co, Ao, Lo) 22,645 5 (Co, Ao, Lo) 86,397
s (Lo, Ao, Ro) 18,449 s (Lo, Ao, Ro) 9o,o
Z (Ro, Ao, Eo) 21,6o9 Z (Ro, Ao, Eo) 9o,o
П (Eo, Ao, Ho) 3o,562 П (Eo, Ao, Ho) 87,194
По абсолютным значениям отрезков, образованных одной гомо- и второй гетеролатеральной непарными точками, можно произвести расчет архитектуры и гармонии лица (табл. 4).
Таблица 4
Абсолютные значения длины отрезков, образованных непарными точками
Table 4
Absolute values of the length of segments formed by unpaired points
№ п/п 5 12 13 18 21 24 27
№ п/п Буквенное обозначение Co Eo Ho No Ro Lo Do
5 Co o,o
12 Eo 2o,89 o,o
13 Ho 3,43 17,46 o,o
18 No 3o,22 9,33 26,79 o,o
21 Ro 14,28 6,61 1o,85 15,94 o,o
24 Lo 9,34 11,56 5,91 2o,89 4,95 o,o
27 Do 7,48 28,36 1o,9 37,69 21,75 16,81 o,o
Для анализа рельефа (табл. 5) вычисляются следующие показатели по формулам:
Ks = 100 ; (4)
¿СП
Ку = 100 (5)
vcn
где n - порядковый номер региона; S - площадь; V - объем; А - разница между показателями KS и KV на фотографиях справа (S) и сбоку (D) соответственно.
Таблица 5
Анализ рельефа
Table 5
Relief analysis
Номер региона S D S D KS KV
KS KS KV Kv А А
1 o,99 1,o1 15,34 o o,o1 15,34
2 o,2 o,2 13,43 o,o o,o 13,43
3 o,76 o,78 75,91 o,o o,o3 75,91
4 3,76 4,14 12o9,8 o,o o,37 12o9,8
5 1,66 1,7 98,92 o,o o,o3 98,92
6 1,o8 1,1 95,21 o,o o,o2 95,21
7 2,o5 2,31 173,o9 o,o o,26 173,o9
8 1,65 2,51 1434,56 o,o o,86 1434,56
9 o,67 o,78 34,68 o,o o,11 34,68
1o 2,o2 2,53 17o4,65 o,o o,51 17o4,65
11 28,97 38,5 23 121,83 o,o 9,52 23 121,83
12 o,82 o,92 51,17 o,o o,1 51,17
Заключение
В рамках проведенного исследования был выполнен поиск специальных (реперных точек), определяющих геометрию лица при помощи разработанных математических и нейросетевых алгоритмов. Было показано, что точность поиска точек обученной на 1000 сгруппированных фотографиях нейронной сетью значительно выше, чем при использовании исключительно математической модели. Определенные на фотографии точки были перенесены на полученную с помощью разработанной авторами фотограмметрической методики трехмерную модель. Полученные результаты свидетельствуют об эффективности использования разработанной авторами методики в области косметологии и потенциала ее использования в других областях медицины, включая стоматологию, неврологию и хирургию.
Список литературы
1. Paniego S., Sharma V., Cañas J.M. Open-source assessment of deep learning visual object detection // Sensors. 2022. Vol. 22, no. 12. P. 4575. DOI: 10.3390/s22124575
2. Artificial intelligence in medico dental diagnostics of the face: a narrative review of opportunities and challenges / R. Patcas, M.M. Bornstein, M.A. Schatzle, R. Timofte // Clinical Oral Investigations. 2022. Vol. 26, no. 12. P. 6871-6879. DOI: 10.1007/s00784-022-04724-2
3. Review on facial-recognition-based applications in disease diagnosis / J. Qiang, D. Wu, H. Du et al. // Bioengineering. 2022. Vol. 9, no. 7. P. 273. DOI: 10.3390/bioengineering9070273
4. Rahouma K.H., Mahfouz A.Z. Design and implementation of a face recognition system based on API mobile vision and normalized features of still images // 18th International Learning & Technology Conference. 2021. P. 32-44. DOI: 10.1016/j.procs.2021.10.057
5. Meena G., Mohbey K.K., Kumar S. Sentiment analysis on images using convolutional neural networks-based Inception-V3 transfer learning approach // International journal of information management data insights. 2023. Vol. 3 (1). P. 100174. DOI: 10.1016/j.jjimei.2023.100174
6. Akhgar B., Yates S. Strategic Intelligence Management. Oxford: Butterworth-Heinemann, 2013. 340 p.
7. Maio M. MD Codes™: A methodological approach to facial aesthetic treatment with injectable hyaluronic acid fillers // Aesth Plast Surg. 2021. Vol. 45, no. 2. P. 690-709. DOI: 10.1007/s00266-020-01762-7
8. Geometric analysis and YOLO algorithm for automatic face detection system in a security setting / F.E. Ayo, A.M. Mustapha, J.A. Braimah, D.A. Aina // Journal of Physics: Conference Series. 2022. Vol. 2199, no. 1. P. 012010. DOI: 10.1088/1742-6596/2199/1/012010
9. Tie Y., Guan L. Automatic landmark point detection and tracking for human facial expressions // EURASIP Journal on Image and Video Processing. 2013. Vol. 8. P. 1-15. DOI: 10.1186/1687-52812013-8
10. Свидетельство о государственной регистрации программы для ЭВМ № 2022667399 Российская Федерация. Программное обеспечение для регистрации реперных точек поверхности головы человека методом фотограмметрии / И.Д. Шитоев, С.В. Муравьев; заявитель Общество с ограниченной ответственностью «Йорд Тех». № 2022666812; заявл. 15.09.2022; опубл. 20.09.2022.
11. Тимошкин М.С., Миронов А.Н., Леонтьев А.С. Сравнение YOLO v5 и Faster R-CNN для обнаружения людей на изображении в потоковом режиме // Международный научно-исследовательский журнал. 2022. № 6 (120). C. 137-146. DOI: 10.23670/IRJ.2022.120.6.020
12. Цифровые модели и инструменты для диагностики трехмерной деформации позвоночника на основе данных стереофотограмметрии / И.Д. Шитоев, В.Ю. Столбов, С.В. Муравьев и др. // Прикладная математика и вопросы управления. 2022. № 4. С. 60-82. DOI: 10.15593/24999873/2022.4.04
13. Bhople A.R., Shrivastava A.M., Prakash S. Point cloud based deep convolutional neural network for 3D face recognition // Multimedia Tools and Applications. 2020. Vol. 80. P. 30237-30259. DOI: 10.1007/s11042-020-09008-z
14. Sanchez S.A Romero H.J Morales A.D. A review: comparison of performance metrics of pretrained models for object detection using the TensorFlow framework // IOP Conf. Series: Materials Science and Engineering. 2020. Vol. 844. P. 012024. DOI: 10.1088/1757-899X/844/1/012024
15. Дудченко П.В. Метрики оценки классификаторов в задачах медицинской диагностики // Молодежь и современные информационные технологии: сборник трудов XVI Международной научно-практической конференции студентов, аспирантов и молодых учёных / Томский политехнический университет - Томск: 2019. 164-165 с.
References
1. Paniego S., Sharma V., Cañas J.M. Open-source Assessment of Deep Learning Visual Object Detection. Sensors. 2022;22(12):4575. DOI: 10.3390/s22124575
2. Pateas R., Bornstein M.M., Schätzle M.A., Timofte R. Artificial Intelligence in Medico Dental Diagnostics of The Face: A Narrative Review of Opportunities and Challenges. Clinical Oral Investigations. 2022;26(12):6871-6879. DOI: 10.1007/s00784-022-04724-2
3. Qiang J., Wu D., Du H., Zhu H., Chen S., Pan H. Review on Facial-recognition-based Applications in Disease Diagnosis. Bioengineering. 2022;9(7):273. DOI: 10.3390/bioengineering9070273
4. Rahouma K.H., Mahfouz A.Z. Design and Implementation of a Face Recognition System Based on API Mobile Vision and Normalized Features of Still Images. In: 18th International Learning & Technology Conference. 2021. P. 32-44. DOI: 10.1016/j.procs.2021.10.057
5. Meena G., Mohbey K.K., Kumar S. Sentiment Analysis on Images Using Convolutional Neural Networks-Based Inception-V3 Transfer Learning Approach. International Journal of Information Management Data Insights. 2023;3(1):100174. DOI: 10.1016/j.jjimei.2023.100174
6. Akhgar B., Yates S. Strategic Intelligence Management. Oxford, Butterworth-Heinemann; 2013. 340 p.
7. Maio M. MD Codes™: A Methodological Approach to Facial Aesthetic Treatment with Injectable Hyaluronic Acid Fillers. Aesth Plast Surg. 2021;45(2):690-709. DOI: 10.1007/s00266-020-01762-7
8. Ayo F.E., Mustapha A.M., Braimah J.A., Aina D.A. Geometric Analysis and YOLO Algorithm for Automatic Face Detection System in a Security Setting. Journal of Physics: Conference Series. 2022;2199(1):012010. DOI: 10.1088/1742-6596/2199/1/012010
9. Tie Y., Guan L. Automatic Landmark Point Detection and Tracking for Human Facial Expressions. EURASIP Journal on Image and Video Processing. 2013;8:1-15. DOI:10.1186/1687-5281-2013-8
10. Shitoev I.D., Muravev S.V. Programmnoe obespechenie dlya registratsii repernykh tochek poverkhnosti golovy cheloveka metodom fotogrammetrii [Software for Registration of Reference Points of the Human Head Surface by Photogrammetry]. Certificate of state registration of a computer program no. 2022667399 Russian Federation, 2022. (In Russ.)
11. Timoshkin M.S., Mironov A.N., Leontev A.S. Comparison of YOLO v5 and Faster R-CNN for Detecting People in the Image in Streaming Mode. International Research Journal. 2022;6(120):137-146. (In Russ.) DOI: 10.23670/IRJ.2022.120.6.020
12. Shitoev I.D., Stolbov V.Y., Muravyev S.V., Nikitin V.N., Kloyan G.Z. Digital Models and Tools for Diagnosing Three-Dimensional Spinal Deformity Based on Stereophotogrammetry Data. Applied Mathematics and Control Sciences. 2022;(4):60-82. (In Russ.) DOI: 10.15593/2499-9873/2022.4.04
13. Bhople A.R., Shrivastava A.M., Prakash S. Point cloud based deep convolutional neural network for 3D face recognition. Multimedia Tools and Applications. 2020;80:30237-30259. DOI: 10.1007/s11042-020-09008-z
14. Sanchez S.A Romero H.J Morales A.D. A Review: Comparison of Performance Metrics of Pretrained Models for Object Detection Using the TensorFlow Framework. IOP Conf. Series: Materials Science and Engineering. 2020;844:012024. DOI: 10.1088/1757-899X/844/1/012024
15. Dudchenko P.V. [Metrics for Classifier Evaluation in Medical Diagnostic Tasks]. In: Molodezh' i sovremennye informatsionnye tekhnologii: sbornik trudov XVI Mezhdunarodnoy nauchno-prakticheskoy konferentsii studentov, aspirantov i molodykh uchenykh [Youth and Modern Information Technologies: Proceedings of the XVI International Scientific and Practical Conference of Students, Postgraduates and Young Scientists]. Tomsk; 2019. P. 164-165. (In Russ.)
Информация об авторах
Шитоев Иван Дмитриевич, ассистент кафедры вычислительной математики, механики и биомеханики, Пермский национальный исследовательский политехнический университет, Пермь, Россия; генеральный директор, ООО «Йорд Тех», Пермь, Россия; [email protected].
Муравьев Сергей Владимирович, канд. мед. наук, доц. кафедры физической и реабилитационной медицины, ведущий специалист международного отдела управления международного медицинского образования, Пермский государственный медицинский университет имени академика Е.А. Вагнера, Пермь, Россия; научный руководитель, Научно-медицинский центр «Родник», Пермь, Россия; [email protected].
Иванова Мария Дмитриевна, аспирант кафедры вычислительной математики, механики и биомеханики, Пермский национальный исследовательский политехнический университет, Пермь, Россия; [email protected].
Клоян Гаянэ Зурабиевна, биомеханик, ООО «Йорд Тех», Пермь, Россия; [email protected].
Information about the authors
Ivan D. Shitoev, Assistant of the Department of Computational Mathematics, Mechanics, Biomechanics, Perm National Research Polytechnic University, Perm, Russia; Chief Executive Officer, LLC "Yord Tech", Perm, Russia; [email protected].
Sergey V. Muravev, Cand. Sci. (Med.), Ass. Prof. of the Department of Physical and Rehabilitation Medicine, Leading Specialist of the International Department of the International Medical Education, Academician Ye.A. Vagner Perm State Medical University, Perm, Russia; Scientific Director, Scientific and Medical Center "Rodnik", Perm, Russia; [email protected].
Maria D. Ivanova, Postgraduate student of the Department of Computational Mathematics, Mechanics, Biomechanics, Perm National Research Polytechnic University, Perm, Russia; [email protected].
Gayane Z. Kloyan, Biomechanist, LLC "Yord Tech", Perm, Russia; [email protected].
Вклад авторов: все авторы сделали эквивалентный вклад в подготовку публикации.
Авторы заявляют об отсутствии конфликта интересов.
Contribution of the authors: the authors contributed equally to this article.
The authors declare no conflicts of interests.
Статья поступила в редакцию 25.06.2024
The article was submitted25.06.2024
