CC BY
18
АНАЛИЗ ВОЗМОЖНОСТЕЙ МОБИЛЬНЫХ ПРИЛОЖЕНИЙ ПО ОБНАРУЖЕНИЮ КОЖНЫХ ЗАБОЛЕВАНИЙ НА ПРИМЕРЕ CURE SKIN
НА ОСНОВЕ MOBILENET
С.С. Махров, к.т.н., доцент, Московский технический университет связи и информатики, [email protected];
Д.С. Дружков, Московский технический университет связи и информатики, [email protected].
УДК 004.3:616.5_
Аннотация. Кожные заболевания являются одной из наиболее быстрорастущих проблем во всем мире. Это наиболее распространенный тип заболеваний, некоторые из которых могут вызывать серьезные проблемы, а некоторые могут привести к смерти, поэтому, чтобы избежать задержек в лечении, разрабатывается множество мобильных приложений. Cure Skin - это приложение для Android, используемое для выявления кожных заболеваний, разработанное с использованием модели MobileNet. Модель предварительно обучена обнаружению шести различных типов кожных заболеваний, а именно акне, актинический кератоз, экзема, псориаз, себорейная болезнь и стригущий лишай. Когда пользователь вводит изображение заболевания, его название будет отображаться на экране.
Ключевые слова: MobileNet; мобильное приложение; кожные заболевания; лечение; кожа.
ANALYSIS OF THE CAPABILITIES OF MOBILE APPLICATIONS TO DETECT NEW SKIN DISEASES USING THE EXAMPLE OF CORE SKIN
BASED ON MOBILENET
Stanislav Makhrov, PhD, associate Professor, Moscow technical university of communications and informatics;
Dmitry Druzhkov, Moscow technical university of communications and informatics.
Annotation. Skin diseases are one of the fastest growing problems worldwide. This is the most common type of diseases, some of which can cause serious problems, and some can lead to death, therefore, in order to avoid delays in treatment, many mobile applications are being developed. Pure Skin is an Android application used to detect skin diseases, developed using the MobileNet model. The model is pre-trained to detect six different types of skin diseases, namely acne, actinic keratosis, eczema, psoriasis, seborrheic disease and ringworm. When the user enters an image of the disease, its name will be displayed on the screen.
Keywords: MobileNet; mobile application; skin diseases; treatment; skin.
Введение
Кожные заболевания - это расстройства, которые часто внешне проявляются на коже. Некоторые из них могут быть очень опасными, и многие из них встречаются часто. Часто люди пытаются решить свои проблемы с кожей с помощью домашних средств. Если эти средства не подходят для такого рода кожных заболеваний, то это может вызвать серьезные последствия, поэтому необходимо знать тип кожного заболевания. Дерматологи утверждают, что большая часть кожных заболеваний поддается лечению с помощью надлежащих
лекарств, если они точно диагностированы, таким образом, приложение для автоматического обнаружения кожных заболеваний помогает выявлять и лечить заболевание на более ранней стадии.
Достижения в области глубокого обучения оказали влияние на многие научные и промышленные области и привели к значительным достижениям, вдохновленным нервной системой человека. С быстрым развитием глубокого обучения в области обработки биомедицинских данных многие специалисты внедрили этот метод для получения более точных и точных данных. С быстрым увеличением объема доступных биомедицинских данных, включая изображения и записи, глубокое обучение достигло значительных успехов в ряде задач обработки медицинских изображений. В связи с этим ожидается, что глубокое обучение повлияет на роль экспертов по изображениям в биомедицинской диагностике благодаря его способности выполнять быстрые и точные оценки. В данной статье представлены обзор методов получения изображений, обобщены разработки в области глубокого обучения для классификации кожных заболеваний.
Модель MobileNet - это модель архитектуры сверточной нейронной сети (Convolutional neural network, CNN), которая используется для классификации изображений и компьютерного зрения. MobileNet уменьшает общее количество параметров, что приводит к созданию облегченных глубоких нейронных сетей. Существует много других архитектур CNN, но MobileNet использует очень мало вычислительной мощности для запуска, поэтому модель MobileNet была использована в приложении CureSkin. Модель MobileNet была обучена с использованием восьми различных классов наборов данных и предварительной обработки входных данных по умолчанию. Интерфейс этого приложения был разработан с использованием языка Dart. Dart - это язык программирования, который широко используется для разработки мобильных приложений. Основная цель - разработать удобное для пользователя приложение, которое может идентифицировать кожные заболевания, принимая изображение в качестве входных данных и отображая точные выходные данные. На рис. 1 показана архитектура сверточной нейронной сети.
Рисунок 1
Существующее решение
В существующих моделях сохраненное изображение кожного заболевания и название отображаются пользователю. Пользователь должен сравнить свою зараженную область с изображениями, предоставленными в приложении. При этом нет четкого результата относительно болезни пользователя. Пользователь должен проконсультироваться с врачом для выявления заболевания. Нет такого
91
приложения, которое могло бы принимать входные данные от пользователя и предсказывать результат. Однако очень немногие ученые исследовали идею создания такого приложения.
Предлагаемое решение
Предлагаемое системное приложение обнаруживает кожные заболевания на основе предоставленного набора данных. Входные данные берутся от пользователя в виде изображения. Набор данных содержит набор изображений различных кожных заболеваний. Входное изображение сравнивается с набором данных с использованием концепции глубокого обучения, затем происходит отображение результатов.
Требования к программному и аппаратному обеспечению:
• Операционная система: Windows 7 или выше.
• Используемые инструменты для Android / iOS: Anaconda, Android Studio.
• Язык программирования: Python, Java, Dart.
• Процессор: Pentium 4 или выше.
• Оперативная память: 2 ГБ или больше.
• Жесткий диск: 100 ГБ или больше.
Методология
Глубокое обучение - это класс машинного обучения, который автоматически изучает иерархические особенности данных, используя несколько уровней, состоящих из простых и нелинейных модулей. Оно преобразует данные в представления, которые важны для различения данных. Еще в 1998 г. была предложена сеть LeNet для цифрового распознавания рукописного текста. Однако из-за нехватки вычислительной мощности было трудно поддерживать требуемые вычисления. С тех пор алгоритмы глубокого обучения претерпели значительное развитие из-за улучшенных возможностей аппаратных средств, таких как графические процессоры (Graphics processing unit, GPU). Были предложены различные модели, такие как ZFNet, VGG, GoogLeNet и ResNet. Частота ошибок анализа в ImageNet, например, снизилась с 16,4% в 2012 г. до 2,25% в 2017 г., у людей она составила примерно 5%. Это значительно улучшило решение задач в различных научных и промышленных областях, включая не только компьютерное зрение, но и распознавание речи, открытие лекарств, клиническую хирургию и биоинформатику. На рис. 2 показана упрощенная схема алгоритмов глубокого обучения.
ВиОД1«ОЙ слой Скрытый слой 1 Снритый слой 2 Выходной слой
Рисунок 2
Предлагаемая методология является эффективным способом анализа данных людей для прогнозирования кожных заболеваний. Целью проекта является разделение изображений кожных заболеваний на шесть различных классов в зависимости от типа заболевания. Затем изображения делятся на обучающие, тестовые и действительные для дальнейшей классификации. Изображения обрабатываются с использованием модели мобильной сети в соотношении 80:20, где 80% изображений предназначены для обучения модели и 20% для проверки точности. Предварительно обученная модель MobileNet будет классифицировать изображения. Пользователь загружает изображение, и приложение выполняет предварительную обработку изображения. Затем кожное заболевание обнаруживается путем сравнения с набором данных, и полученный результат возвращается пользователю.
Реализация
1. Набор данных
Тысяча изображений для каждого заболевания были получены с онлайн-платформы. Размеры полученных изображений отличались по размерам, но затем были увеличены до размера 244х244.
2. Предварительная обработка
При предварительной обработке входное изображение загружалось в модель MobileNet путем преобразования его в массив. Модель MobileNet прогнозирует выходные данные и предоставляет результат в виде массива. Результатом будет то, какой процент входных данных соответствует всем восьми классам. Прогнозирование выходных данных осуществлялось с помощью процедуры модели MobileNet. Класс с максимальным процентным значением являлся конечным результатом.
3. Сетевой уровень
Модель MobileNet имеет семь различных уровней для предварительной обработки и обучения модели, которые являются уровнем свертки, объединением, отсевом, выпрямленных линейных единиц (Rectified linear unit, ReLU), плотным слоем, оптимизатором и уровнем архитектуры модели.
1) Сверточный слой
Сверточный слой - это инициативный слой для извлечения объекта из входного изображения. Слой применяется не только для входных данных, т.е. необработанного значения пикселя, но и для вывода других слоев. Здесь в матрице веса слоя, известной как фильтр. В проекте есть пять слоев и разные параметры. Операции принимают два входных сигнала, т.е. матрицу изображения и фильтр или ядро математически.
2) Объединение в пул
Объединение - это процедура извлечения объектов из выходных данных изображения слоя свертки. Уменьшает пространственный размер и количество параметров при вычислениях в сети. Построение CNN - это объединение, а обычно используемое объединение - это объединение в пул, т.е. когда фильтр передается по изображению, учитывается максимальное значение переданного фильтра.
3) Отсев
Отсев состоит из непредсказуемой настройки ввода фракции единиц до 0 или прекращения части функции активации путем уменьшения их веса до 0 во
время тренировки. Отсев необходим, когда присутствует чрезмерная подгонка. От 25% до 50% данных обычно выпадают и реализуются на конечных уровнях сети.
4) ReLU
Выпрямленная линейная единица измерения - это сокращение от ReLU. Используется для запуска нелинейности в сети и не активирует все нейроны одновременно. Функция активации ReLUопределяется как максимум - max 0) с вводом x, и ее легко вычислить. ReLU сходится быстрее и активируется редко. Это быстрая оценка, но КеЬине используется в выходном слое (рис. 3).
-5 О
Рисунок 3
5) Плотный слой
Плотный слой полностью связан нейронами в сети. Нейроны имеют связь с каждым входом, присутствующим в предыдущем слое. Каждый нейрон выдает один выходной сигнал следующему слою. Активация, рассчитанная путем умножения матрицы и функции потерь, используемой во всех моделях, является функцией потерь.
6) Оптимизатор
Стохастический градиентный спуск (Stochastic gradient descent, SDG) с импульсом является оптимизатором, используемым в сети. При градиентном спуске веса обновляются только после полного обхода обучающих данных, при этом стохастический градиентный спуск обновляет веса после получения пакета обучающих данных. Таким образом, при сравнении обоих случаев время, необходимое для сходимости, при стохастическом градиентном спуске намного меньше, чем при градиентном спуске. Проверяется, что модель пытается достичь глобального оптимума, а не остановилась на каком-либо локальном минимуме.
7) Архитектура модели
Построена сетевая модель L2 со скоростью регуляризации 0,01. CNN имеет входные, выходные и скрытые слои, а также модель, построенную без предварительно заданных весов. Из-за ограничения внешней памяти модель обучалась с использованием размера 12 для пакетов.
Мобильное приложение
Предлагаемая система была разработана с использованием минимальных требований к программному и аппаратному обеспечению. Для разработки
94
использовались среды разработки Anaconda navigator и Android studio. Приложение имеет очень простой интерфейс для удобства пользователя.
Заключение
Выявление кожных заболеваний является одной из важнейших проблем в области медицины. Предлагаемая система способна обнаруживать кожные заболевания с хорошей точностью с использованием методов глубокого обучения. Приложение построено с использованием TensorFlow, следовательно, его можно использовать на устройствах с низкой спецификацией системы. Оно также имеет простой пользовательский интерфейс. Поскольку приложение используется на мобильных устройствах, оно доступно даже в отдаленных районах, единственным условием является наличие интернета. В настоящее время приложение выявляет шесть заболеваний. В будущем модель может быть обучена большему количеству заболеваний.
Литература
1. Головко В.А. От многослойных персептронов к нейронным сетям глубокого доверия: парадигмы обучения и применение // В сборнике: Нейроинформатика-2015. XVII Всероссийская научно-техническая конференция с международным участием. Лекции по нейроинформатике, НИЯУ МИФИ, 2015. - С. 47-84.
2. Isaev I., Burikov S., Dolenko T., Laptinskiy K., Dolenko S. Artificial Neural Networks for Diagnostics of Water-Ethanol Solutions by Raman Spectra. Studies in Computational Intelligence, 2019, V.799, pp.167-175. DOI: 10.1007/978-3-030-01328-8_18.
3. Патент № 2767337 C2 Российская Федерация, МПК G16B 20/20, G16B 40/20, G06K 9/62. Способы обучения глубоких сверточных нейронных сетей на основе глубокого обучения: № 2019139312: заявл. 15.10.2018: опубл. 17.03.2022 / Х. Гао, К. Х. Фарх, Л. Сундарам, Д. Ф. Макрэй; заявитель ИЛЛЮМИНА, ИНК. - EDN ZSUWWQ.
4. Пылов П. А. Алгоритмы глубокого обучения на основе нескольких графических процессоров и распределенного обучения // Инновации. Наука. Образование. -2021. - № 43. - С. 1043-1046. - EDN BJSHTJ.
5. Аль-Ани М.М. Эффективность глубокого обучения и методы машинного обучения в кибербезопасности // Проблемы правовой и технической защиты информации, 2021. - № 9. - С. 7-9. - EDN UAWTDI.
6. Рычков В.А. Применение методов машинного обучения и глубокого обучения при решении задачи защиты информации в сфере облачных технологий // Угрозы и риски финансовой безопасности в контексте цифровой трансформации: Материалы VII Международной научно-практической конференции Международного сетевого института в сфере ПОД/ФТ, Москва, 24 ноября 2021 года. - Москва: Национальный исследовательский ядерный университет «МИФИ», 2021. - С. 539-545. - EDN GZULFX.
7. Альбанова В.И. 03. Дерматология. Первая помощь при поражении кожи. - М.: Бином. Лаборатория знаний, 2018. - 128 c.
8. Кашкин П.Н. Дерматомикозы. - М.: Медицина, 2020. - 372 c.
9. Козорез Е.С. Кожно-венерические заболевания. - М.: Владос, 2015. - 243 c.
10. Лихарев О.О. Справочник по терапии кожных и венерических болезней. - М.: Государственное издательство, 2019. - 488 c.
11. Никольский П.В. Болезни кожи. Руководство для врачей и студентов. - М.: Государственное издательство, 2020. - 375 c.
12. Потекаев Н.Н. Дифференциальная диагностика и лечение кожных болезней. -М.: ГЭОТАР-Медиа, 2016. - 456 c.
13. Ужегов Г.Н. Кожные болезни. Симптомы, лечение, профилактика. - М., 2016. -160 c.
14. Фандеев Л. И. Кожные и венерические болезни. - М.: Мир, 2015. - 410 c.
15. Финлей Э. Дерматология в клинической практике. - М.: Практическая медицина, 2020. - 744 c.
АНАЛИЗ ПРОЦЕССА РАЗРАБОТКИ МОБИЛЬНОГО ПРИЛОЖЕНИЯ АНАЛИЗАТОРА КОЖИ НА ПРИМЕРЕ SKIN ANALYSER
С.С. Махров, к.т.н., доцент, Московский технический университет связи и информатики, [email protected];
Д.С. Дружков, Московский технический университет связи и информатики, [email protected].
УДК 004.3:616.5_
Аннотация. Кожа - самый большой орган тела, и очень важно заботиться о ней. На рынке существуют различные средства по уходу за кожей, которые можно использовать. Однако неправильный подбор ингредиентов может вызвать раздражение и повышенную чувствительность кожи. Кроме того, отсутствует платформа, которая предоставляла бы пользователю знания о коже и ингредиентах по уходу за ней. Целью данного исследования является разработка мобильного приложения, которое может анализировать тип кожи лица. В данной статье предлагается приложение, которое может использовать автоматическое распознавание кожи лица. Предлагаемое мобильное приложение может давать рекомендации по ингредиентам в зависимости от типа кожи пользователя. Модель прототипирования использовалась на основе методологии вместе с Android Studio в качестве программного средства и JavaScript в качестве языка программирования. Разработка этого мобильного приложения для анализа кожи может помочь многим людям проверить состояние своей кожи и помочь им чувствовать себя более уверенно.
Ключевые слова: искусственный интеллект; мобильное приложение; кожа; уход за кожей.
ANALYSIS OF THE PROCESS OF DEVELOPING A MOBILE SKIN ANALYZER APPLICATION TO DETERMINE ITS SKIN TYPE AND PROBLEMS WITH IT USING THE EXAMPLE OF SKIN ANALYSER
Stanislav Makhrov, PhD, associate Professor, Moscow technical university of communications and informatics;
Dmitry Druzhkov, Moscow technical university of communications and informatics.
Annotation. The skin is the largest organ of the body, and it is very important to take good care of it. There are various skin care products on the market that can be used. However, improper selection of ingredients can cause irritation and hypersensitivity of the skin. In addition, there is no platform that would provide the user with knowledge about the skin and its care ingredients. Thus, the purpose of this study is to develop a
