CC BY
0
Влияние методов расширения наборов данных на качество обучения нейросетевых моделей. Адаптивный подход расширения наборов данных
Т. С. Евдокимова
Казанский Национальный Исследовательский Технический Университет им. А. Н. Туполева - КАИ, Казань
Аннотация: В статье рассматривается анализ влияния типов преобразований на качество обучения нейросетевых моделей классификации, а также предлагается новый подход к расширению наборов изображений при помощи обучения с подкреплением. Ключевые слова: нейросетевая модель, обучающий набор данных, расширение набора данных, преобразование изображений, точность распознавания, обучение с подкреплением, вектор изображений.
Введение
В настоящее время применение систем распознавания образов встречается повсеместно. Чаще всего такие системы работают на основе обученных нейросетевых моделей. Качество работы такого подхода напрямую зависит от некоторого набора факторов. Одним из таких факторов является большой и разнообразный набор обучающих данных. Однако не во всех сферах возможно собрать достаточный объем таких данных, в связи с чем расширение наборов данных является актуальной задачей в процессе подготовки к обучению нейросетевых моделей классификации. Необходимо отметить, что существующие методы преобразований изображений могут искажать изначальные данные или понижать качество обучения моделей классификации. Таким образом, необходимо понимать, какие преобразования положительно скажутся на обучении, а также рассмотреть возможность адаптивно подбирать наилучшие преобразования к набору данных [1-4]. В данной статье будет рассмотрено влияние отдельных преобразований на качество обучения нейросетевых моделей, а также будет предложен адаптивный подход к применяемым преобразованиям.
Анализ влияния преобразований для расширения наборов данных
Рассмотрим такие преобразования как горизонтальное отражение, вращение, обрезка изображений, изменение яркости изображений, добавление шума - данные преобразования чаще всего встречаются при обучении моделей классификации [5]. Рассмотрим подробнее описание применяемых преобразований к обучающему набору данных, которые представлены в таблице 1. Каждое преобразование будет применяться к каждому изображению из набора обучающих данных.
Таблица № 1
Описание применяемых преобразований к обучающему набору данных.
Тип преобразования Описание
Горизонтальное отражение Переворот изображения по оси ординат
Вращение Изменение изображения посредством вращения предполагает поворот изображения на заданный угол в заданном диапазоне (возможен от 0 до 360 градусов).
Обрезка изображения Обрезка изображения и последующее изменение его размера до исходного состояния с сохранением исходной метки изображения
Изменение яркости Умножение яркости каждого пикселя на установленный коэффициент
Добавление шума Наложение случайного шума, подчиняющегося гауссовскому распределению.
Для оценки влияния выбранных преобразований возьмем две архитектуры нейросетевых моделей VGG16 и ResNet50 для выбранного набора данных. Данные модели чаще всего применяются в различных условиях: модель VGG16 применяется для простых задач классификации изображений с малым набором обучающих данных, а также в условиях
ограниченных ресурсов [6], ResNet50, в свою очередь, используется для более сложных задач с большим набором данных, но в задачах с недостаточным набором данных также может применяться [7].
Рассматриваемый набор данных состоит из изображений автомобильных шин с высоким износом и шин, которые могут находится в эксплуатации. В данной работе при помощи нейросетевых моделей решается
задача бинарной классификации.
Рис. 1. - Пример изображений из набора данных Для оценки качества обучения будут выбраны одинаковые значения в следующих параметрах в качестве примера: количестве эпох равному 10, шаг обучения равный 0,0001, оптимизатор Adam.
Далее рассмотрим результаты обучения нейросетевых моделей с каждым из выбранных преобразований подробнее, они представлены в таблице №2. Сравнение влияния преобразований на качество обучения нейросетевых моделей основывалось на критерии точности. Также необходимо отметить, что в данной работе рассматривается влияние применяемых преобразований на качество обучения моделей классификаторов [8]. Таким образом низкий процент распознавания в данном исследовании является преимуществом, так как показывает, что большой объем обучающего набора данных и его качество являются важными критериями для обучения нейросетевых моделей.
М Инженерный вестник Дона, №7 (2024) ivdon.ru/ru/magazine/arcliive/n7y2024/9439
Таблица № 2
Сравнение точности обучения с применяемыми методами расширениями данных.
Метод преобразования Точность распознавания модели VGG 16, % Точность распознавания модели ResNet50, %
Без преобразований 51,85 53,98
Горизонтальное отражений 49,29 54,27
Вращение 52,20 50,21
Обрезка 53,64 52,12
Изменение яркости 52,28 56,03
Наложение шума 51,07 49
По результатам, представленным в таблице №2, можно сказать, что не каждое преобразование, применяемое к обучающему набору изображений, может положительно сказываться на качестве самого обучения. Также нельзя исключать того, что качественный подбор преобразований может, наоборот, улучшить качество моделей с точки зрения точности. Необходимо отметить, что качество обучения на двух различных моделях примерно одинаково, но при этом скорость обучения и точность лучше у модели ResNet50.
Адаптивный подход к расширению наборов данных
Нельзя исключать тот факт, что подбор наилучших преобразований является ресурсозатратным, чаще всего к наборам данных применяется классический набор встроенных преобразований, при этом не уделяется внимание тому, как отдельные преобразования могут сказаться на обучении.
и
В данной работе предлагается подход к адаптивному расширению наборов данных, который включает в себя применение модели глубокого обучения с подкреплением. Предлагаемый подход расширения набора данных основывается на двух моделях - применение сверточных нейронных сетей - для решения задачи классификации и в то же время для оценки действий агента в модели обучения с подкреплением, а также модель обучения с подкреплением, основанным на алгоритме DQN [8], которая осуществляет формирование новых наборов данных изображений.
Рис. 2. - Схема обучения с подкреплением DQN.
Ключевой идеей данного подхода является применение нейронной сети, предсказывающей лучшие преобразования для обучающего набора данных, которые положительно повлияют на точность обучения нейросетевой модели классификации [9]. Основная задача данного подхода состоит в создании нового вектора изображений для обучения.
Исходный набор данных изображений разделен на две выборки. Из них тридцать процентов исходного набора формируют тестовую выборку Ft, другие 70 процентов являются исходным набором обучающей выборки F0.
При помощи методов расширения наборов данных изображений новый вектор изображений будет выглядеть следующим образом:
где х^п> - это i-e изображение, a m общее количество изображений в
наборе. Основными этапами обучения в данном подходе являются: создание меток для исходного набора изображений и разделение его на набор изображений для предварительного обучения (предварительная обработка), поэтапное создание вектора нового изображения, с использованием геометрические и негеометрические преобразования для обработки изображений и для генерации вектора состояния (увеличение набора данных), построение набора новых изображений [10].
Литература
1. Ляхов П.А., Нагорнов Н.Н., Семенова Н.Ф., Абдулсалямова А.Ш. Вейвлет-обработка изображений при свертке с шагом методом Винограда с низкой задержкой // Инженерный вестник Дона, 2023, № 11. URL: ivdon. ru/ru/magazine/archive/n 11y2023/8807
2. Локшин, Н.Д., Хвостиков А.В., Крылов А. С. Аугментация обучающей выборки в задаче классификации гистологических изображений слабыми адверсативными атаками // Прикладная математика и информатика. Труды факультета ВМК МГУ имени М.В. Ломоносова. - Москва: ООО "МАКС Пресс", 2023. С. 63-72.
3. Ложкин И.А., Дунаев М.Е., Зайцев К.С., Гармаш А.А. Аугментация наборов изображений для обучения нейронных сетей при решении задач семантической сегментации // International Journal of Open Information Technologies. 2023. №1. URL: cyberleninka.ru/article/n/augmentatsiya-naborov-
izobrazheniy-dlya-obucheniya-neyronnyh-setey-pri-reshenii-zadach-semanticheskoy-segmentatsii (дата обращения: 28.06.2024).
4. Коноваленко, И.А., Кохан В.В, Николаев Д.П. Оптимальная аффинная аппроксимация проективного преобразования изображений // Сенсорные системы. 2019. Т. 33, № 1. С. 7-14.
5. Муаль М. Н. Б. Использование предобученной нейросети (VGG16) для решения задачи переноса стиля изображения // Современные информационные технологии и ИТ-образование.2022.Т18, №2. С.241-248.
6. Сасов Д.А., Зубков А.В., Орлова Ю.А., Турицына А.В. Классификация рака молочной железы с помощью сверточных нейронных сетей // Инженерный вестник Дона. 2023. № 6. URL: ivdon.ru/ru/magazine/archive/n11y2023/8807
7. Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun; Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016, pp. 770-778.
8. Евдокимова Т. С., Андреянов Н.В., Фаткуллина Л.Ф. Методы расширения наборов данных на основе обучения с подкреплением // Научно-технический вестник Поволжья. 2023. № 11. С. 59-62.
9. M. Sewak, Deep Q Network (DQN), Double DQN, and Dueling DQN: A Step Towards General Artificial Intelligence // Deep Reinforcement Learning, Springer, 2019, pp.96-108.
10. Сухаренко Д.В., Шрайнер Б.А. Обучение теме разбиения данных для машинного обучения в целях борьбы с переобучением. В сборнике: Актуальные проблемы технологического образования: мастерство, творчество, инновации. Сборник научных трудов Всероссийской научно-практической конференции. Новосибирск, 2022. С. 116-121.
References
1. Lyaxov P.A., Nagornov N.N., Semenova N.F., Abdulsalyamova A.Sh. Inzhenernyj vestnik Dona, 2023, № 11. URL: ivdon.ru/ru/magazine/archive/n11y2023/8807
2. Lokshin, N.D., Xvostikov A.V., Krylov A. S. Prikladnaya matematika i informatika. Trudy' fakul'teta VMK MGU imeni M.V. Lomonosova. Moskva: OOO "MAKS Press", 2023. pp. 63-72.
3. Lozhkin I.A., Dunaev M.E., Zajcev K.S., Garmash A.A. International Journal of Open Information Technologies. 2023. №1. URL: cyberleninka.ru/article/n/augmentatsiya-naborov-izobrazheniy-dlya-obucheniya-neyronnyh-setey-pri-reshenii-zadach-semanticheskoy-segmentatsii (date assessed: 28.06.2024).
4. Konovalenko, I.A., Koxan V.V, Nikolaev D.P. Sensorny'e sistemy'. 2019. T. 33, № 1. S. 7-14.
5. Mual' M. N. B. Sovremenny'e informacionny'e texnologii i IT-obrazovanie.2022.T18, №2. pp.241-248.
6. Sasov D.A., Zubkov A.V., Orlova Yu.A., Turicyna A.V. Inzhenernyj vestnik Dona. 2023. № 6. URL: ivdon.ru/ru/magazine/archive/n11y2023/8807
7. Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun; Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016, pp. 770-778.
8. Evdokimova T. S., Andreyanov N.V., Fatkullina L.F. Nauchno-texnicheskij vestnik Povolzhya. 2023. № 11. pp. 59-62.
9. Sewak M. Deep Reinforcement Learning, Springer, 2019, pp.96-108.
10. Suxarenko D.V., Shrajner B.A. Obuchenie teme razbieniya danny'x dlya mashinnogo obucheniya v celyax bor'by' s pereobucheniem. V sbornike: Aktual'ny'e problemy' texnologicheskogo obrazovaniya: masterstvo, tvorchestvo,
innovacii. Sbornik nauchnyx trudov Vserossijskoj nauchno-prakticheskoj konferencii. Novosibirsk, 2022. pp. 116-121.
Дата поступления: 3.07.2024 Дата публикации: 3.08.2024
