CC BY
34
Разработка гибридной нейросети для классификации изображений
С.М. Гушанский, В.Е. Буглов Южный федеральный университет, Таганрог
Аннотация: На сегодняшний день квантовые вычисления применяются в различных областях. В представленной работе предлагается гибридная нейросеть, которая объединяет в себе квантовые и классические вычисления, и предназначается для использования с целью классификации изображений. Гибридная нейросеть реализована на основе классической сверточной нейросети с использованием квантовой схемы. Также в рамках данного исследования выполнено сравнение различных конфигураций гибридной нейросети, в которых использовалось различное количество кубитов. Конфигурации гибридной нейросети были обучены и протестированы на наборах данных CIFAR10 и CIFAR100. Сравнение производительности гибридной нейросети для мультиклассовой классификации осуществлялось для разного количества классов (от 2 до 10) с соответствующим количеством кубитов (от 2 до 4). Полученные в ходе экспериментов результаты подтвердили возможность применения гибридной нейросети для решения задачи мультиклассовой классификации.
Ключевые слова: машинное обучение, глубокое обучение, квантовое машинное обучение, квантовые вычисления, гибридная нейронная сеть, классификация изображений, сверточная нейронная сеть, квантовая схема.
Введение
Квантовый компьютер - это устройство, предназначенное для выполнения квантовых вычислений [1]. Квантовые вычисления - это применение явлений квантовой механики с целью ускорения выполняемых операций для решения задач различного рода [2]. Как отмечено в [3], квантовые компьютеры эффективнее решают задачи, относящиеся к области криптографии, анализа данных и оптимизации, нежели их классические аналоги. Вследствие стремительного развития квантовых компьютеров, их использование для решения различных типов задач является актуальным. Одно из перспективных направлений квантовой области - квантовое машинное обучение [4].
Квантовое машинное обучение позволяет использовать квантовое оборудование с целью увеличения скорости вычислений. Гибридные нейросети сочетают классическое и квантовое оборудование, чтобы
инкапсулировать сложные части нейросетей в квантовое устройство с целью увеличения скорости вычислений.
Цель данной работы состоит в исследовании возможности применения гибридной нейросети для решения задачи многоклассовой классификации изображений. Кроме того, необходимо выполнить сравнение производительности гибридной нейросети и ее классических аналогов.
Гибридная (классически-квантовая) нейросеть состоит из некоторого количества слоев классических искусственных нейронов, а также содержит некоторое количество квантовых устройств, которые функционируют как составные элементы этой сети. В данной работе рассматривается гибридная нейросеть, которая содержит одну квантовую схему, функционирующую в виде отдельного слоя нейросети. Таким образом, рассматривается один тип квантовых схем, содержащих различное количество кубитов, которые могут быть использованы для решения задачи классификации изображений различных наборов данных.
Метод градиентного спуска для квантовой схемы. С целью взаимодействия алгоритма градиентного спуска и квантовой схемы необходимо использовать формулу (1). Посредством данной формулы выполняется настройка обучаемых параметров нейросети.
где в - параметр квантовой схемы; е - сдвиг. Под градиентом понимается
разница между показателями квантовой схемы, которые оценивается при её сдвиге вправо (в + и влево (в — е). Это позволяет дифференцировать
квантовую схему, как часть алгоритма обратного распространения ошибки
Гибридные нейронные сети
дгасИеп1 = qc(6 + е) — qc(.6 — е),
(1)
[5, 6].
Квантовые схемы
Предлагаемая гибридная нейросеть основывается на квантовых схемах Ну с 2-4 кубитами в зависимости от решаемой задачи. Квантовая схема Яу
имеет 1 обучаемый параметр на кубит. На рис. 3 представлена квантовая
схема с 2 кубитами.
3 н 1 : Яг '-гг.Ч : ГХ
1 1 | 1 1 ■ ■
Г
н Т-^1 пЛ
1 I 1 1
1. 1 0 ]| т
Измерения
Рис. 3. - Квантовая схема с 2-я кубитами, включая один обучаемый параметр
на кубит (Еу)
На вход гибридной сети поступает изображение, которое подвергается амплитудному кодированию, затем полученные данные передаются классическому слою предварительного сканирования (в котором располагаются фильтры, выполняющие распознавание определенных характеристик изображения), далее результат передаётся на квантовый слой для уменьшения размеров карт признаков (пулинг). Квантовый слой введён с целью повышения скорости функционирования гибридной нейросети за счёт использования кубитов. После финальной фильтрации данные обрабатываются квантовой схемой для выполнения мультиклассовой классификации.
Научная новизна работы состоит в том, что реализация гибридной нейросети выполнена на основе классической сверточной нейросети с использованием квантовой схемы, которая может содержать различное количество кубитов для достижения наилучшей производительности гибридной нейросети.
Методология
В данной работе процесс построения гибридной нейросети осуществлялся при помощи библиотеки PyTorch [7] на языке программирования Python. Программное обеспечение Qiskit [8] применялось с целью моделирования квантовых схем [9]. Квантовый симулятор использовался для имитации квантовых вычислений на классическом оборудовании для проведения экспериментов. ПО Qiskit предоставляет серверную часть квантового симулятора для выполнения построенных квантовых схем, а также демонстрирует реалистичную симуляцию квантовых вычислений.
В настоящее время происходит активная разработка различных гибких гибридных рабочих процессов с целью обеспечения возможности совместного использования квантовых и классических ресурсов для выполнения поиска оптимального решения ресурсоемких задач. Поэтому различные гибридные рабочие процессы вызывают большой интерес для практических приложений с интенсивными вычислениями (например, глубокое обучение). Именно поэтому необходимо исследовать различные комбинации классических и квантовых вычислений.
Исследуемые нейросети основаны на базовой архитектуре, которая включает два сверточных слоя, три линейных слоя и квантовую схему.
Сверточные слои с функцией активации ReLU выполняют преобразование изображения в вектор, состоящий из 400 элементов [10, 11]. Три линейных слоя выполняют уменьшение размерности полученного вектора с 400 до числа, равному количеству кубитов в квантовом слое. При этом первые два линейных слоя используют функцию активации ReLU, а третий слой - функцию активации гиперболического тангенса tanh, посредством которой предоставляется возможность устанавливать значения параметров в интервале [—1; 1]. Перед передачей значений на вход
квантовой схемы они умножаются на число п, так как квантовая схема
оперирует сдвигами кубитов, которые измеряются их углами поворота. В завершении на выходах квантового слоя используется сигмовидная функция активации [10].
Также для гибридной нейросети был разработан классический аналог, имитирующий ее архитектуру за исключением того, что вместо квантового слоя использовался классический линейный слой. Такая классическая нейросеть использовалась в качестве эталонной модели для сравнения полученных в процессе применения гибридной нейросети результатов.
С целью обучения гибридной нейросети использовались следующие наборы данных:
- CIFAR10 [12, 13];
- CIFAR100 [12, 13].
Рис. 1. - Набор данных CIFAR10
и
Набор данных CIFAR10 включает 60 000 изображений RGB 32x32, относящихся к 10 различным классам (см. рисунок 1). Набор данных содержит 5 000 обучающих и 1 000 тестовых изображений на класс.
Набор данных CIFAR100 схож с набором данных CIFAR10, но содержит 100 различных классов, которые можно разделить на 20 суперклассов. CIFAR100 также содержит изображения RGB 32x32 (см. рисунок 2). Набор данных состоит из 500 обучающих и 100 тестовых изображений на класс, что в сумме составляет до 60 000 изображений в полном наборе.
ZJ
1
Рис. 2. - Набор данных CIFAR100 Эксперименты
На рисунках 4 и 5 приведены графики потерь и точности на этапе обучения модели гибридной нейросети с квантовой схемой с 4 кубитами
для мультиклассовой классификации изображений набора данных CIFAR10. На этапе обучения использовалось 300 изображений на класс, а на этапе проверки - 50 изображений на класс.
и
На рисунках 6 и 7 приведены графики потерь и точности на этапе обучения модели гибридной нейросети с квантовой схемой с 7 кубитами
для мультиклассовой классификации изображений набора данных CIFAR100. На этапе обучения использовалось 100 изображений на класс, а на этапе проверки -50 изображений на класс.
Рис. 4. - Показатели потери в процессе обучения и тестирования модели на
наборе данных СШАЕЛО
Рис. 5. - Показатели точности в процессе обучения и тестирования модели
на наборе данных США^О
и
Рис. 6. - Показатели потери в процессе обучения и тестирования модели на
наборе данных СШАЕЛОО
Рис. 7. - Показатели точности в процессе обучения и тестирования модели
на наборе данных CIFAR100
Как видно из представленных графиков, в процессе обучения возникло свойство сходимости. Таким образом, функция потерь, которая была определена для квантовой схемы, функционирует корректно, а обучаемые параметры квантовой схемы обновляются правильно. На этом основании можно сделать вывод о том, что процесс обучения работает так, как было задумано для гибридной нейросети.
На рис. 8 приведен пример явления, когда на квантовом уровне в некоторый момент возникает непредвиденная ошибка, вследствие которой точность сети резко падает, а процесс обучения останавливается. Причину
М Инженерный вестник Дона, №1(2023) ivdon.ru/ru/magazine/arcliive/nly2023/8150
подобной нестабильности определить не удалось, поэтому было принято решение игнорировать такие случаи и измерять максимальную точность, достигнутую на этапе обучения, до того, как это явление произойдет.
Полученные в ходе экспериментов результаты подтвердили предположение о том, что гибридную нейросеть можно использовать для успешного решения задач мультиклассовой классификации изображений на сложных наборах данных.
Accuracy drop phenomena
20 -1-1-1-1-1-1-1-1-1-
0 2 4 6 8 10 12 14 16 18 20
Epoch
Рис. 8. - Падение точности работы на этапе тестирования Однако точность функционирования гибридной нейросети в сравнении с ее классическим аналогом оказалась ниже (см. таблицу 1).
Таблица № 1
Сравнение точности классификации изображений набора данных CIFAR10 между гибридными и классическими нейросетями
Количество классов Гибридные ИНС Классические ИНС
0-3 79,60% 67,40%
0-5 52,00% 76,40%
0-7 56,58% 71,20%
0-9 45,13% 70,10%
Полученные результаты позволили подтвердить целесообразность использования гибридных нейросетей для многоклассовой классификации. При этом гибридные нейросети в сравнении с классическими аналогами обладают меньшей точностью и меньшей скоростью.
Таблица № 2
Показатели точности обучения гибридной нейросети на наборе данных
CIFAR10 с учётом перекрестной проверки (k-fold cross validation)
Квантовая схема Количество классов Средняя точность обучения Стандартное отклонение точности обучения Средняя точность валидации Стандартное отклонение точности валидации
2 кубита 0-3 85,43% 4,14% 79,60% 3,30%
3 кубита 0-5 54,14% 5,42% 52,00% 3,18%
3 кубита 0-7 60,28% 5,33% 56,58% 5,21%
4 кубита 0-9 49,43% 4,61% 45,13% 5,91%
Выводы
На данном этапе развития квантовых вычислений в контексте глубокого обучения главным вопросом является возможность реализуемости предлагаемых подходов, а не достижение высокой точности, малых потерь и прочих показателей. Поэтому на сегодняшний день нецелесообразно выполнять сравнение метрик лучших современных классических моделей с такими же метриками гибридных классически-квантовых моделей.
Результаты экспериментов указывают на возможность использования гибридных нейросетей для мультиклассовой классификации. Это особенно перспективно в контексте работы глубинных нейронных сетей на различных гибридных аппаратных платформах [14, 15], где центральные процессоры
используются вместе со специализированными ускорителями, такими, как графические процессоры, тензорные процессоры и т. д.
Литература
1. Гузик В. Ф., Гушанский С. М., Ляпунцова Е. В., Потапов В. С. Основы теории построения квантовых компьютеров и моделирование квантовых алгоритмов. Москва - Ростов-на-Дону - Таганрог: ЮФУ, 2019. 287 с.
2. Гузик В. Ф., Гушанский С. М., Ляпунцова Е. В., Потапов В. С. Высокопроизводительные вычислительные системы и квантовая обработка информации. Ростов-на-Дону - Таганрог: ЮФУ, 2021. 202 с.
3. Sara A. Metwalli. What Kind of Problems Can Quantum Computers Solve?
2020. URL: levelup.gitconnected.com/what-kindof-problems-can-quantum-computers-solve-63234eb9fd76.
4. Ядвичук А. Квантовое машинное обучение быстрее классического.
2021. URL: techinsider.ru/technologies/news-739123-kvantovoe-mashinnoe-obuchenie-bystree-klassicheskogo/.
5. Гушанский С. М., Буглов В. Е. Квантовое глубокое обучение свёрточной нейронной сети с использованием вариационной квантовой схемы // Известия ЮФУ. Технические науки, 2021, N7. URL: izv-tn.tti.sfedu.ru/index.php/izv_tn/article/view/588/784.
6. Gavin E. Crooks. Gradients of parameterized quantum gates using the parameter-shift rule and gate decomposition // Quantum Physics, 2019. URL: arxiv.org/pdf/1905.13311.pdf.
7. PyTorch. URL: pytorch.org/.
8. Qiskit. URL: qiskit.org/documentation/.
9. Georgescu I.M., Ashhab S., Nori F. Quantum simulation. 2014. URL: journals.aps.org/rmp/pdf/10.1103/RevModPhys.86.153.
10. Милютин И. Функции активации ReLu, сигмоида и пр. 2018. URL: neurohive.io/ru/osnovy-data-science/activation-functions/.
11. Fukushima K. Neocognitron: A Self-organizing Neural Network Model for a Mechanism of Pattern Recognition Unaffected by Shift in Position // Biological Cybernetics, 1980. Vol. 36, pp. 193-202.
12. CIFAR10 and CIFAR100 datasets. URL: cs.toronto.edu/~kriz/cifar.html
13. Krizhevsky A. Learning multiple layers of features from tiny images. 2009. URL: cs.toronto.edu/~kriz/learning-features-2009-TR.pdf
14. Kochura Y., Gordienko Y., Taran V., Gordienko N., Rokovyi A., Alienin O., and Stirenko S. Batch size influence on performance of graphic and tensor processing units during training and inference phases // International Conference on Computer Science, Engineering and Education Applications. Springer, Cham, 2019. pp 658-668.
15. Potapov V., Gushansky S, Samoylov A., and Polenov M. The Quantum Computer Model Structure and Estimation of the Quantum Algorithms Complexity // Computational Methods in Systems and Software 2018. Vol. 859. pp. 307-315.
References
1. Guzik V. F., Gushanskiy S. M., Lyapuntsova E. V., Potapov V. S. Osnovy teorii postroyeniya kvantovykh komp'yuterov i modelirovaniye kvantovykh algoritmov [Fundamentals of the theory of construction of quantum computers and modeling of quantum algorithms]. Moskva, Rostov-na-Donu, Taganrog: SFEDU,
2019. 287 p.
2. Guzik V. F., Gushanskiy S. M., Lyapuntsova E. V., Potapov V. S. Vysokoproizvoditel'nyye vychislitel'nyye sistemy i kvantovaya obrabotka informatsii [High-Performance Computing Systems and Quantum Information Processing]. Rostov-na-Donu, Taganrog: SFEDU, 2021. 202 p.
3. Sara A. Metwalli. What Kind of Problems Can Quantum Computers Solve.
2020, URL: levelup.gitconnected.com/what-kindof-problems-can-quantum-computers-solve-63234eb9fd76.
4. Yadvichuk A. Kvantovoye mashinnoye obucheniye bystreye klassicheskogo [Quantum machine learning is faster than classical]. 2021. URL: techinsider.ru/technologies/news-739123-kvantovoe-mashinnoe-obuchenie-bystree-klassicheskogo/.
5. Gushanskiy S. M., Buglov V. E. Izvestiya SFEDU. Tekhnicheskiye nauki, 2021, N7 URL: izv-tn.tti.sfedu.ru/index.php/izv_tn/article/view/588/784.
6. Gavin E. Crooks. Quantum Physics, 2019, URL: arxiv.org/pdf/1905.13311.pdf.
7. PyTorch. URL: pytorch.org/.
8. Qiskit. URL: qiskit.org/documentation/.
9. Georgescu I.M., Ashhab S., Nori F. Quantum simulation. 2014. URL: journals.aps.org/rmp/pdf/10.1103/RevModPhys.86.153.
10. Milyutin I. Funktsii aktivatsii ReLu, sigmoida i pr [ReLu activation functions, sigmoid, etc.]. 2018. URL: neurohive.io/ru/osnovy-data-science/activation-functions/.
11. Fukushima K. Biological Cybernetics, 1980. Vol. 36, pp. 193-202.
12. CIFAR10 and CIFAR100 datasets. URL: cs.toronto.edu/~kriz/cifar.html
13. Krizhevsky A. Learning multiple layers of features from tiny images. 2009, URL: cs.toronto.edu/~kriz/learning-features-2009-TR.pdf
14. Kochura Y., Gordienko Y., Taran V., Gordienko N., Rokovyi A., Alienin O., and Stirenko S. in International Conference on Computer Science, Engineering and Education Applications. Springer, Cham, 2019. Pp. 658-668.
15. Potapov V., Gushansky S, Samoylov A., and Polenov M. Computational Methods in Systems and Software 2018. Vol. 859. pp. 307-315.
