CC BY
59
18. Jiang H., Turki T., Wang J.T.L. DLGraph: Malware detection using deep learning and graph embedding,/ 2018 17th IEEE international conference on machine learning and applications (ICMLA). IEEE, 2018, pp. 1029-1033. DOI: 10.1109/ICMLA.2018.00168.
19. Russinovich M.E., Solomon D.A., Ionescu A. Windows internals. Part 2. Pearson Education, 2012.
20. Pedregosa F. et al. Scikit-learn: Machine learning in Python, Journal of machine Learning research, 2011, Vol. 12, pp. 2825-2830. DOI: 10.1145/2089125.2089126.
21. Brahler S. Analysis of the android architecture, Karlsruhe institute for technology, 2010, Vol. 7, No. 8.
Статью рекомендовал к опубликованию д.т.н., профессор Я.Е. Ромм.
Бабенко Людмила Климентьевна - Южный федеральный университет, e-mail:
[email protected] г. Таганрог, Россия; д.т.н.; профессор.
Кириллов Алексей Сергеевич - e-mail: [email protected]; программист.
Babenko Lyudmila Kliment'evna - Southern Federal University; e-mail: [email protected];
Taganrog, Russia; dr. of eng. sc.; professor.
Kirillov Alexey Sergeevich - e-mail: [email protected]; programmer.
УДК 004.032.26 DOI 10.18522/2311-3103-2021-7-167-177
С.М. Гушанский, В.Е. Буглов
КВАНТОВОЕ ГЛУБОКОЕ ОБУЧЕНИЕ СВЁРТОЧНОЙ НЕЙРОННОЙ СЕТИ С ИСПОЛЬЗОВАНИЕМ ВАРИАЦИОННОЙ КВАНТОВОЙ СХЕМЫ
Квантовый компьютинг в общем и квантовое глубокое обучение, в частности, представляют собой перспективную область, связанную с исследованиями современных методов и алгоритмов квантовых вычислений, применяемых с целью обучения и разработки новых архитектур искусственных нейронных сетей. В последнее время наблюдается тенденция, состоящая в том, что исследования, проводимые в области квантового глубокого обучения, получают всё большее распространение среди специалистов. Это можно объяснить тем, что было установлено - квантовые схемы способны функционировать подобно искусственным нейронным сетям, демонстрируя при этом лучшие результаты при решении ряда задач, среди которых, например, актуальная задача классификации объектов на изображении или в видеопотоке. Благодаря стремительному развитию квантовых вычислений в области глубокого обучения были найдены оптимальные способы решений для таких актуальных задач, как - проблема исчезающего градиента, нахождение локального минимума, повышение эффективности функционирования крупномасштабных параметрических алгоритмов машинного обучения, устранение декогеренции и квантовых ошибок и пр. В рамках данной работы описан процесс функционирования квантовой вариационной схемы, установлены её основные характеристики и выявлены недостатки. Также проанализированы ключевые особенности квантовых вычислений, на которых основывается процесс реализации квантового глубокого обучения с подкреплением свёрточной нейросети. Кроме того, осуществлено квантовое глубокое обучение свёрточной нейронной сети с помощью применения вариационной квантовой схемы, что приводит к повышению производительности свёрточной нейросети в решении задачи обработки изображения, а именно его классификации, за счёт использования квантовой среды вычислений. Актуальность данной статьи состоит в реализации алгоритма квантового глубокого обучения с подкреплением свёрточной нейросети для обработки изображений, а также большом значении тематики данного исследования для будущей разработки квантовых вычислительных устройств, которые могут быть использованы в системах искусственного интеллекта и т.п., что соответствует приоритетному направлению развития отечественной науки.
Квантовые вычисления; глубокое обучение; свёрточная нейронная сеть; вариационная квантовая схема; исчезающий градиент; алгоритм.
S.M. Gushanskiy, V.E. Buglov
QUANTUM DEEP LEARNING OF CONVOLUTIONAL NEURAL NETWORK USING VARIATIONAL QUANTUM CIRCUIT
Quantum computing in general and quantum deep learning represent a promising field related to the research of modern methods and algorithms of quantum computing used for the purpose of teaching and developing new architectures of artificial neural networks. Recently, there has been a trend that research conducted in the field of quantum deep learning is becoming increasingly widespread among specialists. This can be explained by the fact that it has been established that quantum circuits are capable of functioning like artificial neural networks, while demonstrating the best results in solving several tasks, including, for example, the actual task of classifying objects in an image or in a video stream. Thanks to the rapid development of quantum computing in the field of deep learning, optimal solutions have been found for such urgent problems as the vanishing gradient problem, finding a local minimum, improving the efficiency of large-scale parametric machine learning algorithms, eliminating decoherence and quantum errors, etc. Within the framework of this work, the process of functioning of a quantum variational scheme is described, its main characteristics are established, and disadvantages are identified. The key features of quantum computing, on which the process of implementing quantum deep learning with the reinforcement of a convolutional neural network is based, are also analyzed. In addition, quantum deep learning of a convolutional neural network has been carried out using a variational quantum scheme, which leads to an increase in the performance of a convolutional neural network in solving the problem of image processing, namely its classification, using a quantum computing environment. The relevance of this article consists in the implementation of a quantum deep learning algorithm with the reinforcement of a convolutional neural network for image processing, as well as the great importance of the subject of this study for the future development of quantum computing devices that can be used in artificial intelligence systems, etc., which corresponds to the priority direction of the development of domestic science.
Quantum computing; deep learning; convolutional neural network; variational quantum scheme; vanishing gradient; algorithm.
Введение. Квантовые вычисления обрели широкие возможности благодаря созданию вариационных квантовых схем, которые выполняют кодирование квантового состояния |^> при помощи входного вектора данных X с последующим применением к полученному состоянию параметрических операторов в (рис. 1).
Вариационная квантовая схема представляет собой квантовый алгоритм, зависящий от свободных параметров, применяемый, как правило, для обработки изображений (классификации), выполнения адиабатических квантовых вычислений, нахождения глобального минимума некоторой заданной функции среди некоторого набора решений-кандидатов [16]. При использовании подобных квантовых схем происходит автоматическое исправление систематических ошибок, возникающих в процессе обучения нейронных сетей посредством оптимизационного алгоритма Adam.
В процессе выполняемых свёрточной нейросетью вычислений с высокой степенью вероятности возникает проблема исчезающего градиента, которая является актуальной как для классического обучения, так и для квантового [1, 16, 19]. Про-
ч
| Квантовая вариационная схема
t
Рис. 1. Квантовая вариационная схема
блема исчезающего градиента заключается в том, что при реализации алгоритма обратного распространения ошибки градиент стремится к нулю (т.е. исчезает) по мере того, как реализуется обратное распространение, что приводит к прекращению изменений весов нейронов, входящих в состав нейросети, которое необходимо для эффективного обновления функции активации при каждой итерации обучения. Для решения данной проблемы в среде квантовых вычислений необходимо использовать квантовую вариационную схему, а также обучение с подкреплением, в основе которого лежит квантовая функция потерь, что приводит к снижению средней ошибки квантового вентиля в сравнении со стандартными стохастическими решениями.
Далее представлены особенности квантовых вычислений, на которых основывается процесс реализации квантового глубокого обучения с подкреплением свёрточной нейросети.
Квантовые вычисления. В качестве основных вычислительных единиц квантовых компьютеров выступают кубиты. Кубит отражает состояние суперпозиции между | 0> и |1> [2-5]. Состояние кубита имеет вид нормализованного двумерного комплексного вектора:
| //> = а|0> + /?|1>,||а||2 + ||/?||2, (1)
где и - это вероятности нахождения кубита в состояниях или
соответственно. Данное состояние также можно представить в геометрической форме, используя полярные координаты в и ф:
| //> = со8ф|0> + ег*8тф|1>, (2)
где , а . Данное представление отображает состояние одного
кубита на поверхности трёхмерной сферы, именуемой сферой Блоха. Существует возможность представить мультикубитную систему в виде тензорного произведения кубитов, которое имеет вид суперпозиции базисных состояний от до . Квантовая запутанность возникает в виде корреляции меж-
ду различными кубитами рассматриваемой системы. К примеру, процесс наблю-
1 1
дения в двухкубитной системе -= | 00> + -= |11> за первым кубитом окажет непо-
V2 V2
средственное влияние на состояние второго кубита. Подобные системы подвержены управляющим воздействиям со стороны квантовых элементов квантовой схемы с целью выполнения квантовых вычислений [6-7].
Квантовые вентили представляют собой унитарные операторы, которые выполняют преобразование входных состояний кубитов на выходные посредством некоторого определённого закона. Квантовый вентиль может быть подвержен разложению в виде комбинации нескольких базовых операторов, к которым относят управляющий-X вентиль и вентиль вращения [8]. К основным элементам вентиля вращения относят Дж (в) (в ),Д2 (в ) , которые выполняют поворот состояния кубита в сфере Блоха вокруг соответствующей оси на в , а управляющий-X вентиль осуществляет запутывание двух кубитов путём изменения состояния кубита, если другое состояние имеет значение . Принципы суперпозиции и запутанности обеспечивают преимущество квантовых вентилей перед классическими вычислениями. Более того, квантовые алгоритмы обладают экспоненциальным выигрышем в вычислениях в сравнении с классическими алгоритмами при решении ряда задача, одной из которых является факторизация целых чисел [9, 17].
Квантовое глубокое обучение. Процесс квантового глубокого обучения с подкреплением свёрточной нейронной сети осуществляется за счёт использования вариационной квантовой схемы, принцип функционирования которой заключается в том, что данная схема использует вентиль вращения, обладающий свободными
параметрами, с целью решения таких численных задач, как - аппроксимация, оптимизация и классификация [2]. Стоит задача разработать алгоритм квантового глубокого обучения с подкреплением на основе квантовой вариационной схемы для обработки изображения, а именно его классификации, что является востребованной задачей, так как в последнее время применение вариационных квантовых схем пользуется широкой популярностью в области машинного обучения [3].
Вариационные квантовые схемы достаточно схожи с искусственными нейронными сетями в том плане, что они также выполняют аппроксимацию функций путём обучения своих параметров. Однако, так как все операции квантового вентиля являются обратимыми линейными операциями, то квантовая схема с целью формирования многослойной структуры использует слои, обладающие принципом запутанности, вместо функции активации. Такие вариационные квантовые схемы именуются квантовыми нейронными сетями, структура которой представлена на рис. 2.
Квантовое глубокое обучение при помощи такой квантовой нейросети осуществляется следующим образом - сначала выполняется кодирование входных данных в соответствующее состояние кубита, затем состояние кубита преобразуется посредством параметризованных вентилей вращения и запутывания для заданного числа слоев, далее преобразованное состояние кубита измеряется при помощи гейта Паули. Полученные измерения подвергаются декодированию и в результате формируются выходные данные.
Рис. 2. Структура квантовой нейронной сети с входом | р), параметром в и линейной запутанностью
В представленном исследовании квантовое глубокое обучение с подкреплением выполняется за счёт использования квантовой свёрточной нейронной сети [3], структура которой представлена на рис. 3. В этом случае посредством квантовой вариационной схемы реализуются слои свёртки и пулинга (объединения). Квантовое глубокое обучение при помощи такой квантовой нейросети осуществляется следующим образом - во-первых, происходит кодирование входных данных в соответствующее состояние кубита при помощи вентиля вращения. Затем слой свёртки, состоящий из квазилокальных унитарных элементов, осуществляет фильтрацию входных данных и на их основе формирует карту объектов. Далее слой пулинга, состоящий из управляемых вентилей вращения, выполняет уменьшение сформированной на предыдущем шаге карты объектов. В конце результаты измерения состояния кубита декодируются в выходные данные требуемого размера. Полученные параметры обновляются при помощи оптимизационного алгоритма Adam.
Главной особенностью квантовой свёрточной нейронной сети является то, что она осуществляет расширение основных характеристик классических свёрточ-ных нейросетей до квантовых систем [3]. Её работу можно представить в виде четырёх основных этапов:
1) слой свёртки осуществляет поиск скрытого состояния за счёт использования кубитных вентилей;
2) слой пулинга осуществляет уменьшение размера квантовой системы за счёт использования таких кубитных элементов, как вентиль CNOT;
3) при необходимости уменьшения квантовой системы выполняется повторение операций этапов 1) и 2);
4) при достижении достаточно малого размера квантовой системы, лежащая в её основе квантовая вариационная схема осуществляет обработку входных изображений.
Оптимизационный алгоритм Adam представляет собой один из самых эффективных алгоритмов оптимизации в обучении нейронных сетей. Он сочетает в себе идеи оптимизационного алгоритма RMSProp и оптимизатора импульса [18]. Вместо того чтобы адаптировать скорость обучения параметров на основе среднего первого момента (среднего значения), как в алгоритме RMSProp, Adam также использует среднее значение вторых моментов градиентов. В частности, алгоритм вычисляет экспоненциальное скользящее среднее градиента и квадратичный градиент, а при помощи гиперпараметров управляет скоростью затухания этих скользящих средних.
Рис. 3. Структура квантовой свёрточной нейронной сети с входом | р), параметром в и с одним слоем свёртки и пулинговым слоем
В основе квантовой свёрточной нейронной сети следует использовать квантовую вариационную схему, структура которой представлена на рис. 4.
Рис. 4. Предлагаемая квантовая вариационная схема
В основе данной вариационной схемы лежит функция потерь:
/ (в) = | 0)^^). (3)
При этом, если и (в) = е-1 в с, то функция потерь принимает два отличительных собственных значения {- г, г] , а градиент в таком случае имеет вид [10]:
¿/ = r [/ (в+s) -/ (в -s) ] , (4)
где .
К примеру, если Дж (в ) = е- ви / (в ) = | 0>fij.(e:)|^) то градиент имеет вид:
tJ (0 ) = ;[/ (0 + 7Г /2) С0-71 /2 ) ] ■
(5)
авН°> = 21!
Поэтому с целью устранения проблемы исчезающего градиента предлагается модифицировать используемую квантовую вариационную схему (см. рис. 4), в следующий вид:
Ю>
RxMl)— Ry(<t>2) — (СТ2)
Рис. 5. Модификация квантовой вариационной схемы
Далее представлен фрагмент программного кода алгоритма квантового глубокого обучения с подкреплением квантовой вариационной схемы, реализованный при помощи языка программирования Python, для обработки изображения, а именно его классификации:
1 import pennylane as qml
2 from pennylane . optimize import GradientDescentOptimizer
3 f Create device
4 dev — qml . device ('default . qubit wires =1)
5 # Quantum node
6 @qml . qnode (dev )
7 def circuitl ( var ):
8 qml .RX( var [0] , wires =0)
9 qml .RY( var [1] , wires =0)
10 return qml . expval ( qml. PauliZ (0))
11 # Create optimizer
12 opt = GradientDescentOptimizer (0.25)
13 # Optimize circuit output
14 var = [0.5 , 0.2]
15 for it in range (30):
16 var = opt . step ( circuitl , var )
17 print (" Step {}: cost : {}". format (it , circuitl ( var )))
Необходимо обработать входное изображение с целью классификации выявленных объектов на два класса: Petal - лепесток, Sepal - чашелистик (см. рис. 6).
Рис. 6. Входное изображение из набора данных MNIST
То есть имеется набор данных, состоящий из 2-х классов. С целью обработки данных необходимо нормализовать исходные векторы признаков X 0ríg в виде [11]:
_ X оríg-min (X0ríg)
Л — ^ ,
max (Xoríg) - min (Xoríg)
X s ca i e d = X s t d (m ах- m in) + m in, (6)
где m in = 0 , m ах = п.
Далее выполняется кодирование данных с целью кодирования гейта вращения. Закодированный гейт U e (х) преобразует набор данных х = (х 1,х2, ■ ■ .,xN)ER n в следующее состояние:
| х) = Uem0)®N = RM ® R&2) ® ■..^R^m®"', (7)
✓ ч п г со s(ф/2) - i sin (ф/2)
где Rx(ф) = е-*°х12 = [ (ф/ ) (ф )] , а х1 £ [0,п].
-
Полученные параметризованные гейты Rх (ф) квантовой вариационной схемы осуществляют запутывание входной информации (рис. 7).
Рис. 7. Применение параметризованного гейта Их (ф) в квантовой нейросети
В результате имеем следующие (рис. 8) показатели работы свёрточной нейронной сети на тестовом наборе данных, реализованной при помощи квантовой платформы TensorFlow. Точность работы квантовой нейросети на тестовом наборе данных существенно превосходит производительность классической ИНС, однако практически идентична производительности классической СНС. То же касается и величины ошибки на тестовом наборе.
Полученные результаты свидетельствуют о том, что возникла проблема квантового превосходства. Термин «квантовое превосходство» отражает возникновение ложных представлений о том, что квантовые алгоритмы всегда лучше классических. Однако, учитывая присущие квантовым вычислениям ограничения, преимущества квантовых вычислений могут быть достигнуты за счёт использования качественно продуманных алгоритмов. На сегодняшний день, если рассматривать вариационные квантовые алгоритмы, то лишь немногие из них доказали своё квантовое преимущество.
Свойство универсальной аппроксимации квантовых нейронных сетей демонстрирует, что квантовое глубокое обучение способно успешно реализовывать большинство вычислений, выполняемых в классическом глубоком обучении. Однако существует вероятность того, что итоговый результат будет менее эффективен в сравнении с существующим классическим алгоритмом [12-15].
Количество эпох
Рис. 8. Показатели работы свёрточной нейронной сети после её квантового
обучения с подкреплением для решения задачи классификации входных изображений из набора данных MNIST (где ИНС - классическая искусственная нейронная сеть, СНС - классическая свёрточная нейронная сеть, а КСНС - квантовая свёрточная нейронная сеть)
Заключение. В рамках данной тематики выполнено квантовое глубокое обучение свёрточной нейронной сети с помощью применения вариационной квантовой схемы с целью повышения производительности свёрточной нейросети в решении задачи обработки изображения за счёт использования квантовой среды вычислений. При этом полученные результаты свидетельствуют о том, что точность работы квантовой свёрточной нейронной сети на тестовом наборе данных в зависимости от количества эпох обучения (до 30) не всегда превосходит качество функционирования классической свёрточной нейросети. То же касается и показателя величины ошибки на тестовом наборе.
Таким образом в текущей среде квантовых вычислений [4, 20] производительность квантовых свёрточных нейронных сетей существенно не превосходит производительность классических свёрточных нейронных сетей. По прогнозам [5] квантовые свёрточные нейронные сети получат вычислительные преимущества в сравнении с классическими свёрточными нейронными сетями в будущей среде квантовых вычислений, когда станут возможны квантовые вычисления большего размера.
Благодарности. Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта 20-07-00916 А.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Park J., Samarakoon S., Elgabli A., Kim J., Bennis M., Kim S.-L., and Debbah M. Communication-efficient and distributed learning over wireless networks: Principles and applications // Proceedings of the IEEE. - May 2021. - Vol. 109, No. 5. - P. 796-819,.
2. Choi J., Oh S., and Kim J. Energy-efficient cluster head selection via quantum approximate optimization // Electronics. - 2020. - Vol. 9, No. 10.
3. Cong I., Choi S., and. Lukin M.D. Quantum convolutional neural networks // Nature Physics. - 2019. - Vol. 15, No. 12. - P. 1273-1278.
4. Preskill J. Quantum computing in the nisq era and beyond // Quantum. - 2018. - Vol. 2. - P. 79.
5. Oh S., Choi J., and Kim J. A tutorial on quantum convolutional neural networks (QCNN) // in Proceedings of the IEEE International Conference on Information and Communication Technology Convergence (ICTC). - 2020. - P. 236-239.
6. Гушанский С.М., Козловский А.В., Буглов В.Е. Квантовая обработка изображений // Технологии разработки информационных систем ТРИС-2019: Матер. IX Международной научно-технической конференции. - Геленджик: Изд-во ЮФУ, 2019. - С. 217-222.
7. Гушанский С.М., Буглов В.Е., Подорога Е.А. Анализ процессов обучения и использования квантовых нейронных сетей // Наука, технологии, общество - НТ0-2021: Сб. научных статей по материалам Всероссийской научной конференции. - Красноярск: Изд-во общественного учреждения «Красноярский краевой Дом науки и техники Российского союза научных и инженерных общественных объединений», 2021. - С. 29-34.
8. Гушанский С.М., Горбунов А.В, Переверзев В.А. Применимость квантовых нейронных сетей для задач распознавания и обнаружения образов // Вестник Адыгейского государственного университета. - С. 59-68.
9. Chen S.Y.-C., Yang C.-H.H., Qi J., Chen P.-Y., Ma X., and Goan H.-S. Variational quantum circuits for deep reinforcement learning // IEEE Access. - 2020. - Vol. 8. - P. 141007-141024.
10. Garg S. andRamakrishnan G. Advances in quantum deep learning: An overview // arXiv preprint arXiv:2005.04316, 2020.
11. Bausch J. Recurrent quantum neural networks // Advances in Neural Information Processing Systems. - 2020. - Vol. 33.
12. Гузик В.Ф., Гушанский С.М., Потапов В.С. Разработка и исследование квантовых моделей преобразования изображений // Тр. учебных заведений связи. Учредители: Санкт-Петербургский государственный университет телекоммуникаций им. проф. М.А. Бонч-Бруевича, 2021. - С. 20-30.
13. Гушанский С.М., Потапов В.С. Реализация квантового алгоритма обнаружения границ объектов и краев изображения // Инженерный вестник Дона. Учредители: Ростовское региональное отделение общероссийской общественной организации «Российская инженерная академия», 2021. - С. 204-209.
14. Алтайский М.В., Капуткина Н.Е., Крылов В.А. Квантовые нейронные сети: современное состояние и перспективы развития // Физика элементарных частиц и атомного ядра.
- 2014. - Т. 45. - Вып. 5-6. - С. 1-43.
15. Гушанский С.М., Гузик В.Ф., Ляпунцова Е.В. Квантовый компьютинг: учеб. пособие.
- Таганрог: Изд-во ЮФУ, 2012. - 120 с.
16. Alchieri L., Badalotti D., Bonardi P., Bianco S. An introduction to quantum machine learning: from quantum logic to quantum deep learning // Quantum Machine Intelligence. - 2021.
- Part 3 (Scopus).
17. Potapov V., Gushansky S, Samoylov A., Polenov M. The Quantum Computer Model Structure and Estimation of the Quantum Algorithms Complexity // Computational Methods in Systems and Software 2018 (CoMeSySo 2018), September 2018: Proceedings Advances in Intelligent Systems and Computing. Vol. 859. - Springer Nature Switzerland AG, 2019. - P. 307-315. (Scopus; Warsaw, Poland).
18. SkillFactory. Реализуем и сравниваем оптимизаторы моделей в глубоком обучении.
- Режим доступа: https://habr.com/ru/company/skillfactory/blog/525214/ (дата обращения: 29.11.2021).
19. Крыжановский А.В, Гушанский С.М. Исследование квантовых алгоритмов обнаружения и распознавания лиц с помощью квантовой нейросети // Фундаментальные и прикладные аспекты компьютерных технологий и информационной безопасности: Матер. VII Всероссийской научно-технической конференции. - Таганрог: Изд-во ЮФУ, 2021. - С. 346-349.
20. Dunjko V. and Briegel H.J. Machine learning & artificial intelligence in the quantum domain: A review of recent progress // Rep. Prog. Phys. - June 2018. - Vol. 81. - P. 074001.
REFERENCES
1. Park J., Samarakoon S., Elgabli A., Kim J., Bennis M., Kim S.-L., and Debbah M. Communication-efficient and distributed learning over wireless networks: Principles and applications, Proceedings of the IEEE, May 2021, Vol. 109, No. 5, pp. 796-819.
2. Choi J., Oh S., and Kim J. Energy-efficient cluster head selection via quantum approximate optimization, Electronics, 2020, Vol. 9, No. 10.
3. Cong I., Choi S., and. Lukin M.D. Quantum convolutional neural networks, Nature Physics, 2019, Vol. 15, No. 12, pp. 1273-1278.
4. Preskill J. Quantum computing in the nisq era and beyond, Quantum, 2018, Vol. 2, pp. 79.
5. Oh S., Choi J., and Kim J. A tutorial on quantum convolutional neural networks (QCNN), in Proceedings of the IEEE International Conference on Information and Communication Technology Convergence (ICTC), 2020, pp. 236-239.
6. Gushanskiy S.M., Kozlovskiy A. V., Buglov V.E. Kvantovaya obrabotka izobrazheniy [Quantum image processing], Tekhnologii razrabotki informatsionnykh sistem TRIS-2019: Mater. IXMezhdunarodnoy nauchno-tekhnicheskoy konferentsii [Technologies for the development of information systems TRIS-2019: Materials of the IX International Scientific and Technical Conference]. Gelendzhik: Izd-vo YuFU, 2019, pp. 217-222.
7. Gushanskiy S.M., Buglov V.E., Podoroga E.A. Analiz protsessov obucheniya i ispol'zovaniya kvantovykh neyronnykh setey [Analysis of learning processes and the use of quantum neural networks], Nauka, tekhnologii, obshchestvo - NTO-2021: Sb. nauchnykh statey po materialam Vserossiyskoy nauchnoy konferentsii [Science, technology, society - NT0-2021: Collection of scientific articles based on the materials of the All-Russian Scientific Conference]. Krasnoyarsk: Izd-vo obshchestvennogo uchrezMeniya «Krasnoyarskiy kraevoy Dom nauki i tekhniki Rossiyskogo soyuza nauchnykh i inzhenernykh obshchestvennykh ob"edineniy», 2021, pp. 29-34.
8. Gushanskiy S.M., Gorbunov A.V., Pereverzev V.A. Primenimost' kvantovykh neyronnykh setey dlya zadach raspoznavaniya i obnaruzheniya obrazov [Applicability of quantum neural networks for pattern recognition and detection problems], VestnikAdygeyskogo gosudarstvennogo universiteta [Bulletin of the Adygea State University], pp. 59-68.
9. Chen S.Y.-C., Yang C.-H.H., Qi J., Chen P.-Y., Ma X., and Goan H.-S. Variational quantum circuits for deep reinforcement learning, IEEE Access, 2020, Vol. 8, pp. 141007-141024.
10. Garg S. and Ramakrishnan G. Advances in quantum deep learning: An overview, arXiv preprint arXiv:2005.04316, 2020.
11. Bausch J. Recurrent quantum neural networks, Advances in Neural Information Processing Systems, 2020, Vol. 33.
12. Guzik V.F., Gushanskiy S.M., Potapov V.S. Razrabotka i issledovanie kvantovykh mode-ley preobrazovaniya izobrazheniy [Development and research of quantum models of image transformation], Tr. uchebnykh zavedeniy svyazi [Proceedings of educational institutions of communication]. Founders: St. Petersburg State University of Telecommunications named after Prof. M.A. Bonch-Bruevich, 2021, pp. 20-30.
13. Gushanskiy S.M., Potapov V.S. Realizatsiya kvantovogo algoritma obnaruzheniya granits ob"ektov i kraev izobrazheniya [Implementation of a quantum algorithm for detecting object boundaries and image edges], Inzhenernyy vestnik Dona [Engineering Bulletin of the Don]. Founders: Rostov regional branch of the All-Russian public organization "Russian Engineering Academy", 2021, pp. 204-209.
14. Altayskiy M.V., Kaputkina N.E., Krylov V.A. Kvantovye neyronnye seti: sovremennoe sostoyanie i perspektivy razvitiya [Quantum neural networks: current state and prospects of development], Fizika elementarnykh chastits i atomnogo yadra [Physics of elementary particles and atomic nucleus], 2014, Vol. 45, Issue 5-6, pp. 1-43.
15. Gushanskiy S.M., Guzik V.F., LyapuntsovaE.V. Kvantovyy komp'yuting: ucheb. posobie [Quantum computing: a textbook]. Taganrog: Izd-vo YuFU, 2012, 120 p.
16. Alchieri L., Badalotti D., Bonardi P., Bianco S. An introduction to quantum machine learning: from quantum logic to quantum deep learning, Quantum Machine Intelligence, 2021, Part 3 (Scopus).
17. Potapov V., Gushansky S, Samoylov A., Polenov M. The Quantum Computer Model Structure and Estimation of the Quantum Algorithms Complexity, Computational Methods in Systems and Software 2018 (CoMeSySo 2018), September 2018: Proceedings Advances in Intelligent Systems and Computing. Vol. 859. Springer Nature Switzerland AG, 2019 pp. 307-315. (Scopus; Warsaw, Poland).
18. SkillFactory. Realizuem i sravnivaem optimizatory modeley v glubokom obuchenii [SkillFactory. We implement and compare model optimizers in deep learning]. Available at: https://habr.com/ru/company/skillfactory/blog/525214/ (accessed 29 November 2021).
19. Kryzhanovskiy A.V, Gushanskiy SM. Issledovanie kvantovykh algoritmov obnaruzheniya i raspoznavaniya lits s pomoshch'yu kvantovoy neyroseti [Investigation of quantum algorithms for face detection and recognition using a quantum neural network], Fundamental'nye iprikladnye aspekty komp'yuternykh tekhnologiy i informatsionnoy bezopasnosti: Mater. VII Vserossiyskoy nauchno-tekhnicheskoy konferentsii [Fundamental and applied aspects of computer technology and information security: Materials of the VII All-Russian Scientific and Technical Conference]. Taganrog: Izd-vo YuFU, 2021, pp. 346-349.
20. Dunjko V. and Briegel H.J. Machine learning & artificial intelligence in the quantum domain: A review of recent progress, Rep. Prog. Phys., June 2018, Vol. 81, pp. 074001.
Статью рекомендовал к опубликованию д.ф.-м.н. Г.В. Куповых.
Гушанский Сергей Михайлович - Южный федеральный университет; e-mail: [email protected]; г. Таганрог, Россия; кафедра вычислительной техники; к.т.н.; доцент.
Буглов Владислав Евгеньевич - e-mail: [email protected]; тел.: +79508674921; кафедра вычислительной техники; аспирант.
Gushanskiy Sergey Mikhaylovich - Southern Federal University; e-mail: [email protected]; Taganrog, Russia; the department of computer engineering; cand. of eng. sc.; associate professor.
Buglov Vladislav Evgen'evich - e-mail: [email protected]; phone: +79508674921; the department of computer engineering; graduate student.
УДК 519.178 Б01 10.18522/2311-3103-2021-7-177-188
Д.В. Михайлов
ПРЕОБРАЗОВАНИЕ ПОСЛЕДОВАТЕЛЬНОГО ИНФОРМАЦИОННОГО ГРАФА МЕТОДА ПРОГОНКИ В ПАРАЛЛЕЛЬНУЮ ФОРМУ
Множество вычислительных задач может быть представлено в виде последовательного информационного графа. В общем случае такой информационный граф не может быть приведён к параллельному виду с целью ускорения выполнения его операций. Но в случае если вершины этого графа обладают свойствами ассоциативности, дистрибутивности и т.д., такой граф можно преобразовать в параллельно-конвейерную форму. Эти преобразования могут быть произведены не только над графами, содержащими элементарные операции - сложение, умножение, логическое И и т.д. - но и над графами, содержащими макрооперации. Одним из примеров таких графов является информационный граф решения СЛАУ методом прогонки (методом Томаса). В статье рассмотрено решение для трёхдиагональных СЛАУ. Информационный граф метода прогонки состоит из двух частей: прямого хода, в котором выполняется переход от трёхдиагональной формы к двух-диагональной, и обратного хода, в котором непосредственно вычисляются значения неизвестных. Несмотря на то, что операции, составляющие базовую макрооперацию метода прогонки, обладают свойством ассоциативности, простое преобразование графа к пирамидальному виду не даст необходимого результата. Необходимо преобразовать базовые макрооперации особым образом и изменить то, какие данные на них поступают. После этого возможно будет привести граф к пирамидальному виду. Для обратного хода применяется аналогичное преобразование графа и составляющих его базовых подграфов. Поскольку для того, чтобы начать вычисления в обратном ходе, нам необходимо полное завершение вычислений прямого хода, следует перейти от двух специализированных типов вычислительных блоков к одному универсальному, и построить на его основе универсальную вычислительную структуру.
Метод прогонки; СЛАУ; последовательный информационный граф.
