CC BY
121
Копылов Н. А.
Санкт-Петербургский государственный университет, аспирант, nakopylov@gmail.com
Квантовый стохастический однокубитовый нейрон
КЛЮЧЕВЫЕ СЛОВА
Квантовые вычисления, квантовые нейронные сети, стохастический нейрон.
АННОТАЦИЯ
Квантовые нейронные сети (КНС) объединяют подходы квантовых и нейровычислений. Интерес к ним обусловлен способностью работать с классическими и квантовыми ресурсами, возможностью использования быстрых квантовых алгоритмов, экспоненциальной ёмкостью памяти, а также возможной ролью процессов, подобных квантовомеханическим, в работе мозга и формировании сознания.
В статье затрагиваются вопросы построения модели квантового стохастического нейрона.
Введение
Понятие «квантовые нейронные сети» относится к моделям искусственных нейронных сетей, которые используют те или иные принципы квантовых вычислений в своей работе. Среди существующих моделей можно выделить два основных класса: нейронные сети с квантовыми нейронами и модели квантовой ассоциативной памяти. Смежным направлением исследований являются попытки объяснить работу мозга с привлечением идей теории нейронных сетей и эффектов, подобных квантовомеханическим [2,5-7]. Сами понятия квантовых нейронных сетей и квантовых нейровычислений были введены Каком [4] и Ежовым с Вентурой [1,15].
Искусственные нейрон
Искусственный (формальный) нейрон — это единица обработки информации в искусственных нейронных сетях [3,12]. Модель искусственного детерминистического нейрона описывается тремя основными элементами:
1.Набором синапсов (соединений), каждый из которых характеризуется силой своего влияния на нейрон — синаптическим весом. Входной сигнал Xi синапса i, подключённого к данному нейрону, умножается на вес wi;
2.Функцией-сумматором, объединяющей (складывающей) входящие сигналы с соответствующими им весами;
3.Функцией активации (передаточной функцией), которая определяет диапазон и зависимость выходных значений нейрона от взвешенной суммы входных сигналов.
входные й.„
Рис. 1. Модель искусственного нейрона Модель стохастического нейрона
В случае стохастической модели [3,12] функция активации рассматривается с вероятностной точки зрения: нейрон может давать на выходе только два значения: 0 или 1, — каждое из которых получается с вероятностью, определяемой функцией активации Р(у)\
I 1с вероятностью Р( V 10 с вероятностью 1-РIV) Искусственные нейронные сети
Искусственные нейронные сети являются совокупностью связанных между собой формальных нейронов [3,12]. Каждый из них принимает, обрабатывает и передаёт информацию. Обычно нейроны делят на слои. В связи с тем, что существуют различные точки зрения на определение слоёв в нейронных сетях, условимся, что в качестве слоя рассматривается совокупность нейронов, а не весов связей, соединяющих соседние нейроны.
слой слой слой
Рис. 2. Схема нейронной сети прямого распространения В представленной статье рассматривается квантовый аналог сетей
прямого распространения. В сетях этого типа можно выделить три основных вида слоёв нейронов: входной, промежуточные, выходной. В сетях прямого распространения каждый слой обрабатывает некую совокупность сигналов и передаёт следующему слою результаты своей работы. Выходные сигналы последнего слоя представляют результат работы сети, таким образом, отсутствуют обратные связи между нейронами. Схематичное изображение нейронной сети прямого распространения приведено на рис. 2.
Модель квантового однокубитового нейрона
Основой предлагаемой модели искусственного стохастического нейрона является кубит, который является двухуровневой квантовой системой [11]:
} = а| 0 } +в| 1), где а и в комплексные.
Входными сигналами нейрона являются внешние управляющие воздействия - операторы вращения кубита вокруг заданной оси. Не умаляя общности, можно рассматривать вращения кубита в одной плоскости при Ф=0, что дает вектор состояния кубита, записанный с использованием углов на сфере Блоха, следующего вида [11]:
|, }=fcos(e/2)) w (sin(e/2))
Соответственно, кубит поворачивается относительно оси Oy. Оператор вращения с учетом синаптического веса Wi имеет следующий вид:
Ry (eiwi)=
cos
Sin
e^ . ewi
— Sin -
2 ) 2
eiwi) 1 eiwi)
cos -J—L
2 1 2
Для определения функции-сумматора, воспользуемся тем свойством, что вектор состояния кубита сохраняет положение после того, как на него подействовал оператор поворота, поэтому последовательное применение нескольких операторов подряд поворачивает кубит на сумму углов поворота, соответствующих операторам вращения.
В предлагаемой модели функцией активации является измерение кубита в вычислительном базисе {|0),|1)} . В соответствии с постулатами квантовой механики при измерении с вероятностью |а|2 кубит перейдёт в состояние |0) и с вероятностью |р|2=1-|а|2 — в состояние |1) . Таким образом, квантовый нейрон будет проявлять поведение, подобное поведению классического стохастического нейрона.
Важно также отметить, что согласно современным представлениям квантовомехнические процессы являются истинно случайными, благодаря чему у предлагаемой модели нейрона есть преимущество перед классическими стохастическими моделями, использующими генераторы псевдослучайных чисел в своей работе.
Решение задачи исключающего ИЛИ
Исключающее ИЛИ (XOR) — это булева функция двух аргументов. Значением функции является «истина» (то есть 1) тогда и только тогда, когда лишь один из аргументов является истинным.
Таблица 1. Таблица истинности исключающего ИЛИ
x у x XOR у
0 0 0
0 1 1
1 0 1
1 1 0
В своей работе [10] Минский показал, что классический однослойный (без скрытых слоев) перцептрон не может решить задачу исключающего ИЛИ. Однако перцептрон со скрытым слоем может решить эту задачу [12].
В представленной статье показано, что простейшая квантовая нейронная сеть прямого распространения без скрытых слоёв (персептрон) на основе предлагаемой модели нейрона может решать задачу исключающего ИЛИ. Соответствующая квантовая схема изображена на рис. 3, где Н — оператор Адамара [10]. Если синапс Xi передает значение 1 (соответствующий кубит-нейрон находится в состоянии |1)), то состояние нейрона у изменяется управляемым вращением К.(0^.), которому соответствует вес Wi. Не умаляя общности, будем читать, что для сети с двумя входами 0.=л/2. Такое значение выбрано из тех соображений, что при весах двух синапсов, равных единице, и пороговом значении, равном нулю, значение кубита будет инвертировано.
Рис. 3. Квантовая схема персептрона, решающего задачу исключающего ИЛИ
Благодаря принципам отложенного и неявного измерения [10], для удобства проведения численного эксперимента возможно заменить квантовомеханические условные операции на классические. Схема, полученная в результате преобразования представлен на рис. 4.
Рис. 4. Квантово-классическая схема персептрона
При обучении сети минимизируется среднеквадратичная ошибка,
1 m
определяемая следующей формулой: e= — gk-yk), где m — количество
2 k =—
обучающих примеров, gk — ответ, соответствующий k-му примеру, yk — выход нейронной сети. Для обновления вектора весов w используется метод градиентного спуска. Таким образом, алгоритм обучения включает в себя следующие шаги:
5.Инициализировать веса (включая пороговое значение) случайным образом на отрезке [-1;1];
6.Начальное состояние рабочего кубитаy установить в |0), применить к нему элемент Адамара и оператор вращения, отвечающий порогу;
7.Подать на вход обучающие примеры, вычислить ошибку;
8.Определить новые значения весов;
9.Повторять шаги 1—4, пока не будет достигнуто целевое значение ошибки или количество итераций не превысит заданное максимально допустимое значение.
Численный эксперимент
Численный эксперимент проведён в свободной среде GNU Octave, совместимой со средой MATLAB, с использованием схемы на рис. 4. Полученные векторы весов проверены в среде Maple подстановкой в схему, изображённой на рис. 3.
Эксперимент выполнен в двух вариантах, которые условно назовём «дискретным» и «непрерывным». В первом варианте выходом нейронной сети является состояние кубита, которое будет получено с большей вероятностью при измерении рабочего кубита [14]: так только вероятность получить при измерени |0) превышает 0,5, то выходом сети будет 0. Во втором варианте выход — непосредственно вероятность получения ¿
Обучающим набором для задачи исключающего ИЛИ является {(xi,x2;y)}= {(0,0;0),(0,1;1),(1,0;1),(1,1;0)}. Эксперимент состоит из 1000 испытаний. В каждом из них постоянная обучения п изменяется с 0,2 до 2,0 с шагом 0,2. В случае, когда количество итераций обучения превысит 500, считается, что сеть не сходится к решению. Наглядно результаты показаны на рис. 5, рис. 6 и таб. 2.
На основе данных, полученных в эксперименте, можно сделать следующие выводы:
1) предложенная модель может эффективно обучаться решению задачи исключающего ИЛИ;
2) модель ожидаемым образом обучается в среднем медленнее при малых значениях постоянной п, но в остальном слабо зависит от неё;
3) сходимость одинаково высока для всех рассмотренных значений постоянной обучения;
4) при решении задачи XOR предложенная в работе модель превосходит иные модели, в том числе с большим количеством нейронов в сети.
0.4 0.6
постоянная обучения
Рис. 5. Зависимость количества итераций обучения от постоянной п в
«дискретном» эксперименте
постоят [ая обучения
Рис. 6. Зависимость количества итераций обучения от постоянной п в «непрерывном» эксперименте
Таблица 2. Сравнение различных моделей при ц=1.
Модель Количество итераций
«Дискретная» 12
«Непрерывная» 15
Маэды с одним нейроном в посл. слое [9] 122
Маэды с тремя нейронами в посл. слое [9 50
Клас. персептрон с одним скрытым слоем [8] 648
Заключение
В статье рассмотрена модель однокубитового стохастического нейрона, который показал большую эффективность по сравнению с существующими моделями.
Возможными направлениями дальнейших исследований являются: изучение применимости предложенной модели в нейронных сетях сложной архитектуры, например, в рекуррентных; рассмотрение возможности использовать запутанность в качестве дополнительного ресурса для вычислений; возможные приложения квантовых нейронных сетей указанной модели; изучение возможности исполнения КНС на различных физических реализациях квантового компьютера.
Литература
1. Ezhov A., Ventura D. Quantum neural networks // Futur. Dir. Intell. Syst. ... / ed. Kasabov N. Heidelberg: Physica-Verlag HD, 2000. Vol. 45.
2. Hameroff S. Orchestrated Reduction of Quantum Coherence in Brain Microtubules: A Model for Consciousness // NeuroQuantology. 2007. Vol. 5, № 1.
3. Haykin S. Neural networks: a comprehensive foundation. 1st ed. Upper Saddle River, NJ, USA: Prentice Hall, 1994. P. 768.
4. Kak S. On quantum neural computing // Inf. Sci. (Ny). 1995. Vol. 83, № 3-4. P. 143-160.
5. Konishi E. Modeling Quantum Mechanical Observers via Neural-Glial Networks // Int. J. Mod. Phys. B. 2012. Vol. 26, № 9. P. 24.
6. Lee B., Liu C.Y., Apuzzo M.L.J. Quantum computing: a prime modality in neurosurgery's future. // World Neurosurg. Elsevier Inc., 2012. Vol. 78, № 5. P. 404-408.
7. Litt A. et al. Is the brain a quantum computer? // Cogn. Sci. 2006. Vol. 30, № 3. P. 593-603.
8. Lugade V. Neural Networks — A Multilayer Perceptron in Matlab [Online]. 2011. URL: http://matlabgeeks.com/tips-tutorials/neural-networks-a-multilayer-perceptron-in-matlab/.
9. Maeda M., Suenaga M., Miyajima H. Qubit neuron according to quantum circuit for XOR problem // Appl. Math. Comput. 2007. Vol. 185, № 2. P. 1015-1025.
10. Minsky M.L., Papert S. Perceptrons: An Introduction to Computational Geometry. MIT Press, 1969. P. 258.
11. Nielsen M.A., Chuang I.L. Quantum Computation and Quantum Information: 10th Anniversary Edition. 10th ed. Cambridge CB2 8RU, UK: Cambridge University Press, 2010. P. 676.
12. Rumelhart D.E., McClelland J.L. Parallel Distributed Processing: Foundations. MIT Press, 1986. P. 567.
13. Russell S. et al. Artificial intelligence: a modern approach // Vasa. Prentice Hall, 1995.
14. Душкин Р.В. Квантовые вычисления и функциональное программирование. 2014.
15. Ежов А.А. Некоторые проблемы квантовой нейротехнологии // Нейроинформатика-2003. Лекции по нейроинформатике, часть 2 / ed. Тюменцев Ю.В. Москва: МИФИ, 2003. P. 29-74.
