CC BY
32
Распознавание типов аберраций волнового фронта, соответствующих отдельным функциям Цернике, по картине функции рассеяния точки в фокальной плоскости с применением нейронных сетей
И.А. Родин1, С.Н. Хонина1-2, П.Г. Серафимович 2, С.Б. Попов12 1 Самарский национальный исследовательский университет имени академика С.П. Королёва, 443086, Россия, г. Самара, Московское шоссе, д. 34, 2 ИСОИ РАН - филиал ФНИЦ «Кристаллография и фотоника» РАН, 443001, Россия, г. Самара, ул. Молодогвардейская, д. 151
Аннотация
В работе осуществлено обучение и распознавание типов аберраций, соответствующих отдельным функциям Цернике, по картине интенсивности функции рассеяния точки с применением свёрточных нейронных сетей. Картины интенсивности функции рассеяния точки в фокальной плоскости моделировались с применением алгоритма быстрого преобразования Фурье. При обучении нейронной сети коэффициент обучения и количество эпох для да-тасета заданного размера был подобран эмпирически. Средние ошибки предсказания нейронной сети для каждого типа аберраций были получены для набора из 15 функций Цернике по датасету из 15 тысяч картин функции рассеяния точки. В результате обучения для большинства типов аберраций получены усреднённые абсолютные погрешности в диапазоне 0,012 - 0,015, однако определение коэффициента (величины) аберрации требует дополнительных исследований и данных, например, расчёта функции рассеяния точки во внефокальной плоскости.
Ключевые слова: аберрации волнового фронта, функция рассеяния точки, фокальная плоскость, быстрое преобразование Фурье, нейронные сети.
Цитирование: Родин, И.А. Распознавание типов аберраций волнового фронта, соответствующих отдельным функциям Цернике, по картине функции рассеяния точки в фокальной плоскости с применением нейронных сетей / И.А. Родин, С.Н. Хонина, П.Г. Серафимович, С.Б. Попов // Компьютерная оптика. - 2020. - Т. 44, № 6. - С. 923-930. -DOI: 10.18287/2412-6179-C0-810.
Citation: Rodin IA, Khonina SN, Serafimovich PG, Popov SB. Recognition of wavefront aberrations types corresponding to single Zernike functions from the pattern of the point spread function in the focal plane using neural networks. Computer Optics 2020; 44(6): 923-930. DOI: 10.18287/2412-6179-C0-810.
Введение
Распознавание и компенсация аберраций волнового фронта востребованы в различных приложениях, связанных с применением оптических систем от исследования космоса до улучшения зрения [1-9].
Не имея возможности прямым способом измерять фазу светового поля, приходится определять её косвенно, в том числе по измерениям интенсивности светового поля. Существуют различные подходы к решению этой задачи, однако разрабатываются и новые методы.
Одним из известных методов, обеспечивающих высокую точность определения отклонений волнового фронта на весьма значительных размерах апертур, является интерферометрия [10, 11]. Точность интерферометров, особенно гетеродинных, порядка X / 100. Однако метод имеет и существенные недостатки: трудоёмкость расшифровки интерферограмм, чувствительность измерительной аппаратуры к вибрациям, а также необходимость физического наличия эталонного волнового фронта. На начальных этапах раз-
вития оптического производства для контроля сферических поверхностей использовался теневой метод [12], однако теневые картины с трудом поддаются количественной интерпретации, а теневая установка так же, как и интерферометр, должна обладать высокой жёсткостью и защищаться от вибраций.
Метод Хартмана [13], появившийся несколько позже, отличается тем, что отклонения волнового фронта вычисляются по набору субапертур, покрывающих подлежащую исследованию область. Отклонения волнового фронта вычисляются на основе данных о трассировке лучей, прошедших через субапертуры. Дальнейшим развитием метода Хартмана явился датчик волнового фронта Шака-Хартмана [14-16]. В этом варианте датчика перенос данных об отклонениях волнового фронта в плоскость фотодетектора осуществляется путём установки линзового растра. Каждая из линз образует субапертуру, для которой усреднённо вычисляется соответствующее ей отклонение волнового фронта. Информация о фазе волнового фронта в пределах субапертуры содержится в координатах сфокусированного светового пятна. Ос-
новным преимуществом как метода Хартмана, так и датчика волнового фронта Шака-Хартмана является отсутствие необходимости использования эталонного волнового фронта. Недостатки - это чувствительность к вибрациям и изначально дискретный характер измерений. При этом неизбежно теряются данные о части поверхности волнового фронта. Для большинства производимых сейчас датчиков Шака-Хартмана количество субапертур составляет порядка 1000, что не удовлетворяет требованиям многих задач.
Для получения визуальной информации о волновом фронте напрямую, без использования косвенных измерений, можно воспользоваться методом фазового контраста с применением фильтра Цернике [17]. Основной принцип заключается в преобразовании пространственного спектра светового пучка с использованием линзы и фильтра. Введённый фазовый сдвиг создаёт распределение интенсивности в соответствии с информацией о фазе, переносимой более высокими пространственными частотами. Данный метод был успешно применён для анализа аберраций и улучшения разрешения в телескопах, при дешифровке фазо-во-кодированной информации, а также в микроскопии биологических тканей [18-20]. Нужно отметить, что данный подход требует оптической системы из двух линз (оптический коррелятор) и пространственного фильтра определённого размера. Чтобы динамически подстраивать фильтр для различных исследуемых объектов, необходимо использовать пространственный модулятор света [21], что, однако, дополнительно усложняет и удорожает оптическую систему.
Одним из инструментов описания волновых фронтов, помимо карты отклонений, являются разложения по различным базисам. Наиболее известные базисы разложения - это полиномы Цернике, а также аберрации Зайделя. Заметим, что общепринятым представлением аберраций волнового фронта, в том числе в индивидуальной оптической системе человеческого глаза, являются функции Цернике [22 -25]. Аберрационные представления являются более экономными с точки зрения объёмов данных, а также позволяют выделять особенности волновых фронтов, важные для решения конкретных задач. Непосредственное измерение аберрационных коэффициентов возможно лишь для некоторых видов аберраций. В программах обработки данных, поставляемых с датчиками Шака-Гартмана, а также с офтальмологическими аберрометрами, предусмотрено вычисление аберрационных коэффициентов Цернике [7, 8, 26, 27] на основе двумерного массива измеренных значений отклонений волнового фронта в каждой из субапертур. При этом в связи с достаточно грубой дискретизацией данных о волновом фронте вычисление аберраций высоких порядков представляет трудности.
Для прямого измерения коэффициентов разложения волнового фронта используются многопорядковые дифракционные оптические элементы (ДОЭ), со-
гласованные с набором функций Цернике [28-30], которые были успешно применены для анализа волнового фронта с небольшими аберрациями [31]. Датчики, основанные на многопорядковых ДОЭ, обеспечивают чувствительность к отклонениям волнового фронта не хуже X / 20, устойчивы к вибрациям и не требуют применения эталонных оптических элементов. Однако этот подход также имеет свои недостатки. Как правило, обеспечивается прямое измерение только модулей коэффициентов разложения, а для полного восстановления волнового фронта необходимо также измерение относительных фаз коэффициентов. В этом случае необходимо существенное усложнение многопорядкового ДОЭ за счёт дополнительных дифракционных порядков, согласованных с суперпозициями базисных функций [32], и потребуется последующая цифровая обработка.
Другая особенность разложения волнового фронта по базису Цернике состоит в ограничении на уровень аберрации. А именно, представление волнового фронта в виде линейной суперпозиции базисных функций возможно только при небольших аберрациях. При увеличении уровня (силы) аберрации зависимость становится нелинейной, и при детектировании обнаруживается вклад «посторонних» порядков [31].
От этого недостатка свободны методы, ориентированные на анализ картины распределения интенсивности, формируемой аберрированной оптической системой в одной или нескольких плоскостях. Например, по картине ФРТ в фокальной плоскости или вне фокуса. Для этого применяются итерационные [33-37] и оптимизационные [9, 38] алгоритмы, а также нейронные сети [39 -43]. Нужно отметить, что в этих работах в основном рассматривались слабые аберрации.
Цель данной работы - исследовать возможность применения нейронных сетей для решения задачи распознавания не только типа, но и уровня (величины) аберрации волнового фронта по картине ФРТ в фокальной плоскости.
Таким образом, в данной работе мы используем нейронную сеть для решения задачи регрессии [44]. В задаче регрессии мы стремимся предсказать результат непрерывного значения, такого как вероятность или цена. Эта проблема отличается от задачи классификации, где мы стремимся выбрать дискретную величину из списка классов. Нами использовалась свёр-точная нейронная сеть на основе модифицированной архитектуры нейронной сети Хсерйои [45].
1. Теоретические основы
Рассмотрим аберрированный волновой фронт в виде поля, описываемого следующим образом:
ё(г, ф) = ехр[п\1(г, ф)]. (1)
Будем считать, что фаза в (1) представима суперпозицией функций Цернике:
y(r, ф) =Х bnmZm (r, ф),
(2)
где Zm(r,ф) - функции Цернике порядка (n, m): icos (mrn)l
zm (r, ф)=AnRm (r) Г ; ^, (3)
[ sin(m<p) J
An = tJ (n +1) / % - нормировочный коэффициент, Rm (r) - радиальные полиномы Цернике [17] и bnm -коэффициенты суперпозиции.
В когерентном случае ФРТ в фокальной плоскости линзы с аберрированным волновым фронтом (1) можно рассчитать с помощью преобразования Фурье:
G(p, e)=-—x
да 2-я
xjjg (r, ф)exp
2я
-i—rp cos(e-ф)
(4)
r dr dф,
где X - длина волны излучения, / - фокусное расстояние линзы.
Рассмотрим волновой фронт (1), описываемой одной функцией Цернике (2):
gnm (r, ф) = exp [ibnmZnm (r, ф)J ;
(5)
где величина коэффициента Ьпт определяет уровень (величину) аберрации.
В табл. 1 показан вид волнового фронта (фаза) и соответствующее распределение амплитуды ФРТ в когерентном случае для различных функций Цернике при Ьпт = 1.
На рис. 1 показаны аналогичные картины ФРТ для одной и той же аберрации, но с различным значением коэффициента Ь пт
Увеличение коэффициента Ьпт в (5), что соответствует усилению аберрации, приводит к существенным проблемам при использовании датчиков Шака-Хартмана и разложении по базису функций Цернике. В первом случае происходит искажение информации из-за смещения световых пятен в области, соответствующие другим субапертурам. А во втором подходе искажение возникает из-за того, что зависимость коэффициентов разложения становится нелинейной.
Табл. 1. Соответствие картин ФРТ функциям Цернике индексами (n,m)
N; (n, m)
Вид волнового фронта (фаза)
Картина ФРТ (амплитуда, негатив)
N; (n, m)
Вид волнового фронта (фаза)
Картина ФРТ (амплитуда, негатив)
N; (n, m)
Вид волнового фронта (фаза)
Картина ФРТ (амплитуда, негатив)
i
(0, 0)
б
(2, 2)
ii
(4, -4)
2
(1, -1)
7
(3, -3)
до
i2
(4, -2)
3
(i, i)
8
(3,-i)
i3
(4, 0)
4
(2, -2)
9
(3, i)
i4
(4, 2)
5
(2, 0)
i0
(3, 3)
i5
(4, 4)
4Щ
Как видно из рис. 1, усиление аберрации в рассматриваемом подходе приводит лишь к масштабному изменению картины ФРТ.
В данной работе решалась задача распознавания не только типа отдельной аберрации из 15 вариантов (см. табл. 1), но и уровня аберрации волнового фронта (т.е. величины коэффициента Ьпт) по картине ФРТ в фокальной плоскости.
2. Выбор архитектуры нейронной сети
Для решения задачи распознавания аберраций было принято решение использовать готовую архитектуру Хсерйоп, представленную в 2015 году [45]. Отличительной особенностью этой модели является использо-
вание Depthwise separable convolution. Суть данного приема заключается в разбиении преобразований над входным тензором на каждом слое на два этапа:
1) на первом этапе тензор сворачивается с ядром размерности 1*1. Данная операция носит название "pointwise convolution";
2) на втором этапе производится стандартная свёртка. После этого результаты свёртки тензора, полученного в результате применения к входному тензору операции "pointwise convolution", со всеми фильтрами слоя суммируются и формируют выходной тензор слоя. Эта операция носит название "depthwise convolution".
Рис. 1. Картины ФРТ для аберрации (n,m)=(2,—2) с различным значением коэффициента: (а) b2,-2 = 0,5, (б) b2,-2 = 0,75, (в) b2,-2 = 1,5, (г) b2,-2 = 2
Данный приём позволяет существенно сократить количество весов в нейронной сети, что значительно сказывается на скорости обучения, необходимых для обучения ресурсах и весе предобученной модели. Таким образом, архитектура Хсерйоп представляет со-
бой оптимальный вариант, обеспечивая достаточную точность обучения, при этом требуя существенно меньше ресурсов.
Общий вид архитектуры Хсерйоп представлен на рис. 2.
Entry flow
299x299x3 images
Corn 32, 3x3, stride=2x2 ReLU_
Corn 64. 3x3
ReLU
Corn 1 xl stride=2x2
SeparableConv 128, 3x3
ReLU
SeparableConv 128, 3x3
MaxPooling 3x3, stride-2 x2
Conv 1 xl stride=2 x2
ReLU
Ж
SeparableConv 256, 3x3
ReLU
SeparableConv256, 3*3
Corn 1 xl stride=2 x2
MaxPooling 3x3, stride=2 x2 $ "
ReLU
SeparableConv 728, 3x3
ReLU
SeparableConv 728, 3x3
MaxPooling 3x3, stride=2 x2
19xl9x 728feature maps
Middle flow
19x19x728feature maps
ReLU
SeparableConv 728, 3x3
Л
ReLU _
SeparableConv 728, 3x3~
ReLU _
SeparableConv 728, 3x3~
J
19x19x728feature maps Repeated 8 times
Exit flow
19x19x728 feature maps
ReLU
SeparableConv 728, 3x3
Corn lxl stride=2 x2
Заметим, поскольку поставленная задача является задачей регрессии, а архитектура Хсерйоп разработана для решения задачи классификации, её пришлось
X
ReLU _
SeparableConv 1024, ЗхГ
I MaxPooling 3x3, stride=2 х2 \
SeparableConv 1536, 3x3
ReLU
SeparableConv 2048, 3x3
ReLU
HI
GlobalAveragePooling
2048-dimensional vectors
Optimal fully-connected layer(s)
Logistic regression
Рис. 2. Полная архитектура Xception
подвергнуть небольшим изменениям. В сути своей эти изменения сводятся к добавлению одного полносвязанного слоя для получения размерности выход-
ного тензора, равной количеству функций Цернике, рассматриваемых в данной работе (было выбрано равным 15). Для получения значения предсказанных коэффициентов было решено использовать линейную функцию активации, а также дополнить архитектуру dropout-слоем перед выходным полносвязанным слоем для улучшения качества работы.
3. Описание программной реализации
Для обучения нейронной сети было решено воспользоваться сервисом Google Colab, так как это бесплатный облачный сервис, предоставляющий широкие возможности для использования. Google Colab предоставляет Nvidia Tesla K80 c 12 гигабайтами встроенной видеопамяти DDR5 и 12 гигабайт оперативной памяти. В качестве библиотеки для машинного обучения использовалась библиотека Keras, которая представляет собой надстройку над библиотеками Deep learning4j, TensorFlow и Theano. Её достоинством можно назвать большое количество доступных для использования архитектур и предобученных моделей, высокий уровень абстракции относительно других библиотек, а также большой набор готовых инструментов для обучения и настройки необходимого окружения.
На вход нейронной сети подавались одноканаль-ные изображения размером 299*299 пикселей, примеры которых представлены в табл. 1 и на рис. 1.
4. Проведение процесса обучения и анализ результатов
Для процесса обучения был выбран оптимизатор Adam, коэффициент обучения для которого был выбран экспериментально и составил 10 ~ 4. В качестве функции потерь была выбрана средняя абсолютная ошибка. Процесс обучения вёлся поэтапно, чтобы иметь возможность прекратить его в момент, когда начинает наблюдаться эффект переобучения.
Во время тестовых процессов обучения использовался датасет с 5 тысячами изображений ФРТ, который разделялся в соотношении 4: 1 на обучающую и валидационную выборки. После датасет был расширен до 15 тысяч изображений. На датасете такого объёма количество эпох, на которых процесс обучения продолжает сходиться, составило 13. Достигнутые показатели ошибок для каждой из аберраций (MSE) и средней ошибки предсказания для всех аберраций определённого типа (MAE) приведены в табл. 2.
Как видно из приведённых в табл. 2 результатов, распознавание происходит достаточно уверенно, причём наблюдается тенденция уменьшения ошибки с увеличением индексов функций Цернике. Такое поведение можно объяснить уширением ФРТ с ростом индексов аберраций (см. табл. 1).
Нужно отметить, что при слабых аберрациях (малых значениях коэффициента) анализ отклонений волнового фронта по картине ФРТ становится за-
труднительным, поскольку при слабых аберрациях картины ФРТ слабо отличаются друг от друга и фактически представляют собой яркое фокальное пятно, свойственное идеальному волновому фронту (см. первую строку табл. 1). Эта проблема достаточно известна, и в этом случае имеет смысл использовать другой подход, например, оптическое разложение по базису функций Цернике [30-32]. В методах, основанных на анализе картин ФРТ, чтобы избежать указанных проблем, рассматривают внефокальные плоскости, где картины ФРТ уширенные и размытые [38, 43].
Табл. 2. Соответствие функций Цернике ошибкам предсказаний
N: (n,m) MAE MSE
1 (0,0) 0,033 0,021
2 (1, -1) 0,011 0,004
3 (1,1) 0,014 0,004
4 (2, -2) 0,010 0,003
5 (2,0) 0,013 0,004
6 (2,2) 0,015 0,006
7 (3, -3) 0,013 0,004
8 (3, -1) 0,011 0,004
9 (3,1) 0,011 0,004
10 (3,3) 0,013 0,005
11 (4, -4) 0,011 0,004
12 (4, -2) 0,011 0,003
13 (4,0) 0,010 0,004
14 (4,2) 0,010 0,004
15 (4,4) 0,009 0,003
В данной работе было принято решение в качестве эксперимента провести обучение на датасете из ФРТ, размытом с помощью фильтра Гаусса для увеличения информативной части изображения. Результаты для датасета, состоящего из размытых изображений, представлены в табл. 3.
Табл. 3. Соответствие функций Цернике ошибкам предсказаний на размытом датасете
N: (n, m) MAE MSE
1 (0, 0) 0,040 0,021
2 (1, -1) 0,016 0,006
3 (1, 1) 0,016 0,005
4 (2, -2) 0,013 0,004
5 (2, 0) 0,015 0,004
6 (2, 2) 0,017 0,005
7 (3, -3) 0,013 0,004
8 (3, -1) 0,012 0,004
9 (3, 1) 0,013 0,004
10 (3, 3) 0,014 0,005
11 (4, -4) 0,014 0,005
12 (4, -2) 0,012 0,004
13 (4, 0) 0,015 0,005
14 (4, 2) 0,013 0,004
15 (4, 4) 0,012 0,004
Как видно из табл. 3, размытие датасета не принесло желаемого эффекта, а только увеличило величину средних ошибок. В дальнейшем планируется рассмотреть датасет, рассчитанный во внефокальной плоскости.
Ниже приведены примеры сравнения картин ФРТ, построенных по коэффициентам из датасета, и картин ФРТ, построенных по предсказанным нейросетью коэффициентам. Поскольку датасет с размытыми изображениями показал себя хуже, показаны примеры только с неискажёнными изображениями. Результаты моделирования, а также графики истинных и предсказанных коэффициентов представлены на рис. 3 - 5.
Value 0,30
— True values — Predicted values
О
Coefficient's number
Рис. 3. Результат моделирования и коэффициенты для функции Цернике (п, т) = (3,1) с коэффициентом Ьз,1 = 0,336
Coefficimt's number Рис. 4. Результат моделирования и коэффициенты для функции Цернике (n, m) = (3,1) с коэффициентом Ьз,1 = 0,988
— True A
values
— Predicted j\
values
О 4 8 12 Coefficient's number
Рис. 5. Результат моделирования и коэффициенты для функции Цернике (n, m) = (4, - 4) с коэффициентом b4,-4 = 0,683
Как видно из приведённых результатов, обученная нейронная сеть удовлетворительно справляется с задачей классификации (определения типа), которая появилась вследствие специфически поставленной задачи регрессии. То есть, как правило, номер аберрации определяется верно, однако определение величины коэффициента происходит с заметными отклонениями. Наиболее очевидным способом решения этой проблемы является увеличение датасета. Кроме того, планируется рассмотреть датасет, рассчитанный во внефокальной плоскости.
Заключение
В рамках данной работы были смоделированы картины ФРТ в фокальной плоскости для когерентного случая и проведён процесс обучения нейронной сети для распознавания типа аберрации и её величины (коэффициента). Нужно отметить, что картины ФРТ в некогерентном случае, что более соответствует практическим приложениям исследования аберраций, будут иметь другой вид. Однако предлагаемый подход, основанный на обучении нейронной сети по некоторому набору картин, с этой точки зрения является универсальным, поэтому процедура в этом случае не изменится, хотя могут измениться результаты распознавания.
При обучении нейронной сети коэффициент обучения и количество эпох для датасета заданного размера был подобран эмпирически. Средние ошибки предсказания нейронной сети для каждого типа аберраций были получены для набора из 15 функций Цернике по датасету из 15 тысяч картин когерентных ФРТ в фокальной плоскости.
По результатам обучения можно сделать следующие выводы. Предсказание типа аберрации обеспечивается по усреднённым абсолютным погрешностям в диапазоне 0,012-0,015, что можно считать удовлетворительным. Однако предсказание коэффициента аберрации имеет заметные отклонения и требует дополнительных исследований.
Наиболее вероятным продолжением данного исследования является увеличение датасета и перенос процесса обучения на TPU для увеличения скорости обучения. Также планируется рассмотреть датасет, рассчитанный во внефокальной плоскости.
В дальнейшем будет решаться полноценная задачи регрессии для определения суперпозиции аберраций по картине ФРТ.
Благодарности
Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 19-2909054 в части, касающейся машинного обучения и нейронных сетей, а также Министерства науки и высшего образования РФ в рамках выполнения работ по Государственному заданию ФНИЦ «Кристаллография и фотоника» РАН (соглашение № 007-ГЗ/Ч3363/26) в части моделирования аберрированного волнового фронта и расчёта ФРТ.
Литература
1. Welford, W.T. Aberrations of optical systems / W.T. Welford. - Bristol, Philadelphia: Adam Hilger Press, 1986. - 284 p. - ISBN: 978-0-85274-564-9.
2. Charman, W.N. Wavefront aberrations of the eye: A review / W.N. Charman // Optometry and Vision Science. - 1991. -Vol. 68, Issue 8. - P. 574-583. - DOI: 10.1097/00006324199108000-00002.
3. Beckers, J.M. Adaptive optics for astronomy: principles, performance, and applications / J.M. Beckers // Annual Review of
Astronomy and Astrophysics. - 1993. - Vol. 31, Issue 1. -P. 13-62. - DOI: 10.1146/annurev.aa.31.090193.000305.
4. Hardy, J.W. Adaptive optics for astronomical telescopes / J.W. Hardy. - Oxford: Oxford University Press, 1998. -438 p. - ISBN: 978-0-19-509019-2.
5. Booth, M.J. Adaptive optics in microscopy / M.J. Booth // Philosophical Transactions of the Royal Society A. - 2007. - Vol. 365, Issue 1861. - P. 2829-2843. - DOI: 10.1098/rsta.2007.0013.
6. Atchison, D.A. Wavefront aberrations and their clinical application / D.A. Atchison // Clinical and Experimental Op-tometry. - 2009. - Vol. 92, Issue 3. - P. 171-172. - DOI: DOI: 10.1111/j.1444-0938.2009.00380.x.
7. Lombardo, M. Wave aberration of human eyes and new descriptors of image optical quality and visual performance / M. Lombardo, G. Lombardo // Journal of Cataract & Refractive Surgery. - 2010. - Vol. 36, Issue 2. - P. 313-320. -DOI: 10.1016/j.jcrs.2009.09.026.
8. Хорин, П. А. Анализ аберраций роговицы человеческого глаза / П.А. Хорин, С.Н. Хонина, А.В. Карсаков, С.Л. Бранчевский // Компьютерная оптика. - 2016. -Т. 40, № 6. - С. 810-817. - DOI: 10.18287/0134-24522016-40-6-810-817
9. Клебанов, Я.М. Компенсация аберраций волнового фронта в телескопах космических аппаратов с регулировкой температурного поля телескопа / Я.М. Клебанов, А.В. Карсаков, С.Н. Хонина, А.Н. Давыдов, К.А. Поляков // Компьютерная оптика. - 2017. - Т. 41, № 1. -
C. 30-36. - DOI: 10.18287/0134-2452-2017-41-1-30-36.
10. Buscher, D.F. Practical optical interferometry /
D.F. Buscher. - Cambridge: Cambridge University Press, 2015. - ISBN: 978-1-107-04217-9.
11. Optical shop testing / ed. by D. Malacara. - Hoboken, NJ: John Wiley & Sons, Inc., 2007. - 888 p. - ISBN: 978-0471-48404-2.
12. Васильев, Л.А. Теневые методы / Л.А. Васильев. - М.: Наука, 1968. - 400 с.
13. Hartmann, J. Bemerkungen über den bau und die justierung von spektrographen / J. Hartmann. - Zeitschrift für Instrumentenkunde. - 1900. - Volumen 20. - Seiten 17-27, 47-58.
14. Artzner, G. Microlens arrays for Shack-Hartmann wave-front sensors / G. Artzner // Optical Engineering. - 1992. -Vol. 31, Issue 6. - P. 1311-1322. - DOI: 10.1117/12.56178.
15. Platt, B.C. History and principles of Shack-Hartmann wavefront sensing / B.C. Platt, R. Shack // Journal of Refractive Surgery. - 2001. - Vol. 17, Issue 5. - P. S573-S577. - DOI: 10.3928/1081-597X-20010901-13.
16. Hongbin, Y. Tunable Shack-Hartmann wavefront sensor based on a liquid-filled microlens array / Y. Hongbin, Z. Guangya, C.F. Siong, L. Feiwen, W.A. Shouhua. Journal of Micromechanics and Microengineering. - 2008. - Vol. 18, Issue 10. - 105017. - DOI: 10.1088/0960-1317/18/10/105017.
17. Zernike, F. How I discovered phase contrast / F. Zernike // Science. - 1955. - Vol. 121, Issue 3141. - P. 345-349. -DOI: 10.1126/science.121.3141.345.
18. Vorontsov, M.A. Advanced phase-contrast techniques for wavefront sensing and adaptive optics / M.A. Vorontsov,
E.W. Justh, L.A. Beresnev // Proceedings of SPIE. - 2000. -Vol. 4124. - P. 98-109. - DOI: 10.1117/12.407492.
19. Daria, V.R. Phase-only optical decryption in a planar-integrated micro optics system / V.R. Daria, P.J. Rodrigo, S. Sinzinger, J. Glückstad // Optical Engineering. - 2004. -Vol. 43, Issue 10. - P. 2223-2227. - DOI: 10.1117/1.1782613.
20. Sendhil, K. Spatial phase filtering with a porphyrin derivative as phase filter in an optical image processor / K. Sendhil, C. Vijayan, M.P. Kothiyal // Optics Communications. - 2005. - Vol. 251, Issues 4-6. - P. 292-298. -DOI: 10.1016/j.optcom.2005.03.014.
21. Komorowska, K. Self-induced nonlinear Zernike filter realized with optically addressed liquid crystal spatial light modulator / K. Komorowska, A. Miniewicz, J. Parka, F. Kajzar // Journal of Applied Physics. - 2002. - Vol. 92, Issue 10. - P. 5635-5641. - DOI: 10.1063/1.1515949.
22. Born, M. Principles of optics: Electromagnetic theory of propagation, interference and diffraction of light / M. Born, E. Wolf. - 7th ed. - Cambridge: Cambridge University Press, 1999. - ISBN: 978-0-521-64222-4.
23. Roddier, N. Atmospheric wavefront simulation using Zernike polynomials / N. Roddier // Optical Engineering. -1990. - Vol. 29, Issue 10. - P. 1174-1180. - DOI: 10.1117/12.55712.
24. Neil, M.A.A. New modal wave-front sensor: a theoretical analysis / M.A.A. Neil, M.J. Booth, T. Wilson // Journal of the Optical Society of America A. - 2000. - Vol. 17, Issue 6. - P. 1098-1107. - DOI: 10.1364/JOSAA.17.001098.
25. Thibos, L.N. Standards for reporting the optical aberrations of eyes / L.N. Thibos, R.A. Applegate, J.T. Schwiegerling, R. Webb // Journal of Refractive Surgery. - 2002. - Vol. 18, Issue 5. - P. 652-660.
26. ANSI Z80.28. Methods for reporting optical aberrations of eyes. - American National Standards Institute, Inc., American National Standards for Ophthalmics, 2004.
27. Martins, A.C. Measuring ocular aberrations sequentially using a digital micromirror device / A.C. Martins, B. Vohnsen // Micromachines. - 2019. - Vol. 10, Issue 2. -117. - DOI: 10.3390/mi10020117.
28. Khonina, S.N. Decomposition of a coherent light field using a phase Zernike filter / S.N. Khonina, V.V. Kotlyar, V.A. Soifer, Y. Wang, D. Zhao // Proceedings of SPIE. -1998. - Vol. 3573. - P. 550-553. - DOI: 10.1117/12.324588.
29. Sheppard, C.J.R. Zernike expansion of pupil filters: optimization of the signal concentration factor / C.J.R. Sheppard // Journal of the Optical Society of America A. - 2015. - Vol. 32, Issue 5. - P. 928-933. - DOI: 10.1364/JOSAA.32.000928.
30. Porfirev, A.P. Experimental investigation of multi-order diffractive optical elements matched with two types of Zernike functions / A.P. Porfirev, S.N. Khonina // Proceedings of SPIE. - 2016. - Vol. 9807. - 98070E. - DOI: 10.1117/12.2231378.
31. Khonina, S.N. Wavefront aberration sensor based on a multichannel diffractive optical element / S.N. Khonina, S.V. Karpeev, A.P. Porfirev // Sensors. - 2020. - Vol. 20, Issue 14. - 3850. - DOI: 10.3390/s20143850.
32. Khonina, S.N. Zernike phase spatial filter for measuring the aberrations of the optical structures of the eye / S.N. Khonina, V.V. Kotlyar, D.V. Kirsh // Journal of Biomedical Photonics & Engineering. - 2015. - Vol. 1(2). -P. 146-153. - DOI: 10.18287/jbpe-2015-1-2-146.
33. Gerchberg, R. Phase determination for image and diffraction plane pictures in the electron microscope / R. Gerchberg, W. Saxton // Optik. - 1971. - Vol. 34. -P. 275-284.
34. Fienup, J.R. Reconstruction of an object from the modulus of its Fourier transform / J.R. Fienup // Optics Letters. -1978. - Vol. 3, Issue 1. - P. 27-29. - DOI: 10.1364/OL.3.000027.
Сведения об авторах
Родин Илья Алексеевич, студент Самарского университета. Область научных интересов: дифракционная оптика, системы распознавания изображений. E-mail: rodinilyaalexeevich@smail.com .
Хонина Светлана Николаевна, доктор физико-математических наук, профессор Самарского университета; главный научный сотрудник ИСОИ РАН - филиал ФНИЦ «Кристаллография и фотоника» РАН. Область научных интересов: дифракционная оптика, сингулярная оптика, модовые и поляризационные преобразования, оптическое манипулирование, оптическая и цифровая обработка изображений. E-mail: khonina@ipsiras.ru .
Серафимович Павел Григорьевич, доктор физико-математических наук; старший научный сотрудник ИСОИ РАН - филиал ФНИЦ «Кристаллография и фотоника» РАН. Области научных интересов: моделирование и проектирование оптических устройств, разработка и исследование программных средств распределённой и параллельной обработки крупноформатных изображений. E-mail: serp@ipsiras.ru .
Попов Сергей Борисович, доктор технических наук, ведущий научный сотрудник Института систем обработки изображений РАН, профессор Самарского университета. Области научных интересов: моделирование, разработка и исследование программных средств распределённой и параллельной обработки крупноформатных изображений; разработка алгоритмов и программного обеспечения систем технического зрения; разработка алгоритмов повышения качества цветных слабоконтрастных изображений. E-mail: sepo@ipsiras.ru .
ГРНТИ: 29.31.29, 28.23.37 Поступила в редакцию 21 сентября 2020 г. Окончательный вариант - 6 октября 2020 г.
Recognition of wavefront aberrations types corresponding to single Zernike functions from the pattern of the point spread function in the focal plane
using neural networks
I.A. Rodin1, S.N. Khonina1-2, P.G. Serafimovich 2, S.B. Popov1,2 1 Samara National Research University, 443086, Samara, Russia, Moskovskoye Shosse 34, 2IPSIRAS - Branch of the FSRC "Crystallography and Photonics " RAS, 443001, Samara, Russia, Molodogvardeyskaya 151
Abstract
In this work, we carried out training and recognition of the types of aberrations corresponding to single Zernike functions, based on the intensity pattern of the point spread function (PSF) using convolutional neural networks. PSF intensity patterns in the focal plane were modeled using a fast Fourier transform algorithm. When training a neural network, the learning coefficient and the number of epochs for a dataset of a given size were selected empirically. The average prediction errors of the neural network for each type of aberration were obtained for a set of 15 Zernike functions from a data set of 15 thousand PSF pictures. As a result of training, for most types of aberrations, averaged absolute errors were obtained in the range of 0.012 - 0.015. However, determining the aberration coefficient (magnitude) requires additional research and data, for example, calculating the PSF in the extrafocal plane.
Keywords: wavefront aberrations, point spread function, focal plane, fast Fourier transform, neural networks.
Citation: Rodin IA, Khonina SN, Serafimovich PG, Popov SB. Recognition of wavefront aberrations types corresponding to single Zernike functions from the pattern of the point spread function in the focal plane using neural networks. Computer Optics 2020; 44(6): 923-930. DOI: 10.18287/2412-6179-C0-810.
Acknowledgements: The study was carried out with the financial support of the RFBR in the framework of the scientific project No. 19-29-09054 in terms of machine learning and neural networks, as well as the Ministry of Science and Higher Education of the Russian Federation in within the framework of work under the State task of the Federal Research Center "Crystallography and Photonics" RAS (agreement No. 007-GZ / Ch3363 / 26) parts of aberrated wavefront modeling and PSF calculation.
References
[1] Welford WT. Aberrations of optical systems. Bristol, Philadelphia: Adam Hilger Press; 1986. ISBN: 978-085274-564-9
[2] Charman WN. Wavefront aberrations of the eye: A review. Optom Vis Sci 1991; 68(8): 574-583. DOI: 10.1097/00006324-199108000-00002.
[3] Beckers JM. Adaptive optics for astronomy: principles, performance, and applications. Annu Rev Astron Astro-phys 1993; 31(1): 13-62. DOI: 10.1146/annurev.aa.31.090193.000305.
[4] Hardy JW. Adaptive optics for astronomical telescopes. Oxford, Oxford University Press; 1998. ISBN: 978-0-19509019-2.
[5] Booth MJ. Adaptive optics in microscopy. Philos Trans Royal Soc A 2007; 365(1861): 2829-2843. DOI: 10.1098/rsta.2007.0013.
[6] Atchison DA. Wavefront aberrations and their clinical application. Clin Exp Optom 2009; 92(3): 171-172. DOI: 10.1111/j.1444-0938.2009.00380.x.
[7] Lombardo M, Lombardo G. Wave aberration of human eyes and new descriptors of image optical quality and visual performance. J Cataract Refract Surg 2010; 36(2): 313-320. DOI: 10.1016/j.jcrs.2009.09.026.
[8] Khorin PA, Khonina SN, Karsakov AV, Branchevskiy SL. Analysis of corneal aberration of the human eye.
Computer Optics 2016; 40(6): 810-817. DOI: 10.18287/0134-2452-2016-40-6-810-8179.
[9] Klebanov IM, Karsakov AV, Khonina SN, Davydov AN, Polyakov KA. Wave front aberration compensation of space telescopes with telescope temperature field adjustment. Computer Optics 2017; 41(1): 30-36. DOI: 10.18287/0134-2452-2017-41-1-30-36.
[10] Buscher DF. Practical optical interferometry. Cambridge: Cambridge University Press; 2015. ISBN: 978-1-10704217-9.
[11] Malacara D, ed. Optical shop testing. Hoboken, NJ: John Wiley & Sons Inc; 2007. ISBN: 978-0-471-48404-2.
[12] Vasil'ev LA. Schlieren methods. New York, NY, Jerusalem, Israel, London, UK: John Wiley & Sons; 1972.
[13] Hartmann J. Bemerkungen über den bau und die justierung von spektrographen. Zeitschrift für Instrumentenkunde 1900; 20: 17-27, 47-58.
[14] Artzner G. Microlens arrays for Shack-Hartmann wavefront sensors. Opt Eng 1992; 31(6): 1311-1322. DOI: 10.1117/12.56178.
[15] Platt BC, Shack R. History and principles ofShack-Hartmann wavefront sensing. J Refract Surg 2001; 17(5): S573-S577. DOI: 10.3928/1081-597X-20010901-13.
[16] Hongbin Y, Guangya Z, Siong CF, Feiwen L, Shouhua WA. Tunable Shack-Hartmann wavefront sensor based on a liquid-filled microlens array. J Micromech Microeng 2008; 18(10): 105017. DOI: 10.1088/09601317/18/10/105017.
[17] Zernike F. How I discovered phase contrast. Science 1955; 121(3141): 345-349. DOI: 10.1126/science.121.3141.345.
[18] Vorontsov MA, Justh EW, Beresnev LA. Advanced phase-contrast techniques for wavefront sensing and adaptive optics. Proc SPIE 2000; 4124: 98-109. DOI: 10.1117/12.407492.
[19] Daria VR, Rodrigo PJ, Sinzinger S, Glückstad J. Phase-only optical decryption in a planar-integrated micro optics system. Opt Eng 2004; 43(10): 2223-2227. DOI: 10.1117/1.1782613.
[20] Sendhil K, Vijayan C, Kothiyal MP. Spatial phase filtering with a porphyrin derivative as phase filter in an optical image processor. Opt Commun 2005; 251(4-6): 292298. DOI: 10.1016/j.optcom.2005.03.014.
[21] Komorowska K, Miniewicz A, Parka J, Kajzar F. Self-induced nonlinear Zernike filter realized with optically addressed liquid crystal spatial light modulator. J Appl Phys 2002; 92(10), 5635-5641. DOI: 10.1063/1.1515949.
[22] Born M, Wolf E. Principles of optics: Electromagnetic theory of propagation, interference and diffraction of light. 7th ed. Cambridge: Cambridge University Press; 1999. ISBN: 978-0-521-64222-4.
[23] Roddier N. Atmospheric wavefront simulation using Zernike polynomials. Opt Eng 1990; 29(10): 1174-1180. DOI: 10.1117/12.55712.
[24] Neil MAA, Booth MJ, Wilson T. New modal wave-front sensor: a theoretical analysis. J Opt Soc Am A 2000; 17(6): 1098-1107. DOI: 10.1364/JOSAA.17.001098.
[25] Thibos LN, Applegate RA, Schwiegerling JT, Webb R. Standards for reporting the optical aberrations of eyes. J Refract Surg 2002; 18(5): 652-660.
[26] ANSI Z80.28. Methods for reporting optical aberrations of eyes. American National Standards Institute Inc, American National Standards for Ophthalmics; 2004.
[27] Martins AC, Vohnsen B. Measuring ocular aberrations sequentially using a digital micromirror device. Micromachines 2019; 10(2): 117. DOI: 10.3390/mi10020117.
[28] Khonina SN, Kotlyar VV, Soifer VA, Wang Y, Zhao D. Decomposition of a coherent light field using a phase Zernike filter. Proc SPIE 1998; 3573: 550-553. DOI: 10.1117/12.324588.
[29] Sheppard CJR. Zernike expansion of pupil filters: optimization of the signal concentration factor. J Opt Soc Am A 2015; 32(5): 928-933. DOI: 10.1364/JOSAA.32.000928.
[30] Porfirev AP, Khonina SN. Experimental investigation of multi-order diffractive optical elements matched with two types of Zernike functions. Proc SPIE 2016; 9807: 98070E. DOI: 10.1117/12.2231378.
[31] Khonina SN, Karpeev SV, Porfirev AP. Wavefront aberration sensor based on a multichannel diffractive optical
element. Sensors 2020; 20(14): 3850. DOI: 10.3390/s20143850.
[32] Khonina SN, Kotlyar VV, Kirsh DV. Zernike phase spatial filter for measuring the aberrations of the optical structures of the eye. J-BPE 2015; 1(2): 146-153. DOI: 10.18287/jbpe-2015-1-2-146.
[33] Gerchberg R, Saxton W. Phase determination for image and diffraction plane pictures in the electron microscope. Optik 1971; 34: 275-284.
[34] Fienup JR. Reconstruction of an object from the modulus of its Fourier transform. Opt Lett 1978; 3(1): 27-29. DOI: 10.1364/0L.3.000027.
[35] Elser V. Phase retrieval by iterated projections. J Opt Soc Am A 2003; 20(1): 40-55. DOI: 10.1364/JOSAA.20.000040.
[36] Marchesini S. A unified evaluation of iterative projection algorithms for phase retrieval. Rev Sci Instrum 2007; 78(1): 011301. DOI: 10.1063/1.2403783.
[37] Zhang C, Wang M, Chen Q, Wang D, Wei S. Two-step phase retrieval algorithm using single-intensity measurement. Int J Opt 2018; 2018: 8643819. DOI: 10.1155/2018/8643819.
[38] Tokovinin A, Heathcote S. DONUT: measuring optical aberrations from a single extrafocal image. Publ Astron Soc Pac 2006; 118(846): 1165-1175. DOI: 10.1086/506972.
[39] Guo H, Korablinova N, Ren Q, Bille J. Wavefront reconstruction with artificial neural networks. Opt Express 2006; 14(14): 6456-6462. DOI: 10.1364/OE.14.006456.
[40] Paine SW, Fienup JR. Machine learning for im-proved image-based wavefront sensing. Opt Lett 2018; 43(6): 1235-1238. DOI: 10.1364/OL.43.001235.
[41] Rivenson Y, Zhang Y, Gunaydm H, Teng D, Ozcan A. Phase recovery and holographic image reconstruction using deep learning in neural networks. Light Sci Appl 2018; 7(2): 17141. DOI: 10.1038/lsa.2017.141.
[42] Dzyuba AP. Optical phase retrieval with the image of intensity in the focal plane based on the convolutional neural networks. J Phys Conf Ser 2019; 1368(2): 022055. DOI: 10.1088/1742-6596/1368/2/022055.
[43] Nishizaki Y, Valdivia M, Horisaki R, Kitaguchi K, Saito M, Tanida J, Vera E. Deep learning wavefront sensing. Opt Express 2019; 27(1): 240-251. DOI: 10.1364/OE.27.000240.
[44] Fischer P, Dosovitskiy A, Brox T. Image orientation estimation with convolutional networks. In Book: German Conference on Pattern Recognition. Cham: Springer; 2015: 368-378. DOI: 10.1007/978-3-319-24947-6_30.
[45] Chollet F. Xception: Deep learning with depthwise separable convolutions. Proc IEEE Conf on Comp Vis Pattern Recogn 2017: 1251-1258. DOI: 10.1109/CVPR.2017.195.
Authors' information
Ilya Alexeevich Rodin. Student of Samara National Research University. Research interests: diffractive optics, image recognition systems. E-mail: rodinilvaalexeevich@smail.com .
Svetlana Nikolaevna Khonina, Doctor of Physical and Mathematical Sciences; Professor of Samara National Research University. Main researcher of the IPSI RAS - Branch of the FSRC "Crystallography and Photonics" RAS. Research interests: diffractive optics, singular optics, mode and polarization transformations, optical manipulating, optical and digital image processing. E-mail: khonina@ipsiras.ru .
Pavel Grigorievich Serafimovich, Doctor in Physics and Mathematics; senior researcher at the IPSI RAS - Branch of the FSRC "Crystallography and Photonics" RAS. His areas of research are optics and parallel and distributed image processing. E-mail: serp@ipsiras.ru .
Sergey Borisovich Popov, Doctor in Tech. Sc.; professor of the Samara National Research University; leading researcher at the Image Processing Systems Institute of RAS. His areas of research are parallel and distributed image processing, computer vision, color image processing. E-mail: sepo@ipsiras.ru
Received September 21, 2020. The final version - October 6, 2020.
