CC BY
15
НАУЧНО-ТЕХНИЧЕСКИИ ВЕСТНИК ИНФОРМАЦИОННЫХ ТЕХНОЛОГИИ, МЕХАНИКИ И ОПТИКИ ноябрь-декабрь 2019 Том 19 № 6 ISSN 2226-1494 http://ntv.itmo.ru/
SCIENTIFIC AND TECHNICAL JOURNAL OF INFORMATION TECHNOLOGIES, MECHANICS AND OPTCS November-December 2019 Vol. 19 No 6 ISSN 2226-1494 http://ntv.itmo.ru/en/
ИНШОРМАЦИОННЫХ ТЕХНОЛОГИЙ, МЕХАНИКИ И ОПТИКИ
УДК 004.932 doi: 10.17586/2226-1494-2019-19-6-1004-1012
МЕТОД ПРОГРАММНОЙ КОРРЕКЦИИ АБЕРРАЦИОННЫХ ИСКАЖЕНИЙ ИЗОБРАЖЕНИЯ В МИКРОСКОПИИ СТРУКТУРИРОВАННОГО ОСВЕЩЕНИЯ
Ф.М. Иночкин^, Н.Р. Белашенковa
a Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация
b Санкт-Петербургский политехнический университет Петра Великого, Санкт-Петербург, 195251, Российская Федерация Адрес для переписки: fedor.inochkin@gmail.com Информация о статье
Поступила в редакцию 19.08.19, принята к печати 05.10.19 Язык статьи — русский
Ссылка для цитирования: Иночкин Ф.М., Белашенков Н.Р. Метод программной коррекции аберрационных искажений изображения в микроскопии структурированного освещения // Научно-технический вестник информационных технологий, механики и оптики. 2019. Т. 19. № 6. С. 1004-1012. doi: 10.17586/2226-1494-2019-19-6-1004-1012
Аннотация
Предмет исследования. Исследована проблема снижения качества восстановления изображения в сверхразрешающей микроскопии структурированного освещения при наличии расфокусировки и аберрационных искажений изображения. Метод. Для повышения качества восстановления предлагается ввести предварительную программную компенсацию расфокусировки и аберраций с реконструкцией модели функции рассеяния точки системы, формируемой на основе теории фурье-оптики и результата предварительной калибровки системы. Предложен способ автоматической адаптации модели функции рассеяния точки к величине расфокусировки по регистрируемым системой изображениям, основанный на свойстве частичной избыточности входных данных в микроскопии структурированного освещения. Основной результат. Предложенные технические решения позволили снизить уровень искажений восстанавливаемого изображения для систем с аберрационными искажениями и неизвестной расфокусировкой до уровня, соответствующего применению микрообъектива с дифракционно-ограниченным качеством. В вычислительных экспериментах метод характеризуется 3-4-кратным снижением максимальной амплитуды искажений восстанавливаемого изображения при величине аберраций, характерной для коммерчески доступных микрообъективов. Практическая значимость. Результаты исследования могут быть применены для повышения качества восстановления изображений в сверхразрешающих микроскопах структурированного освещения, а также позволяют повысить экономическую эффективность систем за счет применения неспециализированных объективов при сохранении высокого качества результирующего изображения. Ключевые слова
дифракционный предел, реконструкция изображения, моделирование функции рассеяния точки, преобразование Фурье,
сверхразрешающая микроскопия
Благодарности
Работа выполнена в Университете ИТМО при финансовой поддержке Министерства науки и высшего образования Российской Федерации (проект № 074-11-2018-004).
doi: 10.17586/2226-1494-2019-19-6-1004-1012
DIGITAL IMAGE ABERRATION CORRECTION TECHNIQUE FOR STRUCTURED
ILLUMINATION MICROSCOPY F.M. Inochkinab, N.R. Belashenkova
a ITMO University, Saint Petersburg, 197101, Russian Federation
b Peter the Great St. Petersburg Polytechnic University, Saint Petersburg, 195251, Russian Federation Corresponding author: fedor.inochkin@gmail.com Article info
Received 19.08.19, accepted 05.10.19 Article in Russian
For citation: Inochkin F.M., Belashenkov N.R. Digital image aberration correction technique for structured illumination microscopy. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2019, vol. 19, no. 6, pp. 1004—1012 (in Russian). doi: 10.17586/2226-1494-2019-19-6-1004-1012
Abstract
Subject of Research. The paper presents research of image restoration quality decrease for the super-resolution structured illumination microscopy in case of defocus and aberrations affecting resulting image. Method. In order to improve restoration
image quality, we propose image preprocessing procedure for compensation of defocus and aberrations along with point spread function reconstruction, based on Fourier optics theory and preliminary system calibration. We also propose a technique for automatic point spread function model adaptation to a defocus value by means of acquired images analysis, taking into account input data redundancy of structured illumination microscopy. Main Results. The proposed technique provides opportunity to reduce reconstructed image artifacts for systems with aberrations and unknown defocus to the same level as can be achieved with the diffraction-limited optics. Obtained simulation results demonstrate three-four-fold artifact amplitude decrease for reconstructed images for systems with aberrations, that can be expected for commercially-available objectives. Practical Relevance. Research results are applicable for image restoration quality improvement in super-resolution structured illumination microscopes, and also decrease the cost of new systems by means of non-specific optics without sacrificing high quality of resulting image. Keywords
diffraction limit, image restoration, point spread function simulation, Fourier transform, super-resolution microscopy Acknowledgements
The research is carried out at ITMO University under financial support of the Ministry of Science and Higher Education of the Russian Federation (project No. 074-11-2018-004).
Введение
Сверхразрешающая микроскопия структурированного освещения является перспективным методом исследования микроструктур природного и техногенного происхождения, позволяющим преодолеть дифракционный предел объектива микроскопа с максимально достижимым двукратным увеличением эквивалентной числовой апертуры системы [1-3]. По сравнению с другими методами сверхразрешающей микроскопии [4, 5], метод структурированного освещения характеризуется высокой скоростью работы, возможностью работы в режимах флюоресценции и отражения, относительной простотой реализации при использовании современных пространственных модуляторов света на основе микрозеркальных матриц [6]. Кроме того, в сочетании с нелинейными эффектами флюоресценции данный метод позволяет получить теоретически неограниченное повышение разрешения [7, 8].
Результирующее изображение в методе структурированного освещения формируется путем цифровой обработки множества регистрируемых системой изображений объекта с помощью специализированных алгоритмов реконструкции изображения [1, 9-12]. Одной из проблем, возникающих в связи с восстановлением изображений в методе структурированного освещения, является появление искажений результирующего изображения при наличии аберраций микрообъектива и отклонение функции рассеяния точки (ФРТ) от идеальной дифракционной. В связи с этим многие ведущие производители оптических компонентов для микроскопии выпускают специализированные версии микрообъективов для сверхразрешения с улучшенными характеристиками, в частности, обладающими симметричными ФРТ1. Применение таких микрообъективов может быть не всегда оправдано, учитывая их высокую стоимость, а также возможность программной коррекции ФРТ системы путем деконволюции. Существенная роль процедуры деконволюции в обеспечении высокого качества результирующего изображения для методов сверхразрешения также отмечается в работах [11, 12]. В то же время применение деконволюции для задачи сверхразрешения сопряжено с необходимостью определения реальной ФРТ системы, что представляет определенную трудность, особенно учитывая возможную расфокусировку изображения, а также появление дополнительных искажений на восстанавливаемом изображении в случае недостаточно точного определения ФРТ.
В настоящей работе рассматривается процедура реконструкции изображения в методе структурированного освещения с применением предварительной деконволюции регистрируемых системой изображений. При этом ФРТ системы предлагается аппроксимировать математической моделью, основанной на теории фурье-оптики и адаптируемой к фактической величине расфокусировки регистрируемого изображения. Фиксированные параметры модели, описывающие аберрации системы, предлагается определять однократно в процессе предварительной калибровки, а величину расфокусировки предлагается определять по изображениям со структурированным освещением в процессе реконструкции результирующего изображения с помощью разработанного алгоритма.
Метод структурированного освещения
В основе метода структурированного освещения лежит идея смещения области пространственно-частотного спектра объекта, находящегося за дифракционным пределом микрообъектива, в область более низких пространственных частот, пропускаемых объективом системы. Данный эффект достигается путем пространственной модуляции освещения исследуемого объекта колебанием высокой частоты. Для обеспечения возможности однозначного решения задачи реконструкции изображения модулирующее колебание
1 Objective lenses designed to provide the highest quality point spread functions for super-resolution imaging [Электронный ресурс]. URL: https://www.microscope.healthcare.nikon.com/products/optics/super-resolution-series (дата обращения 26.07.2019).
формируется при различных фазовых сдвигах (от 2-х до 4-х значений фаз) и различных углах поворота (например, 0 и 90°).
Рассмотрим математическую модель формирования изображения со сверхразрешением по методу структурированного освещения. Для упрощения изложения ограничимся одномерной моделью сигнала и плоским объектом. Предположим, что объект освещается гармоническим колебанием с частотой ю', амплитудой т, при трех значениях фазы колебания: 0, п/2, п. Не умаляя общности, будем считать, что колебание имеет единичную постоянную составляющую. Тогда фурье-образы изображений, формируемых микроскопом при данных фазовых сдвигах шаблона освещения, представляются в следующем виде (без учета влияния шума и дискретизации):
^о(ю) = [-Кд(ю) + mFQ(ю + ю') + mFQ(ю - ю')^(ю),
^п/2(ю) = [^д(ю) + imFQ(ю + ю') - imFQ(ю - ю')^(ю),
^п(ю) = [^д(ю) - mFQ(ю + ю') - mFQ(ю - ю')^(ю),
где ^о, ^„/2, Fп - фурье-образы изображений, соответствующие фазовому сдвигу модуляции освещения на 0, п/2, п соответственно, ю — переменная пространственной частоты, FQ — фурье-образ объекта, Fh — оптическая передаточная функция (ОПФ). Каждое из изображений содержит информацию о трех составляющих фурье-образа объекта, которые требуется оценить в процессе реконструкции результирующего изображения. Назовем их условно низкочастотной — FQ(ю), среднечастотной — FQ(ю-ю'), а высокочастотной — FQ(ю+ю'). Введем дополнительно следующие обозначения:
Fд(ю) = ^п(ю) - Fо(ю)]/(2m), Fz(ю) = ^п(ю) + Fо(ю)]/2,
Заметим, что Fй(ю) = 0 для значений ю > ют, где ют — предельная частота для данной системы. В связи с этим будем искать оценки составляющих фурье-образа объекта в виде произведения с Fft. Данные оценки могут быть получены аналитическим образом:
F¿'(ю) = FQ(ю)Fh(ю) = Fs(ю),
Fм(ю) = FQ(ю - ю'^(ю) = Fд(ю) + г^„/2(ю) - Fs(ю)), Fя'(ю) = FQ(ю + ю'^(ю) = Fд(ю) - г^„/2(ю) - Fs(ю)),
(1)
где Fi', Fм', Fн — искомые оценки составляющих фурье-образа объекта. Далее реконструируемое изображение со сверхразрешением может быть сформировано путем смещения фурье-образов полученных оценок среднечастотной и высокочастотной составляющих в соответствующие им области фурье-образа реконструируемого изображения, выполнения обратного преобразования Фурье и опционального суммирования с низкочастотной составляющей. Предельная пространственная частота реконструируемого изображения равна (ю' + ют). Заметим, что вследствие смещения фурье-образов составляющих в процессе реконструкции, ОПФ системы проявляются различным образом на каждой из трех составляющих реконструируемого изображения. Особенно существенно данное обстоятельство проявляется в случае искажения оптической системой фазово-частотной характеристики изображения, что обуславливает предпочтительное применение специализированных объективов с симметричными ФРТ для задач сверхразрешения. Для снижения влияния искажения ОПФ может быть применен метод деконволюции, однако применение деконволюции требует достаточно точного определения ФРТ системы.
Адаптируемая к расфокусировке модель ФРТ
Существенной составляющей предлагаемой процедуры восстановления изображения является реконструкция модели ФРТ системы, формируемой по результатам предварительной калибровки и адаптируемой к расфокусировке изображения. Математическая модель ФРТ основана на теории фурье-оптики [13] и представляется следующим выражением:
й(х,у) =
^ \р(Хр,ур)ещ>\-1 "2Л [ххр + уур]|dxpdyp
(2)
где (х, у) — координаты точки в плоскости изображения, (хр, ур) — координаты точки в плоскости выходного зрачка оптической системы, Р(хр, ур) - зрачковая функция, X — длина волны, Я — расстояние от плоскости выходного зрачка до плоскости изображения.
Для идеальной безаберрационной оптической системы с круговой апертурой зрачковая функция описывается единичным кругом на декартовой плоскости:
2
РгСеа1(хр, Ур) -
|1,Хр2 + Ур2 < (Б/2)2 ( 0,хр2 + ур2 > (Б/2)2'
где Б — диаметр зрачка. Соответствующая ФРТ для безаберрационной системы описывается функцией Эйри:
Ьлггу(Х'У) =
' кБ2\ И1(кОг/2К)
1кй2\
кБг/2Я
где к = 2лЛ, 11 — функция Бесселя первого рода, г = (х2 + у2)1/2. При наличии аберраций зрачковая функция позволяет моделировать искажения волнового фронта с помощью комплексного множителя:
/ 2п \
Р(хр,Ур) = Ргс1еакхрур)ехрг г — Щхр,ур)\, (3)
где Ж — функция искажения волнового фронта в декартовых координатах. Из теории фурье-оптики известно, что при разложении функции искажения волнового фронта в базисе полиномов Цернике величину расфокусировки определяет один из коэффициентов разложения, а именно, при полиноме со степенью (п = 2, т = 0) (здесь и далее используется нотация Нолла). Данный коэффициент предлагается оценивать автоматически по изображениям со структурированным освещением с помощью предлагаемого далее алгоритма. Остальные коэффициенты разложения предлагается оценивать однократно при предварительной калибровке системы.
2
Оценка величины расфокусировки
Ключевым элементом предлагаемого технического решения является возможность оценки величины расфокусировки изображения по регистрируемым системой изображениям, что обеспечивается частичной избыточностью данных во входном наборе изображений со структурированным освещением. Частичная избыточность данных следует из того факта, что среднечастотная, высокочастотная и низкочастотная составляющие восстанавливаемого изображения имеют частичное перекрытие на фурье-плоскости. В том случае, если объект является плоским, а ФРТ системы определена точно и полностью скомпенсирована в пределах перекрываемых участков фурье-плоскости, данные участки фурье-образов должны совпадать. Это свойство избыточности данных ранее уже исследовалось авторами и позволило, например, снизить число фазовых сдвигов шаблона освещения до двух на каждое направление для плоских объектов вместо полного набора из трех фазовых сдвигов [14]. Также, используя данное свойство, представляется возможной оценка ФРТ системы по набору изображений плоского объекта со структурированным освещением. Однако в том случае, если объект не является плоским (что на практике представляет наибольший интерес), низкочастотная составляющая содержит информацию об объекте вне плоскости фокусировки, в то время как среднечастотная и высокочастотная составляющие, вследствие резкого затухания модуляции освещения при расфокусировке, выделяют информацию об объекте лишь в пределах тонкого среза объекта вблизи плоскости фокусировки [15]. В связи с этим обстоятельством, частотный диапазон области соответствия составляющих реконструируемого изображения для объемных объектов существенно сужается и смещается в область высоких частот. По результирующей области фурье-плоскости представляется затруднительным провести полную оценку ФРТ. Однако при наличии модели ФРТ, ограничивающей область допустимых решений задачи оценки, представляется возможным оценить часть параметров данной модели (например, величину расфокусировки в модели, описанной в предыдущем разделе), исходя из критерия совпадения соответствующих областей фурье-образа низкочастотной, среднечастотной и высокочастотной составляющих восстанавливаемого изображения.
Для реализации данной идеи предлагается следующий алгоритм вычисления критерия качества восстановления изображения при заданной величине расфокусировки.
Шаг 1. Вычислить ФРТ системы по формулам (2)-(3) при заданной величине расфокусировки.
Шаг 2. Провести деконволюцию исходного набора изображений, приняв за ФРТ результат шага 1.
Шаг 3. Провести реконструкцию изображения со сверхразрешением по среднечастотной и высокочастотной составляющим, полученным по формуле (1), используя в качестве исходных изображений результат деконволюции на шаге 2.
Шаг 4. Вычислить свертку реконструированного на шаге 3 изображения с ядром фильтра Ир, выделяющего заданную узкую полосу частот изображения.
Шаг 5. Вычислить свертку низкочастотной составляющей с ядром фильтра Ир.
Шаг 6. Вычислить значение критерия как нормированный коэффициент корреляции результатов свертки, полученных на шагах 4 и 5.
Оценку величины расфокусировки предлагается определять итерационно, например, с помощью методов численной оптимизации, приняв за значение оптимизируемого функционала результат работы предложенного алгоритма.
В качестве метода деконволюции на шаге 2 предлагается использовать метод Винера. Ядро фильтра Ир, используемого на шагах 4 и 5, следует строить таким образом, чтобы выделить узкие полосы частот на изображении, расположенные вблизи границы разрешающей способности системы и вне областей наложения составляющих фурье-образа, полученных при различных ориентациях модулирующего колебания. В качестве основы для данного ядра могут быть использованы идеальные полосовые фильтры на основе функции отсчетов 8ш(х)/х и Jl(x)/x. Нормировка на шаге 6 требуется для того, чтобы скомпенсировать различие в амплитудах низкочастотной составляющей и реконструированного изображения.
Примеры изображений и их фурье-образов, полученных на различных шагах алгоритма, приведены на рис. 1.
а б в г
Рис. 1. Примеры изображений формируемых предложенных алгоритмов: исходное изображение без структурированного освещения (а), реконструированное изображение — шаг 3 (б), результат фильтрации реконструированного изображения — шаг 4 (в), результат фильтрации низкочастотной составляющей — шаг 5 (г). Верхний ряд — изображение, нижний ряд — модуль фурье-образа. Размеры изображений 300 х 300 пикселей
Оценка параметров модели ФРТ
Для оценки фиксированных параметров модели ФРТ предлагается зарегистрировать несколько изображений точечного излучателя с различной величиной расфокусировки и оценить параметры модели, как наилучшим образом описывающие полученный набор данных. Параметрами модели ФРТ являются вектор коэффициентов полиномов Цернике, описывающий поле искажений волнового фронта (C), а также параметр дифракционного ограничения системы (q). Параметр q определяет предельную частоту изображения и связан с относительным отверстием оптической системы M, шагом пикселяp и длиной волны X соотношением q = Mp/X. Задача решается методом численной оптимизации функционала:
- i N \
(С, q) = arg min ^ X iiQi -[m,H(C, q, X, Уг, d) + ЬЩ ,
C q, mh bh yb dt i=l
где (С, q) — параметры модели ФРТ (определены выше), Q; — матрица г-го изображения точечного излучателя, N — количество входных изображений, H — матрица модельного изображения точечного излучателя при заданных параметрах, — яркостный коэффициент, Ьг — яркость (смещение) фона, (хг, у) — координаты центра изображения точечного излучателя, di — коэффициент расфокусировки изображения, индекс i обозначает номер входного изображения, (С, q) — искомые оценки параметров модели ФРТ. Эмпирическим путем было установлено [16], что данная задача хорошо решается простым численным методом оптимизации, аналогичным GZ1 [17], с адаптивно изменяющимся в процессе оптимизации шагом. Недостатком примененного метода оптимизации является относительно низкое быстродействие - на типовом современном компьютере решение формируется приблизительно за 30-60 с при использовании 3-х входных изображений. Поскольку решение данной задачи требуется лишь в процессе калибровки, быстродействие алгоритма не
является существенной проблемой. Пример работы алгоритма на реальной системе проиллюстрирован на рис. 2. В данном эксперименте использовался микрообъектив с увеличением 40 и числовой апертурой 0,6, в качестве модели точечного излучателя использовались флуоресцентные частицы.
Рис. 2. Пример реконструкции функции рассеяния точки: одно из входных изображений точечного объекта (а),
реконструированное изображение (б), реконструированное поле искажений волнового фронта (в). Изображения функции рассеяния точки представлены с усиленным контрастом колец, размеры изображений: 128 х 128 пикселей (а), 512 х 512 пикселей (б), 256 х 256 пикселей (в)
Моделирование работы метода реконструкции изображения
На рис. 3 приведен пример реконструкции изображения по методу структурированного освещения в сочетании с предварительной деконволюцией при различных ФРТ. Исходные изображения со структурированным освещением получены путем вычислительного эксперимента. Частота модуляции структурированного освещения равна половине предельной частоты моделируемой оптической системы (коэффициент увеличения предельной частоты равен 1,5) и составляет 8 пикселей результирующего изображения. Моделируемая ФРТ содержит аберрационные искажения волнового фронта в виде единичных коэффициентов при полиномах Цернике со степенями (п = 2, т = 0 — «расфокусировка») и (п = 3, т = -1 — «кома»). Введение аберрации типа «кома» в моделируемый волновой фронт позволяет продемонстрировать артефакты реконструкции, характерные для микрообъективов с несимметричными ФРТ, которые представляют наибольшую проблему для применения метода структурированного освещения. К исходным изображениям добавлен шум со среднеквадратическим отклонением (СКО) 0,2 % от пикового значения сигнала.
в
г
Рис. 3. Пример реконструкции изображения: изображение без обработки (а), реконструкция без деконволюции (б), с деконволюцией при дифракционной (в) и фактической (г) функциях рассеяния точки. Фактическая функция рассеяния точки представлена во вставке в верхнем ряду. В нижнем ряду приведены увеличенные фрагменты соответствующих изображений верхнего ряда. Размеры изображений в верхнем ряду 300 х 300 пикселей, в нижнем ряду — 80 х 80 пикселей
Таким образом, предварительное применение деконволюции (рис. 3, в, г) позволяет повысить разрешающую способность результирующего изображения, причем вне зависимости от того, учитываются аберрации или нет. Однако вследствие наличия аберраций, на реконструированных изображениях (рис. 3, б, в) наблюдаются артефакты — ложные темные очертания вертикальных линий. Отметим также, что вследствие несимметричности моделируемой ФРТ, ложные очертания линий также несимметричны, что затрудняет анализ реконструированного изображения. При условии достаточно точного определения ФРТ системы (рис. 3, г) предварительная деконволюция позволяет не только повысить разрешающую способность, но также устранить артефакты реконструируемого изображения.
На рис. 4 приведены примеры зависимостей коэффициента корреляции (К), полученного в результате работы выше предложенного алгоритма, и амплитуды артефактов реконструируемого изображения (А) от величины коэффициента расфокусировки (й), демонстрирующие работоспособность предложенного технического решения. Результаты получены методом вычислительного эксперимента для двух моделей ФРТ — дифракционной и такой же модели ФРТ, которая использована в эксперименте на рис. 3. В последнем случае исходное изображение получено при расфокусировке. Амплитуда артефактов в проводимых экспериментах определялась как наибольшее абсолютное значение разности между изображением, смоделированном и реконструированном при дифракционной ФРТ (с применением в деконволюции такой же ФРТ), и изображением, полученном при условиях данной точки экспериментальной зависимости. Используемый в экспериментах диапазон коэффициента расфокусировки приблизительно соответствует достижимой точности фокусировки изображения путем визуального наблюдения. Представленные на рис. 4 зависимости имеют симметричное продолжение в области отрицательных значений коэффициента расфокусировки.
0 12 0 12
й Й
Рис. 4. Зависимости нормированного коэффициента корреляции (К) и амплитуды артефактов (А) от коэффициента расфокусировки (й) для исходного изображения, полученного при дифракционной функции рассеяния точки (а),
при наличии расфокусировки и комы (б)
Результаты на рис. 4 показывают хорошее соответствие амплитуды артефактов и нормированного коэффициента корреляции, вычисленного с помощью предложенного алгоритма. Максимум значения коэффициента соответствует величине расфокусировки исходного изображения. Амплитуда артефактов для изображения, реконструированного по методу структурированного освещения без применения деконволю-ции, составляет 7,8, что соответствует амплитуде артефактов, вызванных шумом с СКО 1 %. Доверительный интервал оценки нормированного коэффициента корреляции для данного изображения при доверительной вероятности 0,95 и СКО шума 1 % составляет 3 х 10-3. Учитывая количественные значения коэффициента корреляции и амплитуды артефактов на рис. 4, при данном уровне шума следует ожидать наибольший эффект от применения предложенного метода в виде снижения амплитуды артефактов приблизительно в 3-4 раза по сравнению с результатом восстановления, который мог бы быть получен при отсутствии предварительной деконволюции или при некорректно определенной величине расфокусировки.
Заключение
Деконволюция позволяет повысить качество восстановления изображений в сверхразрешающей микроскопии структурированного освещения при условии хорошего соответствия реальной функции рассеяния точки системы и ее модели, используемой в процедуре деконволюции. Достичь необходимой точности оценки функции рассеяния точки позволяет сочетание предварительной калибровки системы и последующей адаптации параметров ее модели по регистрируемым данным. При условии наличия достаточного уровня избыточности в регистрируемых данных, обеспечиваемой принципом структурированного освещения, такую адаптацию можно осуществить с помощью предложенного алгоритма.
Наиболее существенным недостатком предложенного решения является необходимость обеспечения высокого отношения сигнал-шум, особенно при предельных величинах коэффициента повышения разрешения. Данный недостаток является свойством метода структурированного освещения при проекции
модулирующего колебания посредством того же микрообъектива, что используется для формирования изображения. Данный недостаток может быть устранен с помощью специализированных методов снижения шумов, например, метода длительного накопления сигнала. При этом в рамках одного сеанса наблюдений представляется возможным провести однократную оценку параметров модели функции рассеяния точки системы по длительно регистрируемому сигналу, а затем лишь использовать полученную модель при условии незначительно изменяющейся расфокусировки в течение данного сеанса наблюдений.
Отметим также, что при незначительной модификации предложенного алгоритма представляется возможной автоматическая калибровка и других параметров системы, влияющих на результат реконструкции в методе структурированного освещения, в частности, начальной фазы колебания, модулирующего освещение объекта.
Литература
1. Gustafsson M.G.L. Surpassing the lateral resolution limit by a factor of two using structured illumination microscopy // Journal of Microscopy. 2000. V. 198. N 2. P. 82-87. doi: 10.1046/j.1365-2818.2000.00710.x
2. Kner P., Chhun B., Griffis E.R., Winoto L., Gustafsson M.G.L. Super-resolution video microscopy of live cells by structured illumination // Nature Methods. 2009. V. 6. N 5. P. 339-342. doi: 10.1038/nmeth.1324
3. Shroff S.A., Fienup J.R., Williams D.R. Lateral superresolution using a posteriori phase shift estimation for a moving object: experimental results // Journal of the Optical Society of America A: Optics and Image Science, and Vision. 2010. V. 27. N 8. P. 1770-1782. doi: 10.1364/J0SAA.27.001770
4. Schermelleh L., Heintzmann R., Leonhardt H. A guide to superresolution fluorescence microscopy // Journal of Cell Biology. 2010. V. 190. N 2. P. 165-175. doi: 10.1083/jcb.201002018
5. Zheng G., Horstmeyer R., Yang C. Wide-field, high-resolution Fourier ptychographic microscopy // Nature Photonics. 2013. V. 7. N 9. P. 739-745. doi: 10.1038/nphoton.2013.187
6. Dan D., Lei M., Yao B., Wang W., Winterhalder M., Zumbusch A., Qi Y., Xia L., Yan S., Yang Y., Gao P., Ye T., Zhao W. DMD-based LED-illumination Super-resolution and optical sectioning microscopy // Scientific Reports. 2013. V. 3. N 1. P. 1116. doi: 10.1038/srep01116
7. Gustafsson M.G. Nonlinear structured-illumination microscopy: wide-field fluorescence imaging with theoretically unlimited resolution // Proceedings of the National Academy of Sciences of the United States of America. 2005. V. 102. N 37. P. 1308113086. doi: 10.1073/pnas.0406877102
8. Rego E.H., Shao L., Macklin J.J., Winoto L., Johansson G.A., Kamps-Hughes N., Davidson M.W., Gustafsson M.G.L. Nonlinear structured-illumination microscopy with a photoswitchable protein reveals cellular structures at 50-nm resolution // Proceedings of the National Academy of Sciences of the United States of America. 2012. V. 109. N 3. P. E135-E143. doi: 10.1073/pnas.1107547108
9. Müller M., Mönkemöller V., Henning S., Hübner W., Huser T. Open-source image reconstruction of super-resolution structured illumination microscopy data in ImageJ // Nature Communications. 2016. V. 7. P. 10980. doi: 10.1038/ncomms10980
10. Lal A., Shan C., Xi P. Structured illumination microscopy image reconstruction algorithm // IEEE Journal on Selected Topics in Quantum Electronics. 2016. V. 22. N 4. P. 50-63. doi: 10.1109/JSTQE.2016.2521542
11. Zhang Y., Lang S., Wang H., Liao J., Gong Y. Super-resolution algorithm based on Richardson-Lucy deconvolution for three-dimensional structured illumination microscopy // Journal of the Optical Society of America A: Optics and Image Science, and Vision. 2019. V. 36. N 2. P. 173-178. doi: 10.1364/J0SAA.36.000173
12. Zhou X., Lei M., Dan D., Yao B., Yang Y., Qian J., Chen G., Bianco P.R. Image recombination transform algorithm for superresolution structured illumination microscopy // Journal of Biomedical Optics. 2016. V. 21. N 9. P. 096009. doi: 10.1117/1.JB0.21.9.096009
13. Goodman J.W. Introduction to Fourier optics. Roberts and Company Publishers, 2005. 491 p.
14. Inochkin F.M., Pozzi P., Bezzubik V.V., Belashenkov N.R. Increasing the space-time product of super-resolution structured
References
1. Gustafsson M.G.L. Surpassing the lateral resolution limit by a factor of two using structured illumination microscopy. Journal of Microscopy, 2000, vol. 198, no. 2, pp. 82-87. doi: 10.1046/j.1365-2818.2000.00710.x
2. Kner P., Chhun B., Griffis E.R., Winoto L., Gustafsson M.G.L. Super-resolution video microscopy of live cells by structured illumination. Nature Methods, 2009, vol. 6, no. 5, pp. 339-342. doi: 10.1038/nmeth.1324
3. Shroff S.A., Fienup J.R., Williams D.R. Lateral superresolution using a posteriori phase shift estimation for a moving object: experimental results. Journal of the Optical Society of America A: Optics and Image Science, and Vision, 2010, vol. 27, no. 8, pp. 1770-1782. doi: 10.1364/J0SAA.27.001770
4. Schermelleh L., Heintzmann R., Leonhardt H. A guide to super-resolution fluorescence microscopy. Journal of Cell Biology, 2010, vol. 190, no. 2, pp. 165-175. doi: 10.1083/jcb.201002018
5. Zheng G., Horstmeyer R., Yang C. Wide-field, high-resolution Fourier ptychographic microscopy. Nature Photonics, 2013, vol. 7, no. 9, pp. 739-745. doi: 10.1038/nphoton.2013.187
6. Dan D., Lei M., Yao B., Wang W., Winterhalder M., Zumbusch A., Qi Y., Xia L., Yan S., Yang Y., Gao P., Ye T., Zhao W. DMD-based LED-illumination Super-resolution and optical sectioning microscopy. Scientific Reports, 2013, vol. 3, no. 1, pp. 1116. doi: 10.1038/srep01116
7. Gustafsson M.G. Nonlinear structured-illumination microscopy: wide-field fluorescence imaging with theoretically unlimited resolution. Proceedings of the National Academy of Sciences of the United States of America, 2005, vol. 102, no. 37, pp. 1308113086. doi: 10.1073/pnas.0406877102
8. Rego E.H., Shao L., Macklin J.J., Winoto L., Johansson G.A., Kamps-Hughes N., Davidson M.W., Gustafsson M.G.L. Nonlinear structured-illumination microscopy with a pho-toswitchable protein reveals cellular structures at 50-nm resolution. Proceedings of the National Academy of Sciences of the United States of America, 2012, vol. 109, no. 3, pp. E135-E143. doi: 10.1073/pnas.1107547108
9. Müller M., Mönkemöller V., Henning S., Hübner W., Huser T. Open-source image reconstruction of super-resolution structured illumination microscopy data in ImageJ. Nature Communications, 2016, vol. 7, pp. 10980. doi: 10.1038/ncomms10980
10. Lal A., Shan C., Xi P. Structured illumination microscopy image reconstruction algorithm. IEEE Journal on Selected Topics in Quantum Electronics, 2016, vol. 22, no. 4, pp. 50-63. doi: 10.1109/JSTQE.2016.2521542
11. Zhang Y., Lang S., Wang H., Liao J., Gong Y. Super-resolution algorithm based on Richardson-Lucy deconvolution for three-dimensional structured illumination microscopy. Journal of the Optical Society of America A: Optics and Image Science, and Vision, 2019, vol. 36, no. 2, pp. 173-178. doi: 10.1364/J0SAA.36.000173
12. Zhou X., Lei M., Dan D., Yao B., Yang Y., Qian J., Chen G., Bianco P.R. Image recombination transform algorithm for superresolution structured illumination microscopy. Journal of Biomedical Optics, 2016, vol. 21, no. 9, pp. 096009. doi: 10.1117/1.JB0.21.9.096009
13. Goodman J.W. Introduction to Fourier optics. Roberts and Company Publishers, 2005, 491 p.
14. Inochkin F.M., Pozzi P., Bezzubik V.V., Belashenkov N.R. Increasing the space-time product of super-resolution structured
illumination microscopy by means of two-pattern illumination // Proceedings of SPIE. 2017. V. 10333. P. 103330K. doi: 10.1117/12.2271835
15. Mertz J., Kim J. Scanning light-sheet microscopy in the whole mouse brain with HiLo background rejection // Journal of Biomedical Optics. 2010. V. 15. N 1. P. 016027. doi: 10.1117/1.3324890
16. Inochkin F., Kruglov S., Bronshtein I. Accurate 3D location estimation of point sources in single-sensor optical systems by means of wavefront phase retrieval and calibration // Proc. 2017 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (EIConRus). 2017. P. 672-677. doi: 10.1109/EIConRus.2017.7910646
17. Черноруцкий И.Г. Методы оптимизации: компьютерные технологии. СПб.: БХВ-Петербург, 2011. 384 с.
Авторы
Иночкин Федор Михайлович — инженер, Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация; ассистент, Санкт-Петербургский политехнический университет Петра Великого, Санкт-Петербург, 195251, Российская Федерация, Scopus ID: 57188665365, ORCID ID: 0000-0002-2155-0736, fedor.inochkin@gmail.com
Белашенков Николай Романович — кандитат физико-математических наук, начальник департамента, Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация, Scopus ID: 6701468198, ORCID ID: 0000-0002-9889-1117, belashenkov@gmail.com
illumination microscopy by means of two-pattern illumination. Proceedings of SPIE, 2017, vol. 10333, pp. 103330K. doi: 10.1117/12.2271835
15. Mertz J., Kim J. Scanning light-sheet microscopy in the whole mouse brain with HiLo background rejection. Journal of Biomedical Optics, 2010, vol. 15, no. 1, pp. 016027. doi: 10.1117/1.3324890
16. Inochkin F., Kruglov S., Bronshtein I. Accurate 3D location estimation of point sources in single-sensor optical systems by means of wavefront phase retrieval and calibration. Proc. 2017 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (EIConRus), 2017, pp. 672-677. doi: 10.1109/EIConRus.2017.7910646
17. Chernorutskii I.G. Optimization methods: computer technologies. St. Petersburg, BHV Publ., 2011, 384 p. (in Russian)
Authors
Fedor M. Inochkin — Engineer, ITMO University, Saint Petersburg, 197101, Russian Federation; Assistant, Peter the Great St. Petersburg Polytechnic University, Saint Petersburg, 195251, Russian Federation, Scopus ID: 57188665365, ORCID ID: 0000-0002-2155-0736, fedor.inochkin@gmail.com
Nickolai R. Belashenkov — PhD, Head of R&D Department, ITMO University, Saint Petersburg, 197101, Russian Federation, Scopus ID: 6701468198, ORCID ID: 0000-0002-9889-1117, belashenkov@gmail.com
