CC BY
22ISSN 2782-2001 Системы анализа и обработки данных том 86, № 2, 2022, с. 69-80
http://journals.nstu.ru/vestnik Analysis and data processing systems Vol. 86, No. 2, 2022, pp. 69-80
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ И ТЕЛЕКОММУНИКАЦИИ
INFORMATION
TECHNOLOGIES
AND TELECOMMUNICATIONS
УДК 004.415.2 DOI: 10.17212/2782-2001-2022-2-69-80
Возможности датчиков изображения с фотонным лавинным диодом*
Д. С. ХУДЯКОВ
630073, РФ, г. Новосибирск, пр. Карла Маркса, 20, Новосибирский государственный технический университет
khud@mail.ru
Во многих областях науки и техники существует потребность фиксации быстро протекающих процессов и явлений, зачастую происходящих в условиях недостаточной освещенности. В таких случаях возникает необходимость в использовании высокочувствительных датчиков (сенсоров) изображения. Такие датчики могут быть сконструированы на основе фотонных лавинных диодов, способных фиксировать даже одиночные фотоны. Однако создание датчиков такого типа с высокими характеристиками, в частности с высоким разрешением, сопряжено с рядом технологических проблем, поскольку они являются более сложными, чем традиционные CMOS (Complementary Metal Oxide Semiconductor) и CCD (Charge-Coupled Device) датчики. Используя новую схемотехнику, компания Canon создала первый мегапиксельный датчик изображения с фотонным лавинным диодом (Single Photon Avalanche Diode, SPAD).
В настоящей статье помимо общих вопросов, связанных с датчиками изображения с фотонным лавинным диодом, рассмотрены конструкция, работа, характеристики, особенности и возможные области применения мегапиксельного датчика SPAD Canon. В частности, обсуждаются методы подсчета фотонов и время пролета, а также динамический диапазон датчика, возможности применения датчиков для получения изображений в инфракрасном диапазоне и перспективы широкого применения датчиков SPAD в ближайшее время.
В результате можно отметить, что помимо прямого использования для получения качественных 2D-изображений, быстро протекающих в условиях недостаточного освещения процессов, такой датчик можно применять для съемки в инфракрасном диапазоне, получения объемных 3D-изображений для xReality, измерения расстояния до объектов, получения карты глубины, а также в новых для подобных устройств областях науки и техники, включая, к примеру, квантовые вычисления.
Ключевые слова: датчик, сенсор, фотодиод, фотодатчик, фотон, лавинный эффект, LiDAR (Light Detection and Ranging), 2D, 3D, xReality, машинное зрение, измерение, чувствительность, усиление, высокоскоростная съемка, глобальный затвор
*
Статья получена 22 декабря 2021 г.
ВВЕДЕНИЕ
Прежде всего стоит сказать о традиционном CMOS-датчике и современном состоянии проблемы получения цифровых изображений [1]. Очевидно, что за последние два десятилетия был достигнут значительный прогресс в базовой CMOS-технологии, особенно в том, что касается ее миниатюризации и удешевления, а также и качественных характеристик. Но то, как такой датчик преобразует свет в изображение, практически не изменилось. Поэтому рост параметров и улучшение качества получаемых изображений происходят эволю-ционно и достаточно медленно. Впрочем, некоторые характеристики, такие как разрешение, с точки зрения большинства практических задач довольно давно достигли приемлемых значений. В настоящее время наибольшее внимание уделяется повышению чувствительности датчиков: расширению динамического диапазона, снижению уровня шумов, а также другим характеристикам, напрямую связанным с качеством получаемых изображений.
В процессе получения изображения посредством традиционного CMOS-датчика отдельная ячейка (пиксель или субпиксель для цветных датчиков) поглощает фотон, электрон освобождается от химической связи и перемещается к электроду на краю пикселя, заряжая конденсатор. Схема считывания преобразует заряд, накопленный в каждой ячейке за определенное время, в напряжение. Напряжение определяет яркость этого пикселя на изображении. В рамках общего производственного процесса в одном устройстве (фотодатчике) создаются как кремниевые детекторы, так и схемы считывания. Этот процесс хорошо отлажен и оптимизирован.
Фотонный лавинный датчик имеет свои особенности и функционирует несколько иначе. Целью работы является обсуждение возможностей датчиков изображения с фотонными лавинными диодами на примере первого массово выпускаемого датчика компании Canon.
1. ДАТЧИКИ НА ОСНОВЕ ФОТОННЫХ ЛАВИННЫХ ДИОДОВ
Вообще лавинный эффект в полупроводниках широко известен. Фотодиоды, его использующие, по сути являются фотоприемниками, обеспечивающими внутреннее усиление посредством лавинного умножения (лавинного пробоя, необходимо заметить - обратимого). Рост числа участвующих в ударной ионизации носителей заряда происходит лавинообразно. Таким образом, чувствительность лавинного фотодиода в сравнении с традиционным за счет усиления сигнала увеличивается на порядки (достигая коэффициента усиления в 102.. ,103, а при определенных подходах - до 106). Особо чувствительные фотодиоды могут обеспечивать лавинный эффект при воздействии всего одного фотона, позволяя фиксировать даже такое событие. Отдельные лавинные фотодиоды, изготовление которых уже достаточно давно не представляет большой проблемы, используются в различных измерениях, в частности, в лазерных дальномерах и в оптоволоконной связи, а также в исследованиях физики элементарных частиц [2].
Однако ранее из-за серьезных конструктивных и технологических трудностей не удавалось создать качественный датчик изображения (фотоматрицу) такого типа с приемлемым разрешением. Фотонные лавинные диоды (SPAD) выдают сигнал в зависимости от количества сгенерированных импульсов,
которые они подсчитывают. Поскольку фотодиод может обнаруживать единичный фотон, каждому пикселю требуется собственная память или счетчик, а для преобразования фотона в несколько электронов требуется высокое напряжение и, следовательно, устойчивая к высокому напряжению структура с достаточными изоляционными свойствами. Такие требования неизбежно приводят к увеличению физического размера пикселей, и, как следствие, миниатюризация пикселей и увеличение их количества до сих пор оказывались труднореализуемыми. Этот вопрос дискутировался примерно полтора десятка лет назад в следующем ключе: «Достигнут ли когда-нибудь датчики на фотонных лавинных диодах разрешения в один мегапиксель?» [3]. Однако в последнее время был отмечен значительный прогресс в технологиях трехмерного стекирования кристаллов, что активизировало исследования и разработки в этой области.
В исследовании датчиков изображения с фотонным лавинным диодом получение мегапиксельного датчика изображения считалось одной из самых важных вех на протяжении более десяти последних лет. В 2020 г. известная японская компания Canon, один из мировых лидеров в производстве сложной фото-, видео-, медицинской, оргтехники и других устройств, а как следствие, в частности, и в разработке оптических датчиков объявила о разработке первого в мире датчика изображения с фотонным лавинным диодом и высоким разрешением.
2. ОСОБЕННОСТИ ДАТЧИКА SPAD CANON
Высокочувствительный датчик, разработанный Canon, преодолевает давние трудности, используя новую схемотехнику. Датчик с размерами рабочей области 10 х 10 мм реализует подход, известный как подсчет фотонов, который будет рассмотрен далее, для получения цифрового изображения с разрешением 1 мегапиксель, пригодного для решения многих практических задач.
Датчик SPAD - это датчик изображения, уникальность конструкции которого в сравнении с традиционными датчиками, к примеру CMOS, состоит в том, что каждый пиксель содержит особый электронный элемент. Когда даже одиночный фотон достигает пикселя, он как бы создает «лавину», что приводит к одному большому электрическому импульсу. Таким образом, появляется возможность генерировать несколько (много) электронов из одного фотона, что обеспечивает такие преимущества, как большая чувствительность и, что особенно интересно и не так очевидно, высокоточное измерение расстояния.
Следует отметить важный момент: датчик SPAD использует так называемый глобальный затвор, который, в отличие от широко применяемого бегущего затвора, предполагает одновременную экспозицию всех строк пикселей. Благодаря этому исключаются геометрические искажения, что наряду с высокой чувствительностью датчика является идеальным в следующих случаях:
• для фиксации движущихся объектов даже при слабом освещении (например, автоматическое распознавание номерных знаков в темное время суток в сфере контроля дорожного движения, контроль качества автоматизированных технологических процессов в сложных условиях);
• фиксации исключительно быстрых движений;
• фиксации очень непродолжительных процессов;
• получения изображений при движении или вибрациях самой камеры (различные роботы, дроны, использующие машинное зрение);
• получения изображений, а также при импульсном (пульсирующем, непостоянном) освещении.
Таким образом, быстрые производственные процессы, динамичные испытания и эксперименты, высокоскоростные процессы в научных исследованиях могут быть качественно сняты только на чувствительную матрицу с глобальным затвором.
В последние годы датчики SPAD с невысоким разрешением тем не менее находили применение в различных существующих приборах и оборудовании. В настоящее время смартфоны используют датчики приближения для весьма точного определения расстояния между устройством и физическими объектами вокруг него. В области медицины эти датчики также используются для обнаружения радиации с целью выявления рака на ранних стадиях, например, в позитронно-эмиссионной томографии [4].
Новый датчик Canon по информации, представленной в пресс-релизе компании [5], имеет по современным для обычных датчиков меркам относительно невысокое разрешение в 1 Мп, которого, однако, вполне достаточно для решения многих практических задач. Созданные датчики изображения SPAD также идеально подходят для таких приложений, как двумерные камеры, которые захватывают и обрабатывают неподвижные изображения и видео за чрезвычайно короткий промежуток времени. Эти датчики также имеют потенциал для использования в трехмерных камерах благодаря их способности получать информацию о расстоянии между ними и объектом в виде изображения. Работа датчика и эти его особенности заслуживают более подробного рассмотрения.
Время экспозиции у такого датчика может быть сокращено до 3,8 нс, при этом обеспечивается получение изображений без искажений. Кроме того, датчик способен снимать до 24 000 кадров в секунду, правда, в силу колоссального потока данных, только с ограниченным до одного бита выходным сигналом (и даже в этом случае поток данных составит порядка 24 гигабит/с), что позволяет выполнять замедленную съемку быстрого движения за чрезвычайно короткий промежуток времени. Это дает возможность увидеть и проанализировать процессы, которые неспособны фиксировать обычные системы. Такие системы фиксации изображений широко востребованы в экспериментальной физике, а также в моделировании и решении сложных технических задач.
Благодаря своей способности фиксировать в цифровом виде мелкие детали быстрых и коротких событий и явлений эта технология обладает потенциалом для использования в самых разных областях и приложениях, включая безопасный и достоверный анализ химических реакций, природных явлений (например, удары молнии, падающие предметы, повреждения при ударе и другие события, которые невозможно точно наблюдать невооруженным глазом).
Следует отметить, что во многих таких задачах до последнего времени приходилось использовать аналоговую скоростную фотографию, которая при приемлемом разрешении имеет множество ограничений и неудобна из-за низкой оперативности, сложной обработки фотоматериалов и необходимости последующей оцифровки, да и просто дороже в эксплуатации. К тому же при таком подходе к съемке требуется чрезвычайно точная синхронизация однократного срабатывания камеры с исследуемым событием, что во многих случаях крайне сложно реализовать. Серийная высокоскоростная аналоговая съемка представляет еще большую сложность и полностью не решает проблем, поскольку длина серии снимков сильно ограничена и требования к хорошей синхронизации сохраняются.
Цифровая же съемка практически лишена таких ограничений при обеспечении достаточной пропускной способности канала передачи данных между датчиком и запоминающим устройством и при высоких скоростных характеристиках запоминающего устройства. На современном уровне технологий эти проблемы вполне успешно решаются и характеристики таких систем непременно совершенствуются.
Датчик 8РЛБ также имеет высокое временное разрешение, что позволяет ему определять время, когда фотон достигает пикселя, со сверхвысокой точностью. Используя эту функцию, датчик способен измерять расстояние по времени пролета фотона. Это крайне интересно и также заслуживает отдельного рассмотрения далее.
3. МЕТОД ПОДСЧЕТА ФОТОНОВ
Как уже упоминалось, уникальная возможность определения числа отдельных фотонов открывает новые в сравнении с традиционными датчиками изображения возможности в применении фотонных лавинных датчиков. Имеет смысл рассмотреть, как реализуется этот подсчет.
В физике подсчетом фотонов называется метод, с помощью которого оптические датчики подсчитывают количество фотонных частиц, наименьшую единицу света и тем самым определяют такие параметры сигнального света, как интенсивность и распределение во времени. С обычными фотодетекторами аналоговые сигналы обнаруживаются через электрические токи и напряжения, и таким образом собираются данные об общей интенсивности светового потока (рис. 1).
Рис. 1. Принципы работы обычных фотодетекторов Fig. 1. Operation principles of conventional photodetectors
Между тем метод подсчета фотонов рассматривает световые сигналы как дискретные цифровые сигналы и может устранить помехи от электронного шума, обеспечивая высокоточное обнаружение слабых сигналов, а также позволяет дополнительно получить информацию о временном распределении светового потока (рис. 2).
Рис. 2. Принципы работы фотодетекторов, использующих метод подсчета фотонов Fig. 2. Operation principles of photodetectors using the photon counting method
Кроме того, при использовании специальной схемы обработки метод подсчета фотонов может точно определять не только количество света, но и точное время обнаружения фотона.
4. ИЗМЕРЕНИЕ ВРЕМЕНИ ПРОЛЕТА
Еще одна уникальная возможность фотонных лавинных датчиков - это возможность измерения времени пролета. Это позволяет применять метод определения расстояния между датчиком и другим объектом.
Расстояние измеряется на основе того, как быстро свет, излучаемый источником света, отражается от целевого объекта и возвращается к датчику. Поскольку свет распространяется с огромной скоростью, расчет расстояния с использованием метода измерения времени пролета должен выполняться в диапазоне от 1 нс до 1 пс. Поэтому требуется оптический датчик, способный точно реагировать на такой скоростной режим.
Датчик Canon имеет временное разрешение до 100 пс, что позволяет определять время, когда фотон достигает пикселя со сверхвысокой точностью. Благодаря этой функции датчик способен измерять расстояние по времени пролета.
При оснащении камеры, использующей датчик изображения SPAD, синхронизированным светоизлучающим устройством, способным формировать очень короткие световые импульсы, например лазером, время пролета фотона можно определять как время между импульсом света, направленным на объект, и светом, возвращающимся к датчику, и, таким образом, использовать его для определения физического расстояния между датчиком и объектом (рис. 3).
Рис. 3. Измерение времени пролета Fig. 3. Flight time measurement
Датчики изображения SPAD, использующие метод измерения времени пролета, могут быть легко установлены на различных устройствах и могут измерять информацию о глубине снимаемой сцены, включая трехмерное расстояние, с необычайно высокой точностью даже в условиях полного отсутствия освещения.
В экспериментах [6] по методу измерения расстояния со стробированием лазерного излучения погрешность оценивания расстояния путем получения трехмерного изображения составила менее 1 см в диапазоне расстояний от 0,2 до 1,6 м (рис. 4). Однако диапазон измерений можно расширить до десятков метров, изменив параметры излучения используемого 510-нанометрового лазера.
В этих экспериментах недостатком является большое время измерения - несколько десятков секунд. Это значительно больше, чем у других методов измерения дальности, но его можно легко уменьшить за счет некоторого снижения точности, изменив параметры сканирования лазера, либо увеличить его мощ-ность.
Кроме того, ожидается дальнейшее улучшение характеристик за счет внедрения встроенных микролинз [7] для повышения чувствительности. Ранее важным ограничением в большинстве подобных реализаций был датчик изображения, обычно состоящий из одного пикселя или массива размером не более 1 кп.
Рис. 4. Результаты измерения расстояния:
a - реальное 2D-изображение интенсивности; б - цветное
SD-изображение той же сцены, полученное с помощью метода измерения со стробированием
Fig. 4. Distance measurement results:
a is real-life 2D intensity image; b is 3D color image of the same scene obtained with the strobing method
Более того, благодаря высокому разрешению и высокой скорости захвата изображения датчик SPAD может точно выполнять SD-измерения расстояния в ситуациях, когда несколько объектов накладываются друг на друга, что полезно в таких сценариях, как, к примеру, измерение расстояния до беспилотных автомобилей и захват предметов. В экспериментах демонстрируется обнаружение нескольких объектов с пространственным перекрытием (для объектов с частичной прозрачностью) при расстоянии между объектами 5... 10 см.
Трехмерная пространственная информация, получаемая с помощью датчика, может использоваться для задач xReality [8] (включает в себя AR (дополненная реальность) [9], MR (смешанная реальность) [10] и VR (виртуальная реальность) [11]) и при использовании устройств, реализующих эти функции. Разработка такого датчика позволяет SD-камерам, способным распознавать информацию о глубине, обеспечивать хорошее разрешение, что, как ожидается, быстро расширит область использования таких камер в качестве «глаз» высокопроизводительных роботизированных устройств. Стоит подчеркнуть, что в данном случае речь идет об одноканальной оптико-электронной системе, которая позволяет получать информацию о глубине без использования традиционных подходов стереовидения, требующих дублирования системы получения изображения и дополнительной обработки полученной информации.
5. ДИНАМИЧЕСКИЙ ДИАПАЗОН МЕГАПИКСЕЛЬНОГО ДАТЧИКА SPAD
Конструкция датчика SPAD от Canon предусматривает наличие на нем пикселей двух типов (в равной пропорции) с несколько различающейся конструкцией и, как следствие, различной чувствительностью. Такая оригинальная конструкция позволяет использовать метод получения изображения с двойной экспозицией и с разным временем экспозиции для разных групп пикселов. Эта особенность, впрочем, не мешает использовать и традиционную одиночную экспозицию. Согласно результатам экспериментов [6] указанные датчики обеспечивают низкий уровень шума и расширенный динамический диапазон порядка 108 дБ в специальном режиме работы с двойной экспозицией, соответствующий 18 битам. Для одиночной экспозиции динамический диапазон составляет порядка 96 дБ. Вообще говоря, динамический диапазон свыше 100 дБ - это чрезвычайно высокое значение для фотодатчиков, что подтверждает следующий пример.
На рис. 5 заметно, что в режиме одиночной экспозиции фоновая сцена переэкспонирована (полностью засвечена), в то время как в режиме двойной экспозиции хорошо виден полутоновый фон сцены (рис. 6). Очевидно, что второе изображение содержит значительно больше информации.
Рис. 5. 2Б-изображение реальной сцены, снятое в режиме одиночной экспозиции
Fig. 5. 2D images of a real-life scene captured in the single exposure mode
Рис. 6. 2Б-изображение реальной сцены, снятое в режиме двойной экспозиции
Fig. 6. 2D images of a real-life scene captured in the dual exposure mode
Конечно, далеко не для каждой задачи необходим столь широкий динамический диапазон (хотя существует немало задач, где это важно, например, при
фиксации процессов, в ходе которых существенно, на порядки, меняется освещенность или возникает яркое свечение или горение исследуемых объектов). Однако эти данные показывают, что датчик SPAD от Canon можно считать во всех отношениях уникальной разработкой с высокими характеристиками.
6. ПРИМЕНЕНИЕ ДАТЧИКОВ SPAD ДЛЯ ПОЛУЧЕНИЯ ИЗОБРАЖЕНИЙ В ИНФРАКРАСНОМ ДИАПАЗОНЕ
К сожалению, в упомянутых источниках не обсуждалось применение фотонных лавинных датчиков для получения изображений в инфракрасном диапазоне, как это получается делать с помощью традиционных CMOS-датчиков. Но можно предположить, что нет особых конструктивных и технологических причин, чтобы такая возможность отсутствовала. Более того, здесь также может обнаружиться серьезное преимущество.
Специальные инфракрасные датчики стоят значительно дороже, при этом обеспечивая гораздо более низкое качество изображения, чем датчики видимого света, поскольку их чувствительность в ИК-диапазоне значительно (на 1-2 порядка) ниже. Стоимость фотонных лавинных датчиков не называлась, хотя можно предположить, что до начала массового производства она не может быть низкой или сопоставимой со стоимостью традиционных датчиков, давно выпускающихся в огромных количествах. Также очевидно, что их стоимость будет снижаться. Но поскольку фотонные лавинные датчики обладают гораздо более высокой чувствительностью, можно ожидать, что даже при сопоставимом падении их чувствительности в ИК-диапазоне они тем не менее будут гораздо более чувствительными к ИК-излучению. Этот вопрос требует дополнительных исследований.
7. ПЕРСПЕКТИВЫ ШИРОКОГО ПРИМЕНЕНИЯ ДАТЧИКОВ SPAD В БЛИЖАЙШЕЕ ВРЕМЯ
Оставляя за рамками данного обсуждения вопрос стоимости датчиков, которая, как уже отмечалось, при массовом производстве будет существенно снижаться, остановимся на оценке главного на данный момент недостатка датчиков SPAD - относительно невысокого разрешения. Это связано с существующими технологическими ограничениями на минимальный размер отдельного элемента.
С учетом совершенствования технологических процессов можно предположить, что уже в ближайшее время датчики SPAD могут применяться в системах машинного зрения, где будет вполне достаточно уже достигнутого разрешения. Если по существующей технологии изготовить датчики большего размера (со стороной несколько сантиметров), их разрешение составит десятки мегапикселей, что будет достаточным для применения в космических системах наблюдения и съемки, а также в астрономии, где в мощных телескопах как раз и используются крупные датчики.
В миниатюрных устройствах, где требуется получение изображений высокого разрешения (к примеру, в камерах смартфонов), в ближайшее время использовать датчики SPAD как основные, по видимому, не удастся. В настоящий момент для датчиков SPAD площадью в несколько квадратных миллиметров (максимум несколько десятков) характерно неприемлемо низкое по современным для таких устройств меркам разрешение (десятки килопикселей). Прогресс в этом отношении потребует времени. Однако в современных мощных моделях
смартфонов датчики такого типа успешно используются [12] как дополнительные для реализации LiDAR [13, 14] (с некоторыми особенностями). Это дает возможность осуществлять весьма точную и в разы более быструю автоматическую фокусировку, а также успешно применять сложные алгоритмы обработки изображений, использующие карту глубины снимаемой сцены с погрешностью измерения расстояний от 1 см, в том числе и при видеосъемке.
В профессиональном сегменте фото- и видеокамер использование датчиков SPAD - также ближайшая перспектива. Причем в первую очередь их может получить класс видеокамер с большим размером датчика, поскольку для видеосъемки не требуется столь высокое разрешение, как для фотокамер, даже с учетом требований к видеосъемке в разрешении 4К. Тем не менее для таких целей необходим датчик с разрешением порядка 8 Мп. Точная и быстрая автофокусировка наряду с высоким качеством изображения также является важным критерием в этом сегменте устройств.
ЗАКЛЮЧЕНИЕ
Рассмотрены конструкция и принципы функционирования фотонных лавинных диодов, а также проблемы, связанные с конструированием датчиков (матриц) высокого разрешения на основе диодов такого типа.
Подробно обсуждены особенности, характеристики и возможности новейшего датчика высокого разрешения Canon на основе фотонных лавинных диодов. Отмечено многообразие существующих и перспективных областей его применения: есть серьезные надежды на применение датчиков SPAD в еще более широком спектре технологий, включая исследование космоса, биомедицину (биовизуализацию [15]), оптическую связь и квантовую визуализацию.
В дальнейшем планируется помимо фотонных лавинных датчиков подробно рассмотреть особенности других перспективных типов датчиков и камер (в частности, пленоптических и на основе квантовых точек). Это позволит обсудить возможности их применения для новых классов задач.
СПИСОК ЛИТЕРАТУРЫ
1. Ohta J. Smart CMOS image sensors and applications. - [S. l.]: CRC Press, 2017. - 272 p.
2. Campbell J.C. Recent advances in telecommunications avalanche photodiodes // IEEE Journal of Lightwave Technology. - 2007. - Vol. 25. - P. 109-121. - DOI: 10.1109/JLT.2006.888481.
3. Charbon E. Will avalanche photodiode arrays ever reach 1 megapixel? // Proceedings of International Image Sensor Workshop (IISS 2007). - Ogunquit Maine, USA, 2007. - P. 246-249.
4. Positron emission tomography: basic sciences / D.L. Bailey, D.W. Townsend, P.E. Valk, M.N. Maisey (eds). - London: Springer, 2005. - 382 p. - DOI: 10.1007/b136169.
5. Canon develops world's first 1-megapixel SPAD image sensor // Canon Global: website. -2020, June 24. - URL: https://global.canon/en/news/2020/20200624.html (accessed: 30.05.2022).
6. Megapixel time-gated SPAD image sensor for 2D and 3D imaging applications / K. Morimoto, A. Ardelean, M.-L. Wu, A. Ulku, I.M. Antolovic, C. Bruschini, E. Charbon // Optica. - 2020. - Vol. 7, iss. 4. - P. 346-354. - DOI: 10.1364/OPTICA.386574.
7. Pavia J.M., Wolf M., Charbon E. Measurement and modeling of microlenses fabricated on single-photon avalanche diode arrays for fill factor recovery // Optics Express. - 2014. - Vol. 22 (4). -P. 4202-4213.
8. GoodieL. Get ready to hear a lot more about 'XR' // Wired: website. - 2019, January 5. - URL: https://www.wired.com/story/what-is-xr (accessed: 30.05.2022).
9. Azuma R.T. A survey of augmented reality // Presence: Teleoperators and Virtual Environments. - 1997. - Vol. 6 (4). - P. 355-385.
10.Milgram P., Kishino A.F. Taxonomy of mixed reality visual displays // IEICE Transactions on Information and Systems. - 1994. - Vol. E77-D, N 12. - P. 1321-1329.
11. Steuer J. Defining virtual reality: dimensions determining telepresence // SRCT Paper. -1993. - N 104. - P. 1-25.
12. Peterson M. iPhone 12 Pro LiDAR sensor allows for 6x faster low-light autofocus, instant AR // Applelnsider: website. - 2020, October 13. - URL: https://appleinsider.com/arti-cles/20/10/13/iphone-12-pro-lidar-sensor-allows-for-6x-faster-low-light-autofocus-instant-ar (accessed: 30.05.2022).
13. Гаращенко Д. Что такое LiDAR и почему это будущее камер // Rozetked: web-сайт. -2020, 20 мая. - URL: https://rozetked.me/articles/11175-chto-takoe-lidar (дата обращения: 30.05.2022).
14. Knight J. LiDAR vs. 3D ToF sensors - How Apple is making AR better for smartphones // Gadget Hacks: website. - 2020, January 01. URL: https://ios.gadgethacks.com/news/lidar-vs-3d-tof-sensors-apple-is-making-ar-better-for-smartphones-0280778 (accessed: 30.05.2022).
15. Single-photon avalanche diode imagers in biophotonics: review and outlook / C. Bruschini, H. Homulle, I.M. Antolovic, S. Burri, E. Charbon // Light: Science and Applications. - 2019. -Art. 87. - DOI: 10.1038/s41377-019-0191-5.
Дмитрий Сергеевич Худяков, доцент кафедры автоматики Новосибирского государственного технического университета. Основное направление научных исследований -цифровая обработка сигналов. E-mail: khud@mail.ru
Dmitry Sergeevich Khudyakov, associate professor at the Department of Automation, Novosibirsk State Technical University. The main field of his scientific research is digital signal processing. E-mail: khud@mail.ru
DOI: 10.17212/2782-2001-2022-2-69-80 Capabilities of image sensors with a photonic avalanche diode *
D.S. KHUDYAKOV
Novosibirsk State Technical University, 20 K. Marx Prospekt, Novosibirsk, 630073, Russian Federation
khud@mail.ru Abstract
In many fields of science and technology there is a need to record fast running processes and phenomena, often occurring in low light conditions. In such cases, there is a need to use highly sensitive image sensors. Such sensors can be constructed on the basis of photon avalanche diodes capable of capturing even single photons. However, creating this type of sensor with high performance, in particular, with high resolution, presents a number of technological challenges, as they are more complex than traditional CMOS (Complementary Metal-Oxide-Semiconductor) and CCD (Charge-Coupled Device) sensors. Using recent advances and new circuitry, Canon created the first megapixel image sensor with a photon avalanche diode (Single Photon Avalanche Diode, SPAD).
In this article, in addition to general issues related to image sensors with photon avalanche diode, the design, operation, characteristics, features and possible applications of Canon's SPAD megapixel sensor are discussed. In particular, the methods of photon counting and time-of-flight are discussed, as well as the dynamic range of the sensor, the possibilities of sensor application for imaging in the infrared range, and the prospects for wide application of SPAD sensors in the near future.
As a result, it can be noted that in addition to direct use for obtaining high-quality 2D-images of fast processes running in low light conditions, such a sensor can be used for taking images in the infrared range, to obtain 3D-images for xReality, measuring the distance to objects,
*
Received 22 December 2021.
obtaining a depth map, as well as in areas of science and technology that are new for such devices, including, for example, quantum computing.
Keywords: sensor, photodiode, photosensor, photon, avalanche effect, LiDAR (Light Detection and Ranging), 2D, 3D, xReality, machine vision, measurement, sensitivity, amplification, high-speed imaging, global shutter
REFERENCES
1. Ohta J. Smart CMOS image sensors and applications. CRC Press, 2017. 272 p.
2. Campbell J. C. Recent advances in telecommunications avalanche photodiodes. IEEE Journal of Lightwave Technology, 2007, vol. 25, pp. 109-121. DOI: 10.1109/JLT.2006.888481.
3. Charbon E. Will avalanche photodiode arrays ever reach 1 megapixel? Proceedings of International Image Sensor Workshop (IISS 2007), Ogunquit Maine, USA, 2007, pp. 246-249.
4. Bailey D.L., Townsend D.W., Valk P.E., Maisey M.N., eds. Positron emission tomography: basic sciences. London, Springer, 2005. 382 p. DOI: 10.1007/b136169.
5. Canon develops world's first 1-megapixel SPAD image sensor. Canon Global: website, 2020, June 24. Available at: https://global.canon/en/news/2020/20200624.html (accessed 30.05.2022).
6. Morimoto K., Ardelean A., Wu M.-L., Ulku A., Antolovic I.M., Bruschini C., Charbon E. Megapixel time-gated SPAD image sensor for 2D and 3D imaging applications. Optica, 2020, vol. 7, iss. 4, pp. 346-354. DOI: 10.1364/OPTICA.386574.
7. Pavia J.M., Wolf M., Charbon E. Measurement and modeling of microlenses fabricated on single-photon avalanche diode arrays for fill factor recovery. Optics Express, 2014, vol. 22 (4), pp. 4202-4213.
8. Goodie L. Get ready to hear a lot more about 'XR'. Wired: website, 2019, January 5. Available at: https://www.wired.com/story/what-is-xr (accessed 30.05.2022).
9. Azuma R.T. A survey of augmented reality. Presence: Teleoperators and Virtual Environments, 1997, vol. 6 (4), pp. 355-385.
10. Milgram P., Kishino A.F. Taxonomy of mixed reality visual displays. IEICE Transactions on Information and Systems, 1994, vol. E77-D, no. 12, pp. 1321-1329.
11. Steuer J. Defining virtual reality: dimensions determining telepresence. SRCT Paper, 1993, no. 104, pp. 1-25.
12. Peterson M. iPhone 12 Pro LiDAR sensor allows for 6x faster low-light autofocus, instant AR. AppleInsider website, 2020, October 13. Available at: https://appleinsider.com/arti-cles/20/10/13/iphone-12-pro-lidar-sensor-allows-for-6x-faster-low-light-autofocus-instant-ar (accessed 30.05.2022).
13. Garashchenko D. Chto takoe LiDAR i pochemu eto budushchee kamer [What LiDAR is and why it is the future of smartphone cameras]. Rozetked: website, 2020, May 20. (In Russian). Available at: https://rozetked.me/articles/11175-chto-takoe-lidar (accessed 30.05.2022).
14. Knight J. LiDAR vs. 3D ToF sensors - How Apple is making AR better for smartphones. Gadget Hacks: website, 2020, January 01. Available at: https://ios.gadgethacks.com/news/lidar-vs-3d-tof-sensors-apple-is-making-ar-better-for-smartphones-0280778 (accessed 30.05.2022).
15. Bruschini C., Homulle H., Antolovic I.M., Burri S., Charbon E. Single-photon avalanche diode imagers in biophotonics: review and outlook. Light: Science and Applications, 2019, art. 87. DOI: 10.1038/s41377-019-0191-5.
Для цитирования:
Худяков Д. С. Возможности датчиков изображения с фотонным лавинным диодом // Системы анализа и обработки данных. - 2022. - № 2 (86). - С. 69-80. - DOI: 10.17212/2782-20012022-2-69-80.
For citation:
Khudyakov D.S. Vozmozhnosti datchikov izobrazheniya s fotonnym lavinnym diodom [Capabilities of image sensors with a photonic avalanche diode] // Sistemy analiza i obrabotki dannykh = Analysis and Data Processing Systems, 2022, no. 2 (86), pp. 69-80. DOI: 10.17212/2782-2001-2022-2-69-80.
ISSN2782-2001, http://journals.nstu.ru/vestnik Analysis and data processing systems Vol. 86, No 2, 2022, pp. 69-80
