Сверхвысокоскоростная цветная визуализация с однопиксельными детекторами в условиях низкой освещенности

Содержание

1. Введение

Сверхвысокоскоростная визуализация в условиях низкой освещенности представляет собой критически важную задачу в таких областях, как биофотоника, микрофлюидика и материаловедение. Традиционные пиксельные сенсоры (CCD/CMOS) сталкиваются с фундаментальным компромиссом между скоростью и чувствительностью. В данной статье представлен прорывной метод, использующий однопиксельные детекторы в сочетании с вычислительным призрачным изображением и высокоскоростной RGB LED-матрицей для достижения видеосъемки с частотой 1.4 МГц и потенциальной полнодиапазонной частотой кадров до 100 МГц, даже в условиях низкой освещенности.

2. Методология

2.1. Принцип однопиксельной визуализации

Однопиксельная визуализация (SPI) заменяет пространственное разрешение измерением временной последовательности. Известный паттерн света освещает объект, а единственный высокочувствительный «ведерочный» детектор измеряет общую интенсивность отраженного или прошедшего света. Путем корреляции серии известных паттернов освещения с соответствующими измерениями «ведерочного» детектора изображение объекта может быть вычислительно восстановлено.

2.2. Модуляция RGB LED-матрицы

Ключевым нововведением является использование специальной RGB LED-матрицы в качестве пространственного модулятора света. Эта матрица может переключать паттерны освещения на микросекундных скоростях, что значительно превосходит возможности традиционных цифровых микрозеркальных устройств (DMD) или жидкокристаллических пространственных модуляторов света (LC-SLM), ограниченных скоростями в кГц.

2.3. Схема вычислительного призрачного изображения

Система использует схему вычислительного призрачного изображения (CGI). Паттерны освещения предопределены (например, случайные или паттерны Адамара) и известны алгоритму восстановления. Сигнал $B_i$ «ведерочного» детектора для $i$-го паттерна $P_i(x,y)$ задается формулой: $$B_i = \int\int O(x,y) \cdot P_i(x,y) \, dx\,dy + \text{шум}$$ где $O(x,y)$ — отражательная/пропускательная способность объекта. Изображение восстанавливается путем решения обратной задачи, часто с использованием таких методов, как сжатое зондирование для недодискретизированных данных.

3. Технические детали и математическая формулировка

Восстановление изображения можно представить как задачу линейной алгебры. Пусть $\mathbf{b}$ — вектор из $M$ измерений «ведерочного» детектора, $\mathbf{o}$ — векторизованное $N$-пиксельное изображение, а $\mathbf{A}$ — матрица измерений размером $M \times N$, где каждая строка представляет собой развернутый паттерн освещения. Прямая модель имеет вид: $$\mathbf{b} = \mathbf{A}\mathbf{o} + \mathbf{n}$$ где $\mathbf{n}$ — шум. Для случая $M < N$ (сжатое зондирование) восстановление решает задачу: $$\hat{\mathbf{o}} = \arg\min_{\mathbf{o}} \|\mathbf{b} - \mathbf{A}\mathbf{o}\|_2^2 + \lambda \Psi(\mathbf{o})$$ где $\Psi(\mathbf{o})$ — регуляризатор, способствующий разреженности (например, $\ell_1$-норма в преобразованном домене, таком как вейвлет). Использование RGB-матрицы вводит три таких уравнения (для каналов R, G, B), что позволяет осуществлять цветную визуализацию.

4. Экспериментальные результаты и данные

4.1. Визуализация высокоскоростного пропеллера

Ключевой демонстрацией стала визуализация быстро вращающегося пропеллера. Система успешно захватила четкие видеопоследовательности с частотой 1.4 миллиона кадров в секунду, визуализируя динамику движения лопастей, которую невозможно увидеть с помощью стандартных высокоскоростных камер при аналогичных ограничениях по освещенности. Это подтверждает способность метода фиксировать не повторяющиеся, уникальные сверхбыстрые события.

4.2. Работа в условиях низкой освещенности

Благодаря использованию лавинных фотодиодов, работающих в режиме счета одиночных фотонов (SPAD), в качестве «ведерочного» детектора, эффективность детектирования системы была кардинально повышена. Это позволило четко восстанавливать изображения в условиях крайне низкой освещенности, расширив границы возможного для высокоскоростной съемки при слабом свете. Архитектурное преимущество SPI — сбор всего света на один чувствительный детектор — было убедительно доказано как превосходящее распределение небольшого количества фотонов по многим пикселям в CCD/CMOS.

5. Аналитическая структура и пример использования

Пример: Наблюдение транзиентной клеточной динамики. Рассмотрим применение этой системы SPI для наблюдения волн ионов кальция в нейронах — быстрого, слабого и не повторяющегося события. Традиционная sCMOS-камера может потребовать интенсивного, повреждающего освещения для получения полезного сигнала на высокой скорости. Схема SPI работала бы следующим образом: 1) RGB LED-матрица проецирует последовательность высокоскоростных, низкоинтенсивных структурированных подсветок на культуру нейронов. 2) Одиночный SPAD собирает все флуоресцентные фотоны, испускаемые в ответ. 3) Используя известную последовательность паттернов и данные о времени срабатывания SPAD, вычислительно восстанавливается высокоскоростное видео с низкой освещенностью, показывающее распространение кальциевой волны, минимизируя фотоповреждение.

6. Преимущества, ограничения и критический анализ

Ключевая идея: Данная работа — не просто инкрементальное увеличение скорости; это смена парадигмы, которая отделяет скорость визуализации от технологии детектора. Переместив узкое место по скорости на легко масштабируемую LED-матрицу, авторы создали путь к МГц-визуализации, обходя фундаментальные ограничения схем считывания CCD/CMOS и механики DMD.

Логическая цепочка: Аргументация убедительна: 1) Высокая скорость требует быстрой модуляции (решено с помощью LED). 2) Низкая освещенность требует максимального сбора света (решено с помощью «ведерочного» детектирования). 3) Объединить их через вычислительное призрачное изображение. Эксперимент с пропеллером является идеальным, осязаемым доказательством концепции.

Сильные стороны и недостатки: Сильные стороны монументальны: беспрецедентное произведение скорости на светочувствительность, цветовые возможности и относительная простота. Недостатки столь же критичны. Зависимость от вычислительного восстановления — палка о двух концах; она делает возможным «волшебство», но вносит задержку и требует значительных вычислительных мощностей для видео в реальном времени. Текущая система, вероятно, имеет ограниченное пространственное разрешение по сравнению с количеством пикселей современных сенсоров. Кроме того, как и во всех CGI, производительность ухудшается при движении сцены во время последовательности одного паттерна, что является проблемой для самых быстрых событий.

Практические выводы: Для исследователей непосредственным шагом является применение этого подхода с LED-матрицей для любых задач, связанных со слабыми, быстрыми явлениями — например, биолюминесценцией, диагностикой плазмы или квантовой визуализацией. Для разработчиков следующим рубежом является создание специализированных микросхем (ASIC) для алгоритма восстановления с низкой задержкой в реальном времени, чтобы раскрыть потенциал истинного МГц-видео. Упоминание в статье детекторов одиночных фотонов является ключевым; сочетание этого с развивающимися методами квантовой корреляции может довести чувствительность до абсолютного предела.

7. Будущие применения и направления исследований

• Биомедицинская визуализация: Визуализация динамики органелл, кровотока в капиллярах или нейронной активности в живой ткани в реальном времени с низкой фотоповреждаемостью.
• Промышленный контроль: Мониторинг высокоскоростных производственных процессов (например, лазерная сварка, работа микрофлюидных чипов) в условиях сложного освещения.
• Научные исследования: Изучение химических реакций, разрушения материалов или физики плазмы в условиях низкой освещенности или опасных сред.
• Направления исследований: 1) Повышение пространственного разрешения за счет усовершенствованного дизайна паттернов и алгоритмов восстановления. 2) Сокращение вычислительной задержки для обратной связи в реальном времени. 3) Расширение спектрального диапазона за пределы видимого света (УФ, ИК). 4) Исследование протоколов с квантовым усилением для еще более низких уровней освещенности, как в пионерских работах по квантовому призрачному изображению.

8. Ссылки

1. Zhao, W., Chen, H., Yuan, Y., et al. "Ultra-high-speed color imaging with single-pixel detectors under low light level." arXiv:1907.09517 (2019).
2. Shapiro, J. H. "Computational ghost imaging." Physical Review A, 78(6), 061802 (2008).
3. Gibson, G. M., Johnson, S. D., & Padgett, M. J. "Single-pixel imaging 12 years on: a review." Optics Express, 28(19), 28190-28208 (2020).
4. Boyd, R. W., et al. "Quantum ghost imaging through turbulent atmosphere." In Quantum Communications and Quantum Imaging (Vol. 5161, pp. 200-209). SPIE (2004).
5. National Institute of Standards and Technology (NIST). "Single-Photon Detectors." https://www.nist.gov/programs-projects/single-photon-detectors (Дата обращения: Предоставляет контекст по технологии SPAD).
6. Isola, P., Zhu, J. Y., Zhou, T., & Efros, A. A. "Image-to-image translation with conditional adversarial networks." Proceedings of the IEEE conference on computer vision and pattern recognition (2017). (Приведен как пример мощной вычислительной структуры визуализации/обработки).