低光環境下使用單像素探測器實現超高速彩色成像

1. 引言

喺低光條件下進行超高速成像，係生物光子學（例如觀察細胞動力學）同微流體等領域嘅關鍵挑戰。傳統嘅像素化傳感器（如CCD同CMOS）面臨住幀率同靈敏度之間嘅根本性取捨。高速型號需要強烈照明，但咁樣可能會損壞精細樣本。本文提出一種突破性方法，利用單像素成像（SPI）結合快速RGB LED陣列，喺低光條件下實現1.4 MHz幀率嘅視頻成像，從而繞過傳統傳感器嘅限制。

2. 方法論與系統設計

核心創新在於將計算鬼影成像原理同高速調製源結合。

2.1 單像素成像嘅核心原理

SPI唔係直接從空間上解析圖像。相反，佢使用一系列已知嘅結構化光圖案（例如來自LED陣列）去照射物體。一個單一、高靈敏度嘅「桶狀」探測器（例如光電倍增管或單光子雪崩二極管）收集每個圖案嘅總反射或透射光強度。圖像係從呢一系列標量測量值同已知圖案中計算重建出嚟嘅。

2.2 RGB LED陣列調製器

關鍵嘅使能硬件係一個定制嘅RGB LED陣列，能夠以高達100 MHz嘅全範圍幀率生成結構化照明圖案。呢個取代咗速度較慢嘅空間光調製器（SLM），例如數字微鏡器件（DMD），後者通常限制喺幾十kHz。LED嘅快速切換允許快速圖案投影，直接實現兆赫級嘅成像速度。

2.3 信號檢測與重建

為咗低光操作，使用單光子探測器（SPD）作為桶狀探測器，提供接近理想嘅檢測效率。基於計算鬼影成像嘅重建算法，根據一系列測量值$B_i$同已知圖案矩陣$P_i(x, y)$，求解物體嘅反射率/透射率矩陣$O(x, y)$：$B_i = \sum_{x,y} P_i(x, y) \cdot O(x, y) + \text{noise}$。如果測量次數少於像素數量，可以應用壓縮感知等技術。

3. 實驗設置與結果

3.1 高速螺旋槳成像

系統嘅能力通過對高速旋轉螺旋槳進行成像嚟展示。1.4 MHz嘅幀率成功捕捉到螺旋槳嘅運動而冇運動模糊，呢種情況喺同等低光場景下使用傳統高速相機係唔可能嘅。呢個直接、具體地驗證咗系統嘅超高速成像性能。

圖表描述（隱含）： 重建圖像嘅時間序列，顯示螺旋槳葉片喺連續微秒級幀之間清晰、離散嘅位置，證明咗有效嘅時間分辨率。

3.2 使用單光子探測器嘅低光性能

通過集成單光子探測器，系統嘅靈敏度大幅提升，能夠喺極度缺乏光子嘅水平下進行成像。本文將此與光子時間拉伸（PTS）技術進行對比，指出雖然PTS亦使用單像素探測器，但佢並唔會固有地提高靈敏度，因為佢只係將空間信息編碼到時間中。鬼影成像方法配合其桶狀探測器，從架構上最大化咗光收集。

性能概要

幀率： 1.4 MHz（已演示視頻）
調製率： 高達100 MHz（LED陣列潛力）
檢測： 實現單光子靈敏度
彩色能力： 基於RGB LED嘅彩色成像

4. 技術分析與數學框架

圖像重建根本上係一個逆問題。對於$N$次測量同一個分辨率為$M \times M$像素嘅圖像，過程可以表述為求解$\mathbf{b} = \mathbf{A}\mathbf{o} + \mathbf{n}$，其中：

$\mathbf{b}$係桶狀探測器測量值嘅$N \times 1$向量。
$\mathbf{o}$係代表扁平化圖像嘅$M^2 \times 1$向量。
$\mathbf{A}$係$N \times M^2$測量矩陣，每一行係一個扁平化嘅照明圖案。
$\mathbf{n}$代表噪聲。

當$N << M^2$時，使用壓縮感知算法（例如基於$L_1$-範數最小化）：$\hat{\mathbf{o}} = \arg\min_{\mathbf{o}} \|\mathbf{b} - \mathbf{A}\mathbf{o}\|_2^2 + \lambda \|\Psi\mathbf{o}\|_1$，其中$\Psi$係稀疏化變換（例如小波），$\lambda$係正則化參數。使用RGB陣列將此擴展到彩色，係通過對紅、綠、藍通道進行獨立測量/調製嚟實現。

5. 分析框架：核心見解與評論

核心見解： 呢項工作唔單止係速度上嘅漸進提升；佢係一個戰略性嘅迂迴策略，繞過咗限制CMOS/CCD傳感器嘅半導體物理。通過將空間分辨率（由計算處理）同光收集（由單個最佳化探測器處理）解耦，作者利用咗探測器可以同時做到快速同靈敏嘅唯一領域。真正嘅天才之處在於選擇RGB LED陣列作為空間光調製器。唔同於里程碑式單像素相機工作（例如萊斯大學嘅研究）中使用嘅DMD，LED可以喺納秒級速度切換，直接攻擊SPI嘅傳統瓶頸。呢個反映咗計算成像喺其他地方見到嘅範式轉變，例如神經輻射場（NeRF），其中場景表示從直接捕捉轉移到基於學習嘅模型重建。

邏輯流程與優勢： 邏輯無懈可擊：1）將速度-靈敏度取捨確定為核心問題。2）選擇SPI，因為其架構上嘅靈敏度優勢。3）確定調製器速度為新瓶頸。4）用快速調製器（LED陣列）替換慢速調製器（DMD）。5）用經典高速目標（螺旋槳）進行驗證。優勢好明顯：喺低光下實現兆赫級幀率係前所未有嘅。 使用彩色RGB LED係一種實用且有效嘅多光譜成像解決方案，比光譜掃描方法更直接。

缺陷與關鍵差距： 然而，本文迴避咗一啲重大嘅實際障礙。首先，需要已知、重複嘅圖案意味住佢目前唔適合不可預測、非靜止嘅場景，除非配備自適應圖案生成——喺呢啲速度下係一個重大嘅計算挑戰。其次，雖然桶狀探測器好靈敏，但總光量仍然受光源限制。對遠處嘅微弱、快速移動物體進行成像仍然係個問題。第三，重建算法對於1.4 MHz實時高分辨率視頻嘅延遲同計算成本並未得到解決。呢個仲未係一部「相機」；佢係一個可能需離線處理嘅高速成像系統。同受生物視網膜啟發嘅事件相機相比，呢種SPI方法對於高速追蹤更複雜且更依賴場景。

可行見解： 對於研究人員同工程師嚟講，有兩點啟示。1. 調製器創新係關鍵： 高速SPI嘅未來在於開發更快、更高分辨率嘅可編程光源（例如微型LED陣列）。2. 算法-硬件協同設計不容妥協： 要超越實驗室演示，必須投資創建專用ASIC或FPGA流水線，能夠實時執行壓縮感知重建，類似於深度學習嘅硬件演變。該領域應該朝向機器學習加速重建發展，類似於AI如何改變MRI圖像重建，以應對計算瓶頸。呢項工作係一個出色嘅概念驗證，重新定義咗可能性，但要走向商業化或廣泛部署嘅儀器，需要解決佢清楚揭示出嚟嘅系統工程挑戰。

6. 未來應用與發展方向

生物醫學成像： 無需光毒性照明，實時觀察細胞內運輸、毛細血管血流或體內神經活動。
工業檢測： 監控高速製造過程（例如微加工、印刷）或喺低光測試環境中分析材料喺壓力下嘅斷裂。
科學傳感： 喺快速、靈敏嘅像素化陣列昂貴或無法獲得嘅光譜範圍內成像（例如短波紅外、太赫茲）。
發展方向：
1. 與機器學習集成，用於自適應圖案生成同更快、更穩健嘅圖像重建。
2. 開發更高密度同更快嘅微型LED陣列，以提高空間分辨率同圖案複雜度。
3. 系統小型化，用於便攜式或內窺鏡應用。
4. 探索使用糾纏光子對嘅量子增強協議，以超越低光高速成像中嘅經典靈敏度極限。

7. 參考文獻

Zhao, W., Chen, H., Yuan, Y., et al. "Ultra-high-speed color imaging with single-pixel detectors under low light level." arXiv:1907.09517 (2019).
Duarte, M. F., et al. "Single-pixel imaging via compressive sampling." IEEE Signal Processing Magazine 25.2 (2008): 83-91. （萊斯大學單像素相機嘅開創性工作）。
Boyd, S., et al. "Distributed optimization and statistical learning via the alternating direction method of multipliers." Foundations and Trends® in Machine learning 3.1 (2011): 1-122. （關於重建算法）。
Mildenhall, B., et al. "NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis." ECCV (2020). （先進計算成像嘅例子）。
Lichtman, J. W., & Conchello, J. A. "Fluorescence microscopy." Nature methods 2.12 (2005): 910-919. （關於低光生物成像挑戰嘅背景）。
Hamamatsu Photonics. "Single Photon Avalanche Diode (SPAD) Technology." （單光子探測器嘅商業來源）。