低照度下使用單像素偵測器之超高速彩色成像

1. 引言

在低照度條件下進行超高速成像，是生物光子學（例如觀察細胞動力學）和微流體學等領域的關鍵挑戰。傳統的像素化感測器（如CCD和CMOS）面臨幀率與靈敏度之間的根本性權衡。高速型號需要強烈照明，這可能會損壞精細樣本。本文提出了一種突破性方法，利用單像素成像（SPI）結合高速RGB LED陣列，在低照度條件下實現1.4 MHz幀率的視訊成像，從而規避了傳統感測器的限制。

2. 方法論與系統設計

核心創新在於將計算鬼成像原理與高速調變光源相結合。

2.1 單像素成像核心原理

SPI並非直接對影像進行空間解析。相反，它使用一系列已知的結構化光圖案（例如來自LED陣列）來照射物體。一個單一、高靈敏度的「桶狀」偵測器（如光電倍增管或單光子雪崩二極體）收集每個圖案對應的總反射或透射光強度。影像透過計算從這一系列純量測量值和已知圖案中重建出來。

2.2 RGB LED陣列調變器

關鍵的實現硬體是一個定制的RGB LED陣列，能夠以高達100 MHz的全範圍幀率產生結構化照明圖案。這取代了速度較慢的空間光調變器（SLM），例如數位微鏡元件（DMD），後者通常限制在數十kHz。LED的快速切換允許快速圖案投影，直接實現了兆赫茲級的成像速度。

2.3 訊號偵測與重建

為了在低照度下運作，使用單光子偵測器（SPD）作為桶狀偵測器，提供近乎理想的偵測效率。基於計算鬼成像的重建演算法，在給定一系列測量值$B_i$和已知圖案矩陣$P_i(x, y)$的情況下，求解物體的反射率/透射率矩陣$O(x, y)$：$B_i = \sum_{x,y} P_i(x, y) \cdot O(x, y) + \text{noise}$。如果測量次數少於像素數量，則可以應用壓縮感知等技術。

3. 實驗設置與結果

3.1 高速螺旋槳成像

系統的能力透過對高速旋轉螺旋槳進行成像來展示。1.4 MHz的幀率成功地捕捉了螺旋槳的運動而無運動模糊，這在等效的低照度場景下使用傳統高速攝影機是不可能實現的。這直接、具體地驗證了系統的超高速成像性能。

圖表說明（隱含）： 重建影像的時間序列，顯示了螺旋槳葉片在連續微秒級幀中的清晰、離散位置，證明了有效的時間解析度。

3.2 使用單光子偵測器的低照度效能

透過整合單光子偵測器，系統的靈敏度大幅提升，使其能夠在極度缺乏光子的條件下進行成像。本文將此與光子時間拉伸（PTS）技術進行對比，指出雖然PTS也使用單像素偵測器，但它本質上並未提高靈敏度，因為它僅是將空間資訊編碼到時間中。而鬼成像方法，憑藉其桶狀偵測器，在架構上最大化地收集了光線。

性能摘要

幀率： 1.4 MHz（已展示視訊）
調變速率： 高達100 MHz（LED陣列潛力）
偵測： 啟用單光子靈敏度
色彩能力： 基於RGB LED的彩色成像

4. 技術分析與數學框架

影像重建本質上是一個逆問題。對於$N$次測量和解析度為$M \times M$像素的影像，該過程可以表述為求解$\mathbf{b} = \mathbf{A}\mathbf{o} + \mathbf{n}$，其中：

$\mathbf{b}$是桶狀偵測器測量值的$N \times 1$向量。
$\mathbf{o}$是代表扁平化影像的$M^2 \times 1$向量。
$\mathbf{A}$是$N \times M^2$測量矩陣，每一行都是一個扁平化的照明圖案。
$\mathbf{n}$代表雜訊。

當$N << M^2$時，使用壓縮感知演算法（例如基於$L_1$-範數最小化）：$\hat{\mathbf{o}} = \arg\min_{\mathbf{o}} \|\mathbf{b} - \mathbf{A}\mathbf{o}\|_2^2 + \lambda \|\Psi\mathbf{o}\|_1$，其中$\Psi$是稀疏化轉換（例如小波），$\lambda$是正則化參數。使用RGB陣列將此擴展到彩色成像，方法是對紅、綠、藍通道進行獨立的測量/調變。

5. 分析框架：核心洞見與評論

核心洞見： 這項工作不僅僅是速度的漸進式提升；它是一次策略性的迂迴，繞過了限制CMOS/CCD感測器的半導體物理學。透過將空間解析度（由計算處理）與光收集（由單一、最佳化的偵測器處理）解耦，作者利用了偵測器可以同時實現高速和高靈敏度的領域。真正的天才之處在於選擇RGB LED陣列作為空間光調變器。與里程碑式的單像素相機工作（如萊斯大學的研究）中使用的DMD不同，LED可以在奈秒級速度下切換，直接攻擊了SPI的傳統瓶頸。這反映了在其他計算成像領域（例如神經輻射場（NeRF））中看到的典範轉移，其中場景表示從直接捕捉轉向基於學習的模型重建。

邏輯流程與優勢： 邏輯無懈可擊：1) 將速度-靈敏度權衡確定為核心問題。2) 選擇SPI，因其架構上的靈敏度優勢。3) 確定調變器速度為新的瓶頸。4) 用快速調變器（LED陣列）取代慢速調變器（DMD）。5) 用經典的高速目標（螺旋槳）進行驗證。優勢很明顯：在低照度下實現兆赫茲級的幀率是前所未有的。 使用彩色RGB LED是多光譜成像的一種實用且有效的解決方案，比光譜掃描方法更直接。

缺陷與關鍵差距： 然而，本文輕描淡寫地略過了重大的實際障礙。首先，對已知、重複圖案的要求意味著它目前不適用於不可預測、非靜止的場景，除非搭配自適應圖案生成——這在如此高速下是一個重大的計算挑戰。其次，雖然桶狀偵測器很靈敏，但總光量仍然受到光源的限制。對遠處微弱、快速移動的物體進行成像仍然存在問題。第三，對於1.4 MHz的即時、高解析度視訊，重建演算法的延遲和計算成本並未得到解決。這還不是一台「相機」；它是一個很可能需要離線處理的高速成像系統。與基於事件的攝影機（靈感來自生物視網膜）用於高速追蹤的穩健性相比，這種SPI方法更為複雜且依賴於場景。

可行洞見： 對於研究人員和工程師而言，有兩個要點。1. 調變器創新是關鍵： 高速SPI的未來在於開發更快、更高解析度的可程式化光源（例如微型LED陣列）。2. 演算法-硬體協同設計是必要的： 為了超越實驗室演示，必須投資創建專用的ASIC或FPGA管線，能夠即時執行壓縮感知重建，類似於深度學習的硬體演進。該領域應著眼於機器學習加速重建，類似於AI如何改變MRI影像重建，以應對計算瓶頸。這項工作是一個出色的概念驗證，重新定義了可能性，但要走向商業化或廣泛部署的儀器，需要解決它所明確揭示的系統工程挑戰。

6. 未來應用與發展方向

生物醫學成像： 無需光毒性照明，即可即時觀察細胞內運輸、微血管血流或活體神經活動。
工業檢測： 監控高速製造過程（例如微加工、印刷）或在低照度測試環境中分析材料在應力下的斷裂。
科學感測： 在快速、靈敏的像素化陣列昂貴或不可用的光譜範圍（例如短波紅外線、太赫茲）進行成像。
發展方向：
1. 與機器學習整合，用於自適應圖案生成和更快、更穩健的影像重建。
2. 開發更高密度和更快的微型LED陣列，以提高空間解析度和圖案複雜度。
3. 系統小型化，用於可攜式或內視鏡應用。
4. 探索量子增強協議，利用糾纏光子對來超越低照度高速成像中的經典靈敏度極限。

7. 參考文獻

Zhao, W., Chen, H., Yuan, Y., et al. "Ultra-high-speed color imaging with single-pixel detectors under low light level." arXiv:1907.09517 (2019).
Duarte, M. F., et al. "Single-pixel imaging via compressive sampling." IEEE Signal Processing Magazine 25.2 (2008): 83-91. (萊斯大學單像素相機的開創性工作).
Boyd, S., et al. "Distributed optimization and statistical learning via the alternating direction method of multipliers." Foundations and Trends® in Machine learning 3.1 (2011): 1-122. (重建演算法相關).
Mildenhall, B., et al. "NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis." ECCV (2020). (先進計算成像範例).
Lichtman, J. W., & Conchello, J. A. "Fluorescence microscopy." Nature methods 2.12 (2005): 910-919. (低照度生物成像挑戰的背景).
Hamamatsu Photonics. "Single Photon Avalanche Diode (SPAD) Technology." (單光子偵測器的商業來源).