Upigaji Picha wa Rangi wa Kasi ya Juu Sana Kwa Vipimio Vya Pikseli Moja Chini ya Mwangaza Mdogo

1. Utangulizi

Upigaji picha wa kasi ya juu sana chini ya hali ya mwangaza mdogo ni changamoto muhimu katika nyanja kama vile biofotoniki (mfano, kuchunguza mienendo ya seli) na mikrofluidiki. Vipimio vya kawaida vya pikseli kama CCD na CMOS vinakabiliwa na ushindani wa msingi kati ya kiwango cha sura na usikivu. Aina za kasi ya juu zinahitaji mwangaza mkali, ambao unaweza kuharibu sampuli nyeti. Karatasi hii inawasilisha mbinu ya uvumbuzi kwa kutumia upigaji picha wa pikseli moja (SPI) ikichanganywa na safu ya taa za LED za RGB za kasi ili kufikia upigaji picha wa video kwa kiwango cha sura cha 1.4 MHz chini ya hali ya mwangaza mdogo, na hivyo kuepuka mipaka ya vipimio vya jadi.

2. Mbinu & Usanifu wa Mfumo

Uvumbuzi wa msingi upo katika kuunganisha kanuni za upigaji picha wa kiroho wa kompyuta na chanzo cha kasi ya juu cha kurekebisha.

2.1 Kanuni ya Msingi ya Upigaji Picha wa Pikseli Moja

SPI haitatui picha moja kwa moja kwa nafasi. Badala yake, hutumia mlolongo wa muundo unaojulikana wa mwanga ulioundwa (mfano, kutoka safu ya LED) kuangazia kitu. Kipimio kimoja cha hali ya juu cha "ndoo" (kama bomba la kuzidisha mwanga au diode ya mwamba ya fotoni moja) hukusanya jumla ya ukubwa wa mwanga ulioakisiwa au uliopitishwa kwa kila muundo. Picha hujengwa upya kikompyuta kutokana na mfululizo huu wa vipimo vya skala na muundo unaojulikana.

2.2 Kirekebishaji cha Safu ya Taa za LED za RGB

Vifaa muhimu vinavyowezesha ni safu ya taa za LED za RGB maalum inayoweza kuzalisha muundo wa mwangaza ulioundwa kwa kiwango kamili cha sura hadi 100 MHz. Hii inachukua nafasi ya virekebishaji vya polepole vya mwanga wa anga (SLMs) kama vile vifaa vya kioo vidogo vya dijiti (DMDs), ambavyo kwa kawaida vina mipaka ya makumi ya kHz. Kubadilishana kwa kasi kwa LED kunaruhusu makadirio ya muundo wa haraka, na hivyo kuwezesha moja kwa moja kasi ya upigaji picha ya megahertz.

2.3 Ugunduzi wa Ishara & Ujenzi Upya

Kwa utendaji wa mwangaza mdogo, kipimio cha fotoni moja (SPD) hutumiwa kama kipimio cha ndoo, na kinatoa ufanisi wa karibu bora wa kugundua. Algorithm ya ujenzi upya, inayotokana na upigaji picha wa kiroho wa kompyuta, inatatua matrix ya uakisi/upitishaji wa kitu $O(x, y)$ ikizingatia mfululizo wa vipimo $B_i$ na matrix za muundo zinazojulikana $P_i(x, y)$: $B_i = \sum_{x,y} P_i(x, y) \cdot O(x, y) + \text{kelele}$. Mbinu kama vile hisia ya msongo zinaweza kutumika ikiwa idadi ya vipimo ni chini ya idadi ya pikseli.

3. Usanidi wa Jaribio & Matokeo

3.1 Upigaji Picha wa Propela ya Kasi ya Juu

Uwezo wa mfumo ulionyeshwa kwa kupiga picha propela inayozunguka kwa kasi ya juu. Kiwango cha sura cha 1.4 MHz kilifanikiwa kukamata mwendo wa propela bila blur ya mwendo, ambayo isingewezekana kwa kamera za kawaida za kasi ya juu chini ya hali sawa za mwangaza mdogo. Hii inatumika kama uthibitisho wa moja kwa moja na unaoweza kushikwa wa utendaji wa upigaji picha wa kasi ya juu sana wa mfumo.

Maelezo ya Chati (Yaliyodokezwa): Mfululizo wa muda wa picha zilizojengwa upya zinaonyesha nafasi wazi, tofauti za vilele vya propela katika sura mfululizo za kiwango cha mikrosekunde, na kuthibitisha azimio la wakati halisi.

3.2 Utendaji wa Mwangaza Mdogo Kwa Vipimio Vya Fotoni Moja

Kwa kuunganisha vipimio vya fotoni moja, usikivu wa mfumo uliboreshwa sana, na kuwezesha upigaji picha katika viwango vya ukosefu wa fotoni. Karatasi hii inalinganisha hii na mbinu ya Photonic Time Stretch (PTS), ikibainisha kuwa ingawa PTS pia hutumia kipimio cha pikseli moja, haiboreshi usikivu kwa asili kwani inaweka tu habari ya anga kwa wakati. Njia ya upigaji picha wa kiroho, na kipimio chake cha ndoo, kwa muundo huongeza kiwango cha juu cha ukusanyaji wa mwanga.

Muhtasari wa Utendaji

Kiwango cha Sura: 1.4 MHz (Video Iliyoonyeshwa)
Kiwango cha Kurekebisha: Hadi 100 MHz (Uwezo wa Safu ya LED)
Ugunduzi: Usikivu wa Fotoni Moja Umeanzishwa
Uwezo wa Rangi: Upigaji Picha wa Rangi Unaotegemea LED za RGB

4. Uchambuzi wa Kiufundi & Mfumo wa Hisabati

Ujenzi upya wa picha kimsingi ni tatizo la kinyume. Kwa vipimo $N$ na picha ya azimio la $M \times M$ pikseli, mchakato unaweza kuundwa kama kutatua $\mathbf{b} = \mathbf{A}\mathbf{o} + \mathbf{n}$, ambapo:

$\mathbf{b}$ ni vekta ya $N \times 1$ ya vipimo vya kipimio cha ndoo.
$\mathbf{o}$ ni vekta ya $M^2 \times 1$ inayowakilisha picha iliyopigwa.
$\mathbf{A}$ ni matrix ya kipimo ya $N \times M^2$, kila safu ikiwa muundo wa mwangaza uliopigwa.
$\mathbf{n}$ inawakilisha kelele.

Kwa $N << M^2$, algorithm za hisia ya msongo (mfano, zinazotegemea kupunguza kiwango cha $L_1$) hutumiwa: $\hat{\mathbf{o}} = \arg\min_{\mathbf{o}} \|\mathbf{b} - \mathbf{A}\mathbf{o}\|_2^2 + \lambda \|\Psi\mathbf{o}\|_1$, ambapo $\Psi$ ni mabadiliko ya kutenga (mfano, wimbi dogo) na $\lambda$ ni kigezo cha kurekebisha. Matumizi ya safu ya RGB hupanua hii hadi rangi kwa kufanya vipimo/kurekebisha kwa kujitegemea kwa njia nyekundu, kijani, na bluu.

5. Mfumo wa Uchambuzi: Uelewa wa Msingi & Ukosoaji

Uelewa wa Msingi: Kazi hii sio tu kuongeza kasi ya hatua kwa hatua; ni mzunguko wa mkakati wa kimkakati unaozunguka fizikia ya semiconductor inayopunguza vipimio vya CMOS/CCD. Kwa kutenganisha azimio la anga (linaloshughulikiwa kikompyuta) na ukusanyaji wa mwanga (linaloshughulikiwa na kipimio kimoja, bora), waandishi wanatumia eneo moja ambapo vipimio vinaweza kuwa na kasi na usikivu. Ujanja halisi ni uchaguzi wa safu ya taa za LED za RGB kama kirekebishaji cha mwanga wa anga. Tofauti na DMDs zilizotumiwa katika kazi ya kamera ya pikseli moja ya kihistoria (kama ile kutoka Chuo Kikuu cha Rice), LED zinaweza kubadilisha kwa kasi ya nanosekunde, na hivyo kushambulia moja kwa moja shina la kawaida la SPI. Hii inafanana na mabadiliko ya mfano yaliyoonekana katika upigaji picha wa kompyuta mahali pengine, kama vile katika Neural Radiance Fields (NeRF), ambapo uwakilishi wa eneo huhamishwa kutoka kwa kukamata moja kwa moja hadi ujenzi upya wa kujifunza, unaotegemea mfano.

Mtiririko wa Mantiki & Nguvu: Mantiki haina dosari: 1) Tambua ushindani wa kasi-usikivu kama tatizo la msingi. 2) Chagua SPI kwa faida yake ya muundo wa usikivu. 3) Tambua kasi ya kirekebishaji kama shina jipya. 4) Badilisha kirekebishaji cha polepole (DMD) na kirekebishaji cha kasi (safu ya LED). 5) Thibitisha kwa lengo la kawaida la kasi ya juu (propela). Nguvu ziko wazi: Viwanja vya sura vya kiwango cha megahertz chini ya mwangaza mdogo havijawahi kutokea. Matumizi ya taa za LED za rangi za RGB ni suluhisho la vitendo na lenye ufanisi kwa upigaji picha wa wigo mbalimbali, rahisi zaidi kuliko njia za uchunguzi wa wigo.

Kasoro na Mapungufu Muhimu: Hata hivyo, karatasi hii inapita juu ya vikwazo muhimu vya vitendo. Kwanza, hitaji la muundo unaojulikana, unaorudiwa kunamaanisha kuwa kwa sasa haifai kwa maeneo yasiyotabirika, yasiyo na msimamo isipokuwa ikiwa imeunganishwa na uzalishaji wa muundo unaoweza kubadilika—changamoto kubwa ya kompyuta kwa kasi hizi. Pili, ingawa kipimio cha ndoo kina usikivu, bajeti ya jumla ya mwanga bado ina mipaka na chanzo. Kupiga picha kitu kisicho na mwangaza, kinachosogea kwa kasi kwa umbali bado ni tatizo. Tatu, ucheleweshaji wa algorithm ya ujenzi upya na gharama ya kompyuta kwa video ya wakati halisi, ya azimio la juu kwa 1.4 MHz haijashughulikiwa. Hii sio "kamera" bado; ni mfumo wa upigaji picha wa kasi ya juu na uwezekano wa usindikaji wa nje ya mtandao. Ikilinganishwa na uthabiti wa kamera zinazotegemea tukio (zilizochochewa na retina ya kibayolojia) kwa kufuatilia kasi ya juu, njia hii ya SPI ni ngumu zaidi na inategemea hali.

Uelewa Unaoweza Kutekelezwa: Kwa watafiti na wahandisi, hitimisho ni mbili. 1. Uvumbuzi wa Kirekebishaji ni Muhimu: Baadaye ya SPI ya kasi ya juu iko katika kuendeleza vyanzo vya mwanga vinavyoweza kupangwa vilivyo na kasi zaidi, vya azimio la juu zaidi (mfano, safu za micro-LED). 2. Usanifu Pamoja wa Algorithm na Vifaa Haupingiki: Ili kuendelea zaidi ya maonyesho ya maabara, uwekezaji lazima uelekezwe katika kuunda ASICs maalum au mifereji ya FPGA ambayo inaweza kufanya ujenzi upya wa hisia ya msongo kwa wakati halisi, sawa na mabadiliko ya vifaa ya kujifunza kwa kina. Nyanja hii inapaswa kuangalia kuelekea ujenzi upya ulioharakishwa na kujifunza kwa mashine, sawa na jinsi AI ilibadilisha ujenzi upya wa picha ya MRI, ili kushughulikia shina la kompyuta. Kazi hii ni uthibitisho wa dhana ulio bora ambao unafafanua upya uwezekano, lakini njia ya kufikia chombo cha kibiashara au kinachoweza kutumiwa kwa upana inahitaji kutatua changamoto za uhandisi wa mifumo ambazo inazifunua wazi.

6. Matumizi ya Baadaye & Mwelekeo wa Maendeleo

Upigaji Picha wa Kibayolojia na Matibabu: Uchunguzi wa wakati halisi wa usafirishaji ndani ya seli, mtiririko wa damu katika kapilari, au shughuli ya neva ndani ya mwili bila mwangaza unaoweza kusababisha sumu kwa mwanga.
Ukaguzi wa Viwanda: Ufuatiliaji wa michakato ya uzalishaji ya kasi ya juu (mfano, utengenezaji wa vitu vidogo, uchapishaji) au uchambuzi wa mivunjiko ya nyenzo chini ya msongo katika mazingira ya jaribio ya mwangaza mdogo.
Hisia za Kisayansi: Upigaji picha katika anuwai za wigo ambapo safu za kasi, nyeti za pikseli ni ghali au hazipatikani (mfano, infrared ya wimbi fupi, THz).
Mwelekeo wa Maendeleo:
1. Ujumuishaji na kujifunza kwa mashine kwa uzalishaji wa muundo unaoweza kubadilika na ujenzi upya wa picha wa haraka zaidi, wenye uthabiti zaidi.
2. Uundaji wa safu za micro-LED zenye msongamano wa juu zaidi na kasi zaidi ili kuboresha azimio la anga na utata wa muundo.
3. Kupunguzwa kwa ukubwa wa mfumo kwa matumizi ya kubebebeka au ya endoskopi.
4. Uchunguzi wa itifaki zilizoboreshwa za quantum kwa kutumia jozi za fotoni zilizounganishwa ili kuzidi mipaka ya kawaida ya usikivu katika upigaji picha wa kasi ya juu chini ya mwangaza mdogo.

7. Marejeo

Zhao, W., Chen, H., Yuan, Y., et al. "Upigaji Picha wa Rangi wa Kasi ya Juu Sana Kwa Vipimio Vya Pikseli Moja Chini ya Mwangaza Mdogo." arXiv:1907.09517 (2019).
Duarte, M. F., et al. "Upigaji Picha wa Pikseli Moja Kupitia Sampuli ya Msongo." IEEE Signal Processing Magazine 25.2 (2008): 83-91. (Kazi ya msingi ya kamera ya pikseli moja ya Chuo Kikuu cha Rice).
Boyd, S., et al. "Uboreshaji wa Kusambazwa na Kujifunza kwa Takwimu Kupitia Njia ya Kubadilishana ya Kuzidisha." Foundations and Trends® in Machine learning 3.1 (2011): 1-122. (Kwa algorithm za ujenzi upya).
Mildenhall, B., et al. "NeRF: Kuwakilisha Maeneo kama Sehemu za Mionzi ya Neva kwa Uundaji wa Mtazamo." ECCV (2020). (Mfano wa upigaji picha wa hali ya juu wa kompyuta).
Lichtman, J. W., & Conchello, J. A. "Mikroskopu ya Fluoreshensi." Nature methods 2.12 (2005): 910-919. (Muktadha wa changamoto za upigaji picha wa kibayolojia chini ya mwangaza mdogo).
Hamamatsu Photonics. "Teknolojia ya Diode ya Mwamba ya Fotoni Moja (SPAD)." (Chanzo cha kibiashara cha vipimio vya fotoni moja).