受視網(wǎng)膜啟發(fā)的超薄半導體的光電晶體管型視覺傳感器可提供更自適應的視覺感知
切片 2.5×3.0 cm2 芯片上仿生視覺傳感器陣列的照片（左），以及單個視覺傳感器的示意結構和光學顯微鏡圖像（右）。
為了監(jiān)控和導航現(xiàn)實世界的環(huán)境，機器和機器人應該能夠在不同的背景照明條件下收集圖像和測量值。近年來，世界各地的工程師因此一直在嘗試開發(fā)越來越先進的傳感器，這些傳感器可以集成到機器人、監(jiān)控系統(tǒng)或其他可以從感知周圍環(huán)境中受益的技術中。
香港理工大學、北京大學、延世大學和復旦大學的研究人員最近創(chuàng)造了一種新的傳感器，可以在各種光照條件下收集數(shù)據(jù)，采用一種人工復制人眼視網(wǎng)膜功能的機制。這種仿生傳感器發(fā)表在Nature Electronics上的一篇論文中，是使用由二硫化鉬制成的光電晶體管制造的。
“我們的研究團隊五年前就開始了對光電存儲器的研究，”開發(fā)該傳感器的研究人員之一楊柴。“這種新興設備可以輸出光相關和歷史相關的信號，實現(xiàn)圖像集成、微弱信號累積、光譜分析等復雜的圖像處理功能，將傳感、數(shù)據(jù)存儲和數(shù)據(jù)處理的多功能集成在一個設備中。”
2018 年，Chai 和他的同事發(fā)表了他們的第一篇關于光電存儲器的論文，他們在其中介紹了一種電阻開關存儲器件，該器件可以執(zhí)行光傳感和邏輯運算。一年后，該團隊推出了一種具有三種不同功能的新型光電電阻隨機存取存儲器設備。具體來說，這種新設備可以感知環(huán)境，將信息存儲在內(nèi)存中，并執(zhí)行神經(jīng)形態(tài)的視覺預處理操作。
“在 2020 年，我們研究了近傳感器和傳感器內(nèi)計算范式的概念，并提供了我們在該領域的觀點，”Chai 說?！拔覀兊男卵芯拷⒃谖覀冎暗乃信χ?。”
視覺適應
自然光的強度變化很大，總范圍為 280 dB。人的視網(wǎng)膜在感知外界光信號時，會根據(jù)信號的強弱來調整其感光器（即視桿細胞和視錐細胞）的感光度。這最終使人眼逐漸適應不同程度的照明，在黑暗和明亮的環(huán)境中都能看清，這種能力被稱為“視覺適應”。
Chai 和他的同事最近工作的主要目標是構建一種受人類視網(wǎng)膜結構和功能啟發(fā)的傳感設備。為此，他們首先開始研究視網(wǎng)膜，然后嘗試制定策略，讓他們能夠人為地復制其視覺適應能力。
基于硅互補金屬氧化物半導體 (CMOS) 技術的最先進的圖像傳感器通常具有 70 dB 的有限動態(tài)范圍。這個范圍比自然場景的照明范圍（280 dB）要窄得多。
“為了在大照明強度范圍內(nèi)實現(xiàn)視覺，研究人員已經(jīng)探索了在后處理中使用受控光學孔徑、液體透鏡、可調節(jié)曝光時間和去噪算法，”柴說?！叭欢?，這些方法通常需要復雜的硬件和軟件資源?！?/p>
仿生視覺傳感器陣列的暗視和明視適應。(a) 暗背景下 8×8 像素陣列的示意圖，用于識別用于暗適應測試的低強度圖像。(b) 明亮背景下 8×8 像素陣列的示意圖，用于識別強光圖像以進行明視適應測試。（c）暗視和（d）“8”圖案的明視適應的時間過程。
能夠適應視覺并在感官終端具有廣泛感知范圍的光電設備可能具有非常有價值的應用。例如，它們可以幫助提高計算機視覺工具的性能，降低構建機器人或其他傳感系統(tǒng)所需的硬件復雜性，并提高圖像識別系統(tǒng)的準確性。
過去，其他研究團隊推出了可以適應不同光照條件的光電器件。盡管如此，大多數(shù)先前提出的設備只能復制視網(wǎng)膜的明視適應機制。另一方面，暗適應過程迄今已被證明更難模擬。
“要完全復制視網(wǎng)膜的視覺適應功能，還有很長的路要走，”柴解釋說。“為了實現(xiàn)這一目標，我們設計了一種使用超薄半導體的光電晶體管型視覺傳感器，它可以通過施加不同的柵極電壓來控制同一設備中的暗適應和明適應程度。通過這種方式，我們模擬了視網(wǎng)膜中的光感受器和水平細胞，并成功實現(xiàn)了具有 199 dB 感知范圍的仿生傳感器內(nèi)視覺適應裝置。”
Chai 及其同事開發(fā)的仿生視覺傳感器基于由超薄半導體材料（即二硫化鉬）制成的光電晶體管。他們使用的光電晶體管具有多種電荷陷阱狀態(tài)，這些狀態(tài)可以在不同的柵極電壓下捕獲或釋放溝道內(nèi)的電子。
最終，這些狀態(tài)允許研究人員動態(tài)調節(jié)其設備的電導。這反過來又使他們能夠人為地復制人類視網(wǎng)膜的暗視和明視適應機制，從而擴大其傳感器響應不同照明條件的感知范圍。
Chai 和他的同事在一系列測試中評估了他們的仿生傳感器，發(fā)現(xiàn)它可以有效地模擬人類視網(wǎng)膜的功能，在暗適應和明適應方面都取得了顯著的成果。此外，與之前提出的解決方案相比，它具有明顯更高的感知范圍（即 199 dB）。
“我們的傳感器可以豐富機器視覺功能，降低硬件復雜度，實現(xiàn)高圖像識別效率，”柴說。“所有這些好處在復雜照明環(huán)境下的自動駕駛、人臉識別和工業(yè)制造等領域都有很大的應用前景。”
在接下來的研究中，研究人員計劃進一步提高傳感器的性能，同時還使用它們來制造由傳感器陣列組成的大規(guī)模系統(tǒng)。理想情況下，他們希望在柔性或半球形基板上構建此傳感器陣列，以實現(xiàn)更寬的視野。
“一個需要改進的領域是我們傳感器的適應時間，因為它仍然不足以支持機器視覺應用，”Chai 補充道?！拔覀兊哪繕耸菍⑦m應時間降低到微秒級。傳感器陣列規(guī)模也需要進一步提升。我們近期的陣列規(guī)模目標是大于100×100。最后，視覺傳感器的異構集成與后-具有硅基控制電路的處理單元是邁向實際應用的非常重要的一步?！?/p>
