哈佛大學(xué)約翰.保爾森工程與應(yīng)用科學(xué)學(xué)院的一組研究人員開發(fā)了第一個可以集成到商業(yè)硅成像傳感器芯片中的傳感器內(nèi)處理器。這些傳感器被稱為互補金屬氧化物半導(dǎo)體(CMOS)圖像傳感器，它們被廣泛用于捕獲視覺信息的商業(yè)設(shè)備中。

新設(shè)備加快并簡化了自動駕駛汽車和其他應(yīng)用的處理。

自動駕駛汽車和視覺處理

在自動駕駛汽車中，系統(tǒng)拍攝圖像和將數(shù)據(jù)傳送到微處理器進行圖像處理之間的時間可能會產(chǎn)生重大影響。這是一個關(guān)鍵的時間段，可能意味著避開障礙物或卷入事故之間的區(qū)別。

視覺處理可以通過傳感器內(nèi)圖像處理來加速，其中包括由圖像傳感器本身而不是單獨的微處理器從原始數(shù)據(jù)中提取重要特征。話雖如此，傳感器內(nèi)處理已被證明僅限于新興的研究材料，這些材料很難融入商業(yè)系統(tǒng)。

這就是使新發(fā)展如此重要的原因。

該團隊在Nature Electronics上發(fā)表了他們的研究。

傳感器內(nèi)計算

Donhee Ham是SEAS電氣工程和應(yīng)用物理學(xué)的Gordon McKay教授，也是該論文的高級作者。

“我們的工作可以利用主流的半導(dǎo)體電子行業(yè)，將傳感器內(nèi)計算快速引入各種現(xiàn)實世界的應(yīng)用中，”Ham說。

該團隊開發(fā)了一種硅光電二極管陣列，該陣列也用于商用圖像傳感芯片以捕獲圖像。但是該團隊的光電二極管是靜電摻雜的，這意味著單個光電二極管對入射光的敏感性可以通過電壓進行調(diào)節(jié)。

當(dāng)一個陣列將多個電壓可調(diào)光電二極管連接在一起時，它可以執(zhí)行對圖像處理流水線很重要的乘法和加法運算的模擬版本。這有助于在捕獲圖像時立即提取相關(guān)的視覺信息。

Houk Jang是SEAS的博士后研究員，也是該論文的第一作者。

“這些動態(tài)光電二極管可以在捕獲圖像時同時過濾圖像，從而允許將視覺處理的第一階段從微處理器轉(zhuǎn)移到傳感器本身，”Jang說。

為了消除各種應(yīng)用中不必要的細節(jié)或噪音，硅光電二極管陣列被編程到不同的圖像過濾器中。當(dāng)用于自動駕駛車輛的成像系統(tǒng)時，它需要一個跟蹤車道標(biāo)記的高通濾波器。

Henry Hinton是SEAS的研究生，也是該論文的共同第一作者。

“展望未來，我們預(yù)計這種基于硅的傳感器內(nèi)處理器不僅可以用于機器視覺應(yīng)用，還可以用于仿生應(yīng)用，其中早期的信息處理允許傳感器和計算單元共同定位，例如大腦，”Hinton說。

該團隊現(xiàn)在將尋求增加光電二極管的密度并將它們與硅集成電路集成。

“通過將商用硅圖像傳感器中的標(biāo)準(zhǔn)非可編程像素替換為這里開發(fā)的可編程像素，成像設(shè)備可以智能地修剪掉不需要的數(shù)據(jù)。這可以提高能源和帶寬的效率，以滿足下一代傳感應(yīng)用的需求，”Jang說。