這種經典的機器視覺架構具有如下幾個方麵的缺點：

 

第一，高像素傳感器拍(pai)攝(she)帶(dai)來(lai)大(da)量(liang)信(xin)息(xi)使(shi)其(qi)難(nan)以(yi)實(shi)現(xian)極(ji)高(gao)速(su)的(de)圖(tu)像(xiang)或(huo)視(shi)頻(pin)數(shu)字(zi)化(hua)存(cun)儲(chu)和(he)分(fen)析(xi)
，尤(you)其(qi)在(zai)使(shi)用(yong)移(yi)動(dong)設(she)備(bei)和(he)電(dian)池(chi)供(gong)電(dian)的(de)設(she)備(bei)時(shi)更(geng)是(shi)帶(dai)來(lai)了(le)能(neng)耗(hao)和(he)性(xing)能(neng)的(de)平(ping)衡(heng)問(wen)題(ti)；

 

第di二er，所suo捕bu獲huo的de圖tu像xiang通tong常chang包bao含han許xu多duo對dui機ji器qi學xue習xi任ren務wu無wu用yong的de冗rong餘yu信xin息xi
，帶dai來lai了le後hou端duan處chu理li器qi某mou種zhong程cheng度du上shang的de性xing能neng負fu擔dan，和he資zi源yuan浪lang費fei，從cong而er導dao致zhi在zai功gong耗hao和he內nei存cun需xu求qiu方fang麵mian效xiao率lv低di下xia。

 

第三，在可見光的波長以外的電磁波段製造高像素數圖像傳感器（如手機相機中的傳感器）具有很大的挑戰性，且其成本十分昂貴
，因而也限製了機器視覺係統在更長波段（如太赫茲）上的應用。

 

最近，加州大學洛杉磯分校（UCLA）的研究人員開發了一種新的單像素機器視覺係統，通過引入光學神經網絡（名詞解釋⏬）的方式規避了傳統機器視覺係統的諸多缺點。

 

圖1 來(lai)自(zi)加(jia)州(zhou)大(da)學(xue)洛(luo)杉(shan)磯(ji)分(fen)校(xiao)的(de)研(yan)究(jiu)人(ren)員(yuan)發(fa)明(ming)了(le)一(yi)個(ge)新(xin)型(xing)單(dan)像(xiang)素(su)機(ji)器(qi)視(shi)覺(jiao)係(xi)統(tong)，該(gai)係(xi)統(tong)可(ke)以(yi)將(jiang)物(wu)體(ti)的(de)空(kong)域(yu)信(xin)息(xi)編(bian)碼(ma)為(wei)功(gong)率(lv)譜(pu)，從(cong)而(er)實(shi)現(xian)對(dui)圖(tu)像(xiang)進(jin)行(xing)分(fen)類(lei)和(he)重(zhong)建(jian)。

 

該成果以Spectrally encoded single-pixel machine vision using diffractive networks為題發表在Science Advances。

 

研究人員借助深度學習技術，設計了一個由多個衍射層組成的衍射光學神經網絡（Diffractive Optical Neural Networks）（拓展閱讀⏬），這些衍射層由計算機自動優化設計，可將經過的輸入光場調製成一定的目標分布，從而能夠執行計算和統計推斷任務。

 

與(yu)常(chang)規(gui)的(de)基(ji)於(yu)鏡(jing)頭(tou)模(mo)組(zu)的(de)相(xiang)機(ji)不(bu)同(tong)，該(gai)衍(yan)射(she)光(guang)學(xue)神(shen)經(jing)網(wang)絡(luo)以(yi)被(bei)寬(kuan)帶(dai)光(guang)照(zhao)明(ming)的(de)物(wu)體(ti)作(zuo)為(wei)其(qi)輸(shu)入(ru)
，將(jiang)物(wu)體(ti)的(de)空(kong)域(yu)特(te)征(zheng)信(xin)息(xi)提(ti)取(qu)並(bing)編(bian)碼(ma)到(dao)衍(yan)射(she)光(guang)的(de)光(guang)譜(pu)上(shang)，而(er)後(hou)光(guang)譜(pu)信(xin)號(hao)由(you)具(ju)有(you)頻(pin)譜(pu)探(tan)測(ce)能(neng)力(li)的(de)單(dan)像(xiang)素(su)超(chao)快(kuai)傳(chuan)感(gan)器(qi)所(suo)收(shou)集(ji)。通(tong)過(guo)將(jiang)物(wu)體(ti)對(dui)應(ying)的(de)不(bu)同(tong)的(de)類(lei)別(bie)分(fen)配(pei)給(gei)不(bu)同(tong)波(bo)長(chang)的(de)光(guang)頻(pin)譜(pu)分(fen)量(liang)，該(gai)係(xi)統(tong)僅(jin)使(shi)用(yong)單(dan)像(xiang)素(su)傳(chuan)感(gan)器(qi)探(tan)測(ce)到(dao)的(de)輸(shu)出(chu)光(guang)譜(pu)即(ji)可(ke)自(zi)動(dong)對(dui)輸(shu)入(ru)對(dui)象(xiang)完(wan)成(cheng)分(fen)類(lei)，從(cong)而(er)無(wu)需(xu)圖(tu)像(xiang)傳(chuan)感(gan)器(qi)陣(zhen)列(lie)和(he)後(hou)端(duan)數(shu)字(zi)處(chu)理(li)。這(zhe)種(zhong)框(kuang)架(jia)實(shi)現(xian)了(le)全(quan)光(guang)學(xue)推(tui)理(li)和(he)機(ji)器(qi)視(shi)覺(jiao)
，在(zai)幀(zhen)速(su)率(lv)
、內存需求和功耗效率方麵具有明顯優勢，這些特點對於移動計算應用而言尤為重要。

 

圖2. 該係統使用寬帶光對物體進行照明。係統分類結果取決於單像素傳感器測得的輸出光功率譜上10gebochangweizhishangzuiqiangdexinhao，qibochangduiyingdeleibiejishifenleiyucejieguo。gonglvpuxinhaohaikeyishurudaoshuzishenjingwangluozhongbeiyongyuzhongjianwutibenshendetuxiang。

 

為驗證這一概念，研究人員通過使用單像素傳感器和3D打印的衍射層對使用手寫數字圖像數據集（MNIST）的所構建的物體進行分類，在實驗中證明了該框架在太赫茲波段下的性能。研究者基於提前選定的10個波長對實驗係統進行了設計，這10個波長被逐一分配給輸入物的不同類別（對應手寫數字的0到9）
，對物的分類結果取決於傳感器輸出功率譜上10個波長位置上信號最強者的波長對應的類別。

 

實驗係統中的單像素探測方案基於太赫茲時域光譜術實現，照明光為極短的太赫茲脈衝
，網絡的推理以光速在瞬時間完成。

 

最終
，該係統在手寫數字分類任務中實現了超過96%的分類精度
，實驗結果也與數值模擬非常吻合，證明了該單像素機器視覺框架在構建低延遲、高(gao)效(xiao)的(de)機(ji)器(qi)學(xue)習(xi)係(xi)統(tong)方(fang)麵(mian)的(de)可(ke)行(xing)性(xing)。除(chu)物(wu)體(ti)分(fen)類(lei)外(wai)，研(yan)究(jiu)人(ren)員(yuan)還(hai)將(jiang)此(ci)衍(yan)射(she)神(shen)經(jing)網(wang)絡(luo)的(de)輸(shu)出(chu)與(yu)一(yi)個(ge)簡(jian)單(dan)的(de)全(quan)連(lian)接(jie)數(shu)字(zi)神(shen)經(jing)網(wang)絡(luo)相(xiang)連(lian)接(jie)，僅(jin)通(tong)過(guo)功(gong)率(lv)譜(pu)上(shang)10個波長處的信號強度來快速重建此輸入物的圖像，從而實現了圖像的重建或“解壓縮”。

 

總而言之，這種單像素對象分類和圖像重建框架可以為新的機器視覺係統的開發鋪平道路。該係統具有低像素數、低延遲、低功耗和低成本的特點
，以高效
、節省資源的獨特優勢通過將物體信息進行頻譜編碼來實現特定的推理任務，有望廣泛應用於移動計算、邊緣計算等領域。

 

此外，該新框架還可以擴展到各種光譜域測量係統，例如光學相幹斷層掃描、紅外波段成像等
，有助於構建基於衍射神經網絡的光譜和空間信息編碼集成的新型3D傳感和成像方式。