麵向現代視覺係統的低功耗圖像傳感器
發布時間:2024-05-28 責任編輯:lina
【導讀】在更快的連接速度、更高的自動化程度和更智能係統的推動下,工業4.0加jia快kuai了le視shi覺jiao技ji術shu在zai製zhi造zao業ye中zhong的de應ying用yong,並bing將jiang智zhi能neng化hua引yin入ru到dao以yi往wang簡jian單dan的de數shu據ju采cai集ji係xi統tong中zhong。上shang一yi代dai視shi覺jiao係xi統tong負fu責ze捕bu捉zhuo圖tu像xiang,對dui其qi進jin行xing封feng裝zhuang以yi供gong傳chuan輸shu,並bing為wei後hou續xu的deFPGA、ASIC或昂貴的SoC等器件提供圖像數據進行處理。如今,工業5.0更進一步,通過在整個數據通路中融入人工智能(AI)與機器學習(ML),實現大規模定製化。攝像頭變得智能化,具備在應用層麵處理的圖像數據,僅輸出用於決策的元數據。
在更快的連接速度、更高的自動化程度和更智能係統的推動下,工業4.0加jia快kuai了le視shi覺jiao技ji術shu在zai製zhi造zao業ye中zhong的de應ying用yong,並bing將jiang智zhi能neng化hua引yin入ru到dao以yi往wang簡jian單dan的de數shu據ju采cai集ji係xi統tong中zhong。上shang一yi代dai視shi覺jiao係xi統tong負fu責ze捕bu捉zhuo圖tu像xiang,對dui其qi進jin行xing封feng裝zhuang以yi供gong傳chuan輸shu,並bing為wei後hou續xu的deFPGA、ASIC或昂貴的SoC等器件提供圖像數據進行處理。如今,工業5.0更進一步,通過在整個數據通路中融入人工智能(AI)與機器學習(ML),實現大規模定製化。攝像頭變得智能化,具備在應用層麵處理的圖像數據,僅輸出用於決策的元數據。
這兩代之間的關鍵發展是關注邊緣端發生的變化。我們世界本質上以模擬為主,許多幫助我們日常生活的電子與機電(EEM)係統都是由各類感知輸入驅動的。視覺(光)、溫度(熱)、音頻(聲)、距離與位置、壓力(觸覺)等係統邊緣端的電子傳感器采集這些物理輸入,並將其轉化為處理後的數據,以實現智能化並方便決策製定。工業4.0提ti出chu了le對dui這zhe類lei傳chuan感gan器qi智zhi能neng和he高gao效xiao的de需xu求qiu。如ru今jin,非fei工gong業ye及ji商shang業ye應ying用yong領ling域yu的de眾zhong多duo傳chuan感gan器qi不bu斷duan發fa展zhan,從cong基ji礎chu類lei型xing發fa展zhan到dao符fu合he工gong業ye自zi動dong化hua流liu程cheng和he標biao準zhun的de增zeng強qiang版ban本ben。
zaidaguimocaiyongchuanganqidetongshi,renmenyezaituidonggengdigonghaodedianchiqudongzhinengshebeiguangfanyingyong。gonghaogeishijiaoxitongdailailebutongdetiaozhan,ertuxiangchuanganqiruheyichuangxindefangfajiejuezhexietiaozhan,tongshitigongzhuoyuedexingneng,jiangchengweishijiaoxitongdechayihuayinsu。
圖像傳感器--視覺感知的輸入機製
視shi覺jiao感gan知zhi已yi成cheng為wei在zai邊bian緣yuan端duan采cai集ji數shu據ju的de重zhong要yao方fang式shi之zhi一yi,收shou集ji到dao的de圖tu像xiang數shu據ju能neng夠gou被bei快kuai速su且qie高gao效xiao地di用yong於yu決jue策ce製zhi定ding。例li如ru,若ruo無wu視shi覺jiao傳chuan感gan器qi,場chang景jing中zhong的de物wu體ti需xu要yao無wu數shu個ge特te定ding的de傳chuan感gan器qi來lai傳chuan達da場chang景jing的de構gou成cheng。這zhe會hui產chan生sheng大da量liang數shu據ju並bing需xu要yao龐pang大da的de處chu理li工gong作zuo,或huo許xu還hai得de靠kao好hao運yun氣qi,才cai能neng得de到dao場chang景jing的de真zhen實shi呈cheng現xian。另ling外wai,在zai高gao效xiao的de係xi統tong中zhong,一yi張zhang圖tu像xiang就jiu可ke以yi在zai一yi幀zhen數shu據ju中zhong傳chuan達da場chang景jing中zhong的de所suo有you信xin息xi。
這(zhe)種(zhong)簡(jian)便(bian)的(de)數(shu)據(ju)表(biao)現(xian)形(xing)式(shi)使(shi)圖(tu)像(xiang)傳(chuan)感(gan)器(qi)得(de)以(yi)加(jia)速(su)發(fa)展(zhan),為(wei)智(zhi)能(neng)手(shou)機(ji)等(deng)消(xiao)費(fei)類(lei)移(yi)動(dong)產(chan)品(pin)提(ti)供(gong)支(zhi)持(chi),其(qi)分(fen)辨(bian)率(lv)超(chao)過(guo)一(yi)億(yi)像(xiang)素(su),在(zai)硬(ying)件(jian)和(he)軟(ruan)件(jian)的(de)支(zhi)持(chi)下(xia),為(wei)靜(jing)態(tai)圖(tu)像(xiang)和(he)視(shi)頻(pin)流(liu)提(ti)供(gong)卓(zhuo)越(yue)的(de)細(xi)節(jie)特(te)征(zheng)。由(you)於(yu)移(yi)動(dong)產(chan)品(pin)主(zhu)要(yao)服(fu)務(wu)於(yu)娛(yu)樂(le)和(he)個(ge)人(ren)應(ying)用(yong),因(yin)此(ci)其(qi)製(zhi)定(ding)決(jue)策(ce)的(de)目(mu)標(biao)略(lve)有(you)不(bu)同(tong)。然(ran)而(er),麵(mian)向(xiang)汽(qi)車(che)、工業和商業應用的視覺係統服務於高度以目標為導向的需求,其中許多係統使用(傳感器)輸出進行基於機器的決策,並要求在分辨率、幀率和功耗之間達到精細平衡。
隨sui著zhe邊bian緣yuan智zhi能neng的de重zhong要yao性xing日ri益yi增zeng強qiang,這zhe些xie應ying用yong必bi須xu適shi應ying不bu同tong用yong例li需xu求qiu。現xian在zai,許xu多duo應ying用yong都dou需xu要yao更geng高gao的de分fen辨bian率lv和he更geng出chu色se的de整zheng體ti性xing能neng,以yi輔fu助zhu計ji算suan機ji視shi覺jiao、jiqishijiaohezidonghuajuedecexitong。henduoqingkuangxia,renmenfeichangkewanghuodegengfengfudexijie,yinweizhexiexijieyouzhuyujianshaocuowujuece。suizhefenbianlvdetigao,tuxiangchuanganqizhongdexiangsushuliangyehuizengjia,xiangyingdi,chuanganqixiangtuxiangxinhaochuliqi(ISP)或係統芯片(SoC)提供的圖像數據量也會增加。傳感器產生的大量圖像數據以及ISP/SoC對這些數據的處理會導致高功耗,從而給視覺係統設計帶來巨大負擔。

圖1 圖像傳感器產生的數據隨分辨率和幀速率成指數增長
現在,設計人員需要應對高功率電子元件帶來的高功率傳輸、功耗和係統物料清單(BOM)chengbendengwenti。suiranjiangdigonghaoshidashisuoqu,danreguanliyeshiyigetiaozhan,yinweidaduoshushijiaoxitongdouyilaiduiliuqiliulaisanfaxitongzhongchanshengdereliang。tuxiangchuanganqiduirelianggaodumingan,ruguobunengxuanzeshidangdeshejibingyouxiaoguanlishangshuyinsu,jiuhuichanshengbukekaodeshijiaoxitong。
一切始於量子效率
圖像傳感器的量子效率(QE)是指光電二極管最大限度地將入射光子轉換成電子的能力。眾所周知,QE 越高,圖像亮度越好。更高的 QE 值zhi在zai弱ruo光guang條tiao件jian下xia非fei常chang重zhong要yao,這zhe通tong常chang通tong過guo使shi用yong更geng大da的de像xiang素su尺chi寸cun或huo在zai場chang景jing中zhong添tian加jia可ke見jian光guang或huo不bu可ke見jian光guang來lai實shi現xian。無wu論lun哪na種zhong方fang法fa,都dou會hui增zeng加jia視shi覺jiao係xi統tong必bi須xu支zhi持chi的de成cheng本ben、功耗和空間,並可能會根據圖像傳感器的性能和場景條件呈指數級增長。

圖2 不同波長下可比較像素尺寸的歸一化量子效率曲線
這在通常使用紅外發光二極管(IR LED)的不可見照明情況下尤其嚴重,其產生的光波長為850nm和940nm。這些波長能被圖像傳感器探測到,但人眼無法察覺。在行業中,這通常被稱為 "主動照明"。 紅外發光二極管需要供電並產生功耗,占用大量空間,並顯著增加係統 BOM成本。在近紅外光譜中具有高量子效率的圖像傳感器能夠在不犧牲圖像質量的前提下,減少其使用數量、降低光照強度以及總體BOM成本。
圖像質量更高,總體擁有成本更低
重要的是要確保圖像傳感器像素提供的高 QE 不(bu)會(hui)受(shou)到(dao)數(shu)據(ju)通(tong)路(lu)其(qi)他(ta)部(bu)分(fen)噪(zao)聲(sheng)的(de)影(ying)響(xiang),從(cong)而(er)影(ying)響(xiang)整(zheng)體(ti)圖(tu)像(xiang)質(zhi)量(liang)。例(li)如(ru),如(ru)果(guo)像(xiang)素(su)結(jie)構(gou)沒(mei)有(you)足(zu)夠(gou)的(de)像(xiang)素(su)間(jian)隔(ge),像(xiang)素(su)間(jian)串(chuan)擾(rao)就(jiu)會(hui)降(jiang)低(di)調(tiao)製(zhi)傳(chuan)遞(di)函(han)數(shu)(MTF)和對圖像的對比度/清晰度,最終影響圖像質量。另一個可能造成損害的因素是讀出電路性能不佳導致的高讀取噪聲。
圖像質量不佳會給ISP/SoCdailaibubiyaodefudan,shiqixuyaochuligengduodeshuju,congerjiangdishijiaoxitongdezhengtizhenlv,huozheyigenggaodeshizhongpinlvyunxinglaiweichixiangtongdeduandaoduanshixu。zaiqianyizhongqingkuangxia,shijiaoxitongdexiaolvhuidadajiangdi,erwulunnazhongqingkuang,xitongzuizhongdouhuichanshenggengduodegonghao。weileyingduichulifudan,kenengxuyaopeibeigengxianjinziyuandeISP/SoC,這將進一步增加總體BOM成本。而優秀的圖像輸出質量能夠緩解上述種種不足,降低視覺係統的總體擁有成本。
子采樣模式
安森美(onsemi)公司的圖像傳感器(例如HyperluxTM LP產品係列)已經意識到這些操作需求,並集成了多種子采樣模式。這些模式,如合並(Binning)、裁剪(Cropping)和跳采(Skipping),能夠大大減少生成和傳輸所需的帶寬。

安森美Hyperlux LP係列產品
這些功能使視覺係統變得非常智能,能夠根據用例需求選擇最優的功耗/性能配置。例如,在生物識別掃描儀中,現在可以利用配備500萬像素傳感器陣列的單個係統,以逐漸增強的掃描方式,完成子采樣模式下的單個指紋掃描到全分辨率麵部掃描。最重要的是,ISP/SoC接收到的數據量減少,從而降低了其自身及整個視覺係統的功耗。
縮減數據規模
高分辨率圖像傳感器會占用大量帶寬來輸出數據。例如,以60幀/秒速度工作的2000萬像素傳感器將傳輸12 Gbps圖像數據,這些數據不僅需要在傳感器內部的高速接口中妥善處理,還需要由接收這些數據的ISP/SoC進行處理。處理如此龐大的數據需要在這些處理引擎中投入昂貴且專用的資源和電力,並可能導致大量的功耗/熱管理問題。此外,接口速度的限製也增加了這一挑戰。
在(zai)大(da)多(duo)數(shu)應(ying)用(yong)中(zhong),可(ke)能(neng)隻(zhi)有(you)小(xiao)部(bu)分(fen)時(shi)間(jian)需(xu)要(yao)在(zai)全(quan)分(fen)辨(bian)率(lv)下(xia)全(quan)速(su)運(yun)行(xing),其(qi)餘(yu)時(shi)間(jian)則(ze)僅(jin)需(xu)較(jiao)低(di)分(fen)辨(bian)率(lv)。雖(sui)然(ran)子(zi)采(cai)樣(yang)模(mo)式(shi)可(ke)以(yi)降(jiang)低(di)帶(dai)寬(kuan)並(bing)有(you)其(qi)自(zi)身(shen)優(you)勢(shi),但(dan)在(zai)分(fen)辨(bian)率(lv)選(xuan)擇(ze)或(huo)場(chang)景(jing)完(wan)整(zheng)性(xing)方(fang)麵(mian)會(hui)受(shou)到(dao)一(yi)定(ding)的(de)限(xian)製(zhi)。
傳感器內的縮放器有助於克服這些限製,有效滿足低分辨率操作的需求。它們能夠在源頭控製帶寬,而不是由 ISP/SoC 管理。它們能夠在最大程度上提供精細的粒度控製,同時保持完整的視場角(FOV)。安森美 AR2020 圖像傳感器(Hyperlux LP 產品係列的 2000萬像素成員)的de圖tu像xiang縮suo放fang算suan法fa非fei常chang複fu雜za,即ji使shi在zai分fen辨bian率lv大da幅fu縮suo放fang的de情qing況kuang下xia,也ye能neng提ti供gong出chu色se的de圖tu像xiang質zhi量liang。舉ju例li來lai說shuo,雖sui然ran獲huo取qu遠yuan距ju離li物wu體ti的de細xi節jie確que實shi需xu要yao 2000 萬像素,但可能隻需要圖像的某個特定區域,而不是整個圖像。通過對這一動態定義的區域進行裁剪或縮放,就可以獲得 2000萬像素傳感器的優勢,而無需持續處理相當於 2000萬像素的數據。

圖4 scaling比binning產生的偽影更少,從而提高圖像輸出效果
盡可能休眠,按需喚醒
傳感器可以處於極低的工作狀態,在大多數工作時間內以低分辨率、最低幀速率運行。當檢測到運動時,它會切換到預定的配置--運動喚醒(WOM)模式。圖像傳感器有能力處理這些變化,並讓 ISP/SoC 將其切換到所需的模式/配置。它還能進一步屏蔽與應用無關的運動區域,從而使傳感器和視覺係統更加精準、高效。以前,這一功能是在處理器中完成的,但在傳感器上實現這一功能可減少係統資源和功耗。

圖5 運動喚醒等功能使視覺係統具有高度的目標驅動性
我們可以看到這些功能在電池供電的應用、智能門禁係統、零售掃描儀、醫(yi)療(liao)監(jian)測(ce)係(xi)統(tong)等(deng)類(lei)似(si)應(ying)用(yong)中(zhong)產(chan)生(sheng)的(de)深(shen)遠(yuan)影(ying)響(xiang)。電(dian)池(chi)供(gong)電(dian)的(de)應(ying)用(yong)從(cong)這(zhe)些(xie)傳(chuan)感(gan)器(qi)中(zhong)獲(huo)得(de)了(le)最(zui)大(da)的(de)好(hao)處(chu),因(yin)為(wei)它(ta)們(men)可(ke)以(yi)最(zui)大(da)限(xian)度(du)地(di)降(jiang)低(di)係(xi)統(tong)功(gong)耗(hao)。在(zai)4K視頻門鈴應用中,像安森美AR0830這樣的800 萬像素圖像傳感器在滿負荷狀態下會傳輸6G數據,但現在它可以在WOM模式下運行超過98%的工作時間。在預檢測階段,它產生/傳輸的數據量極低,整個視覺係統的運行功耗僅為全工作模式下的一小部分。
迄今為止,圖像傳感器作為數據捕捉和數據傳輸器件一直表現出色。正如安森美 Hyperlux LP 產品係列中所展現的那樣,上述趨勢和進步使這些傳感器成為內置智能應用的強大邊緣器件。通過集成更好的像素技術、可配置的智能關注區域、運動檢測等功能,現在可以被設計用來滿足特定的用例需求,從而打造出性能卓越且功耗極低的差異化高效視覺係統。
(作者:Onsemi公司 Ganesh Narayanaswamy)
免責聲明:本文為轉載文章,轉載此文目的在於傳遞更多信息,版權歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權問題,請聯係小編進行處理。
推薦閱讀:
- 噪聲中提取真值!瑞盟科技推出MSA2240電流檢測芯片賦能多元高端測量場景
- 10MHz高頻運行!氮矽科技發布集成驅動GaN芯片,助力電源能效再攀新高
- 失真度僅0.002%!力芯微推出超低內阻、超低失真4PST模擬開關
- 一“芯”雙電!聖邦微電子發布雙輸出電源芯片,簡化AFE與音頻設計
- 一機適配萬端:金升陽推出1200W可編程電源,賦能高端裝備製造
- 芯科科技Tech Talks與藍牙亞洲大會聯動,線上線下賦能物聯網創新
- 冬季續航縮水怎麼辦?揭秘熱管理係統背後的芯片力量
- 從HDMI 2.1到UFS 5.0:SmartDV以領先IP矩陣夯實邊緣計算基石
- 小空間也能實現低噪供電!精密測量雙極性電源選型指南,覆蓋小功率到大電流全場景
- 直擊藍牙亞洲大會 2026:Nordic 九大核心場景演繹“萬物互聯”新體驗
- 車規與基於V2X的車輛協同主動避撞技術展望
- 數字隔離助力新能源汽車安全隔離的新挑戰
- 汽車模塊拋負載的解決方案
- 車用連接器的安全創新應用
- Melexis Actuators Business Unit
- Position / Current Sensors - Triaxis Hall





