高效的工業生產需要機器視覺給出快速又精準的決策

 

在生產線上用於測量的相機要能快速判斷液位、chicun
，yonglaidingweidexiangjixitongyaonengkuaisuzhunquedegeichuzhengquedewupinweizhi
，jishitongzhijixieshoubizainalixunzhaozhuaquwupin

，yongzuojijianjianyandexiangjixitongyaonenggoukuaisujisuanchushuliang，shifouyichu，yongzuojiemashibiedexiangjixitongyaonenggoukuaisuzhunqueshibieerweima，zifuxinxideng。xiangjixitongzuochukuaisujingzhunjuecedeguanjianjiushituxiangnenggouqingxizhunquedetigongzhexiexinxi
，butongdejianceyingyongduituxiangdefenbianlv、清晰度

、噪聲、以及相機的幀率、係統成本等都有不同的要求。

 

隨著工業自動化的發展，檢測種類的多樣性，驅使圖像傳感器不斷的更新換代，工藝一直在突破提升。這個發展從安森美半導體的幾代CMOS產品係列中可見一斑：在2005年推出的LUPA係列開始有了高速輸出接口
，接下來2010年推出的VITA係列在全局快門性能上有了很大了提升，支持卷簾快門和全局快門兩種模式
，在2014年推出的PYTHON係列增加了像素內圖像矯正
，有效的優化了全局快門傳感器的噪聲性能，2019年剛推出的XGS係xi列lie使shi用yong了le減jian少shao節jie點dian的de像xiang素su工gong藝yi對dui噪zao聲sheng和he圖tu像xiang一yi致zhi性xing更geng是shi有you了le飛fei躍yue般ban的de提ti升sheng
，今jin後hou安an森sen美mei半ban導dao體ti將jiang會hui在zai工gong業ye級ji圖tu像xiang傳chuan感gan器qi使shi用yong背bei照zhao式shi和he堆dui棧zhan式shi工gong藝yi來lai推tui動dong圖tu像xiang傳chuan感gan器qi的de進jin一yi步bu發fa展zhan。

 

隨(sui)著(zhe)工(gong)藝(yi)的(de)提(ti)升(sheng)，圖(tu)像(xiang)傳(chuan)感(gan)器(qi)的(de)像(xiang)元(yuan)越(yue)來(lai)越(yue)小(xiao)，但(dan)它(ta)卻(que)可(ke)以(yi)達(da)到(dao)大(da)尺(chi)寸(cun)像(xiang)元(yuan)的(de)圖(tu)像(xiang)效(xiao)果(guo)，這(zhe)就(jiu)使(shi)傳(chuan)感(gan)器(qi)的(de)分(fen)辨(bian)率(lv)可(ke)以(yi)越(yue)做(zuo)越(yue)大(da)，帶(dai)寬(kuan)也(ye)越(yue)來(lai)越(yue)高(gao)，也(ye)推(tui)動(dong)了(le)整(zheng)體(ti)相(xiang)機(ji)係(xi)統(tong)的(de)提(ti)升(sheng)和(he)發(fa)展(zhan)，來(lai)滿(man)足(zu)工(gong)業(ye)生(sheng)產(chan)快(kuai)速(su)精(jing)確(que)的(de)推(tui)斷(duan)和(he)決(jue)策(ce)。

 

人工智能是新工具

 

快速精確的決策需求推動整個生態係統來實現高級數據收集和推斷
，提供了真正進入工業4.0的機會，人工智能(AI)正是需要的新工具，用來管理工業係統成像不斷增長的數據集。AI可以通過自適應製造、自動質量控製、預測性維護等方案有效地應對當今製造業麵臨的挑戰
，如工廠中的PCB板檢測、鈑金缺陷檢測、食品衛生檢測、零部件均勻度檢測、平板檢測的應用中，工廠操作員的疲勞會影響對產品質量的一致性評估，但是機器視覺相機和深度學習解決了這個問題。如今，AI已用於60％以上的計算機視覺應用中，而AI在製造應用中的增長已超過50％年複合增長率。

 

工業中AI應用的發展給圖像傳感器帶來了更高的挑戰，包括推動了全局快門性能、高速拍攝
、高分辨率、使用不可見光譜區域和三維體積深度提供的信息進行關鍵推斷，以及神經網絡處理的發展。

 

全局快門：實現高速視覺成像的關鍵

 

傳chuan統tong的de卷juan簾lian快kuai門men圖tu像xiang傳chuan感gan器qi可ke為wei靜jing態tai或huo慢man速su移yi動dong的de物wu體ti成cheng像xiang提ti供gong出chu色se的de靈ling敏min度du。但dan全quan局ju快kuai門men在zai檢jian測ce快kuai速su移yi動dong物wu體ti的de工gong業ye應ying用yong中zhong至zhi關guan重zhong要yao。如ru高gao速su裝zhuang配pei線xian的de機ji器qi視shi覺jiao檢jian測ce之zhi類lei的de任ren務wu需xu要yao準zhun確que的de判pan斷duan，全quan局ju快kuai門men圖tu像xiang傳chuan感gan器qi通tong過guo完wan全quan同tong時shi同tong步bu曝pu光guang捕bu獲huo所suo有you像xiang素su

，來lai消xiao除chu使shi用yong卷juan簾lian快kuai門men傳chuan感gan器qi逐zhu行xing曝pu光guang帶dai來lai的de空kong間jian失shi真zhen變bian形xing的de效xiao果guo
，正zheng確que還hai原yuan了le運yun動dong物wu體ti的de真zhen實shi樣yang子zi，接jie下xia來lai才cai能neng進jin行xing強qiang大da的deAI分類計算。如安森美半導體的全局快門圖像傳感器XGS 2000，以220 fps的速度捕獲高質量
、精確和快速移動的200萬像素全局快門圖像場景
，可以為物流和工業掃描儀等不同場景下應用提供清晰
、低噪聲的圖像。

 

圖1：卷簾快門vs. 全局快門

 

高gao速su也ye是shi快kuai速su移yi動dong物wu體ti檢jian測ce的de工gong業ye應ying用yong另ling一yi個ge至zhi關guan重zhong要yao點dian。高gao速su裝zhuang配pei線xian的de機ji器qi視shi覺jiao檢jian查zha需xu要yao快kuai速su的de幀zhen率lv和he較jiao短duan的de積ji分fen時shi間jian，可ke以yi使shi用yong短duan曝pu光guang和he快kuai速su讀du出chu消xiao除chu圖tu像xiang模mo糊hu的de效xiao果guo。工gong廠chang的de視shi覺jiao檢jian測ce基ji本ben都dou是shi對dui應ying高gao速su移yi動dong的de物wu體ti
，特te別bie是shi工gong廠chang高gao速su運yun轉zhuan的de生sheng產chan線xian上shang，傳chuan送song帶dai的de速su度du特te別bie快kuai，那na麼me在zai最zui短duan的de時shi間jian內nei成cheng像xiang讀du出chu數shu據ju
，減jian少shao或huo消xiao除chu拍pai攝she圖tu像xiang中zhong的de運yun動dong模mo糊hu，才cai能neng利li用yongAI算法實現正確的智能判斷和快速決策。

 

市場對高分辨率的需求不斷增長

 

越來越多的應用對分辨率有了很高的需求，例如手機/電視/電腦顯示器的LCD、OLED屏幕檢測。在這檢測應用中
，使用相機檢測顯示器的輸出，以查找顯示亮度的均勻性、顏色準確性

、線條缺陷
、顆(ke)粒(li)缺(que)陷(xian)等(deng)。這(zhe)就(jiu)要(yao)求(qiu)檢(jian)測(ce)相(xiang)機(ji)提(ti)供(gong)非(fei)常(chang)高(gao)的(de)圖(tu)像(xiang)質(zhi)量(liang)和(he)高(gao)度(du)均(jun)勻(yun)性(xing)，以(yi)確(que)保(bao)相(xiang)機(ji)中(zhong)的(de)質(zhi)量(liang)問(wen)題(ti)不(bu)會(hui)被(bei)誤(wu)解(jie)為(wei)顯(xian)示(shi)器(qi)中(zhong)的(de)產(chan)品(pin)缺(que)陷(xian)。顯(xian)示(shi)屏(ping)實(shi)際(ji)上(shang)都(dou)由(you)紅(hong)綠(lv)藍(lan)等(deng)多(duo)個(ge)LED子zi像xiang素su組zu成cheng，檢jian測ce係xi統tong需xu要yao能neng夠gou解jie析xi所suo有you這zhe些xie子zi像xiang素su，以yi便bian正zheng確que成cheng像xiang和he顯xian示shi並bing確que認ren設she備bei的de質zhi量liang
，為wei提ti高gao檢jian測ce的de精jing度du和he可ke靠kao性xing，行xing業ye中zhong通tong常chang會hui使shi用yong圖tu像xiang傳chuan感gan器qi靶ba麵mian的de3x3
，或者4x4, 甚至5x5個像元來識別顯示屏設備的一個LED子像素
，這就需要用到更多的傳感器像元個數，並且隨著顯示器分辨率的不斷提高-從傳統高清到4k到8k甚至更高，檢測相機所需的分辨率也在不斷提高，才不會犧牲應用所需的高圖像質量和均勻性，為AI算法的精度提供更可靠的數據支持。

 

又如另一個常見的工業成像應用是印刷電路板檢測


，以確認電路板組件上的集成元器件、電容器、dianzuqidengyizhengqueanzhuangbinghanjiedaowei。dianlubandejiancesudushishoutuxiangfenbianlvhezhenlvdezuheyingxiang
，tuxiangzhongnenggoubuhuodedianlubanchicunmianjiyueda，yicikeyijiancededianlubanjiuyueduo
，tuxiangnengbuhuodeyuekuai，jiancedexiaolvjiuyuegao。suirandangqianshichangshangtigongdetuxiangchuanganqikeyimeimiaoshuchuyue500或1400個像素的數據，但是安森美半導體的XGS 45000可以以接近1900個像素/秒的速度捕獲更多的圖像數據用於算法判斷，比競爭對手快3倍以上，圖像數據寬度可以達8000個像素。高分辨率和高帶寬的結合使這種檢測應用的AI算法可以更快，更有效地執行，從而提高了製造過程的生產率。

 

圖2：XGS 45000的演示效果

 

再zai如ru用yong於yu監jian控kong或huo廣guang播bo的de影ying像xiang應ying用yong，圖tu像xiang需xu求qiu結jie合he了le上shang述shu性xing能neng，該gai應ying用yong對dui圖tu像xiang質zhi量liang的de要yao求qiu非fei常chang高gao，市shi場chang對dui分fen辨bian率lv的de需xu求qiu也ye不bu斷duan增zeng長chang
，從cong高gao清qing到dao4K到現在的8k
，高分辨率提供了更強大的圖像結構和細節可以看到寬視野的能力，還提供了用於AI分類的裁剪開窗的選項，來放大感興趣的內容。安森美半導體的XGS 45000圖像傳感器實際上具有比8k視頻所需的分辨率更高，不僅可以使用少量裁切來提供8k視頻
，還由於XGS 45000具有很高的帶寬，它可以60幀每秒的速度提供8k視頻以及完整的12位輸出，滿足了該應用所需的高分辨率、高帶寬和高圖像質量。

 

值得一提的是
，安森美半導體也提供完整的參考設計X-Cube

，基於X-class圖像傳感器係列
， 在1.1英寸光學格式提供1600萬像素分辨率，提供用於機器視覺和ITS的 29 mm x 29 mm工業相機占位所需的成像細節和性能，且一個攝像機可支持多種分辨率
，幫助設計人員加快開發。

 

圖3：高分辨率X-Cube 係統用於29 mm x 29 mm 相機設計

 

從僅捕獲RGB信息和X,Y二維信息到添加深度信息或多光譜區域信息

 

除了圖像傳感器的性能提升

，另外更為豐富的成像信息的集成也可以增強人工智能的性能，逐漸成為工業客戶做出明智決策的關鍵。

 

通過對多種模式和AI處理的投資，也使得安森美半導體具備獨特的優勢
，從僅提供三種紅綠藍(RGB)組成的成像係統發展到添加詳細的光譜特征，這樣可以在檢測中看到RGB無法識別的地方。使用12比特位的圖像數據
，可以提高識別圖像的精度，從僅提供x、y二維定位信息到使用結合了深度像元技術或毫米波雷達、激光雷達技術和圖像融合後帶來深度信息，可更深入地了解檢測對象的全部體積大小高度等的信息，也就是深度學習。

 

所以現在圖像傳感器的開發正在從僅捕獲RGB信xin息xi轉zhuan移yi到dao新xin的de形xing式shi，增zeng強qiang的de數shu據ju集ji提ti供gong的de信xin息xi將jiang不bu僅jin僅jin是shi顏yan色se和he二er維wei位wei置zhi。圖tu像xiang傳chuan感gan器qi的de廠chang家jia都dou在zai開kai發fa新xin技ji術shu以yi獲huo取qu更geng可ke靠kao的de深shen度du信xin息xi或huo者zhe多duo光guang譜pu區qu域yu信xin息xi。比bi如ru開kai發fa通tong過guo融rong合he內nei部bu不bu同tong數shu據ju流liu的deSuper Depth像元技術，開發通過有規律的結構


，調製入射光振幅或相位的衍射光柵技術
，開發基於單光子雪崩二極管(SPAD)和矽光電倍增管(SiPM)的傳感器等方式來實現為圖像提供更多的深度信息。

 

或者開發基於等離子體波導濾波片，或以法布裏-珀羅（F-P)結構原理為基礎的多通道分光濾光片製造技術實現在更多的光譜區域成像的超多光譜技術。

 

神經網絡處理

 

隨著人工智能的發展
，分類係統設計需要功能強大的圖像處理單元(GPU)或張量處理單元(TPU)shenjingwangluochuliqi，yinweixunlianhetuilidouxuyaodaliangjisuan，rengongzhinengjiezhengzaimianlinqiansuoweiyoudesuanlitiaozhan


，wangluotuopuxuyaoshuyigechengfahejiafaluojijisuan（MAC），需要數百萬個卷積神經網絡參數，就比如能實現分類/目標檢測/語義分割等多目標任務的MobileNetV2結構就具有3億個MAC計算和420萬個參數
，但這相對於ResNet微結構
，已經是減少了9倍的計算量。

 

訓練過程由於涉及海量的大數據和複雜的深度神經網絡結構，需要的計算規模非常龐大
，通常需要GPU或雲去完成，推斷部署環節的計算量相比訓練環節會少一些，但仍然涉及大量的矩陣運算，通常在邊緣的高功率GPU / TPU上執行以實現低延遲。麵對深度學習的訓練和推斷的算力需求，市場上大部分使用的是NVIDIA的GPU或google的TPU來實現。

 

AI的發展

 

要真正實現快速決策
，AI也需要發展。 如今，用於成像的AI決策已從雲過渡到邊緣再遷移到與成像係統本身。 比如把AI的訓練環節保留在GPUhuoyunduan，liyongduizhangongyikeyijiangjuecehuoshenzhiyuzhixiangguandeyixieyuchulijichengdaotuxiangchuanganqishang，biruzaichuanganqishangjichengyongyutuxiangshibiededicenghuozheqingsuanlidejuanjishenjingwangluoceng，jichengjuyouneicundeshuzijuzhenchengfajisuandanyuantixijiegou。zhexieAI功能集成在圖像傳感器中都將會實現

，也已經有公司發布了內置人工智能引擎的圖像傳感器芯片。

 

如安森美半導體的融合了AI的水果新鮮度分類係統的演示，整個ECOsystem是基於安森美半導體的AR1335的相機和NVIDIA Xavier edge GPU, 使用了TensorRT版本的MobileNetV2結構來處理分類新鮮和腐爛的蘋果
、橘子、香蕉等6類多達上萬個CNN訓練參數，可以識別三種水果及其新鮮度，這個係統的準確率達到97%以上。

 

圖4：AI用於機器視覺，識別水果新鮮度

 

總結

 

圖像傳感器的開發正在從僅提供RGB和二維坐標信息轉移到新的更豐富的形式。 圖像傳感器可提供更多類型的數據，無論是深度數據還是增加的光譜信息，以及AI合並這些數據集並實現高級決策，從而使係統能夠通過新的測量和決策機會提供更快
、更準確的結果。安森美半導體是工業機器視覺的領袖之一，以全方位的智能感知產品陣容和領先的技術，應對工業AI應用挑戰並推進智能製造的創新。

 

 

推薦閱讀：