相機和AI:工業機器視覺技術加速發展的雙引擎
發布時間:2023-09-15 來源:Mouser 責任編輯:wenwei
【導讀】機器視覺(MV)shiyizhongshijiqirenhezidongjiashiqichedengqitajiqinenggoukandaoheshibiezhouweihuanjingzhongwutidejishu。zaiguoqujinianli,jiqishijiaodejinbushidexuduojiqirenhezidongjiashiqicheyongyoulejihuyurenleixiangsideganzhishuiping。zhegeguochengzhuyaoshitongguojiangguangxuechuanganqiyurengongzhinenghekeyifenxihechulituxiangshujudejiqixuexigongjujinxingpeidui,cishidazailejiqishijiaoxitongdejiqirenhezidongjiashiqichejiunenggouzhixingfeichangfuzaderenwule。
眼睛和大腦:
機器視覺和計算機視覺的主要區別
很(hen)多(duo)時(shi)候(hou),機(ji)器(qi)視(shi)覺(jiao)會(hui)與(yu)計(ji)算(suan)機(ji)視(shi)覺(jiao)一(yi)詞(ci)混(hun)為(wei)一(yi)談(tan)。然(ran)而(er),事(shi)實(shi)上(shang)二(er)者(zhe)還(hai)是(shi)有(you)區(qu)別(bie)的(de)。對(dui)機(ji)器(qi)視(shi)覺(jiao)而(er)言(yan),它(ta)通(tong)常(chang)與(yu)具(ju)備(bei)計(ji)算(suan)機(ji)視(shi)覺(jiao)能(neng)力(li)的(de)工(gong)業(ye)應(ying)用(yong)聯(lian)係(xi)在(zai)一(yi)起(qi),需(xu)要(yao)攝(she)像(xiang)頭(tou)來(lai)捕(bu)捉(zhuo)和(he)提(ti)供(gong)圖(tu)像(xiang)數(shu)據(ju)。計(ji)算(suan)機(ji)視(shi)覺(jiao)的(de)任(ren)務(wu)則(ze)是(shi)將(jiang)已(yi)有(you)的(de)圖(tu)像(xiang)數(shu)字(zi)化(hua),處(chu)理(li)其(qi)中(zhong)包(bao)含(han)的(de)數(shu)據(ju)並(bing)采(cai)取(qu)某(mou)種(zhong)行(xing)動(dong)。
一yi般ban來lai講jiang,機ji器qi視shi覺jiao係xi統tong的de處chu理li能neng力li相xiang對dui較jiao小xiao,主zhu要yao用yong於yu精jing益yi製zhi造zao環huan境jing,通tong過guo高gao速su執zhi行xing實shi際ji任ren務wu以yi獲huo取qu完wan成cheng指zhi定ding作zuo業ye所suo需xu的de數shu據ju。計ji算suan機ji視shi覺jiao係xi統tong是shi處chu理li視shi覺jiao數shu據ju的de人ren工gong智zhi能neng(AI)和機器學習(ML)算法的所在,它需要收集盡可能多的關於物體或場景的數據並充分理解它們。因此,計算機視覺既要能夠分析來自運動檢測器、紅外傳感器等來源的圖像,又可以在沒有相機的情況下執行任務,掃描數字網絡照片或視頻,處理來自任何來源(包括互聯網)的圖像。從本質上講,機器視覺就是係統的眼睛,而計算機視覺則相當於係統的大腦。
相機:
機器視覺係統中的重要組件
jiqishijiaoshiyixiangkansijiandandanshijishangxiangdangfuzadejishu。shouxian,taxuyaoshiyongzhuanmendeguangxueqijianlaibuzhuozhouweihuanjingzhongdeshijiaoxinxi。ranhou,zaijiezhuyingjianheruanjiandezuheduituxiangdemouxietezhengjinxingchuli、fenxiheceliang。liru,zuoweizhizaoxitongdeyibufendejiqishijiaoyingyongchengxukeyiyongyufenxizaizhuangpeixianshangzhizaodelingjiandetedingtexing,quedinglingjianshifoufuhezhiliangbiaozhun。
在實際應用中,機器視覺常常被看作是計算機的一種視覺能力,其係統由一個或多個光學傳感器(如高分辨率相機)、模數轉換(ADC)和數字信號處理(DSP)dengqijianzucheng。xiangjihechuanganqiyongyushoujiganguangxingshidetuxiang,bingjiangqizhuanhuaweidianxinhao,suochanshengdedianxinhaojingshuzihuachulihoubeichuanshudaojisuanjijinxingfenxibingtigongsuoxudeshuchu。zaijishufuzaxingshang,jiqishijiaoyuyuyinshibiexiangsi。
目前,用於製造業的機器視覺主要采用兩種類型的相機,即:麵陣掃描相機和線陣掃描相機。
麵(mian)陣(zhen)掃(sao)描(miao)相(xiang)機(ji)使(shi)用(yong)矩(ju)形(xing)傳(chuan)感(gan)器(qi)在(zai)單(dan)個(ge)幀(zhen)中(zhong)拍(pai)攝(she)照(zhao)片(pian),傳(chuan)感(gan)器(qi)中(zhong)的(de)像(xiang)素(su)數(shu)量(liang)對(dui)應(ying)於(yu)圖(tu)像(xiang)的(de)寬(kuan)度(du)和(he)高(gao)度(du)。線(xian)陣(zhen)掃(sao)描(miao)相(xiang)機(ji)是(shi)逐(zhu)個(ge)像(xiang)素(su)地(di)構(gou)建(jian)圖(tu)像(xiang),它(ta)們(men)適(shi)用(yong)於(yu)拍(pai)攝(she)運(yun)動(dong)中(zhong)或(huo)尺(chi)寸(cun)不(bu)規(gui)則(ze)的(de)物(wu)品(pin)的(de)圖(tu)像(xiang)。在(zai)拍(pai)攝(she)照(zhao)片(pian)時(shi),傳(chuan)感(gan)器(qi)在(zai)物(wu)體(ti)上(shang)以(yi)線(xian)性(xing)運(yun)動(dong)通(tong)過(guo),因(yin)此(ci),線(xian)陣(zhen)掃(sao)描(miao)相(xiang)機(ji)不(bu)像(xiang)麵(mian)陣(zhen)掃(sao)描(miao)相(xiang)機(ji)那(na)樣(yang)局(ju)限(xian)於(yu)特(te)定(ding)的(de)分(fen)辨(bian)率(lv)。
相xiang機ji的de靈ling敏min度du和he分fen辨bian率lv是shi機ji器qi視shi覺jiao係xi統tong的de兩liang個ge重zhong要yao參can數shu,其qi中zhong,分fen辨bian率lv負fu責ze區qu分fen物wu體ti,而er靈ling敏min度du是shi機ji器qi在zai光guang線xian昏hun暗an或huo波bo長chang不bu可ke見jian的de情qing況kuang下xia檢jian測ce物wu體ti或huo微wei弱ruo脈mai衝chong的de能neng力li。一yi般ban來lai說shuo,分fen辨bian率lv越yue大da,視shi野ye就jiu越yue有you限xian。靈ling敏min度du和he分fen辨bian率lv是shi相xiang互hu依yi存cun的de,如ru果guo其qi他ta因yin素su不bu變bian,增zeng加jia靈ling敏min度du就jiu會hui降jiang低di分fen辨bian率lv,而er增zeng加jia分fen辨bian率lv則ze會hui降jiang低di靈ling敏min度du。麵mian陣zhen相xiang機ji的de分fen辨bian率lv和he掃sao描miao頻pin率lv一yi般ban均jun低di於yu線xian陣zhen相xiang機ji。
許多機器視覺相機的分辨率超過4,500wanxiangsu,zhexiexiangjinengyijigaodesudupaishewutierbuhuishizhen。tuidongjiqishijiaogongnengdelingyigejinbushijiyushijiandeshijiaochuanganqi。zhexiechuanganqichulituxiangdefangshiyurenyandeshishenjingchulixinxidefangshileisi。gengjutidishuo,zhexiejiyushijiandeshijiaochuanganqijiancemeigexiangsudeliangdubianhua。zhezhongnenglishijiqishijiaonenggouzaibichuantongdejiyuzhendeshijiaochuanganqiandeduodehuanjingzhongshiyong。
Sony Spresense的ISX012是一款有效像素達到511萬像素的圖像傳感器,相機板在Spreseense的主板上使用了這款結構緊湊、高分辨率的傳感器來擴展主板的功能。板載編碼器可以采集JPEG、RAW、Y/C或RGB格式的圖片。相機板通過專用的並行接口直接連接到主板,當與主板上CXD5602微控製器的AI功能相結合時,可為物聯網設備提供先進的視覺功能。
圖1:可提供先進的視覺功能的
Sony Spresense相機板(圖源:Mouser)
當然,出於應用成本的考慮,機器視覺係統不是越複雜越好,而應選擇適合的。一維(1D)視覺、二維(2D)視覺以及三維(3D)視覺這三種類型是常用的、麵向不同任務的機器視覺係統。
01 1D視覺
1Dshijiaobuhuiyicixingwanchengzhenggewutituxiangdefenxi,ershiyiciduquyixing,tongchangcaiyongxianzhensaomiaoxiangji,zhezhongleixingdejiqishijiaochangchangyongzaizhizaoguochengzhongdechanpinjiance,biruyonglaifaxianchuansongdaishangchanpinzhongdequexian;
02 2D視覺
2D視shi覺jiao主zhu要yao使shi用yong數shu碼ma相xiang機ji收shou集ji圖tu像xiang數shu據ju,通tong過guo比bi較jiao一yi幅fu圖tu像xiang與yu下xia一yi幅fu圖tu像xiang的de變bian化hua來lai確que定ding下xia一yi步bu應ying采cai取qu的de處chu理li措cuo施shi,這zhe種zhong類lei型xing的de機ji器qi視shi覺jiao通tong常chang用yong於yu物wu體ti跟gen蹤zong以yi及ji產chan品pin的de類lei型xing驗yan證zheng等deng;
03 3D視覺
3D視覺通常在不同位置使用多個數碼相機和其他傳感器來捕捉物體的數字模型或圖像,從而對其位置、大小和特征進行準確的評估,因此,3D機器視覺非常適合幫助機器人導航周圍環境並執行與訂單相關的任務。
隨著不同垂直行業對質量檢測和自動化的需求不斷增加,3D機器視覺市場將以高於行業平均水平的速度實現快速增長。Grand View Research的分析數據表明,2022年,全球3D機器視覺市場規模為58.1億美元,預計2023年至2030年的複合年增長率(CAGR)將達到13.5%。
ams OSRAM公司的Mira220全局快門圖像傳感器是一款體積小巧、專為工業機器視覺應用而設計的2D和3D解決方案,有效分辨率為1,600(H)x 1,400(V),幀速率可高達90fps,深度為12位。Mira220采用的先進背麵照明(BSI)技術將傳感器層堆疊在數字/讀出層的頂部,這種設計產生了占位麵積僅為5.3毫米×5.3毫米的芯片級封裝,特別適合空間受限產品的設計。
Mira220的功耗非常低,在睡眠模式下僅需4mW,在空閑模式下功耗40mW,而在90fps的全分辨率下也僅僅需要350mW。此外,Mira220傳感器還可以利用MIPI CSI-2接口方便地與處理器和FPGA進行交互。
圖2:專為工業機器視覺應用而設計的ams OSRAM的Mira220全局快門圖像傳感器(圖源:ams OSRAM)
工業:
機器視覺應用的主戰場
jiqirenzhisuoyinengyurenleizuotongyangdegongzuo,zhuyaoguigongyujiqishijiao。jiqirenshoubiyongtalaijianzhacongzhuangpeixianshangxialaidelingjianhechanpin,quedingnaxiefuhezhiliangbiaozhun。ciwai,jiqishijiaohaishijiqirenherenleizhijiandexiezuogengjiagaoxiaoheanquan。xianzai,jiqishijiaoyijingchengweigongye4.0過程自動化的關鍵技術,其中汽車、製藥、包裝、食品和飲料等垂直行業是使用機器人係統比較突出的領域。
據Grand View Research的分析,2022年,全球機器視覺市場規模為168.9億美元,預計2023年至2030年將以12.3%的複合年增長率(CAGR)增長,到2030年,市場規模將達到416億美元。按照產品劃分,機器視覺產品可細分為基於PC的和基於智能攝像頭的係統。2022年,基於PC的細分市場在全球的市場份額超過54.92%,接下來的幾年裏預計這一趨勢仍將得到延續。
與機構或教育應用中使用的機器視覺係統相比,工業機器視覺係統通常更耐用,並要求較高的可靠性、穩定性和準確性,而它們的成本則比在軍事、航空航天、國防和政府應用中使用的係統要低很多。這也是近些年機器視覺在工業領域日益普及的重要原因。
在工業應用中,機器視覺常常被用於執行各種任務,下麵我們就列舉一些:
01 電(dian)子(zi)元(yuan)件(jian)的(de)識(shi)別(bie)和(he)分(fen)析(xi)。對(dui)元(yuan)器(qi)件(jian)的(de)準(zhun)確(que)識(shi)別(bie)及(ji)跟(gen)蹤(zong)是(shi)整(zheng)個(ge)製(zhi)造(zao)或(huo)物(wu)流(liu)過(guo)程(cheng)控(kong)製(zhi)的(de)重(zhong)要(yao)環(huan)節(jie)。例(li)如(ru),將(jiang)機(ji)器(qi)視(shi)覺(jiao)用(yong)於(yu)電(dian)路(lu)板(ban)的(de)焊(han)接(jie)過(guo)程(cheng)監(jian)控(kong),除(chu)了(le)完(wan)成(cheng)焊(han)接(jie)質(zhi)量(liang)檢(jian)查(zha),還(hai)能(neng)同(tong)步(bu)檢(jian)查(zha)元(yuan)器(qi)件(jian)的(de)放(fang)置(zhi)是(shi)否(fou)正(zheng)確(que)。
02 印(yin)刷(shua)缺(que)陷(xian)識(shi)別(bie)。印(yin)刷(shua)缺(que)陷(xian)識(shi)別(bie)的(de)目(mu)的(de)是(shi)定(ding)位(wei)印(yin)刷(shua)異(yi)常(chang),如(ru)不(bu)正(zheng)確(que)的(de)色(se)調(tiao)或(huo)印(yin)刷(shua)品(pin)的(de)缺(que)失(shi)或(huo)有(you)缺(que)陷(xian)的(de)部(bu)分(fen),機(ji)器(qi)視(shi)覺(jiao)的(de)應(ying)用(yong)大(da)幅(fu)降(jiang)低(di)了(le)人(ren)為(wei)因(yin)素(su)可(ke)能(neng)出(chu)現(xian)的(de)錯(cuo)誤(wu)。
03 cailiaojianzha。cailiaojiancexitongzhongdejiqishijiaogongnengquebaolechanpindezhiliangkongzhi,tanengzhunqueshibiechanpinzhongdequexianshenzhiwuranwu。liru,kejiangjiqishijiaoxitongyongyuyaowanhepianjideguochengjiankong。
04 物wu體ti定ding位wei。在zai機ji器qi人ren製zhi導dao等deng應ying用yong中zhong,機ji器qi視shi覺jiao通tong常chang被bei用yong來lai尋xun找zhao東dong西xi,其qi目mu的de是shi確que定ding目mu標biao物wu體ti的de坐zuo標biao和he位wei置zhi。這zhe也ye是shi機ji器qi視shi覺jiao普pu遍bian的de應ying用yong之zhi一yi。
05 模式識別。機器視覺在當今的醫學診斷方麵發揮了重要作用。醫學成像分析使用基於機器視覺的模式識別、磁共振成像、血液掃描和大腦掃描等技術可對疾病進行準確的診斷。
06 物(wu)體(ti)識(shi)別(bie)。在(zai)汽(qi)車(che)行(xing)業(ye),自(zi)動(dong)駕(jia)駛(shi)汽(qi)車(che)使(shi)用(yong)機(ji)器(qi)視(shi)覺(jiao)係(xi)統(tong)中(zhong)的(de)攝(she)像(xiang)頭(tou)拍(pai)攝(she)的(de)圖(tu)像(xiang)進(jin)行(xing)物(wu)體(ti)識(shi)別(bie),得(de)以(yi)準(zhun)確(que)地(di)分(fen)析(xi)出(chu)道(dao)路(lu)上(shang)的(de)障(zhang)礙(ai)物(wu)類(lei)型(xing)。隨(sui)著(zhe)自(zi)動(dong)駕(jia)駛(shi)技(ji)術(shu)的(de)不(bu)斷(duan)演(yan)進(jin),這(zhe)一(yi)領(ling)域(yu)將(jiang)成(cheng)為(wei)機(ji)器(qi)視(shi)覺(jiao)極(ji)具(ju)發(fa)展(zhan)前(qian)景(jing)的(de)應(ying)用(yong)之(zhi)一(yi)。
人工智能:
工業機器視覺技術發展的加速器
現代機器視覺係統開始越來越多地使用人工智能(AI)方法與技術,如機器學習或深度學習,以及人工神經網絡。AI能neng夠gou處chu理li大da量liang以yi前qian難nan以yi收shou集ji的de圖tu像xiang和he數shu據ju信xin息xi,加jia快kuai了le決jue策ce過guo程cheng。例li如ru,簽qian名ming和he字zi符fu識shi別bie,有you了le人ren工gong智zhi能neng的de加jia持chi,機ji器qi視shi覺jiao係xi統tong可ke以yi快kuai速su甄zhen別bie其qi中zhong的de細xi微wei差cha別bie。
在製造業中,AI有助於物體識別和材料檢查,使機器視覺係統能夠理解物體或材料形狀和紋理的變化。在質量保證方麵,AI係統可以分析出現的異常現象,而不是單純地檢出和拒絕不符合規範的產品。機器視覺與AI和深度學習相結合,擴大了機器人在執行生產線任務中的作用,如挑選、分揀、放置和執行生產線掃描。這種技術組合還使機器人能夠在其他環境中運行,如超市、醫院和餐館等。基於AI的機器視覺還可以在更廣泛的背景和照明設置中識別缺陷,並靈活應對產品外觀和缺陷類型的變化,例如凹痕或變色。
深度學習是人工智能中一個更複雜、更(geng)強(qiang)大(da)的(de)子(zi)集(ji),在(zai)機(ji)器(qi)視(shi)覺(jiao)應(ying)用(yong)中(zhong)也(ye)越(yue)來(lai)越(yue)多(duo)地(di)被(bei)采(cai)用(yong)。在(zai)人(ren)工(gong)智(zhi)能(neng)的(de)支(zhi)持(chi)下(xia),機(ji)器(qi)視(shi)覺(jiao)係(xi)統(tong)常(chang)常(chang)被(bei)用(yong)來(lai)執(zhi)行(xing)複(fu)雜(za)的(de)任(ren)務(wu),比(bi)如(ru)質(zhi)量(liang)控(kong)製(zhi)、裝配控製、過程控製和機器人操控等。在過去幾年裏,將人工智能融入機器視覺應用是工業機器視覺技術發展的主要加速器。在“未來的工廠”中,機器視覺和AI技術將是過程自動化和提高效率的關鍵組成部分。
機器視覺與AI的技術進步離不開芯片組的支持。新一代嵌入式芯片的功能更強大,成本合理,適用於處理圖像和運行基於AI的機器視覺算法,可將深度學習訓練時間從數周減少到數小時。
NXP的i.MX 95係列應用處理器將eIQ Neutron神經處理單元(NPU)、Arm Mali沉浸式3D圖形處理、異構安全分區和網絡功能組合在一起,可實現機器學習和先進的邊緣應用。此外,i.MX95還集成了NXP的圖像信號處理器(ISP),支持多種不同的圖像傳感器,從而實現工業、機器人、醫療和汽車等領域廣泛的視覺應用。為此,NXP專門針對機器視覺應用對這個ISP進行了優化,能支持兩個目標區域、兩個曝光的HDR合成、先進降噪和邊緣增強,支持彩色、單色和RGB-IR攝像頭傳感器。
在i.MX95 SoC中,主要通過集成的eIQ Neutron NPU實現機器視覺,在這裏,NPU作為視覺處理通路的一部分,連通多個攝像頭傳感器和網絡連接的智能攝像頭。
圖3:NXP i.MX95係統框圖
(圖源:NXP)
本文小結
工業機器視覺是使用相機、jingtouhezhaomingshebeiduizhichengpinjinxingzidongshijiaojianzha。zheshiyizhongshishijiancebujiandefangfa,jikuaisuyouzhunque,takeyiduigaosushengchanxianshangdemeiyijianchanpinjinxingpaishehefenxi,tongguofuzadesuanfalaijianzhahepingguzaigongyehuanjingzhonghuoqudetuxiang,quebao100%的質量控製。它還可以自動化許多工業檢查,包括缺陷和問題的目視檢查、產品存在與否檢查、產品類型驗證、測量和產品代碼讀取等。今天,工業自動化正在以驚人的速度發展,機器視覺技術在其發展和擴張中發揮著至關重要的作用。
在(zai)剛(gang)剛(gang)過(guo)去(qu)幾(ji)年(nian)裏(li),融(rong)入(ru)了(le)人(ren)工(gong)智(zhi)能(neng)的(de)機(ji)器(qi)視(shi)覺(jiao)技(ji)術(shu)幫(bang)助(zhu)許(xu)多(duo)機(ji)器(qi)人(ren)和(he)自(zi)動(dong)駕(jia)駛(shi)汽(qi)車(che)實(shi)現(xian)了(le)幾(ji)乎(hu)與(yu)人(ren)類(lei)相(xiang)似(si)的(de)感(gan)知(zhi)水(shui)平(ping)。通(tong)過(guo)使(shi)用(yong)大(da)量(liang)先(xian)進(jin)的(de)光(guang)學(xue)傳(chuan)感(gan)器(qi),如(ru)高(gao)分(fen)辨(bian)率(lv)相(xiang)機(ji),這(zhe)些(xie)機(ji)器(qi)人(ren)和(he)汽(qi)車(che)最(zui)終(zhong)能(neng)夠(gou)以(yi)自(zi)己(ji)的(de)方(fang)式(shi)擁(yong)有(you)“看”的(de)能(neng)力(li)。多(duo)種(zhong)技(ji)術(shu)的(de)融(rong)合(he)和(he)飛(fei)速(su)發(fa)展(zhan)使(shi)得(de)新(xin)應(ying)用(yong)的(de)潛(qian)力(li)顯(xian)著(zhu)增(zeng)加(jia),這(zhe)意(yi)味(wei)著(zhe)未(wei)來(lai)的(de)機(ji)器(qi)視(shi)覺(jiao)技(ji)術(shu)將(jiang)與(yu)更(geng)多(duo)的(de)行(xing)業(ye)相(xiang)關(guan),所(suo)創(chuang)建(jian)的(de)解(jie)決(jue)方(fang)案(an)也(ye)將(jiang)更(geng)加(jia)通(tong)用(yong)和(he)智(zhi)能(neng)。
免責聲明:本文為轉載文章,轉載此文目的在於傳遞更多信息,版權歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權問題,請聯係小編進行處理。
推薦閱讀:
- 噪聲中提取真值!瑞盟科技推出MSA2240電流檢測芯片賦能多元高端測量場景
- 10MHz高頻運行!氮矽科技發布集成驅動GaN芯片,助力電源能效再攀新高
- 失真度僅0.002%!力芯微推出超低內阻、超低失真4PST模擬開關
- 一“芯”雙電!聖邦微電子發布雙輸出電源芯片,簡化AFE與音頻設計
- 一機適配萬端:金升陽推出1200W可編程電源,賦能高端裝備製造
- 從機械執行到智能互動:移遠Q-Robotbox助力具身智能加速落地
- 品英Pickering將亮相2026航空電子國際論壇,展示航電與電池測試前沿方案
- 模擬芯片設計師的噩夢:晶體管差1毫伏就廢了,溫度升1度特性全飄
- 3A大電流僅需3x1.6mm?意法半導體DCP3603重新定義電源設計
- 芯科科技Tech Talks與藍牙亞洲大會聯動,線上線下賦能物聯網創新
- 車規與基於V2X的車輛協同主動避撞技術展望
- 數字隔離助力新能源汽車安全隔離的新挑戰
- 汽車模塊拋負載的解決方案
- 車用連接器的安全創新應用
- Melexis Actuators Business Unit
- Position / Current Sensors - Triaxis Hall




