辨別臉部表情和情緒是人類社會互動早期階段中一項基本且非常重要的技能。人類可以觀察一個人的臉部，並且快速辨識常見的情緒：怒
、喜、驚、厭、悲
、kong。jiangzheyijinengchuandageijiqishiyixiangfuzaderenwu。yanjiurenyuanjingguojishiniandegongchengsheji，shitubianxiechunenggouzhunquebianshiyixiangtezhengdejisuanjichengxu，danrengbixubuduandifanfuchangshi
，cainengbianshichujinyouxiweichabiedetezheng。

 

那麼，如果不對機器進行編程，而是直接教機器精確地辨識情緒
，這樣是否可行呢？

 

深度學習(deep learning)技術對於降低計算機視覺(computer vision)辨識和分類的錯誤率展現出巨大的優勢。在嵌入式係統中實施深度神經網絡(見圖1)有助於機器透過視覺解讀臉部表情
，並達到類似人類的準確度。

 

圖1：深度神經網絡的簡單例子

 

神經網絡可經由訓練而辨識出模式，而且如果它擁有輸入輸出層以及至少一個隱藏的中間層，則被認為具有「深度」辨(bian)識(shi)能(neng)力(li)。每(mei)個(ge)節(jie)點(dian)從(cong)上(shang)一(yi)層(ceng)中(zhong)多(duo)個(ge)節(jie)點(dian)的(de)加(jia)權(quan)輸(shu)入(ru)值(zhi)而(er)計(ji)算(suan)出(chu)來(lai)。這(zhe)些(xie)加(jia)權(quan)值(zhi)可(ke)經(jing)過(guo)調(tiao)整(zheng)而(er)執(zhi)行(xing)特(te)別(bie)的(de)影(ying)像(xiang)辨(bian)識(shi)任(ren)務(wu)。這(zhe)稱(cheng)為(wei)神(shen)經(jing)網(wang)絡(luo)訓(xun)練(lian)過(guo)程(cheng)。

 

例如，為了訓練深度神經網絡辨識麵帶開心笑臉的照片，我們向其展示開心的圖片作為輸入層上的原始數據(影像畫素)。由you於yu知zhi道dao結jie果guo是shi開kai心xin
，網wang絡luo就jiu會hui辨bian識shi圖tu片pian中zhong的de模mo式shi，並bing調tiao整zheng節jie點dian加jia權quan，盡jin可ke能neng地di減jian少shao開kai心xin類lei別bie圖tu片pian的de錯cuo誤wu。每mei個ge顯xian示shi出chu開kai心xin表biao情qing並bing帶dai有you批pi注zhu的de新xin圖tu片pian都dou有you助zhu於yu優you化hua圖tu片pian權quan重zhong。藉ji由you充chong份fen的de輸shu入ru信xin息xi與yu訓xun練lian
，網wang絡luo可ke以yi攝she入ru不bu帶dai標biao記ji的de圖tu片pian，並bing且qie準zhun確que地di分fen析xi和he辨bian識shi與yu開kai心xin表biao情qing相xiang對dui應ying的de模mo式shi。

 

shendushenjingwangluoxuyaodaliangdeyunsuannengli，yongyujisuansuoyouzhexiehulianjiediandejiaquanzhi。ciwai，shujucunchuqihegaoxiaodeshujuyidongyehenzhongyao。juanjishenjingwangluo(CNN)(見圖2)是目前針對視覺實施深度神經網絡中實現效率最高的先進技術。CNN之所以效率更高
，原因是這些網絡能夠重複使用圖片間的大量權重數據。它們利用數據的二維(2D)輸入結構減少重複運算。

 

*圖2：用於臉部分析的卷積神經網絡架構(示意圖) *

 

實施用於臉部分析的CNN需要兩個獨特且互相獨立的階段。第一個是訓練階段
，第二個是部署階段。

 

訓練階段(見圖3)需要一種深度學習架構——例如，Caffe或TensorFlow——它采用中央處理器(CPU)和繪圖處理器(GPU)進行訓練計算，並提供架構使用知識。這些架構通常提供可用作起點的CNN圖形範例。深度學習架構可對圖形進行微調。為了實現盡可能最佳的精確度，可以增加
、移除或修改分層。

 

圖3：CNN訓練階段

 

在(zai)訓(xun)練(lian)階(jie)段(duan)的(de)一(yi)個(ge)最(zui)大(da)挑(tiao)戰(zhan)是(shi)尋(xun)找(zhao)標(biao)記(ji)正(zheng)確(que)的(de)數(shu)據(ju)集(ji)，以(yi)對(dui)網(wang)絡(luo)進(jin)行(xing)訓(xun)練(lian)。深(shen)度(du)網(wang)絡(luo)的(de)精(jing)確(que)度(du)高(gao)度(du)依(yi)賴(lai)於(yu)訓(xun)練(lian)數(shu)據(ju)的(de)分(fen)布(bu)和(he)質(zhi)量(liang)。臉(lian)部(bu)分(fen)析(xi)必(bi)須(xu)考(kao)慮(lv)的(de)多(duo)個(ge)選(xuan)項(xiang)是(shi)來(lai)自(zi)「臉部表情辨識挑戰賽」(FREC)的情感標注數據集和來自VicarVision (VV)的多標注私有數據集。

 

針對實時嵌入式設計，部署階段(見圖4)可實施在嵌入式視覺處理器上
，例如帶有可編程CNN引擎的Synopsys DesignWare EV6x嵌入式視覺處理器。嵌入式視覺處理器是均衡性能和小麵積以及更低功耗關係的最佳選擇。

 

圖4：CNN部署階段

 

雖然標量單元和向量單元都采用C和OpenCL C(用於實現向量化)進行編程設計
，但CNN引擎不必手動編程設計。來自訓練階段的最終圖形和權重(係數)可以傳送到CNN映射工具中，而嵌入式視覺處理器的CNN引擎則可經由配置而隨時用於執行臉部分析。

 

從攝影機和影像傳感器擷取的影像或視訊畫麵被饋送至嵌入式視覺處理器。在照明條件或者臉部姿態有顯著變化的辨識場景中，CNN比較難以處理，因此，影像的預處理可以使臉部更加統一。先進的嵌入式視覺處理器的異質架構和CNN能讓CNN引擎對影像進行分類，而向量單元則會對下一個影像進行預處理——光線校正
、影像縮放、平麵旋轉等，而標量單元則處理決策(即如何處理CNN檢測結果)。

 

影像分辨率
、畫麵更新率、圖層數和預期的精確度都要考慮所需的平行乘積累加數量和性能要求。Synopsys帶有CNN的EV6x嵌入式視覺處理器采用28nm製程技術，以800MHz的速率執行
，同時提供高達880MAC的性能。

 

一旦CNN經過配置和訓練而具備檢測情感的能力
，它就可以更輕鬆地進行重新配置，進而處理臉部分析任務，例如確定年齡範圍、辨識性別或種族，並且分辨發型或是否戴眼鏡。

 

 

可在嵌入式視覺處理器上執行的CNN開kai辟pi了le視shi覺jiao處chu理li的de新xin領ling域yu。很hen快kuai地di，我wo們men周zhou圍wei將jiang會hui充chong斥chi著zhe能neng夠gou解jie讀du情qing感gan的de電dian子zi產chan品pin，例li如ru偵zhen測ce開kai心xin情qing緒xu的de玩wan具ju，以yi及ji能neng經jing由you辨bian識shi臉lian部bu表biao情qing而er確que定ding學xue生sheng理li解jie情qing況kuang的de電dian子zi教jiao師shi。深shen度du學xue習xi、嵌入式視覺處理和高性能CNN的結合將很快地讓這一願景成為現實。

 

（作者簡介：Gordon Cooper
，Synopsys嵌入式視覺產品行銷經理）