計算機對從傳感器采集來的信號進行分析和處理，從而得出對方（人）正zheng處chu在zai的de情qing感gan狀zhuang態tai，這zhe種zhong行xing為wei叫jiao做zuo情qing感gan識shi別bie。從cong生sheng理li心xin理li學xue的de觀guan點dian來lai看kan
，情qing緒xu是shi有you機ji體ti的de一yi種zhong複fu合he狀zhuang態tai
，既ji涉she及ji體ti驗yan又you涉she及ji生sheng理li反fan應ying，還hai包bao含han行xing為wei
，其qi組zu成cheng分fen至zhi少shao包bao括kuo情qing緒xu體ti驗yan、情緒表現和情緒生理三種因素。目前對於情感識別有兩種方式，一種是檢測生理信號如呼吸、心律和體溫等，另一種是檢測情感行為如麵部特征表情識別、語音情感識別和姿態識別。

 

“情感識別”，並不是說計算機能直接識別或測量情感狀態，應該解釋為“通過觀察表情、行為和情感產生的前提環境來推斷情感狀態”。因為情感狀態是內在的並包含生理和心理的變化，這樣隻能獲得情感狀態的一些可觀測的東西
，如表情
、行為等等。假設這些東西的觀測可靠的話，那麼潛在的情感狀態就可以推斷出來。隻有將情感識別看作一種模式識別問題
、情感表達看作模式合成問題，計算機進行情感交流才具有可行性。

 

情感計算的發展

 

情感計算研究的提出最早可以追溯到20世紀90年代初
，耶魯大學心理係的Salovey教授提出了情感智能的概念，開展了一係列的研究。該概念隨後被Goleman發展為與智商(IQ)相對的情商(EQ)
，並隨著Goleman的暢銷書而迅速流行
，在心理
、認知、計算機等領域掀起了一個研究情感智能的小高潮。MIT的Picard教授根據這些新的概念和研究方向
，於1997年出版了《情感計算》一書，希望賦予智能機器感知、理解和表達情感的能力。

 

進入新世紀以後
，特別是近年來，隨著普適計算、人本計算
、shehuijisuandenggainianheyanjiufangxiangdetichu，ziranderenjijiaohuriyichengweigeyanjiulingyudeyanjiuneironghemubiao，qingganjisuanyezirandichengweigexuekegongtongguanzhuderedian、焦點。中國國家自然科學基金委也不失時機地支持了“情感計算理論與方法”的研究。

 

情感計算從本質上，是一個典型的模式識別問題。智能機器通過多種傳感器，獲取人的表情、姿態
、手勢
、語音

、語調、血壓、心率等各種數據，結合當時的環境、語境、情境等上下文信息
，識別和理解人的情感。在實際的自然交互係統中，智能機器還需要對上述信息作出及時的、恰當的、情感化的反應。情感之間距離的定義和計算方法是情感計算的核心問題，例如需要定義和計算“微笑、笑

、大笑、狂笑”之(zhi)間(jian)的(de)距(ju)離(li)，以(yi)便(bian)把(ba)它(ta)們(men)分(fen)別(bie)聚(ju)類(lei)
，從(cong)而(er)使(shi)係(xi)統(tong)能(neng)夠(gou)識(shi)別(bie)出(chu)不(bu)同(tong)程(cheng)度(du)的(de)笑(xiao)。遺(yi)憾(han)的(de)是(shi)
，目(mu)前(qian)情(qing)感(gan)計(ji)算(suan)的(de)研(yan)究(jiu)還(hai)隻(zhi)能(neng)對(dui)情(qing)感(gan)進(jin)行(xing)粗(cu)分(fen)類(lei)，即(ji)識(shi)別(bie)7種典型的情感。

 

目mu前qian，我wo國guo在zai情qing感gan計ji算suan這zhe一yi領ling域yu的de研yan究jiu主zhu要yao在zai人ren臉lian識shi別bie。這zhe一yi方fang麵mian是shi因yin為wei人ren臉lian表biao情qing容rong易yi獲huo取qu

，易yi於yu分fen析xi處chu理li，其qi成cheng果guo具ju有you重zhong要yao的de應ying用yong前qian景jing等deng；另一方麵，也反映了情感計算研究的一個普遍的問題，即盡管人類是通過表情、語言、動作等各種信息的融合
，識別和理解情感，但是，當前多模態情感數據獲取、分析、融合
、識(shi)別(bie)和(he)理(li)解(jie)，以(yi)及(ji)情(qing)景(jing)等(deng)上(shang)下(xia)文(wen)信(xin)息(xi)的(de)融(rong)合(he)依(yi)然(ran)是(shi)情(qing)感(gan)計(ji)算(suan)研(yan)究(jiu)中(zhong)富(fu)有(you)挑(tiao)戰(zhan)性(xing)的(de)課(ke)題(ti)。實(shi)現(xian)具(ju)有(you)情(qing)感(gan)反(fan)饋(kui)的(de)自(zi)然(ran)的(de)人(ren)機(ji)交(jiao)互(hu)是(shi)情(qing)感(gan)計(ji)算(suan)研(yan)究(jiu)的(de)最(zui)終(zhong)目(mu)標(biao)，這(zhe)需(xu)要(yao)在(zai)上(shang)述(shu)情(qing)感(gan)理(li)解(jie)的(de)基(ji)礎(chu)上(shang)，研(yan)究(jiu)人(ren)類(lei)情(qing)感(gan)反(fan)饋(kui)和(he)表(biao)達(da)的(de)機(ji)製(zhi)
，建(jian)立(li)模(mo)型(xing)。

 

目(mu)前(qian)國(guo)內(nei)的(de)研(yan)究(jiu)成(cheng)果(guo)已(yi)有(you)基(ji)於(yu)已(yi)有(you)的(de)情(qing)緒(xu)模(mo)型(xing)，提(ti)出(chu)了(le)虛(xu)擬(ni)人(ren)的(de)認(ren)知(zhi)結(jie)構(gou)，建(jian)立(li)了(le)一(yi)種(zhong)新(xin)的(de)基(ji)於(yu)動(dong)機(ji)驅(qu)動(dong)的(de)自(zi)主(zhu)情(qing)緒(xu)模(mo)型(xing)。清(qing)華(hua)大(da)學(xue)戴(dai)振(zhen)龍(long)的(de)論(lun)文(wen)則(ze)介(jie)紹(shao)了(le)一(yi)種(zhong)人(ren)臉(lian)表(biao)情(qing)的(de)合(he)成(cheng)方(fang)法(fa)
，能(neng)夠(gou)生(sheng)成(cheng)具(ju)有(you)細(xi)微(wei)表(biao)情(qing)動(dong)作(zuo)的(de)虛(xu)擬(ni)說(shuo)話(hua)人(ren)。可(ke)以(yi)看(kan)出(chu)，這(zhe)方(fang)麵(mian)的(de)研(yan)究(jiu)在(zai)國(guo)際(ji)上(shang)依(yi)然(ran)是(shi)自(zi)然(ran)交(jiao)互(hu)領(ling)域(yu)的(de)一(yi)個(ge)新(xin)興(xing)的(de)方(fang)向(xiang)，麵(mian)臨(lin)著(zhe)許(xu)多(duo)挑(tiao)戰(zhan)性(xing)的(de)問(wen)題(ti)，具(ju)有(you)廣(guang)闊(kuo)的(de)發(fa)展(zhan)前(qian)景(jing)。

 

 

情感計算指的是對與情緒相關、由情緒引發、能夠影響情緒的各種因素的計算 ，情感計算研究的目的就是要建立起能感知
、識別以及理解人類情感，並對人類情感進行智能、靈敏以及友好反應的計算機係統。情感計算研究主要包括了三個方麵的內容 ：情感識別、情感發生 、情感表達 。

 

1、情感發生機理的研究。 

 

人類情感的發生、發展是一個複雜、多變的過程 ，例如不僅人的情緒變化會導致情感的變化 ，人體的化學反應也會引發情感的波動。 並且，人的身體

、行為上也會隨著情感強度
、類型
、誘發過程甚至社交規則的不同而表現各異 ，這給情感計算帶來 了一定的困難。

 

2
、情感信息的獲取以及情感狀態和表達模式之間的關係研究。 

 

人類情感信息表現在內、外兩個層麵 。 獲取外在情感信息，例如聲音
、手勢 、麵部表情等可以通過多媒體技術來獲取 ，對於內在情感信息，例如心跳、脈搏、呼吸、體溫等則需要使用特殊的生理傳感器獲取。 情感狀態和表達模式之間的關係是情感識別研究的基本內容 ，其關鍵在於尋找表達信號和情感特征的最佳匹配關係。

 

3
、情感模型的建立和理解研究 。 

 

情感計算一般分為離散狀態、情感空間、基於規則三種計算模型。 目前，情感建模研究取得了初步進展
，取得了一些代表性的研究成果 ，例如通過總結和歸納、分析環境中發生的各種事件以及相互之間可能引發的各種情感的對應關係的OCC 情感識別模型、通過建立與人相似的應對策略機製指引智能體做出與人情感狀態一致的行為反應的 EMA 模型等等。 情感建模的目的是要尋找最能適合計算機模擬人類的認知情感，並且使之可供計算機執行，提升人機交互的水平。

 

4、情感的合成和表達。 

 

個性化的計算機程序(低層次的情感計算技術) 雖然能夠識別計算機用戶的興趣 、愛好和偏愛 ，但它並不能識別計算機使用者的情感 ，對使用者情感沒有共 鳴、互動 的能力，通過情感的合成和表達(例如 OCC 模型)可以對事件 
、對象以及智能體等進行綜合分析和表達。

 

5、情感計算的應用研究。 

 

計算機的情感計算能力進一步推動了計算機技術的發展，通過和人機接口技術 、人工智能推理
、計算機視覺和聽覺等計算機前沿研究技術結合 
，應用領域不斷拓展。 

 

一是通過情感計算建立起的“情感鏡像 ”，可以幫助“人”了解自己在各種情況下的反應 ，而且更具客觀性；

 

二是在文本一語音相互轉換中發揮重要作用。 例如通過情感計算對輸入的計算機文本進行語音轉換並在轉換的過程中表達使用者的情感 ，實現了語言障礙者在網絡社會中進行自然
、和諧的交流夢想 
，他們也可以“發出”體現自己情感的語言；

 

三是擁有情感計算能力的計算機可以對人類情感進行有效的獲取 、分析 、識別並作出相應 的反應 ，這些反應切合使用者情感 ，成為人機交互的關鍵突破
；

 

四是在其他領域的應用，例如情感計算可以推動心理學從感性認知上升到可計算模型、排減特殊患者的不良情緒進行更好的康複 、利用語音識別技術提升計算機測謊能力等等。

 

 

情感識別指的是通過觀察表情 
、行為和情感產生的具體 環境來 推斷內在情感 狀態 的一種模式識別 。 情感計算通過計算針對不同類型 、個體取得的個性化測量數據 ，在測量數據的基礎上進行共性化研究從而發現情感識別的通用模式 。 

 

現階段進行的情感識別研究主要集中在麵部表情 、語音情感以及生理信號情感研究。

 

1、麵部表情的情感識別

 

由於麵部表情是最容易控製的一種 ，而且受先天生理影響 ，單純的麵部表情識別準確性並不高 ，但是相對的識別模型比較簡單 。 例如 Paul Ekman 等提出的麵部動作編碼係統(FACS) ，描述了基本情感以及對應的產生的肌肉運動的動作單元， 依據FACS係統製造的麵部識別器，仿真測試準確率可以達到 98％以上。 但 麵部識別器的處理效率較低 ，一種表情處理時間需要將近 5min 
，對於處理連續表情還存在一定困難。

 

麵部表情的情感識別受到多方麵因素的影響，現階段對人臉分析及識別的技術方法主要分為兩大類 ：一是基於靜態圖像 (單一圖像) 的方法
，一是基於動態圖像序列的方法。 前者分析的數據較少
，對單幀圖像分析比較成功，適合實時表情的識別；後者將麵部表情變化的時間和空間信息結合起來，識別率較高，但計算量也較大。

 

2

、 語音情感的識別研究

 

由於語音情感的不可視，語音情感識別要比麵部表情識別困難得多。 人的語音信號包含了多方麵的信息 
，必須要尋找情感和語音模式之間的對應關係 ，而且這些對應特征計算機還是可 以提取的。 情感對語音的影響主要體現在兩個方麵 ，一是語速的頻率和時間，一是語言的音量 和清晰度。 通過利用聲學和語 言學來描述說話方式的計算機應用程序— — “情感編輯器”，除了在輸入情感參數之外還進行了語法語義的分析 ，對語音頻率和音量進行控製 ，對語音形成較好的情感識別和合成效果。

 

語音情感特征的分析需要大量的語音實驗分析資料 ，語音情感自動識別技術就是建立在對語音信號產生機製的深入研究和分析基礎上的，現階段 ，語音情感自動識別技術還需要迫切解決兩個根本性的問題：一是語音信號中情感識別特征的抽取
；二是特定語音數據的模式識別 。

 

3
、生理模式的情感識別

 

不同的生理信號的特征模式也是情感識別的重要依據之一 。 人的生理信號比起麵部表情和語音
，識別難度更大，所以目前生理模式的情感識別研究還處於初級階段 ，哪些信號可以轉化為情感參數 

、信號各個方麵的權重、比例應該是多少

，這些都還需要進行進一步的研究和探索。

 

情感計算為人機交互提供了重要的渠道和有力的模型支撐 ，雖然基於各種原理的情感模型還無法準確、清晰地對人的情感進行完全模擬
，但隨著情感計算數據庫的不斷完善和對觀察數據的不斷分析 ，情感建模和情感識別技術必將取得進一步的發展 。