人臉表情識(shí)別包括三方面的內(nèi)容：人臉檢測(cè)（定位），臉部表情特征提取，表情分類。
人臉表情分析系統(tǒng)的輸入圖像主要分為兩類，一類是簡(jiǎn)單背景下的人臉圖像，一類是在任意復(fù)雜背景下的人臉圖像。目前大多數(shù)系統(tǒng)所使用的都是前一類圖像，而實(shí)際應(yīng)用中的圖像多為復(fù)雜背景的圖像，而對(duì)此問(wèn)題目前還沒(méi)有找到完美的解決方案。目前已經(jīng)有的技術(shù)可以檢測(cè)到一幅圖像中只有一個(gè)人臉的，也可以檢測(cè)多個(gè)人臉的（比如OpenCV的人臉檢測(cè)算法能比較準(zhǔn)確的找出人臉?biāo)诘奈恢茫?。但是?dāng)人臉信息不完整時(shí)，檢測(cè)效果如何，可等考證。比如人臉部分被遮擋的情況下，或者是人臉有大角度偏轉(zhuǎn)時(shí)，如何檢測(cè)人臉應(yīng)該是一個(gè)有較大難度的問(wèn)題。在大量的文獻(xiàn)中描述了各種各樣的人臉檢測(cè)算法，主要包括：主元分析（PCA），神經(jīng)網(wǎng)絡(luò)，幾何模型，（可變形）模板匹配，運(yùn)動(dòng)提取，彩色分析等[1][2]。其中基于神經(jīng)網(wǎng)絡(luò)的方法需要大量的訓(xùn)練樣本，而一些基于特征的算法可以實(shí)現(xiàn)非正面人臉的檢測(cè)，其它算法在某些特定的條件下也有優(yōu)良的表現(xiàn)。
人臉表情特征的提取的算法大致可以分為兩類：一類是基于特征的算法，一類是基于模板的算法?；谔卣鞯乃惴ㄍǔ６际菍?duì)幾個(gè)臉部特征點(diǎn)，及其周圍一小塊鄰近區(qū)域的信息的提取，用這些獲取的信息進(jìn)行臉部表情的分類，主要有主動(dòng)外貌模型（Active Appearance Models）[3][6],FAP提取,光流計(jì)算法等。Ekman and Friesen提出了Facial Action Coding System (FACS)[4]，它是一種基于面部運(yùn)動(dòng)單元（AUs）描述的面部表情編碼方法?；谀０宓乃惴ㄊ前岩粋€(gè)整體的人臉模型與圖像中的人臉進(jìn)行匹配，或者在序列圖像中對(duì)人臉的運(yùn)動(dòng)變化進(jìn)行跟蹤。這種算法的計(jì)算量通常很大。對(duì)面部特征點(diǎn)的選定，目前以手工標(biāo)識(shí)為主，目標(biāo)是設(shè)計(jì)出自動(dòng)提取算法。在特征提取中，可以分為兩種方法，一種是手工標(biāo)識(shí)特征點(diǎn)，一種是自動(dòng)找尋特征點(diǎn)。在手工標(biāo)識(shí)中，這個(gè)標(biāo)識(shí)的過(guò)程也就默認(rèn)的包含了人臉定位的過(guò)程，而標(biāo)識(shí)出特征點(diǎn)，相當(dāng)于就提取出了當(dāng)前這幅圖像的表情特征（經(jīng)過(guò)一定的運(yùn)算，較為簡(jiǎn)單）；而當(dāng)前研究較多的是特征點(diǎn)跟蹤問(wèn)題，跟蹤有多種方法，像光流，AAM等，但跟蹤過(guò)程中也會(huì)出現(xiàn)一些問(wèn)題，比如特征點(diǎn)跟蹤丟失如何恢復(fù)等，在所看到文獻(xiàn)中沒(méi)有得到解決。另一種是特征點(diǎn)的自動(dòng)標(biāo)識(shí)，這個(gè)問(wèn)題比較復(fù)雜，有小部分文獻(xiàn)中談及這個(gè)問(wèn)題，但都沒(méi)有很好的解決。它的前提是人臉檢測(cè)，然后是器官檢測(cè)（比如眼睛，嘴巴等），檢測(cè)到一個(gè)區(qū)域后，從這個(gè)區(qū)域中提取特征點(diǎn)相對(duì)就比較容易了，現(xiàn)在應(yīng)用的主要有尋找圖像中的轉(zhuǎn)角。如果自動(dòng)特征點(diǎn)技術(shù)比較成熟了之后，特征點(diǎn)跟蹤變的沒(méi)有必要了。
表情分類中涉及兩個(gè)問(wèn)題，一是情感類型，二是分類方法。情感一般認(rèn)為分成六類，即高興、憤怒、厭惡、恐懼、悲傷、驚奇，但模型如何建立仍無(wú)統(tǒng)一理論。表情分類的方法也很多，現(xiàn)在主要應(yīng)用的有以下一些：(1) 基于模板的分類方法[5]；(2) 基于人工神經(jīng)網(wǎng)絡(luò)(ANN)的分類方法[7]；(3) 基于隱馬爾可夫模型(HMM)的分類方法[9]；(4) 基于概率論的貝葉斯分類方法；(5) 基于模糊規(guī)則的分類方法等。
