售前電話(huà)
135-3656-7657
售前電話(huà) : 135-3656-7657
視頻監(jiān)控中行為理解概述
在智能視頻監(jiān)控中,需要對(duì)視頻中的異常事件特別關(guān)注。因?yàn)槲覀儽O(jiān)控的目的,就是及時(shí)理解與處理監(jiān)控場(chǎng)景中異常事件或異常行為,發(fā)現(xiàn)是否有某種類(lèi)型的危險(xiǎn)活動(dòng),并及時(shí)阻止危險(xiǎn)活動(dòng)的發(fā)生。顯然,對(duì)視頻監(jiān)控場(chǎng)景中的目標(biāo)的行為,進(jìn)行檢測(cè)識(shí)別、理解,并對(duì)異常事件采取及時(shí)相應(yīng)的處理措施,是智能視頻監(jiān)控的首要條件。
1.行為理解的難題由于視頻監(jiān)控對(duì)象的動(dòng)作往往是自然、連續(xù)的,而且與環(huán)境上下文有密切的聯(lián)系,這都給行為識(shí)別或理解帶來(lái)了如下一系列的難題。
(1)如何通過(guò)融合多個(gè)攝像機(jī)的監(jiān)控信息來(lái)克服光照、距離、視角、遮擋等環(huán)境因素帶來(lái)的干擾和不確定性。
(2)如何構(gòu)建自然連續(xù)動(dòng)作和行為的多層次模型,對(duì)視頻監(jiān)控目標(biāo)行為進(jìn)行分割和分類(lèi),而分割和分類(lèi)又需要對(duì)動(dòng)作和行為理解的高層模型進(jìn)行指導(dǎo)。
(3)如何考慮行為理解過(guò)程中的環(huán)境上下文信息,由于相同的行為在不同的情境下傳遞不同語(yǔ)義,對(duì)動(dòng)作和行為理解需要了解當(dāng)時(shí)視覺(jué)環(huán)境以及應(yīng)用的情境。
2.行為理解的含義行為理解又稱(chēng)為行為識(shí)別,其特點(diǎn)為直接面向應(yīng)用層,屬于計(jì)算機(jī)視覺(jué)領(lǐng)域中的高層處理階段。行為理解問(wèn)題可視為時(shí)變特征數(shù)據(jù)的分類(lèi)問(wèn)題,即通過(guò)對(duì)運(yùn)動(dòng)對(duì)象的連續(xù)跟蹤觀察,將測(cè)試序列與預(yù)先設(shè)定的參考序列進(jìn)行匹配,根據(jù)其匹配程度確定行為特征,進(jìn)而對(duì)目標(biāo)行為模式進(jìn)行分析識(shí)別,并對(duì)該行為是否屬于異常行為作出判斷。
3.國(guó)內(nèi)外對(duì)行為理解的研究目前,世界范圍內(nèi)人們已經(jīng)開(kāi)展了大量有關(guān)行為理解的研究工作??▋?nèi)基梅隆大學(xué)等著名研究機(jī)構(gòu)在美國(guó)國(guó)防高級(jí)研究項(xiàng)目署(DefenceAdvancedResearchProjectsAgency,DARPA)資助下聯(lián)合研制了為未來(lái)城市和戰(zhàn)場(chǎng)監(jiān)控應(yīng)用開(kāi)發(fā)的一種基于視頻自動(dòng)理解技的視頻監(jiān)控與監(jiān)控系統(tǒng);英國(guó)、葡萄牙和法國(guó),在歐盟的資助下于2002-2005年聯(lián)合開(kāi)展CAVIAR(Context Aware VisionusingImage-based Active Recognition)項(xiàng)目,目的是為了解決城市鬧市的監(jiān)控問(wèn)題和對(duì)商業(yè)顧客行為的分析;英國(guó)的雷丁大學(xué)開(kāi)展了對(duì)車(chē)輛和行人的跟蹤及其交互作用識(shí)別的相關(guān)研究;IBM和Microsoft等公司也正逐步將基于視覺(jué)的手勢(shì)識(shí)別接口、人體運(yùn)動(dòng)等人機(jī)交互技術(shù)應(yīng)用于商業(yè)領(lǐng)域。
國(guó)內(nèi),中國(guó)科學(xué)院自動(dòng)化所模式識(shí)別國(guó)家重點(diǎn)實(shí)驗(yàn)室、北京大學(xué)視覺(jué)與聽(tīng)覺(jué)信息處理國(guó)家重點(diǎn)實(shí)驗(yàn)室及清華大學(xué)等,對(duì)行為理解技術(shù)也都展開(kāi)了相關(guān)的研究。
常用行為理解的方法現(xiàn)階段,常用的行為理解的方法主要有使用模板匹配法和狀態(tài)空間法兩種。
1.模板匹配方法(1)模板匹配法的步驟。模板匹配法可以分為三步。
①?gòu)妮斎雸D像序列中提取行為特征。
②將該特征與在訓(xùn)練階段預(yù)先保存好的模板進(jìn)行相似度比較。
③從預(yù)先保存好的模板中選擇與測(cè)試序列距離最小的所屬類(lèi)別作為被測(cè)試序列識(shí)別結(jié)果。
(2)幾種模板匹配法的改進(jìn)方法。模板匹配方法是行為理解的基本方法,后續(xù)也出現(xiàn)了許多基于此的改進(jìn)方法。
①Bobick和Davis首先根據(jù)圖像中目標(biāo)運(yùn)動(dòng)信息的類(lèi)型,將圖像分為運(yùn)動(dòng)能量圖像(MEI)和運(yùn)動(dòng)歷史圖像(MHI),然后采用馬氏距離比較測(cè)試序列與給定模塊系列之間的相似程度,根據(jù)相似程度大小確定最佳匹配行為。
②Masoud等人則將目標(biāo)行為描述為無(wú)限沖激響應(yīng)濾波器響應(yīng),然后用測(cè)試序列點(diǎn)集和給定模塊序列點(diǎn)集之間的Hausdorff距離來(lái)度量測(cè)試序列與模塊序列之間的相似度,進(jìn)而確定最佳匹配行為。
③還有學(xué)者釆用Procrustes距離來(lái)度量測(cè)試序列與模塊序列之間的相似程度,如Veeraraghavan等人用動(dòng)態(tài)時(shí)間規(guī)整(DynamicTimeWarping,DTW)來(lái)匹配運(yùn)動(dòng)序列。
(3)模板匹配法的優(yōu)缺點(diǎn)。模板匹配方法的優(yōu)點(diǎn)是實(shí)現(xiàn)簡(jiǎn)單、計(jì)算復(fù)雜度低,但只考慮單個(gè)序列的匹配程度,忽略了運(yùn)動(dòng)序列中相鄰時(shí)序之間的動(dòng)態(tài)特性,對(duì)于噪聲和運(yùn)動(dòng)時(shí)間間隔變化比較敏感。
2.狀態(tài)空間方法(1)狀態(tài)空間法的步驟。狀態(tài)空間法大致也可以分為三步。
①將每一種靜態(tài)姿勢(shì)定義為一種狀態(tài)。
②通過(guò)對(duì)靜態(tài)姿勢(shì)所組成的運(yùn)動(dòng)序列對(duì)狀態(tài)空間進(jìn)行遍歷。
③在遍歷過(guò)程中計(jì)算聯(lián)合概率,尋找具有最大概率的行為模板,作為最佳匹配行為。