本發(fā)明涉及駕駛員疲勞狀態(tài)檢測(cè)，尤其涉及一種基于計(jì)算機(jī)視覺(jué)處理的駕駛員疲勞狀態(tài)檢測(cè)系統(tǒng)。

背景技術(shù)：

1、貨車駕駛員在長(zhǎng)時(shí)間連續(xù)駕駛后，身體和大腦處于疲勞狀態(tài)反應(yīng)速度會(huì)顯著下降。據(jù)研究疲勞狀態(tài)下，駕駛員注意力集中時(shí)間會(huì)從正常的30-45分鐘大幅縮短至10-15分鐘甚至更短，行駛過(guò)程中在面對(duì)前方突然出現(xiàn)的障礙物或其他緊急情況時(shí)，疲勞駕駛的駕駛員無(wú)法及時(shí)做出制動(dòng)、避讓等正確操作，大大增加事故發(fā)生的風(fēng)險(xiǎn)。

2、有很多大貨車由于運(yùn)送貨物的時(shí)間需求或是交通管制，很多情況下都是在夜間進(jìn)行長(zhǎng)距離行駛。由于大貨車不像小型汽車那么智能，有很多大貨車(比如傳統(tǒng)的貨車)，為避免大貨車司機(jī)在夜間長(zhǎng)時(shí)間駕駛出現(xiàn)疲勞，很多情況下是依靠駕駛員自身或是副駕駛?cè)藛T的提醒，以保證駕駛安全。還有些新型大貨車安裝了駕駛員疲勞監(jiān)測(cè)系統(tǒng)，這些系統(tǒng)通過(guò)高精度攝像頭和先進(jìn)的人工智能算法，實(shí)時(shí)監(jiān)測(cè)駕駛員的面部特征、眼球運(yùn)動(dòng)和情緒狀態(tài)，有效預(yù)防疲勞駕駛和分心駕駛，但是單一的攝像頭監(jiān)測(cè)可能受到光線、視線遮擋等因素影響，導(dǎo)致面部特征識(shí)別不準(zhǔn)確，從而影響駕駛員狀態(tài)判斷。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例通過(guò)提供一種基于計(jì)算機(jī)視覺(jué)處理的駕駛員疲勞狀態(tài)檢測(cè)系統(tǒng)，利用面部眨眼頻率判結(jié)合上半身動(dòng)作頻率、握力力度等多維度信息，能從不同角度反映駕駛員狀態(tài)，為疲勞判斷提供更豐富全面的數(shù)據(jù)支持，可更精準(zhǔn)判斷疲勞狀態(tài)。

2、本技術(shù)實(shí)施例提供了一種基于計(jì)算機(jī)視覺(jué)處理的駕駛員疲勞狀態(tài)檢測(cè)系統(tǒng)，包括面部特征提取單元，選用高清攝像頭捕捉駕駛員面部圖像，高清攝像頭利用真空吸盤配合金屬定型軟桿固定在大貨車駕駛室內(nèi)的合適位置(不妨礙駕駛員正常駕駛車輛，還能夠大范圍拍攝到駕駛員的面部以及上半身)；

3、上半身特征監(jiān)測(cè)單元，通過(guò)高清攝像頭采集上半身圖像數(shù)據(jù)，運(yùn)用背景減除技術(shù)與光流法相結(jié)合的方式，精確提取上半身的動(dòng)作頻率；

4、手握方向盤特征監(jiān)測(cè)單元，利用保護(hù)套在方向盤上設(shè)置握力傳感器，其以70hz的頻率采集數(shù)據(jù)能夠較為精確感知駕駛員手部施加的壓力；

5、數(shù)據(jù)處理單元，采用基于深度神經(jīng)網(wǎng)絡(luò)的特征融合架構(gòu)，構(gòu)建一個(gè)具有多個(gè)隱藏層的基于深度神經(jīng)網(wǎng)絡(luò)，接收來(lái)自面部特征提取單元、上半身特征監(jiān)測(cè)單元以及手握方向盤特征監(jiān)測(cè)單元所采集的數(shù)據(jù)信息，將預(yù)處理后的面部、上半身和手握方向盤的特征分別作為不同的輸入分支，不同分支的特征在某個(gè)隱藏層采用基于注意力機(jī)制的融合方式進(jìn)行特征融合；

6、疲勞狀態(tài)判斷單元，基于數(shù)據(jù)處理單元的分析結(jié)果，依據(jù)預(yù)設(shè)的疲勞判斷規(guī)則對(duì)駕駛員的疲勞狀態(tài)進(jìn)行判斷。

7、數(shù)據(jù)處理單元通過(guò)接收到面部特征提取單元拍攝的圖像信息，使用卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)面部特征點(diǎn)檢測(cè)優(yōu)化輸出面部的關(guān)鍵特征點(diǎn)坐標(biāo)，精確地描繪出面部的輪廓和關(guān)鍵部位的形狀，根據(jù)眼部特征首先確定眼部閉合時(shí)間，對(duì)于眼睛通常選取上下眼瞼的特定特征點(diǎn)，通過(guò)計(jì)算上下眼瞼特定特征點(diǎn)之間的距離來(lái)判斷眼睛是否閉合；

8、通過(guò)監(jiān)測(cè)眼睛閉合和睜開(kāi)狀態(tài)的交替變化來(lái)識(shí)別眨眼事件，但在實(shí)際過(guò)程中，眨眼頻率可能受到多種因素干擾引入動(dòng)態(tài)眨眼頻率分析，對(duì)眨眼頻率進(jìn)行動(dòng)態(tài)分析和修正，

9、對(duì)連續(xù)多幀圖像中眼睛狀態(tài)分析識(shí)別出正常眨眼和異常眨眼，對(duì)于正常眨眼設(shè)定一個(gè)標(biāo)準(zhǔn)的眨眼周期范圍tmin到tmax(單位s)，當(dāng)檢測(cè)到一次眨眼事件，且其持續(xù)時(shí)間在tmin到tmax之間時(shí)，認(rèn)定為正常眨眼并計(jì)入眨眼次數(shù)；

10、駕駛員疲勞狀態(tài)下眨眼頻率的逐漸變化趨勢(shì)，采用時(shí)間序列分析對(duì)眨眼頻率進(jìn)行預(yù)測(cè)和修正，利用過(guò)去一段時(shí)間內(nèi)的眨眼頻率數(shù)據(jù)，構(gòu)建lstm模型，通過(guò)計(jì)算預(yù)測(cè)值與實(shí)際值的偏差率，預(yù)測(cè)未來(lái)一段時(shí)間內(nèi)的眨眼頻率。

11、在駕駛員進(jìn)入車輛但未開(kāi)始駕駛動(dòng)作前，高清攝像頭首先采集一段視頻序列，數(shù)據(jù)處理單元對(duì)該序列中的每一幀圖像進(jìn)行處理，將其轉(zhuǎn)換到合適的色彩空間，利用高斯混合模型來(lái)構(gòu)建背景模型，每個(gè)高斯分布定義均值μk、協(xié)方差矩陣σk和權(quán)重ωk，對(duì)于每個(gè)像素點(diǎn)與各個(gè)高斯分布的匹配程度通過(guò)馬氏距離d進(jìn)行輸出。

12、在車輛行駛過(guò)程中，實(shí)時(shí)采集的每一幀圖像i(t)與背景模型進(jìn)行對(duì)比。同樣將當(dāng)前幀圖像轉(zhuǎn)換到y(tǒng)uv色彩空間，對(duì)于每個(gè)像素點(diǎn)p(x，y)計(jì)算其與背景模型中各個(gè)高斯分布的馬氏距離，

13、若所有高斯分布的馬氏距離都大于設(shè)定的閾值則認(rèn)為該像素點(diǎn)屬于前景(即駕駛員上半身區(qū)域)；否則認(rèn)為該像素點(diǎn)屬于背景標(biāo)記。

14、對(duì)經(jīng)過(guò)背景減除得到的前景掩碼圖像序列，采用改進(jìn)的lucas-kanade光流算法進(jìn)行光流計(jì)算，引入時(shí)空上下文信息，不僅考慮當(dāng)前幀和下一幀的信息，還結(jié)合前幾幀的光流信息來(lái)約束當(dāng)前像素點(diǎn)的位移計(jì)算。

15、依據(jù)像素點(diǎn)在上半身區(qū)域中的位置賦予不同權(quán)重，首先統(tǒng)計(jì)前景區(qū)域內(nèi)每個(gè)像素點(diǎn)相鄰幀之間的方向變化量，對(duì)前景區(qū)域內(nèi)所有像素點(diǎn)的方向變化量進(jìn)行加權(quán)平均，得到整體的動(dòng)作方向變化。

16、在動(dòng)作頻率中通過(guò)更細(xì)致地定義動(dòng)作事件，當(dāng)一系列相鄰幀中的前景像素點(diǎn)的光流向量滿足以下條件時(shí)，認(rèn)為是一個(gè)動(dòng)作事件的一部分：光流向量的方向在一定角度范圍內(nèi)且動(dòng)作幅度大于設(shè)定的幅度閾值，通過(guò)對(duì)連續(xù)幀的分析統(tǒng)計(jì)內(nèi)符合動(dòng)作事件定義的次數(shù)即為動(dòng)作頻率。

17、握力傳感器選用高精度壓阻式握力傳感器(至少6個(gè))，通過(guò)高速數(shù)據(jù)采集電路將傳感器輸出的微弱電信號(hào)進(jìn)行放大、濾波等預(yù)處理去除噪聲干擾，然后轉(zhuǎn)換為數(shù)字信號(hào)傳輸至數(shù)據(jù)處理單元。

18、對(duì)握力傳感器采集到的原始數(shù)據(jù)利用定義的線性方程f＝ksv+bs進(jìn)行線性校準(zhǔn)，其中ks和bs是通過(guò)標(biāo)定實(shí)驗(yàn)確定的校準(zhǔn)系數(shù)，

19、為了得到駕駛員手握方向盤的整體握力力度，考慮不同位置傳感器對(duì)整體握力的貢獻(xiàn)不同采用加權(quán)平均，靠近方向盤頂部和底部的傳感器可能對(duì)控制方向更為關(guān)鍵，賦予相對(duì)較高的權(quán)重。

20、為了準(zhǔn)確識(shí)別握力變化事件設(shè)定兩個(gè)閾值分別為上升閾值tr和下降閾值tf，當(dāng)握力力度從低于tr迅速上升超過(guò)tr，然后又下降至低于tf時(shí)，認(rèn)定為一次完整的握力變化事件，通過(guò)對(duì)連續(xù)采集的握力數(shù)據(jù)進(jìn)行實(shí)時(shí)監(jiān)測(cè)統(tǒng)計(jì)單位時(shí)間內(nèi)發(fā)生的握力變化事件次數(shù)即為握力頻率；定義一個(gè)狀態(tài)變量來(lái)跟蹤握力的變化狀態(tài)，例如“上升階段、下降階段、穩(wěn)定階段”，當(dāng)握力從“穩(wěn)定階段”進(jìn)入“上升階段”且超過(guò)tr時(shí)開(kāi)始計(jì)數(shù)；當(dāng)握力進(jìn)入“下降階段”且低于tf時(shí)完成一次計(jì)數(shù)，并將狀態(tài)變量重置為“穩(wěn)定階段”準(zhǔn)備下一次事件檢測(cè)，1分鐘結(jié)束后統(tǒng)計(jì)得到的事件次數(shù)即為握力頻率。

21、數(shù)據(jù)處理單元將融合后的特征作為決策樹(shù)模型的輸入，定義駕駛員的疲勞狀態(tài)作為輸出進(jìn)行訓(xùn)練，決策樹(shù)通過(guò)不斷地劃分特征空間來(lái)構(gòu)建樹(shù)形結(jié)構(gòu)，基于決策樹(shù)模型的輸出結(jié)合預(yù)設(shè)的疲勞判斷規(guī)則進(jìn)行疲勞狀態(tài)判斷。

22、本技術(shù)實(shí)施例中提供的一個(gè)或多個(gè)技術(shù)方案，至少具有如下技術(shù)效果或優(yōu)點(diǎn)：

23、1、利用面部特征、上半身特征以及手握方向盤力度特征，能從不同角度反映駕駛員狀態(tài)，為疲勞判斷提供更豐富全面的數(shù)據(jù)支持，通過(guò)面部眨眼頻率判結(jié)合上半身動(dòng)作頻率、握力力度等多維度信息，可更精準(zhǔn)判斷疲勞狀態(tài)。

24、2、將背景減除技術(shù)與改進(jìn)的lucas-kanade光流算法深度融合，針對(duì)駕駛員上半身監(jiān)測(cè)場(chǎng)景進(jìn)行參數(shù)調(diào)整和改進(jìn)，在背景減除中利用高斯混合模型對(duì)復(fù)雜多變的駕駛環(huán)境背景進(jìn)行準(zhǔn)確建模，通過(guò)動(dòng)態(tài)更新參數(shù)適應(yīng)光照變化；光流計(jì)算中引入時(shí)空上下文信息，提高了在遮擋和光照變化情況下上半身運(yùn)動(dòng)追蹤的準(zhǔn)確性；而且依據(jù)像素點(diǎn)在上半身區(qū)域中的位置賦予不同權(quán)重，可較準(zhǔn)確地反映上半身整體運(yùn)動(dòng)特征，相比傳統(tǒng)方法對(duì)所有像素點(diǎn)同等對(duì)待，利用加權(quán)方式能夠突出關(guān)鍵部位(如靠近身體中心)的運(yùn)動(dòng)對(duì)整體特征的影響，提高了特征提取的準(zhǔn)確性和有效性。

25、3、在動(dòng)作頻率計(jì)算中通過(guò)更細(xì)致地定義動(dòng)作事件，綜合考慮光流向量的方向和幅度變化以及在一定幀數(shù)內(nèi)的持續(xù)性，避免了因短暫、隨機(jī)的微小運(yùn)動(dòng)導(dǎo)致的誤判，提高了動(dòng)作頻率統(tǒng)計(jì)的準(zhǔn)確性從而更準(zhǔn)確地反映駕駛員上半身的實(shí)際運(yùn)動(dòng)狀。

26、4、通過(guò)對(duì)不同位置傳感器根據(jù)其在駕駛操作中的重要性賦予不同權(quán)重，更準(zhǔn)確地反映駕駛員對(duì)方向盤的整體控制力度，采用加權(quán)融合能夠捕捉到駕駛員在不同駕駛場(chǎng)景下對(duì)方向盤不同部位的用力差異，例如在轉(zhuǎn)彎時(shí)可能對(duì)方向盤一側(cè)用力更大，從而提供更豐富、準(zhǔn)確的握力信息用于疲勞判斷。