中南覆鸥人力资源有限公司

 

汽車(chē)工業(yè)的最新發(fā)展引起了科研人員對(duì)疲勞駕駛監(jiān)測(cè)的研究興趣，意圖開(kāi)發(fā)一種有效的駕駛員監(jiān)測(cè)系統(tǒng)，能及時(shí)發(fā)現(xiàn)心理物理狀態(tài)異常，減少疲勞駕駛引起的交通事故?，F(xiàn)在許多文獻(xiàn)特別專(zhuān)注于生理信號(hào)的研究，通過(guò)測(cè)量心率變異性（HRV）來(lái)得到有關(guān)心臟運(yùn)動(dòng)的信息。事實(shí)上，HRV還是一個(gè)有效的評(píng)估生理壓力的指標(biāo)，因?yàn)樗梢蕴峁┡c自主神經(jīng)系統(tǒng)支配的心血管系統(tǒng)活動(dòng)相關(guān)的信息。

 

1   前言

 

困倦是一種生理狀態(tài)，其特征是人的意識(shí)程度降低，難以保持清醒狀態(tài)。根據(jù)國(guó)家安全委員會(huì)的調(diào)查，在美國(guó)，疲勞駕駛導(dǎo)致的致命性事故的占比正在顯著上升[1]。因此，開(kāi)發(fā)一種可以提前發(fā)現(xiàn)駕駛員生理狀況不適宜開(kāi)車(chē)的有效預(yù)警系統(tǒng)將具有重要意義。據(jù)報(bào)道，有研究顯示，心率變異性（HRV）與駕駛員的注意力程度相關(guān)聯(lián)[2]。準(zhǔn)確的講，心率變異性是一個(gè)代表個(gè)體的生理適應(yīng)能力和行為靈活性的重要指標(biāo)。評(píng)估心臟運(yùn)動(dòng)的方法是使用PPG信號(hào)測(cè)量血壓，由此再評(píng)估心率變異性。具體地說(shuō)，PPG信號(hào)是由代表逐次心動(dòng)周期的血管容積峰值組成，PPG檢測(cè)方法是，使用LED光源照射皮膚的不同部位，再用光電二極管評(píng)價(jià)光的反射強(qiáng)度[3]。盡管生理信號(hào)使我們能夠監(jiān)測(cè)困倦程度，但是最近的研究方向主要是使用計(jì)算機(jī)視覺(jué)技術(shù)評(píng)估駕駛員的疲勞程度[4]。雖然在汽車(chē)環(huán)境中開(kāi)發(fā)人臉檢測(cè)系統(tǒng)肯定具有挑戰(zhàn)性，但仍有許多方法使用攝像頭確定眨眼率，由此來(lái)評(píng)估疲勞程度[5]。與其它研究不同，我們的方法側(cè)重于利用計(jì)算機(jī)視覺(jué)技術(shù)來(lái)檢測(cè)和提取人臉特征點(diǎn)，通過(guò)分析先前錄制的視頻序列的像素強(qiáng)度變化，來(lái)定義人臉特征點(diǎn)的時(shí)間序列。更具體地說(shuō)，我們的方法的基本原理也是通過(guò)“視頻放大”來(lái)揭示血壓變化引起的面部細(xì)微運(yùn)動(dòng)。本研究的目的是通過(guò)定義人臉特征點(diǎn)時(shí)間序列而不是使用傳感器來(lái)構(gòu)建PPG信號(hào)。

 

本文后面的結(jié)構(gòu)如下：第二部分介紹相關(guān)的研究成果；第三部分概述PPG信號(hào)，并介紹我們的基于長(zhǎng)期短記憶和卷積神經(jīng)網(wǎng)絡(luò)的管道。第四部分解釋實(shí)驗(yàn)過(guò)程。最后，第五部分討論我們方法的優(yōu)點(diǎn)和未來(lái)研究方向。

 

2   相關(guān)研究

 

在以往發(fā)表的論文著作中，大部分是通過(guò)生理信號(hào)檢測(cè)駕駛員困倦，取得了很高的檢測(cè)精度。事實(shí)上，很多研究證明，僅基于計(jì)算機(jī)視覺(jué)技術(shù)的駕駛員疲勞監(jiān)測(cè)解決方案可能不一定行之有效，尤其是側(cè)重于分析交通標(biāo)志的視覺(jué)方法，在路況不佳時(shí)，往往會(huì)失敗。

 

一部分科研人員曾公布了一項(xiàng)光體積描述信號(hào)(PPG) 檢測(cè)研究成果[6]，作者使用低功率無(wú)線PPG傳感器取得了很好的檢測(cè)效果。另一種方法 [7] 是作者利用在手指和耳垂檢測(cè)到的低頻和高頻PPG信號(hào)來(lái)評(píng)估疲勞程度。本文引用的研究成果主要是通過(guò)研究ECG和PPG信號(hào)來(lái)評(píng)估HRV信號(hào)。不過(guò)，本文所引用的方法對(duì)計(jì)算性能有較高的要求，需要在車(chē)上集成昂貴的檢測(cè)設(shè)備。盡管集成的傳感器不一定是直接測(cè)量工具，但為了準(zhǔn)確地獲取生理信號(hào)，駕駛員還是需要將手或身體的其它部分（例如耳垂或手指）放在傳感器上，這對(duì)于在汽車(chē)上推廣應(yīng)用是一個(gè)限制。本文另辟蹊徑，提出一個(gè)創(chuàng)新的框架，基本原理是抓取司機(jī)面部圖像，采集人臉特征點(diǎn)，重建PPG信號(hào)，以此評(píng)估HRV信號(hào)和疲勞程度。

 

3   背景和管道方案

 

如前所述，我們提出了一種創(chuàng)新的駕駛員困倦狀態(tài)監(jiān)測(cè)方法，而無(wú)需使用傳感器來(lái)獲取PPG信號(hào)。部分學(xué)者的研究成果[8]闡述了視頻放大方法是如何通過(guò)放大普通視頻圖像來(lái)揭示人臉面部的運(yùn)動(dòng)變化，因?yàn)橹鸫涡膭?dòng)周期中的血壓變化會(huì)引起皮膚不同部位的顏色變化。研究證明，自主神經(jīng)系統(tǒng)活動(dòng)可調(diào)節(jié)某些生理過(guò)程，例如，血壓和呼吸速率，通過(guò)評(píng)估心率變異性信號(hào)可以間接測(cè)量這些生理過(guò)程，因?yàn)樾穆首儺愋孕盘?hào)在生理壓力、極度疲勞和困倦期間會(huì)出現(xiàn)變化。

 

評(píng)估HRV心率變異性需要使用生物反饋工具或軟件，以及檢測(cè)心電信號(hào)的高質(zhì)量傳感器，還需要功能強(qiáng)大的處理器來(lái)管理大量的數(shù)據(jù)。ECG信號(hào)是傳統(tǒng)的心率變異性評(píng)估方法，不過(guò)，這種方法在使用上存在某些缺陷，盡管檢測(cè)效果良好，但是在數(shù)據(jù)采集（數(shù)據(jù)采樣）過(guò)程中，人體的細(xì)微運(yùn)動(dòng)會(huì)導(dǎo)致信號(hào)內(nèi)出現(xiàn)一些噪聲和偽影。為了克服ECG的問(wèn)題，業(yè)界提出PPG信號(hào)是可靠的解決方案，檢測(cè)血液容積變化的能力使PPG能夠有效地檢測(cè)裸眼難以觀察到的皮膚細(xì)微運(yùn)動(dòng)。特別是，通過(guò)分析PPG信號(hào)，我們能夠界定在特定時(shí)段內(nèi)的心率變化，顯示自主神經(jīng)系統(tǒng)的兩個(gè)分支（副交感神經(jīng)和交感神經(jīng)）是否都在正常工作。通常，HRV值小，表示心率間隔恒定；HRV值大，則表示心率間隔異常。非常正常的心律和心率的細(xì)微變化可以確定注意力是否因?yàn)槁陨韷毫Χ档?。但是，不存在一個(gè)標(biāo)準(zhǔn)的HRV值，因?yàn)镠RV值因人而異。

 

考慮到這一點(diǎn)，我們采用長(zhǎng)期短記憶（LSTM）神經(jīng)網(wǎng)絡(luò)[9]與卷積神經(jīng)網(wǎng)絡(luò)（CNN）[10]相結(jié)合的方法開(kāi)發(fā)了一個(gè)駕駛員困倦監(jiān)測(cè)系統(tǒng)。本文提出的管道機(jī)制代表心臟運(yùn)動(dòng)評(píng)估方法取得了進(jìn)步，因?yàn)樗鞘褂靡粋€(gè)低幀率（25fps）攝像頭檢測(cè)和提取人臉圖像中的關(guān)鍵特征點(diǎn)，并分析每個(gè)視頻幀的像素變化。準(zhǔn)確地講，LSTM是評(píng)估數(shù)據(jù)之間隱藏的非線性相關(guān)性的有力解決方案。

具體地講，LSTM管道的輸出是綜合傳感器檢測(cè)到的原始PPG目標(biāo)數(shù)據(jù)后預(yù)測(cè)的人臉特征點(diǎn)時(shí)間序列。

此外，CNN模型的準(zhǔn)確分類(lèi)表示LSTM預(yù)測(cè)有效，可以確定汽車(chē)駕駛員的注意力程度。

 

4   實(shí)驗(yàn)

 

總共有71個(gè)對(duì)象參與了我們的LSTM-CNN管道運(yùn)行。更具體地說(shuō)，數(shù)據(jù)集是來(lái)自不同性別、年齡（20至70歲之間）和病理的病患/駕駛員的PPG樣本。在這種情況下，我們不僅采集健康對(duì)象的數(shù)據(jù)，還收集高血壓、糖尿病等病患的數(shù)據(jù)。考慮到這兩種困倦狀態(tài)的差異，分別測(cè)量了兩種困倦各自的PPG信號(hào)樣本。具體地而言，我們模擬被同步ECG采樣信號(hào)證實(shí)的完全清醒和困倦兩種情景，其中Beta和Alpha波形分別證實(shí)大腦在喚醒和困倦時(shí)的活動(dòng)狀態(tài)。每種情景的模擬間隔設(shè)為5分鐘，以確保系統(tǒng)有充足的時(shí)間完成初步校準(zhǔn)和實(shí)時(shí)連續(xù)學(xué)習(xí)。同時(shí)，我們使用低幀率（25fps）全高清攝像機(jī)記錄一段駕駛員的面部視頻，如前文所述，我們先用基于Kazemi和Sullivan機(jī)器學(xué)習(xí)算法 [11] 的dlib庫(kù)，檢測(cè)先前錄制的視頻幀，提取人臉面部特征點(diǎn)，然后，計(jì)算與每個(gè)特征點(diǎn)關(guān)聯(lián)的像素強(qiáng)度，以及每幀像素強(qiáng)度的變化，確定人臉特征點(diǎn)的時(shí)間序列，將其輸入LSTM神經(jīng)網(wǎng)絡(luò)。

 

4.1   CNN管道

 

本節(jié)將更詳細(xì)地介紹實(shí)驗(yàn)中使用的CNN模型架構(gòu)。本文提出的CNN架構(gòu)為驗(yàn)證LSTM預(yù)測(cè)結(jié)果提供有力的證據(jù)。具體地講，我們的CNN模型能夠跟蹤和學(xué)習(xí)汽車(chē)駕駛員的面部表情，從而提高困倦檢測(cè)水平。為了訓(xùn)練模型，我們將批大小(batch size)設(shè)為32，初始學(xué)習(xí)率設(shè)為0.0001。此外，我們?cè)陔[藏層中使用了32個(gè)神經(jīng)元，在二進(jìn)制分類(lèi)中使用了2個(gè)輸出神經(jīng)元。

我們非?？春脤?shí)驗(yàn)結(jié)果，因?yàn)闇?zhǔn)確率達(dá)到80％。

 

4.2   長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM，Long Short-Term Memory）管道

 

圖. 1. LSTM管道

 

關(guān)于長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM，Long Short-Term Memory）檢測(cè)順序數(shù)據(jù)（時(shí)間序列）的關(guān)聯(lián)性的能力，我們構(gòu)建了一個(gè)LSTM模型，用面部特征點(diǎn)時(shí)間序列作為輸入數(shù)據(jù)，原始PPG信號(hào)作為目標(biāo)數(shù)據(jù)，重建PPG信號(hào)（圖1）。在使用MinMaxScaler算法調(diào)整（0.2，0.8）范圍內(nèi)的所有時(shí)間序列值后，綜合考慮以下參數(shù)，我們進(jìn)行了模型訓(xùn)練。模擬訓(xùn)練采用256個(gè)神經(jīng)元，批大小(batch size)128，初始學(xué)習(xí)率和輟學(xué)率分別設(shè)為0.001和0.2。為了評(píng)估PPG重構(gòu)信號(hào)的魯棒性，我們計(jì)算了PPG最小點(diǎn)的頻率（傅里葉頻譜），我們特別分析了這些點(diǎn)的頻率，比較了原始PPG最小點(diǎn)的頻率與重構(gòu)PPG最小點(diǎn)的頻率。

 

5  結(jié)論

 

 

圖2.原始PPG最小點(diǎn)的快速傅立葉變換（FFT）頻譜（藍(lán)色）和重建PPG最小點(diǎn)的快速傅立葉變換（綠色）。

 

最后，我們提供了一種基于LSTM-CNN的有效的監(jiān)測(cè)系統(tǒng)，通過(guò)PPG信號(hào)評(píng)估心臟活動(dòng)來(lái)確定駕駛員的困倦程度。與其它方法不同，我們的方法是利用面部特征點(diǎn)數(shù)據(jù)重建PPG信號(hào)，不涉及傳感器系統(tǒng)。如前文所述，我們構(gòu)建了LSTM管道，用面部特征點(diǎn)時(shí)間序列作為輸入數(shù)據(jù)，傳感器檢測(cè)到的PPG作為目標(biāo)數(shù)據(jù)，證明PPG重構(gòu)信號(hào)的魯棒性。此外，我們還構(gòu)建了CNN模型，不僅可以對(duì)駕駛員的生理狀態(tài)進(jìn)行分類(lèi)，還可以驗(yàn)證LSTM的預(yù)測(cè)結(jié)果。最后，我們計(jì)算了原始PPG最小點(diǎn)的快速傅立葉變換（FFT）頻譜和重構(gòu)的PPG最小點(diǎn)的FFT頻譜（圖2）。實(shí)驗(yàn)結(jié)果證明，我們的方法有廣闊的應(yīng)用前景，因?yàn)槲覀兡軌騾^(qū)分瞌睡的對(duì)象與清醒的對(duì)象，準(zhǔn)確率接近100％，這與科學(xué)文獻(xiàn)報(bào)道的類(lèi)似管道取得的平均成績(jī)一致。使用改進(jìn)的PPG傳感器[12]，以及利用Stacked-AutoEconder架構(gòu)[13]學(xué)會(huì)的特殊功能對(duì)PPG信號(hào)進(jìn)行深度處理，將會(huì)給本文提出的管道帶來(lái)哪些改進(jìn)，是本文作者目前正在研究的方向。

 

參考文獻(xiàn)

 

[1] National Safety Council: https://www.nsc.org/road-safety/safety-topics/fatality-estimates 

[2] Melo, H. M., Nascimento, L. M., Takase, E., Mental fatigue and heart rate variability (HRV): The time-on-task effect. Psychology & Neuroscience, 10 (2017) 428-436. 

[3] Rundo, F.; Ortis, A.; Battiato, S.; Conoci, S., Advanced Bio-Inspired System for Noninvasive Cuff-Less Blood Pressure Estimation from Physiological Signal Analysis, Computation 6 (2018) 46.

[4] Zhang, W., Cheng, B., Lin, Y., Driver drowsiness recognition based on computer vision technology, Tsinghua Science and Technology 17 (2012) 354-362.

[5] Haq, Z. A., Hasan, Z., Eye-blink rate detection for fatigue determination. In 1st India International Conference on Information Processing (IICIP), Delhi, India, 2016, 1-5. 

[6] Xu Y. J.; Ding, F.; Wu, Z.; Wang, J.; Ma, Q.; Chon, K.; Clancy, E.; Qin, M.; Mendelson, Y.; Fu, N.; Assad, S.; Jarvis, S.; Huang, X., Drowsiness control center by photoplythesmogram, In Proceedings of 38th Annual Northeast Bioengineering Conference (NEBEC), Philadelphia, USA, 2012, 430-431.

[7] Koh, S.; Cho, B. R.; Lee J.-I.; Kwon, S.-O.; Lee, S.; Lim, J. B.; Lee, S. B.; Kweon, H.-D., Driver drowsiness detection via PPG biosignals by using multimodal head support, In Proceedings of the 4th International Conference on Control, Decision and Information Technologies (CoDIT), Barcelona, Spain, 2017, 383-388;

[8] Wu, H.-Y., Rubinstein, M., Shih, E., Guttag, J., Durand, F., Freeman, W. T. Eulerian Video Magnification for Revealing Subtle Changes in the World. ACM Transactions on Graphics 31 (2012) 

[9] Hochreiter, S., Schmidhuber, J, Long Short-Term Memory, Neural Computation 9 (1997) 1735 1780

[10] Lecun, Y., Bengio, Y., Convolutional Networks for Images, Speech, and Time-Series, The Handbook of Brain Theory and Neural Networks (1995).

[11] Kazemi, V., Sullivan, J., One millisecond face alignment with an ensemble of regression trees., In 2014 IEEE Conference on Computer Vision and Pattern Recognition, Columbus, USA, 2014, 1867-1874.

[12] Mazzillo, M., Maddiona, L., Rundo, F., Sciuto, A., Libertino, S., Lombardo, S., Characterization of SiPMs With NIR Long-Pass Interferential and Plastic Filters, In IEEE Photonics Journal, 10 (2018) 1-12.

[13] Rundo, F., Conoci, S., Banna, G.L., Ortis, A., Stanco, F., Battiato, S., Evaluation of Levenberg-Marquardt neural networks and stacked autoencoders clustering for skin lesion analysis, screening and follow-up, IET Computer Vision 12 (2018) 957-962.

 

 

推薦閱讀：