本文轉自雷鋒網(wǎng),如需轉載請至雷鋒網(wǎng)官網(wǎng)申請授權。
我們都知道可穿戴心率監測器,但掃一掃臉部就能判斷心跳的系統,你們見(jiàn)過(guò)嗎?
據VentureBeat報道,近日,中國科學(xué)院的研究人員設計出了這么一個(gè)系統,并且論文發(fā)表在了Arxiv.org的預印本中。
在這篇文章中,他們描述了RhythmNet,這是一種端到端的可訓練心率評估器,利用AI和光電容積脈搏波描記法(PPG)(一種檢測皮膚組織中血容量變化的光學(xué)技術(shù))來(lái)應對頭部運動(dòng)和光線(xiàn)變化方面的挑戰。
正如研究人員所解釋的那樣,基于PPG的心率估算是可以實(shí)現的。因為皮膚對光的吸收量會(huì )隨著(zhù)血容量脈沖(BVP)的變化而周期性地變化。在真皮層和皮下層的微血管中,像血紅蛋白這樣的染色體吸收了不成比例的光。這樣,當血液泵入下方的靜脈和動(dòng)脈時(shí),就會(huì )發(fā)生微小的顏色變化。它們是肉眼看不到的,但很容易被嵌入可穿戴設備的RGB傳感器捕捉到。
雷鋒網(wǎng)了解到,為了訓練RhythmNet,該團隊創(chuàng )建了一個(gè)大規模的多模態(tài)語(yǔ)料庫——VIPL-HR1。該語(yǔ)料庫以開(kāi)源方式提供,包含了2378個(gè)可見(jiàn)光視頻和752個(gè)近紅外視頻,涉及107名受試者。每個(gè)視頻片段都是由網(wǎng)絡(luò )攝像頭和紅外傳感器以及智能手機捕捉到的,包含了頭部運動(dòng)、頭部姿態(tài)(帶有注釋的偏航、俯仰和滾轉角)、照明和設備使用情況的變化。
RhythmNet由幾個(gè)組件組成,包括一個(gè)面部探測器,該探測器根據一個(gè)人的面部視頻定位81個(gè)以上的面部標記。
此外,還有一個(gè)單獨的組件進(jìn)行對齊和皮膚分割,以去除眼睛區域和其他非面部區域,然后從相隔0.5秒的視頻幀生成時(shí)空圖,以表示心率信號。這些圖被輸入到機器學(xué)習模型中,該模型經(jīng)過(guò)訓練可以從時(shí)空圖預測心率,然后計算每分鐘的估計心跳次數,最后得出一個(gè)平均值。
研究人員在MAHNOB-HCI和MMSE-HR兩個(gè)廣泛使用的數據庫以及他們自己的數據庫上對系統進(jìn)行了評估。
他們表示,針對VIPL-HR1測試的大多數樣本(71%)中,RhythmNet的心率估計誤差低于每分鐘5次,并且在每分鐘47次到147次之間與基本事實(shí)有很好的相關(guān)性。
研究人員還補充說(shuō),MAHNOB-HCI和MMSE-HR的錯誤率不超過(guò)每分鐘8.28次。
據雷鋒網(wǎng)了解,團隊還計劃研究這種方法在其他生理狀態(tài)測量任務(wù)中的有效性,比如通過(guò)視頻測量呼吸頻率和血壓,以及利分布式學(xué)習和多任務(wù)學(xué)習技術(shù),開(kāi)發(fā)一個(gè)更強大的心率估計模型。
“心率是一個(gè)重要的生理信號,反映了一個(gè)人的身體和情緒狀態(tài)。傳統的心率測量通常依靠接觸式監護儀,這可能會(huì )帶來(lái)不便和不適。”該論文的共同作者寫(xiě)道,“ (我們提出的系統) 僅從表面上看,在數據庫內和跨數據庫測試場(chǎng)景中,都實(shí)現了很不錯的心率估計準確性。”