多模態手環生理信號和行為數據-案例介紹

多模態手環生理信號與計算套件：

一款用于群體情緒狀態監測與分析的科研產品。

支持多種生理信號和行為數據的同步采集，支持自動、手動標記實驗過程中的特定事件。

實驗結束后數據將自動同步到云端，科研人員可下載原始數據和特征數據，并進行情緒狀態、心理壓力、疲勞水平、認知負荷等心理狀態的分析與評估。

產品構成：

高生態效度——貼合自然場景，數據采集成本低，評估客觀高效，研究結果具有更高生態效度。

1、通過生理反應同步表現評估師生情緒一致性

本研究以真實的課堂為場景，探索了依據生理指標評估人際情緒一致性的新方式。

課前，研究人員為教師與學生佩戴便攜式手環，用于收集他們在上課過程中的脈搏和皮膚電阻數據；采用“跟讀"范式，教師在課堂上朗誦詩歌，每讀完一句，學生們模仿教師的情感進行跟讀；課后，請師生對其主觀情緒體驗做出評價。

研究結果發現，師生之間的共同情緒，以及他們對彼此的情感感知，可以通過他們生理反應的同步性來體現。

2、多模態數據分析老年人對居住環境的壓力感受

本研究依據老年人在戶外散步時的多種生理信號評估壓力，結合實時位置與環境信息，探討街道環境對老年人活動的影響。

研究者邀請10名65歲以上的老人散步，第一次散步佩戴智能手環，實時記錄皮膚電導反應與脈搏特征、位置、環境數據；第二次散步不戴手環，需要老人在散步時說出壓力感受；使用多模態數據創建模型、生成壓力熱點圖。

研究者創建的模型對老人在真實場景中壓力狀態及程度的識別準確率分別為 98.13% 和 98.25%；借助熱點圖可找出阻礙老人活動的地點、環境設施。

3、抑郁癥長期追蹤項目“心花計劃"

國內針對抑郁癥的追蹤研究，涵蓋抑郁癥患者和亞臨床抑郁狀態兩個群體。

借助可穿戴設備與智能硬件，建立反芻思維、自發思維、脈搏、皮膚電、運動水平、睡眠質量、手機交互行為和腦功能影像學的多維度指標體系，建立抑郁癥早期識別與預警系統。

開展移空療法、音樂治療等多種形式的心理干預技術研究，形成可操作化的抑郁癥預防方案，提出用于驗證心理干預效果的過程化、個性化評價方法。

4、駕駛過程中駕駛員心理壓力識別研究

本研究提出了一種在真實駕駛過程中對駕駛員心理壓力進行分類識別的算法模型。

本研究采用 MIT-BIH 數據集，通過可穿戴設備收集了 17 名駕駛員在實際駕駛過程中的心電、皮膚電阻、心率、肌電等多種生理數據。

研究人員對這些生理數據進行了預處理、特征提取等一系列規范化處理后，對結果進行了統計檢驗。結果表明，駕駛員在駕駛過程中的壓力水平分成三個等級時，各個壓力等級之間存在顯著差異；眾多生理特征中，從駕駛員腳部采集的皮膚電阻特征區分駕駛員壓力的準確率最高。

5、使用可穿戴式傳感器檢測射箭運動員心率與呼吸率

本研究提出一項新型智能紡織品（ 使用柔性材料制作的傳感器 ），通過呼吸與心跳引起的胸壁偏移測量運動員在射箭期間的呼吸頻率與心率。

研究者首先邀請 9 名參與者，穿戴智能紡織品、佩戴脈搏波傳感器，在其進行模擬射箭和靜態呼吸時采集呼吸率與心率，使用脈搏波傳感器數據驗證智能紡織品采集數據的準確性。隨后邀請 2 名專業運動員在 5 分鐘內完成 6 次射擊，同時使用智能紡織品記錄其呼吸頻率與心率。

結果表明，使用該傳感器檢測呼吸頻率，誤差小于 1.97%，檢測心率，誤差小于 5.74%；通過呼吸頻率和心率可有效識別運動員的射箭動作。

6、急性心理應激適應性訓練與訓練效果評估研究

本研究通過虛擬現實技術，搭建能夠有效誘發個體高應激反應的VR場景，研究個體在應激適應訓練期間的生理心理反應。

研究者邀請 44 名健康的男性大學生與 12 名男性飛行學員，要求他們佩戴VR裝置，在虛擬高空場景中完成多個工作記憶任務。使用手環記錄其實時心率，并收集唾液皮質醇和主觀體驗報告(壓力水平、積極/消極情緒)，以評估應激對其執行功能的影響。

結果表明，本研究創建的方法可有效誘發兩組參與者的急性應激反應，適應性訓練可顯著降低應激對工作記憶績效的影響。

7、使用多模態數據評估智能手機終端玩家的參與度

本研究設計了基于實時生理與行為特征評估玩家游戲參與度的多模態信號采集系統，包含生理信號傳感器、智能手機傳感器、深度攝像頭。

研究者邀請 64 名玩家使用手機玩三類游戲(運動類、競速類、益智類)，并實時記錄玩家的脈搏波、皮膚電阻、觸屏動作、頭部位置等信息。該系統將實時數據分到多個預定處理窗口，對各窗口進行特征提取和分類，最后聚合多個窗口的分類結果輸出最終的游戲沉浸感(低、中、高)。

研究創建的模型評估個體玩家參與度的平均準確性達85%，評估不同類型游戲參與度的平均準確性達77%。

8、使用生理與行為表現預測團隊一致性

本研究設計了群體擊鼓任務，用于探究行為與生理信號的同步性對團隊一致性、團隊表現的影響。

參與者被分成51個組，每組3人，跟隨聽到的節奏擊鼓。一半小組聽到的節奏固定，可預測擊鼓時機，組內成員行為同步性較高；另一半小組聽到的節奏持續變化，行為同步性較低。期間持續采集參與者的心電活動，擊鼓結束后記錄參與者對行為同步性的主觀評價。

同步擊鼓任務可提升團隊成員生理信號同步性，表現出相近的心跳間隔；同步的生理信號與行為可以預測個體對團隊凝聚力的主觀感受。

9、探索消防員在模擬火災環境中的生理反應和安全性

本研究在不同的熱環境中，研究不同消防人員訓練的生理負擔，以檢查每消防員和消防教官在不同火災環境中的核心溫度和心率反應。

研究包括24名消防員和10名消防教官，實時記錄核心溫度，心率數據，在三種不同的模擬火災環境中參加了訓練，這些訓練通常用于模擬住宅結構的消防訓練。

研究發現盡管環境條件存在很大差異，但訓練環境中消防員的峰值核心溫度、心率在統計學上沒有差異。盡管核心溫度峰值相似，但與消防員相比，消防教官的心率明顯減弱，表明教官的工作量較少或壓力較小。