ErgoAI人因智能研究實(shí)驗室
概述：
ErgoAI人因智能研究實(shí)驗室是津發(fā)科技創(chuàng)新研發(fā)配置的面向人因工程、人工智能、機(jī)器人、智能裝備設(shè)計測評等方向和領(lǐng)域的科學(xué)研究與工程應(yīng)用解決方案。實(shí)驗室解決方案支持基于多模態(tài)人因數(shù)據(jù)進(jìn)行人工智能模型訓(xùn)練，并進(jìn)一步進(jìn)行人工智能科學(xué)研究或工程應(yīng)用。實(shí)驗室解決方案可提供人因大數(shù)據(jù)管理平臺、智能化預(yù)處理與應(yīng)用平臺、主客觀數(shù)據(jù)融合與AI模型庫以及智能應(yīng)用平臺。方案同時創(chuàng)新研發(fā)了基于多元時序數(shù)據(jù)的ErgoAI Transformer融合算法，結(jié)合多模態(tài)數(shù)據(jù)融合網(wǎng)絡(luò)、生成對抗模型、時序記憶模型等方法，提高算法的準(zhǔn)確率、魯棒性和靈活性，能夠應(yīng)用于人因工程多個相關(guān)領(lǐng)域和方向。
系統(tǒng)組成：
(1) 實(shí)驗室概述
實(shí)驗室可用于進(jìn)行基于多模態(tài)人因數(shù)據(jù)進(jìn)行人工智能模型訓(xùn)練，并進(jìn)一步進(jìn)行人工智能科學(xué)研究或工程應(yīng)用。實(shí)驗室主要分為被試間與主試間兩大功能區(qū)域，之間由單向玻璃隔開，使主試間中的研究人員看見被試間內(nèi)受試者的行為，而受試者看不見主試間，從而減小干擾。其中，被試間為實(shí)驗進(jìn)行的區(qū)域，可依照測試需求布置人因智能研究所需的多模態(tài)數(shù)據(jù)采集設(shè)備，如眼動儀、生理儀、手指軌跡分析儀、腦電儀等；被試間中有多個行為觀察攝像頭與拾音器，從不同角度攝取受試者的行為影像并采集受試者的聲音，音視頻信號傳送給主試間中的人機(jī)環(huán)境同步平臺進(jìn)行數(shù)據(jù)分析。主試間為觀察與數(shù)據(jù)分析區(qū)域，布置有語音控制臺，研究人員的指令通過被試間的揚(yáng)聲器傳送給受試者；主試間還布置有人機(jī)環(huán)境同步平臺、人因智能邊緣計算平臺等設(shè)備，研究人員可在主試間實(shí)時同步采集多模態(tài)人因數(shù)據(jù)并進(jìn)行分析。
實(shí)驗室被試間設(shè)置有多模態(tài)人因數(shù)據(jù)采集設(shè)備，包括高精度眼動儀、邊緣智能眼動儀、行為表情語音邊緣智能實(shí)驗儀、邊緣智能生理儀、邊緣智能腦電儀、邊緣智能腦成像儀、邊緣智能多模態(tài)腦功能儀以及行為模式邊緣智能實(shí)驗儀等。被試間的產(chǎn)品組成與選型可根據(jù)實(shí)際研究需求進(jìn)行配置。
實(shí)驗室主試間設(shè)置有多模態(tài)人因數(shù)據(jù)同步采集、分析和人因智能實(shí)驗儀，包括ErgoAI人因智能實(shí)驗儀和ErgoAI人因智能評估平臺。其中，ErgoAI人因智能實(shí)驗儀支持多模態(tài)數(shù)據(jù)同步采集與分析，確保所需要的人、機(jī)、環(huán)境三方面的多模態(tài)數(shù)據(jù)可基于同一時間軸進(jìn)行實(shí)時同步，消除事后對齊數(shù)據(jù)分析的負(fù)擔(dān)，并使數(shù)據(jù)“協(xié)同增效”，多角度綜合印證結(jié)果，確保數(shù)據(jù)結(jié)果的有效性與準(zhǔn)確性。ErgoAI人因智能應(yīng)用平臺，對接人機(jī)環(huán)境同步平臺所同步采集的多模態(tài)數(shù)據(jù)，搭建開放式AI算法應(yīng)用平臺，能夠為不同AI算法基礎(chǔ)的用戶，提供從數(shù)據(jù)采集、數(shù)據(jù)降噪、數(shù)據(jù)標(biāo)注、模型訓(xùn)練、模型評估及部署應(yīng)用的全流程智能化應(yīng)用系統(tǒng)。平臺可提供數(shù)千人次數(shù)據(jù)搭建的各類應(yīng)用數(shù)據(jù)集，涵蓋人員基數(shù)據(jù)集、狀態(tài)數(shù)據(jù)集等，以及數(shù)十種人因工程預(yù)訓(xùn)練模型，包括單模態(tài)狀態(tài)識別模型、多模態(tài)狀態(tài)識別模型等。同時，ErgoAI人因智能應(yīng)用平臺支持根據(jù)實(shí)際研究內(nèi)容與方向創(chuàng)建數(shù)據(jù)集、訓(xùn)練并驗證模型，并進(jìn)行模型部署與實(shí)時狀態(tài)預(yù)測。
(2) 實(shí)驗室示意圖
功能應(yīng)用：
1. 基于測試任務(wù)的多模態(tài)數(shù)據(jù)同步
2. 人因大數(shù)據(jù)平臺
3. 人因智能算法模型庫
4. 人因智能應(yīng)用與定制開發(fā)
ErgoLAB多模態(tài)同步方案：
整體概述
ErgoLAB人機(jī)環(huán)境同步平臺采用多模態(tài)數(shù)據(jù)時鐘同步技術(shù)，平臺可完成完整的實(shí)驗和測評流程，包括項目管理-試驗設(shè)計-同步采集-信號處理-數(shù)據(jù)分析-人因智能評估-可視化報告，支持基于云架構(gòu)技術(shù)的團(tuán)體測試和大數(shù)據(jù)管理。
ErgoLAB人機(jī)環(huán)境同步平臺采用主客觀結(jié)合多模態(tài)數(shù)據(jù)同步采集與多維度驗證的方法，數(shù)據(jù)實(shí)時同步種類包含大腦認(rèn)知數(shù)據(jù)（EEG/BCI腦電儀與腦機(jī)接口邊緣計算設(shè)備、fNIRS/BCI近紅外腦成像儀），視覺數(shù)據(jù)（Eyetracker眼動儀與視線交互系統(tǒng)），生理數(shù)據(jù)（生理儀含：GSR/EDA、EMG、ECG、EOG、HRV、RESP、TEMP/SKT、PPG、SpO2），行為觀察、肢體動作與面部表情（基本情緒、情緒效價、微表情等）數(shù)據(jù)、生物力學(xué)數(shù)據(jù)（拉力、握力、捏力、壓力…），人機(jī)交互數(shù)據(jù)（包含人機(jī)界面交互行為數(shù)據(jù)以及對應(yīng)的鍵盤操作，鼠標(biāo)點(diǎn)擊、懸浮、劃入劃出等；移動終端人機(jī)交互行為數(shù)據(jù)以及對應(yīng)的手指軌跡操作行為如點(diǎn)擊、縮放、滑動等；VR終端界面人機(jī)交互行為數(shù)據(jù)及對應(yīng)的雙手操作拾取、丟棄、控制，VR空間行走軌跡）、以及多類型時空行為軌跡數(shù)據(jù)采集(包括室內(nèi)、戶外、以及VR環(huán)境不同時空的行走軌跡、行車軌跡、訪問狀態(tài)以及視線交互、情感反應(yīng)、交互操作行為等數(shù)據(jù)實(shí)時同步采集)、以及作業(yè)空間及作業(yè)環(huán)境數(shù)據(jù)（溫度、濕度、噪音、光照、大氣壓、濕度、粉塵等）等客觀量化數(shù)據(jù)；為科學(xué)研究及應(yīng)用提供完整的數(shù)據(jù)指標(biāo)。
ErgoAI人因智能：
將人工智能技術(shù)引入人因工程研究工具，人因工程行業(yè)更加深度，使得實(shí)驗環(huán)境不會受限于某一種設(shè)備或數(shù)據(jù)指標(biāo)，采集分析不同典型行業(yè)或?qū)W科專業(yè)的人-機(jī)-環(huán)境系統(tǒng)交互過程中自然狀態(tài)下的人類行為數(shù)據(jù)，獲取更接近真實(shí)人員狀態(tài)的數(shù)據(jù)。平臺還提供覆蓋科研實(shí)驗全流程的功能模塊，包括項目管理、實(shí)驗設(shè)計、同步采集、數(shù)據(jù)分析、綜合統(tǒng)計和可視化報告，結(jié)合ErgoAI人因智能邊緣計算平臺為多模態(tài)人機(jī)環(huán)境研究提供一站式人因工程+人工智能解決方案。以ErgoLAB人機(jī)環(huán)境同步平臺和ErgoAI人因智能邊緣計算平臺為核心的多模態(tài)同步人因智能解決方案大大提高了實(shí)驗結(jié)果的信效度，同時節(jié)省了研究的人力、物力、時間，提高了研究與測評的整體效率。
基于ErgoAI人因智能多元時序算法底座與人因工程人機(jī)環(huán)境數(shù)據(jù)庫，構(gòu)建人員特定狀態(tài)的預(yù)訓(xùn)練模型，配合高靈活度的訓(xùn)練方案管理功能，用戶能夠在統(tǒng)一環(huán)境中構(gòu)建和優(yōu)化模型。 從而實(shí)現(xiàn)對人員狀態(tài)的精準(zhǔn)實(shí)時評估與預(yù)警，如負(fù)荷狀態(tài)、應(yīng)激狀態(tài)、疲勞狀態(tài)、情景意識和注意能力等。
Kingfar公司介紹：
北京津發(fā)科技股份有限公司是專精特新重點(diǎn)小巨人，知識產(chǎn)權(quán)優(yōu)勢企業(yè)、高新技術(shù)企業(yè)、科技型中小企業(yè)；旗下包含北京人因智能工程技術(shù)研究院和北京人因工程設(shè)計院等科技研發(fā)機(jī)構(gòu)，并聯(lián)合共建了北京市企業(yè)技術(shù)中心、北京本科高校產(chǎn)學(xué)研深度協(xié)同育人平臺、蘇州市重點(diǎn)實(shí)驗室、湖南省工程實(shí)驗室、山東省工程研究中心等多個科技創(chuàng)新平臺。
津發(fā)科技承擔(dān)和參與了多項重點(diǎn)研發(fā)計劃、工信部高質(zhì)量發(fā)展專項、自然科學(xué)基金等課題基金。擔(dān)任全國信標(biāo)委XR擴(kuò)展現(xiàn)實(shí)標(biāo)準(zhǔn)化組副組長單位，工信部元宇宙標(biāo)準(zhǔn)化工作組關(guān)鍵技術(shù)組聯(lián)合組長單位；津發(fā)科技創(chuàng)新研發(fā)了國產(chǎn)化自主可控的人因工程與人因智能邊緣計算系列信創(chuàng)產(chǎn)品與技術(shù)，榮獲多項省部級科學(xué)技術(shù)獎勵；津發(fā)科技主持和參編國際/、行業(yè)/團(tuán)體標(biāo)準(zhǔn)20余項、榮獲30余項省部級新技術(shù)新產(chǎn)品認(rèn)證，全球申請專利超過500項、100余項國際和注冊商標(biāo)、130余項軟件著作權(quán)；已服務(wù)全國高等院校和裝備科技工業(yè)科研院所應(yīng)用示范，并已支撐國內(nèi)科研學(xué)者和科技工作者發(fā)表中英文學(xué)術(shù)論文超過1000篇。
