隨著腦機接口(BCI)技術的發(fā)展以及其應用的特性,大量的的研究機構開始研發(fā)基于BCI的人形控制系統(tǒng)。其中,WIMI微美全息開發(fā)一種基于頭戴式顯示器(HMD)的腦機接口(BCI)控制的人形機器人交互控制系統(tǒng)。這種交互方式通過穩(wěn)態(tài)視覺誘發(fā)電位(SSVEP)控制機器人,讓它與環(huán)境和人類互動。在該方案中,機器人內嵌式攝像頭提供實時反饋,將刺激反饋集成到HMD上顯示。

據(jù)悉,微美全息(NASDAQ:WIMI)研究人員在實驗中,通過使用這種新的交互方式控制了人形機器人,并進行了一項任務來測試其性能。在任務中,測試者被要求將機器人導航到特定位置以執(zhí)行任務。這個任務基于視覺SLAM反饋,通過機器人攝像頭捕獲的環(huán)境圖像提供了導航指示。
在該研究中,WIMI微美全息采用了穩(wěn)態(tài)視覺誘發(fā)電位(SSVEP)作為控制信號,通過腦電信號采集設備采集用戶的腦電信號,并使用頭戴式顯示器顯示機器人的實時反饋。為了提供導航指示,研究人員在機器人上嵌入了一個內嵌式攝像頭,并將其實時反饋與頭戴式顯示器上的SSVEP信號相結合,形成一種交互方式。在控制算法方面,研究人員采用了基于視覺SLAM(SimultaneousLocalizationandMapping)的算法來提供導航指示。該算法通過機器人攝像頭捕獲的環(huán)境圖像,建立起環(huán)境模型并提供導航指示。

基于頭戴式顯示器的BCI的人形機器人控制系統(tǒng)需要包括多個組件,包括信號采集設備、頭戴式顯?器、人形機器人、內嵌式攝像頭、控制算法等。WIMI微美全息基于頭戴式顯示器的BCI控制的人形機器人的輔助控制系統(tǒng)的技術實現(xiàn)步驟和結果如下:
腦電信號采集和處理:
微美全息的研究人員首先使用了一套基于腦電信號的交互平臺,用于采集用戶的腦電信號,并對這些信號進行處理。平臺由多通道放大器、電極帽和數(shù)據(jù)采集軟件組成,能夠實時采集并存儲用戶的腦電信號。在處理腦電信號時,使用了一種高效的方法,即通過信號的頻率分析提取穩(wěn)態(tài)視覺誘發(fā)電位(SSVEP)。該方法將特定頻率的光閃爍呈現(xiàn)給用戶,用戶的腦電信號會在這個頻率上產生同步振蕩,從而實現(xiàn)控制信號的提取。
該研究采用了頭戴式顯示器的BCI控制?形機器?的方法,其中控制信號基于穩(wěn)態(tài)視覺誘發(fā)電位(SSVEP)。研究人員使用腦電信號采集設備來采集用戶的腦電信號,通過頭戴式顯示器來顯示機器人的實時反饋,并通過內嵌式攝像頭提供導航指示。控制算法采用了基于視覺SLAM的算法來提供導航指示,該算法通過機器人攝像頭捕獲的環(huán)境圖像,建立起環(huán)境模型并提供導航指示。
頭戴式顯示器的應用:
為了提供控制信號的反饋,微美全息的研究人員使用了一種頭戴式顯示器,顯示器通過內置的顯示器顯示機器人的實時圖像和狀態(tài)。頭戴式顯示器采用了高分辨率的顯示技術,以提供更加真實的虛擬環(huán)境體驗。
此外,為了更好地提供控制信號反饋,研究人員還將顯示器與機器人的內置式攝像頭相結合。通過機器人攝像頭捕獲環(huán)境圖像并顯示在頭戴式顯示器上,用戶可以更加直觀地了解機器人的狀態(tài)和環(huán)境信息。具體來說,用戶需要注視頭戴式顯示器上的特定頻率的光刺激,這將引起用戶的大腦發(fā)出特定的SSVEP信號。信號被捕獲并處理后,控制算法可以根據(jù)信號的頻率和振幅確定用戶的意圖,例如移動機器人向左或向右轉等。內嵌式攝像頭可以實時捕獲機器人的視角,提供環(huán)境圖像以及機器人當前位置的反饋信息。
導航算法的實現(xiàn):
為了實現(xiàn)機器人的導航控制,微美全息的研究人員采用了一種基于視覺SLAM的算法。該算法通過機器人內置的攝像頭,捕獲機器人所在環(huán)境的圖像,并將其轉換成機器人的環(huán)境模型。同時,該算法還能夠對機器人的位置進行估計,并為用戶提供導航指示。用戶可以通過SSVEP信號來控制機器人的移動方向,同時頭戴式顯示器會顯示機器人的狀態(tài)和環(huán)境信息,為用戶提供更加直觀的反饋信息。
此外,微美全息的研究人員還對該控制系統(tǒng)進行了實驗評估,評估了其控制精度、交互體驗等方面的性能。通過實驗結果表明,該控制系統(tǒng)能夠提供精確的控制信號,同時也能夠提供沉浸式的交互體驗,為用戶提供了一種新穎的機器人控制方式。
實驗評估:
為了評估該系統(tǒng)的性能,微美全息的研究人員開展了一系列實驗。實驗包括用戶使用該系統(tǒng)進行機器人導航任務,以及使用傳統(tǒng)遙控器進行任務的對照實驗。實驗結果表明,用戶在使用該系統(tǒng)時能夠更加準確地完成導航任務,并且獲得了更好的交互。
研究人員對該控制系統(tǒng)進行了實驗評估,包括控制精度、交互體驗等方面的性能。實驗中,參與者需要在一個模擬的環(huán)境中,控制機器人走到特定位置,完成任務。實驗結果表明,該控制系統(tǒng)可以提供精確的控制信號,平均控制精度高達98.1%。同時,用戶評價該系統(tǒng)的交互體驗非常好,認為這是一種非常自然、直觀的交互方式。
目前,微美全息(NASDAQ:WIMI)基于頭戴式顯示器(HMD)通過腦機接口(BCI)實現(xiàn)的人形機器人控制系統(tǒng)的研究,展示了基于頭戴式顯?器的BCI控制?形機器?的一種新的交互方式,提供了一種更為自然、直觀的機器人控制方式。實驗結果表明,該控制系統(tǒng)可以提供精確的控制信號,并且用戶對其交互體驗非常好。這一控制方式具有潛力,可用于許多需要精確控制的場景,例如醫(yī)療、教育、娛樂等領域。后續(xù),該控制系統(tǒng)還可以與其他傳感器技術結合,例如語音、手勢等,以提供更多樣化的控制方式。這種基于頭戴式顯?器的BCI控制的?形機器?的導航輔助方案為用戶提供了一種新穎的交互方式,可以提高機器人的操作效率和交互體驗。