Touch Type in VR Without Physical Keyboards
Facebook研究實(shí)現(xiàn)
VR世界中無(wú)實(shí)體鍵盤(pán)打字
虛擬現(xiàn)實(shí)
Virtual Reality
Credit: immersivelearning.news
當(dāng)VR和AR不再局限于娛樂(lè)活動(dòng)，當(dāng)人們可以在虛擬現(xiàn)實(shí)中辦公、雙手直接操控系統(tǒng)界面和網(wǎng)頁(yè)，同時(shí)實(shí)時(shí)可以看見(jiàn)頭顯外真實(shí)世界的情況——上班將變得不再枯燥，一切操作都會(huì)更加趣味。心動(dòng)嗎？一起來(lái)看看未來(lái)的辦公場(chǎng)景有多酷！
視頻介紹了Facebook正為Oculus Quest研發(fā)的AR辦公功能Infinite Office。基于AR透視和鍵盤(pán)定位，在虛擬辦公世界中，通過(guò)觸碰真實(shí)世界中的鍵盤(pán)，使用者可以在虛擬現(xiàn)實(shí)中進(jìn)行快速輸入。
前不久，F(xiàn)acebook’s Reality Labs（FRL）公布了一項(xiàng)手部追蹤的新研究，旨在為AR/VR用戶帶來(lái)無(wú)需真實(shí)鍵盤(pán)的全虛擬輸入。
機(jī)器學(xué)習(xí)
Machine Learning
在虛擬現(xiàn)實(shí)世界中實(shí)現(xiàn)無(wú)實(shí)物盲打?qū)τ谘邪l(fā)人員無(wú)疑是一件極具挑戰(zhàn)的事，缺少了物理鍵盤(pán)的觸摸感和力反饋，使用者打字準(zhǔn)確性會(huì)相對(duì)下降。為解決這一問(wèn)題，研究人員開(kāi)始了復(fù)雜的機(jī)器訓(xùn)練。
機(jī)器學(xué)習(xí)簡(jiǎn)單來(lái)說(shuō)可總結(jié)為如下流程：
1 | 確認(rèn)機(jī)器學(xué)習(xí)目標(biāo) |
2 | 獲取數(shù)據(jù)并評(píng)估是否符合訓(xùn)練測(cè)試標(biāo)準(zhǔn) |
3 | 清洗數(shù)據(jù)并建模 |
4 | 導(dǎo)入訓(xùn)練數(shù)據(jù)，訓(xùn)練模型 |
5 | 模型診斷與調(diào)優(yōu) |
6 | 導(dǎo)入驗(yàn)證數(shù)據(jù)，驗(yàn)證模型并分析誤差 |
7 | 模型融合 (后端) |
8 | 使用原生新數(shù)據(jù)進(jìn)行測(cè)試 |
在數(shù)據(jù)收集一環(huán)，對(duì)于虛擬世界中無(wú)實(shí)物盲打的研究，F(xiàn)acebook FRL需要收集大量人類(lèi)打字時(shí)的習(xí)慣手勢(shì)數(shù)據(jù)。為獲取這些數(shù)據(jù)，F(xiàn)RL使用了高精度的手勢(shì)追蹤系統(tǒng)，這套系統(tǒng)由OptiTrack運(yùn)動(dòng)捕捉攝像機(jī)、定制的動(dòng)捕手套及Motive運(yùn)動(dòng)捕捉軟件等構(gòu)成。
Credit: immersivelearning.news
數(shù)據(jù)收集過(guò)程中，操作臺(tái)上方安裝有OptiTrack運(yùn)動(dòng)捕捉攝像機(jī)，研究人員需佩戴VR頭顯、手戴附有標(biāo)記點(diǎn)的運(yùn)動(dòng)捕捉手套，坐在平面操作臺(tái)前。打字時(shí)研究人員可以從VR頭顯中看見(jiàn)自己的雙手和虛擬鍵盤(pán)，并進(jìn)行輸入操作，此時(shí)運(yùn)動(dòng)捕捉攝像機(jī)對(duì)其打字時(shí)的手部動(dòng)態(tài)進(jìn)行高精度捕捉，并將這些歷史運(yùn)動(dòng)捕捉數(shù)據(jù)傳輸至電腦以供后期人員手動(dòng)進(jìn)行數(shù)據(jù)篩選和清洗。
Facebook研究人員說(shuō)道：“結(jié)合語(yǔ)言模型進(jìn)行訓(xùn)練，機(jī)器可以預(yù)測(cè)人們?cè)谑謩?shì)不明確的情況下想要輸入的內(nèi)容。使用這種新方法，在任意一個(gè)平面上，打字員在無(wú)鍵盤(pán)輸入的情況下平均每分鐘可打73個(gè)單詞，取得了與物理鍵盤(pán)輸入相同的速度和準(zhǔn)確性，未修正錯(cuò)誤率僅為2.4%。”
由于Oculus Quest和Quest 2已經(jīng)可以實(shí)現(xiàn)AR交互，這意味著用戶可以通過(guò)頭顯外部的攝像頭攝錄，實(shí)時(shí)在VR頭顯中看到真實(shí)世界中自己的雙手。
Credit: immersivelearning.news
也正是基于此性能，相信在不久的將來(lái)，在機(jī)器被訓(xùn)練到足夠應(yīng)對(duì)普通用戶日常打字需求的程度時(shí)，通過(guò)VR頭顯外部的攝像頭捕捉用戶手勢(shì)動(dòng)作，頭顯可有效預(yù)測(cè)該用戶即將輸入的文字，就像目前Oculus Quest和Quest 2一樣。脫離了實(shí)體鍵盤(pán)后，由于已進(jìn)行了大量的輸入手勢(shì)學(xué)習(xí)，機(jī)器的輸入精準(zhǔn)度會(huì)大幅提高，而且用戶在任何平面都可進(jìn)行觸摸輸入，不再需要真實(shí)鍵盤(pán)作為輸入載體。
Credit: immersivelearning.news
這項(xiàng)基于OptiTrack手部追蹤的虛擬現(xiàn)實(shí)輸入研究仍在進(jìn)行當(dāng)中，隨著時(shí)間推移，機(jī)器訓(xùn)練的程度加深，VR世界中的輸入將更加人性化、高效和精準(zhǔn)。也許不久的將來(lái)，當(dāng)我們戴上VR頭顯進(jìn)入虛擬世界中時(shí)，即可脫離任何實(shí)物載體自由操作系統(tǒng)、高效輸入文本，進(jìn)行日常工作和娛樂(lè)活動(dòng)。科幻電影中的虛擬現(xiàn)實(shí)時(shí)代下的場(chǎng)景已初見(jiàn)苗頭，這無(wú)疑是件令人格外興奮和憧憬的事。
