隨著科技的飛速發(fā)展，每一次計(jì)算平臺(tái)的革新都引領(lǐng)著人機(jī)交互方式的巨大變革。鼠標(biāo)的出現(xiàn)奠定了PC時(shí)代圖形用戶界面（GUI）的基礎(chǔ)，而智能手機(jī)的普及則得益于觸摸屏技術(shù)的突破。如今，這股創(chuàng)新的浪潮正涌向可穿戴設(shè)備與增強(qiáng)現(xiàn)實(shí)（AR）領(lǐng)域，為我們勾勒出了一幅未來人機(jī)交互的新藍(lán)圖。
在Connect 2024大會(huì)上，meta公司驚艷亮相，展示了其EMG腕帶與Orion增強(qiáng)現(xiàn)實(shí)眼鏡的原型產(chǎn)品。這兩者的結(jié)合，仿佛讓科幻電影中的“隔空打字”場(chǎng)景觸手可及。想象一下，在晨跑時(shí)，你只需輕輕一揮手指，就能捕捉下美好瞬間，或是以幾乎難以察覺的手部動(dòng)作，在虛擬菜單中自由穿梭。
Orion AR眼鏡以其獨(dú)特的魅力吸引了眾多目光，而meta推出的肌電圖腕帶更是讓人眼前一亮。戴上這款腕帶，你無需將雙手置于鍵盤上，只需舒適地放在身體兩側(cè)，就能通過滑動(dòng)、點(diǎn)擊和滾動(dòng)等動(dòng)作，無縫控制數(shù)字內(nèi)容。這不僅僅是一次技術(shù)的革新，更是人機(jī)交互方式的一次飛躍。
展望未來，這樣的技術(shù)還將應(yīng)用于更多場(chǎng)景。比如，在增強(qiáng)現(xiàn)實(shí)中操縱物體，或是像打字一樣快速輸入信息，甚至更快、更省力。近日，在NeurIPS 2024的“數(shù)據(jù)集和基”子會(huì)場(chǎng)中，meta發(fā)布了兩個(gè)重要數(shù)據(jù)集——emg2qwerty和emg2pose，展示了在硬件層面，僅憑腕帶就能產(chǎn)生比細(xì)微手勢(shì)更豐富的輸入數(shù)據(jù)集。
emg2qwerty數(shù)據(jù)集專注于解決可穿戴設(shè)備的文本輸入問題。它包含了從兩只手腕獲取的高分辨率表面肌電圖（sEMG）信號(hào)，與QWERTY鍵盤的真實(shí)按鍵同步。這個(gè)數(shù)據(jù)集由108名參與者完成，涵蓋了廣泛的單字和句子打字提示，總計(jì)超過520萬次按鍵，時(shí)長達(dá)到346小時(shí)。通過這一數(shù)據(jù)集，meta開發(fā)了一種受自動(dòng)語音識(shí)別（ASR）領(lǐng)域啟發(fā)的方法，能夠自動(dòng)解碼手腕上的肌肉電信號(hào)，并對(duì)應(yīng)到虛擬鍵盤上的按鍵。
而emg2pose數(shù)據(jù)集則致力于解決肌電信號(hào)與手部運(yùn)動(dòng)之間的映射問題。它包含了來自193名參與者的370小時(shí)sEMG數(shù)據(jù)和手部姿態(tài)數(shù)據(jù)，涵蓋了29個(gè)不同的行為組。這個(gè)數(shù)據(jù)集通過高分辨率動(dòng)作捕捉陣列生成手部姿態(tài)標(biāo)簽，總計(jì)超過8000萬個(gè)姿態(tài)標(biāo)簽，規(guī)模龐大。借助這一數(shù)據(jù)集，meta開發(fā)了一種名為vemg2pose的先進(jìn)模型，能夠準(zhǔn)確預(yù)測(cè)手部姿態(tài)，誤差僅為1厘米。
這兩個(gè)數(shù)據(jù)集不僅為meta的隔空打字和手部姿態(tài)估計(jì)技術(shù)提供了強(qiáng)大的支持，也為人機(jī)交互、康復(fù)工程和虛擬現(xiàn)實(shí)等領(lǐng)域帶來了新的可能。在醫(yī)療康復(fù)領(lǐng)域，通過分析患者的sEMG信號(hào)，可以實(shí)時(shí)監(jiān)測(cè)和評(píng)估手部功能的恢復(fù)情況，為個(gè)性化康復(fù)方案的制定提供科學(xué)依據(jù)。而在人機(jī)交互領(lǐng)域，這些技術(shù)將支持開發(fā)更加自然和精準(zhǔn)的手勢(shì)控制系統(tǒng)，極大地提升用戶體驗(yàn)。
meta還展示了其基于這些數(shù)據(jù)集構(gòu)建的基線模型，并在基準(zhǔn)測(cè)試中取得了令人矚目的成績。這些模型在排除用戶、傳感器放置和手勢(shì)姿態(tài)等方面的物理世界泛化場(chǎng)景下，仍能保持出色的性能。這標(biāo)志著meta在人機(jī)交互領(lǐng)域的技術(shù)實(shí)力，也為我們未來的數(shù)字生活描繪了一幅更加便捷、智能的畫卷。
隨著技術(shù)的不斷進(jìn)步和數(shù)據(jù)集的日益豐富，我們有理由相信，未來的人機(jī)交互將更加自然、高效和智能。meta的這次創(chuàng)新，無疑為我們打開了一扇通往未來數(shù)字世界的大門。
