在人類數(shù)百萬年的生物進(jìn)化歷程中，手作為感知細(xì)微觸覺的主要器官，不僅是我們與物理世界互動的智能工具，更成為了人類意識向外延伸的直接橋梁，使我們能夠從周圍環(huán)境中獲取豐富的觸覺信息。諸如手柄、鼠標(biāo)、鍵盤以及觸摸板等以人手為核心設(shè)計的交互設(shè)備，被視為連接人類與虛擬世界的重要紐帶，極大地拓展了我們的交互邊界。盡管手在日常生活中扮演著至關(guān)重要的角色，但我們對手部在抓握等動作中產(chǎn)生的力量分布和特性仍知之甚少。例如，每根手指在抓握時產(chǎn)生的力量差異、手掌力量的具體分布模式等，這些知識的缺失成為了精準(zhǔn)醫(yī)療、體育訓(xùn)練、機(jī)器人技術(shù)、虛擬現(xiàn)實(shí)操作等多個領(lǐng)域發(fā)展的瓶頸。▍開發(fā)觸覺交互系統(tǒng)PhyTac，實(shí)現(xiàn)手部分布力實(shí)時測量長久以來，基于液壓、氣壓和機(jī)械彈簧原理的握力計一直是評估人手施加力量的主要工具。然而，這些傳統(tǒng)方法只能提供關(guān)于最大力量的信息，缺乏對于力量在空間和時間上的詳細(xì)分布數(shù)據(jù)，這大大限制了其應(yīng)用范圍和精度。
圖1 基于液壓、氣壓和機(jī)械彈簧原理的握力計近年來，柔性觸覺仿生皮膚的發(fā)展為測量手部力量的分布提供了新的契機(jī)。這類技術(shù)大致可以分為兩類：一類是基于電信號的陣列式傳感技術(shù)，包括壓阻式、電容式、壓電式、摩擦電式等多種原理；另一類則是基于視覺的傳感技術(shù)，如Gelsight、Tactip、TacLINK、Insight等?；陔娦盘柕?a href="http://m.sdkjxy.cn/v/tag/117/" target="_blank">傳感器在單點(diǎn)力量測量方面表現(xiàn)出高精度，但在面對大面積復(fù)雜接觸變形時，容易出現(xiàn)串?dāng)_問題，導(dǎo)致測量精度下降。而基于視覺的傳感技術(shù)雖然能夠避免電信號的串?dāng)_問題，提供更高的魯棒性，但其量程范圍通常較小（一般小于10牛），并且在多點(diǎn)大面積接觸時同樣面臨精度不足的挑戰(zhàn)。此外，這類技術(shù)的標(biāo)定過程往往需要大量的數(shù)據(jù)集支持（通常超過1GB）。針對以上問題，來自香港科技大學(xué)（HKUST）電子與計算機(jī)工程學(xué)系的申亞京教授研究團(tuán)隊進(jìn)行了深入研究，并通過引入一種基于“數(shù)字通道”的手部力傳感和處理策略，成功地在分布力的接觸位置上生成了可辨別的時序數(shù)字信號，有效解決了這一技術(shù)難題。同時，研究團(tuán)隊也受觸覺神經(jīng)系統(tǒng)的解碼原理以及蘆薈等蓮座植物葉子中的螺旋結(jié)構(gòu)啟發(fā)，開發(fā)了一種以手為中心、基于數(shù)字通道的觸覺交互系統(tǒng)——PhyTac。
圖2 兩個尺寸的PhyTacPhyTac系統(tǒng)在設(shè)計上有效防止了標(biāo)記重疊，能夠準(zhǔn)確地從耦合信號中識別出多達(dá)368個區(qū)域的多點(diǎn)刺激。值得一提的是，研究團(tuán)隊通過將物理學(xué)原理集成到模型訓(xùn)練中，成功將數(shù)據(jù)集大小縮減至僅45千字節(jié)，遠(yuǎn)低于傳統(tǒng)方法通常所需的超過1千兆字節(jié)的數(shù)據(jù)集大小。實(shí)驗(yàn)結(jié)果表明，PhyTac系統(tǒng)在0.5至25牛頓的傳感范圍內(nèi)具有高達(dá)97.7%的保真度，展現(xiàn)出了令人矚目的性能。這一技術(shù)的突破有望在醫(yī)學(xué)評估、體育訓(xùn)練、機(jī)器人以及虛擬現(xiàn)實(shí)（VR）等多個領(lǐng)域?qū)崿F(xiàn)廣泛應(yīng)用。
圖3 PhyTac的工作機(jī)制及潛在的廣泛應(yīng)用。該研究不僅加深了人類對以手部為中心的動作的理解，還強(qiáng)調(diào)了物理和數(shù)字領(lǐng)域的融合對于推動基于人工智能的傳感器技術(shù)進(jìn)步的重要性，為相關(guān)領(lǐng)域的未來發(fā)展奠定了堅實(shí)基礎(chǔ)。目前，該研究成果的相關(guān)論文已以“Digital Channel-enabled Distributed Force Decoding via Small Datasets for Hand-centric Interactions”為題發(fā)表在《Science Advances》期刊上。論文共同作者包括來自香港科技大學(xué)的唐一峰、博士后研究員李根博士、張鐵山博士、研究助理教授楊雄博士，來自香港城市大學(xué)的任豪和郭棟，以及來自南開大學(xué)的楊柳教授。通訊作者則由香港科技大學(xué)申亞京教授擔(dān)任。▍引入“數(shù)字通道”，解決大面積復(fù)雜接觸難題“數(shù)字通道”概念的引入，能夠精確識別復(fù)雜接觸的位置，并對大面積接觸問題中的分布力進(jìn)行準(zhǔn)確解碼。通過標(biāo)記點(diǎn)的閾值開關(guān)，“數(shù)字通道”可以實(shí)現(xiàn)邏輯判斷，當(dāng)開關(guān)被激活時，標(biāo)記點(diǎn)被表示為邏輯“1”，其他標(biāo)記則為邏輯“0”。這一過程形成了一個代表關(guān)鍵力空間分布的數(shù)字通道，該通道不僅能夠有效過濾周圍刺激帶來的不必要干擾，還能在節(jié)約計算資源的同時，提供具有物理意義的高質(zhì)量數(shù)據(jù)。值得注意的是，通過將物理模型融入人工智能模型訓(xùn)練，數(shù)據(jù)集的大小得到了顯著縮減，僅需45KB，遠(yuǎn)低于傳統(tǒng)方法所需的超過1GB的數(shù)據(jù)集。這一突破意味著，即使面對極小的數(shù)據(jù)集，該技術(shù)也能從多重耦合的模擬信號中準(zhǔn)確識別出多達(dá)368個區(qū)域的多點(diǎn)刺激，且力的重建精度高達(dá)97.7%。對此，申亞京教授表示，“針對大規(guī)模分布式觸覺傳感技術(shù)，‘?dāng)?shù)字通道’的概念為解碼力的位置提供了一個全新的維度，使得僅通過極小的數(shù)據(jù)集就能實(shí)現(xiàn)高精度和高魯棒性。”
圖4 引入數(shù)字通道后，分布力的位置與幅度均可精確重建。▍結(jié)合力學(xué)模型與神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)小數(shù)據(jù)集分布力重建此外，下圖詳細(xì)闡述了物理模型增強(qiáng)神經(jīng)網(wǎng)絡(luò)（FEM-NN）的原理及其在小數(shù)據(jù)集上的優(yōu)勢和高精度表現(xiàn)。FEM-NN的輸入包括由數(shù)字通道獲取的關(guān)鍵節(jié)點(diǎn)（key nodes of interest, KOI）和位移矩陣，輸出則為增廣剛度矩陣，且僅需一個45KB的小數(shù)據(jù)集。
圖5物理模型增強(qiáng)神經(jīng)網(wǎng)絡(luò)（FEM-NN）的原理該技術(shù)中引入的物理模型建立了一個力學(xué)框架（FEM），將標(biāo)記位移和力大小相互關(guān)聯(lián)，并提供了涵蓋PhyTac材料、幾何和力學(xué)性能的寶貴先驗(yàn)知識。FEM-NN模型既采納了這一力學(xué)先驗(yàn)知識，又得益于神經(jīng)網(wǎng)絡(luò)的強(qiáng)大擬合能力，有效彌補(bǔ)了有限元模型與現(xiàn)實(shí)世界模型之間的物理差異。研究結(jié)果顯示，F(xiàn)EM-NN在整個量程范圍（0.5 ~ 25 N）內(nèi)均保持了較高的精度，力的平均絕對誤差僅為0.11 N，平均相對誤差也僅為2.3%，這一表現(xiàn)優(yōu)于傳統(tǒng)基于純物理模型的方法和基于卷積神經(jīng)網(wǎng)絡(luò)的方法（上圖C）。▍由旋轉(zhuǎn)蘆薈和觸覺神經(jīng)系統(tǒng)啟發(fā)的硬件結(jié)構(gòu)設(shè)計自然界中，螺旋女王蘆薈的旋轉(zhuǎn)葉序能夠避免葉子互相遮擋，從而來最大化得捕獲陽光。受此啟發(fā)，研究團(tuán)隊將標(biāo)記點(diǎn)以類似的螺旋結(jié)構(gòu)排列，優(yōu)化了光路設(shè)計，使得PhyTac系統(tǒng)有效避免了由標(biāo)記點(diǎn)互相遮擋引起的精度下降問題，并顯著提高了標(biāo)記點(diǎn)的分布密度。這一創(chuàng)新設(shè)計最終提升了力的傳感范圍和分辨率。
圖6 A. PhyTac的整體結(jié)構(gòu)和組件。B. 受TrkB+啟發(fā)的數(shù)字通道。C. 受螺旋女王蘆薈啟發(fā)的螺旋式標(biāo)記點(diǎn)排列方法PhyTac系統(tǒng)由帶有標(biāo)記點(diǎn)陣列的仿生外殼、偏振線性光源和運(yùn)動捕捉攝像頭三大組件構(gòu)成。當(dāng)手部對PhyTac施加力時，其外殼會發(fā)生變形，同時攝像頭會精準(zhǔn)捕捉到每個標(biāo)記點(diǎn)的運(yùn)動軌跡。隨后，系統(tǒng)利用所有標(biāo)記點(diǎn)的位移數(shù)據(jù)作為輸入，通過物理模型增強(qiáng)神經(jīng)網(wǎng)絡(luò)（FEM-NN）準(zhǔn)確建立標(biāo)記點(diǎn)位移與手部力分布之間的映射關(guān)系。因此，該系統(tǒng)能夠重建手部豐富的觸覺力學(xué)信息，與現(xiàn)有設(shè)備相比，信息量增加了至少兩個數(shù)量級，為新一代人機(jī)交互提供了廣泛應(yīng)用的可能性。▍在機(jī)器人、虛擬現(xiàn)實(shí)、醫(yī)學(xué)和運(yùn)動科學(xué)等領(lǐng)域的廣泛應(yīng)用PhyTac系統(tǒng)可直接應(yīng)用于握力分布的測量，這對于中風(fēng)、類風(fēng)濕性關(guān)節(jié)炎等多種疾病的評估和治療具有重要意義。與其他潛在解決方案（如觸覺手套）相比，PhyTac系統(tǒng)更加魯棒、易用且無束縛感。如視頻所示，該系統(tǒng)能夠精確識別不同握持姿勢下握力分布的動態(tài)變化。研究團(tuán)隊還進(jìn)一步將PhyTac系統(tǒng)安裝在網(wǎng)球拍上，并測量了擊打網(wǎng)球時手部的力量分布。該研究成果相關(guān)論文的第一作者唐一峰表示：“我們發(fā)現(xiàn)正手擊球時，力量主要集中在食指、中指和無名指上；而反手擊球時的力量分布則有所不同，其中拇指、無名指和小指貢獻(xiàn)了更多的力量?！?img src="https://file1.elecfans.com//web3/M00/07/53/wKgZPGeklQ2AWcbmAAA0TErly6g812.jpg" alt="wKgZPGeklQ2AWcbmAAA0TErly6g812.jpg" />
圖7 正反手擊球時力分布的對比此外，PhyTac系統(tǒng)還能將現(xiàn)實(shí)世界中的分布力投射到虛擬世界中，實(shí)現(xiàn)精確的虛擬現(xiàn)實(shí)（VR）操控。使用者可以用拇指和食指小心翼翼地托住一個雞蛋而不將其捏碎，或者當(dāng)總力量超過一定閾值時，用三根手指捏碎它。
圖8 在虛擬世界中精確操控雞蛋、花瓶和軟球（上圖）。遙控機(jī)器人手抓取、握住和傳遞物體（下圖）。同樣的，研究團(tuán)隊也展示了用握力捏碎花瓶，以及如何用不同的分布力精確操控軟球的變形。唐一峰補(bǔ)充道：“得益于PhyTac在三維空間中的靈活性，它還可以作為遙控操作界面，控制機(jī)器人手拿起、握住并傳遞一個薄塑料杯，而不會將其捏壞。”▍關(guān)于未來對于未來的研究方向，研究團(tuán)隊計劃將“數(shù)字通道”這一概念拓展應(yīng)用至其他幾何形狀的視觸覺傳感器上。他們認(rèn)為，在如何有效克服干擾等問題上，電阻式、電容式等其他類型的分布式軟觸覺傳感器也將能夠從這項研究中獲得顯著益處。項目負(fù)責(zé)人申亞京教授則表示，團(tuán)隊致力于構(gòu)建物理世界、虛擬世界與機(jī)器人之間的智能交互橋梁。PhyTac作為這一愿景實(shí)現(xiàn)過程中的重要里程碑，不僅深化了團(tuán)隊對手部動作機(jī)制的理解，更被團(tuán)隊寄予厚望，希望未來其能成為以手為核心的交互媒介，在醫(yī)學(xué)評估、體育訓(xùn)練、機(jī)器人技術(shù)以及虛擬現(xiàn)實(shí)（VR）等多個領(lǐng)域發(fā)揮廣泛應(yīng)用價值。參考文章https://www.science.org/doi/10.1126/sciadv.adt2641審核編輯 黃宇