最近的人工智能研究指出了觸覺和視覺之間的協(xié)同效應(yīng)。其中一個(gè)可以測量三維表面和慣性特性，而另一個(gè)則提供了物體投影外觀的整體視圖。

在這項(xiàng)工作的基礎(chǔ)上，三星、麥吉爾大學(xué)和約克大學(xué)的研究人員調(diào)查了人工智能系統(tǒng)是否可以通過對物體初始狀態(tài)的視覺和觸覺測量來預(yù)測物體的運(yùn)動。

研究人員在一篇論文中描述表示：“之前的研究已經(jīng)表明，預(yù)測運(yùn)動中的物體的軌跡是具有挑戰(zhàn)性的，因?yàn)樵谙嗷プ饔玫谋砻嫔洗嬖谖粗哪Σ梁蛶缀翁匦?，以及不確定的壓力分布。”“為了減輕這些困難，我們專注于學(xué)習(xí)一種經(jīng)過訓(xùn)練的預(yù)測工具，它可以捕捉運(yùn)動軌跡中信息最豐富、最穩(wěn)定的元素?！?/p>

具體來說，研究人員開發(fā)了一種可以穿透皮膚的傳感器，他們聲稱這種傳感器可以在捕捉圖像的同時(shí)提供詳細(xì)的觸覺測量。

除此之外，他們還創(chuàng)建了一個(gè)名為“生成式多模態(tài)感知（Generative Multimodal Perception）”的框架，該框架利用視覺和觸覺數(shù)據(jù)來學(xué)習(xí)對物體姿態(tài)、形狀和力的信息，從而進(jìn)行編碼，并對物體運(yùn)動做出預(yù)測。

為了預(yù)測物體在物理交互過程中的靜止?fàn)顟B(tài)，他們使用了所謂的靜止?fàn)顟B(tài)預(yù)測，以及動態(tài)場景中的視覺觸覺運(yùn)動數(shù)據(jù)集，包括物體在平面上自由落體，沿斜面上滑下，以及從他們的靜止?fàn)顟B(tài)收到干擾。

在實(shí)驗(yàn)中，研究人員說，他們的方法能夠預(yù)測物體靜止?fàn)顟B(tài)下的原始視覺和觸覺測量值，而且準(zhǔn)確度很高，預(yù)測結(jié)果與事實(shí)非常吻合。

此外，研究人員聲稱框架學(xué)習(xí)了視覺、觸覺和3D姿勢模式之間的映射，以便它可以處理缺失的模式，例如當(dāng)觸覺信息在輸入中不可用時(shí)，以及預(yù)測對象脫離傳感器表面的情況時(shí)，導(dǎo)致空的輸出圖像。

研究稱，在物理場景中預(yù)測對象運(yùn)動受益于利用兩種形式：視覺信息捕獲對象屬性，如3D形狀和位置，而觸覺信息提供了相互作用力和由此產(chǎn)生的對象運(yùn)動和接觸的關(guān)鍵線索。新的AI框架則，可根據(jù)圖像和觸覺數(shù)據(jù)預(yù)測物體運(yùn)動，這將可以更好幫助人類做出預(yù)測。
責(zé)編AJX