機器人要走進真實世界,只有聰明還不夠,它還必須可靠、可控、可驗證、可托付。聰明,是機器人的上限;安全,是機器人的底線。
一、那一拳的警示:從隱憂到現(xiàn)實
2025年GeekCon安全極客大賽上,兩名白帽黑客遠程劫持人形機器人,僅用不到3分鐘就讓兩臺機器人“淪陷”。隨后,被劫持的機器人徑直走向舞臺中央的假人,抬起機械臂,狠狠揮了一拳,將假人擊倒在地。那看似普通的一拳,卻擊碎了整個行業(yè)對安全的幻想。當(dāng)機器人的手臂以超過人類反應(yīng)速度的力量揮出時,所有人都意識到一個問題:如果這一拳打在了人身上,后果會是什么?這意味著對機器人的網(wǎng)絡(luò)攻擊,其風(fēng)險等級已等同于對汽車、飛機的攻擊。
“當(dāng)AI擁有了身體,安全就從‘屏幕后面的隱憂’變成了‘房間里的現(xiàn)實威脅’。過去我們擔(dān)心AI說錯話,現(xiàn)在我們擔(dān)心AI揮錯拳?!?/p>
二、四個你可能沒想過的危險瞬間
GeekCon那一拳,是機器人安全問題最極端的一面。但在更多日常場景里,危險往往來自更“普通”的原因。
場景一:公園里的突發(fā)情況
一臺戶外陪伴機器人正以每秒1.5米的速度在步道上行駛?;▔竺?,一個三四歲的男孩追著皮球突然竄出——距離不到2米。機器人的制動距離需要0.8米,孩子的奔跑速度每秒2米。不是“能不能停下來”的問題,是300毫秒之內(nèi)來不及反應(yīng)的問題。
場景二:工廠里的隱形干擾
協(xié)作機械臂正在與工人并肩作業(yè),旁邊一臺大功率沖壓機突然啟動,電磁脈沖干擾了編碼器信號。機械臂還在正常運動,系統(tǒng)顯示一切正常——但實際位置已經(jīng)偏移了5厘米。工人毫無察覺,而那5厘米,正好是手臂與安全區(qū)邊界的距離。
場景三:下坡時的電力危機
園區(qū)配送機器人滿載15公斤貨物,正以勻速下坡。電池管理系統(tǒng)突然發(fā)出電量臨界警報——還剩3%。如果直接停機,機器人會滑下去撞到人;如果繼續(xù)運行,又可能因為電力不足而失控。這是一個兩難的選擇,急停解決不了。
場景四:廚房里的識別錯誤
人形機器人打開冰箱,將一瓶藍色液體識別為礦泉水,準(zhǔn)備拿起遞給用戶。姿態(tài)正常、力度合規(guī)、速度達標(biāo)——但這瓶東西是清潔劑。動作執(zhí)行得再標(biāo)準(zhǔn),也不代表這個動作應(yīng)該被執(zhí)行。
這四個場景的共同點:急停按鈕解決不了其中任何一個。場景一需要“提前預(yù)判”,場景二需要“數(shù)據(jù)可信”,場景三需要“多層兜底”,場景四需要“策略校驗”。
三、安全的定義,已經(jīng)被改寫了
過去談機器人安全,聚焦急停、限位、斷電保護。傳統(tǒng)工業(yè)場景里這是夠用的——機器人被固定在圍欄里,按預(yù)設(shè)路徑運行。
但今天不同了。機器人正在走進公園、商場、工廠和家庭,面對完全開放、不可預(yù)測的環(huán)境。GeekCon事件證明黑客能從數(shù)字世界穿透到物理世界;ISO 10218機器人安全標(biāo)準(zhǔn)正在2025年進行重大修訂;行業(yè)正在形成共識——安全,已經(jīng)從“單點器件安全”演化為“全鏈路系統(tǒng)安全”。從行業(yè)動態(tài)來看,這一趨勢正在加速。
“但值得注意的是,行業(yè)內(nèi)目前尚無針對AI高層決策安全和預(yù)測性安全的系統(tǒng)化框架。大家都在談安全,但真正的安全體系建設(shè)才剛剛開始。”
四、六條安全原則:從物理世界到數(shù)字世界的遞進哲學(xué)
面對這些挑戰(zhàn),黑芝麻智能將汽車行業(yè)幾十年積累的車規(guī)級安全經(jīng)驗,系統(tǒng)性遷移到機器人場景,提出SesameX安全體系——業(yè)界首個面向機器人商業(yè)化部署的全棧計算平臺,也是目前行業(yè)內(nèi)率先將完整車規(guī)安全體系落地至具身智能場景的計算平臺。
這套體系的核心思想是:安全不是事后補丁,而應(yīng)當(dāng)成為從芯片、模組到整機的一體化設(shè)計能力。為此,SesameX將機器人安全歸納為六條遞進式原則:
“安全必須從物理世界開始,最終上升到數(shù)字世界,中間每一層都不能缺席。單一維度的安全,等于沒有安全?!?/p>
五、從六條原則到六層機制:每一層都在回答“出了事怎么辦”
SesameX構(gòu)建了業(yè)界首個從物理層到數(shù)據(jù)層的完整六層安全體系,實現(xiàn)“不傷人、不做錯、不想錯、不泄漏”的全方位安全目標(biāo)。六條原則回答的是“為什么要這樣做”,L0到L5的六層機制回答的則是“安全如何真正落地”。SesameX平臺采用四域隔離架構(gòu)——將安全關(guān)鍵域、實時控制域、AI推理域、通信域進行物理級隔離,以ASIL-D車規(guī)級安全標(biāo)準(zhǔn)為基礎(chǔ),構(gòu)建從感知到執(zhí)行的全流程安全防護機制。以下六層已在平臺的計算模組上實現(xiàn)差異化部署。
碰到危險先縮手,不經(jīng)過大腦。急停、安全扭矩關(guān)閉、制動保持——不等待推理,優(yōu)先切斷危險動作。在硬件層面,L0支持雙通道安全處理與獨立安全島架構(gòu),即使主處理鏈路異常,安全鏈路仍可通過冗余通道完成故障響應(yīng)。
L1 動作審查——“別讓錯誤動作發(fā)生”
毫秒級持續(xù)審查速度、加速度、力矩等關(guān)鍵變量,超限即攔截。通過MPU(內(nèi)存保護單元)、看門狗、防火墻等機制實現(xiàn)功能隔離——讓機器人從“能動”升級為“會克制地動”。
L2 安全軌跡——“高層AI出了問題,行為也得收斂”
對路徑和軌跡進行安全性校驗,高層規(guī)劃不可信時自動降級為保守軌跡。參考功能安全的時間要求,系統(tǒng)必須在故障發(fā)生后規(guī)定時限內(nèi)進入安全狀態(tài)——即便大腦“發(fā)瘋”,身體也不會失控。
L3 策略防護——“這個動作根本不該被執(zhí)行”★獨創(chuàng)
校驗的不是動作,而是任務(wù)意圖。人群密集區(qū)不應(yīng)高速運行,電量不足不應(yīng)執(zhí)行高風(fēng)險任務(wù),定位不可信時不應(yīng)堅持自主運行。SesameX平臺通過獨立安全島、寄存器保護、內(nèi)外部看門狗等機制,確保所有策略都具備邊界、權(quán)限和資格審查——機器人的“策略守門員”。
L4 主動預(yù)警——“碰撞發(fā)生之前,就看到風(fēng)險正在形成”★獨創(chuàng)
不是等孩子跑到面前才急停,而是運動趨勢開始閉合時就已經(jīng)限速避讓?;诙嗄B(tài)融合感知能力,系統(tǒng)可實現(xiàn)提前約100毫秒的危險預(yù)測,把安全從“被動防守”升級為“主動預(yù)測”。
值得強調(diào)的是,L3策略防護與L4主動預(yù)警是SesameX區(qū)別于傳統(tǒng)機器人安全體系的獨創(chuàng)性設(shè)計。傳統(tǒng)安全標(biāo)準(zhǔn)(ISO 13849、ISO 10218)主要聚焦底層控制與執(zhí)行安全,尚無針對AI高層決策與預(yù)測性安全的系統(tǒng)化框架。SesameX率先將“策略校驗”和“風(fēng)險預(yù)測”納入多層安全架構(gòu),填補了智能機器人時代安全體系的關(guān)鍵空白。
L5 數(shù)據(jù)安全——“如果傳回來的數(shù)據(jù)本身就是假的呢?”
GeekCon那一拳,證明的正是這一層的價值。守護啟動鏈可信、數(shù)據(jù)完整、模型可靠、通信保密——這不是附屬意義上的信息安全,而是整個機器人可信運行的數(shù)字底座。
傳統(tǒng)安全 vs SesameX:一個維度的對比
六、六層不是六道墻,而是一條聯(lián)動的安全鏈
讓我們回到開篇的那個場景——公園里,孩子突然跑出來??纯碨esameX的六層安全鏈?zhǔn)侨绾螀f(xié)同工作的:
1. L4 主動預(yù)警:在百毫秒內(nèi)預(yù)判碰撞風(fēng)險正在形成,立即觸發(fā)預(yù)警信號
2. L3 策略防護:判定當(dāng)前模式不適用,切換"低速避讓",任務(wù)優(yōu)先級讓位于安全策略
3. L2 安全軌跡:生成繞行軌跡并校驗安全性
4. L1 動作審查:實時約束速度與加速度
5. L0 本能反射:即使上層全未響應(yīng),L0 本能反射 也可急停阻斷
6. L5 數(shù)據(jù)安全:全程守護感知輸入不被篡改
整個鏈條在毫秒級完成聯(lián)動。如果那天GeekCon上的機器人裝了這樣一套體系——黑客的惡意指令,在到達機械臂之前就會被攔截。
七、從方法論到真實世界:安全正在加速落地
SesameX想做的,不是某一臺機器人的安全方案,而是整個行業(yè)的安全基礎(chǔ)設(shè)施。
2025年11月,黑芝麻智能發(fā)布SesameX多維具身智能計算平臺,這是業(yè)界首個“全棧自進化全腦智能平臺”,融合感知、認知、決策、控制與安全閉環(huán)的全場景機器人商業(yè)化部署計算平臺。SesameX平臺正從技術(shù)驗證走向規(guī)模落地。
SesameX的安全設(shè)計對標(biāo)ISO 26262(道路車輛功能安全,最高等級ASIL D)、ISO 13849(機械安全控制系統(tǒng),PL e/Cat.4)和IEC 61508(電氣/電子安全系統(tǒng),SIL 3)等國際功能安全基礎(chǔ)標(biāo)準(zhǔn),繼承了面向ASIL D的開發(fā)能力,將經(jīng)汽車行業(yè)驗證的車規(guī)級安全能力系統(tǒng)性遷移至機器人場景。?
八、結(jié)語
GeekCon那一拳打碎的,不只是一個假人,而是整個行業(yè)的安全幻覺。
未來機器人當(dāng)然需要更強的感知、更聰明的決策。但真正決定它能否走進千家萬戶的,從來不只是“它能做什么”,而是“出問題時它會怎樣”。因為機器人要走進真實世界,只有聰明還不夠。它還必須可靠、可控、可驗證、可托付。
聰明,是機器人的上限;
安全,是機器人的底線。
只有守住底線,才能真正觸及上限——
這,才是智能機器人時代的分水嶺。
-
機器人
+關(guān)注
關(guān)注
215文章
31800瀏覽量
224991 -
AI
+關(guān)注
關(guān)注
91文章
42722瀏覽量
303589 -
黑芝麻智能
+關(guān)注
關(guān)注
1文章
253瀏覽量
4311
原文標(biāo)題:開芯課堂|機器人揮出那一拳之后:智能機器人的安全,到底該怎么做?
文章出處:【微信號:BlackSesameTech,微信公眾號:黑芝麻智能】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
黑芝麻智能與東風(fēng)汽車達成平臺級深度合作
黑芝麻智能發(fā)布FAD天衍L3級自動駕駛平臺
東風(fēng)天元智艙Plus平臺搭載黑芝麻智能武當(dāng)C1296芯片
黑芝麻智能創(chuàng)始人兼CEO單記章發(fā)表2026年新春致辭
黑芝麻智能攜手中遠海運旗下數(shù)智公司,啟動船舶智能巡檢機器人項目
黑芝麻智能與深庭紀(jì)合作發(fā)布全球首款雙輪足戶外陪伴機器人Rovar
黑芝麻智能與聯(lián)想研究院機器人實驗室達成戰(zhàn)略合作
全方位解讀黑芝麻智能SesameX多維具身智能計算平臺
黑芝麻智能推出面向機器人產(chǎn)業(yè)的SesameX多維智能計算平臺
黑芝麻智能SesameX平臺重構(gòu)機器人安全體系
評論