以下作品由安信可社區(qū)用戶 bzhou830制作

01項目背景

前不久一個做醫(yī)療健康行業(yè)的老友找我咨詢，想在一個醫(yī)療機器人上開發(fā)一個跌倒檢測的功能。機器人搭配的是arm sbc，機器人是可以在養(yǎng)老院的各個房間巡邏的。

討論下來有兩個方案：

使用激光雷達傳感器，而且市面上也有支持跌倒檢測的激光雷達傳感器。但是成本相對會高一點點。

使用視覺方案，考慮機器人上的處理器是RK3588，對于當前的應(yīng)用來說是完全足夠的。因此只需要添加攝像頭作為額外的硬件開銷，筆者這時就想到了BW21-CBV-Kit這款能檢測人臉和動作的攝像頭開發(fā)板。

開發(fā)板介紹：安信可有Ai識別方案了？

相關(guān)教程：如何使用BW21-CBV-Kit？最新最全教程來了~

DIY類：

【電子DIY作品】用BW21-CBV-Kit設(shè)計洗衣機遠程控制面板

【電子DIY作品】基于BW21-CBV-Kit火災(zāi)隱患警報器

【電子DIY作品】用BW21-CBV-Kit做一個藍牙溫濕度計

02視頻展示

03外形設(shè)計

在solidworks中使用裝配體將打印件分割成各個零件，繪制在一起。

攝像頭直接凸出包裹，將零件導(dǎo)出打印，組裝起來得到這樣。

隨后攝像頭放置在手機支架上，插電后開機測試。

04固件燒錄

BW21的資料在論壇上相當?shù)呢S富。這次只需要按照如下進行環(huán)境搭建。

安信可小安派BW21-CBV-Kit 上手環(huán)境搭建 - 小安派·BW21-CBV-KIt - 物聯(lián)網(wǎng)開發(fā)者社區(qū)-安信可論壇 - Powered by Discuz!

打開這個example。修改里面的Wi-Fi名稱和密碼，燒錄即可使用。因為是將BW21當作一個網(wǎng)絡(luò)攝像頭，在機器人端來捕獲攝像頭的視頻流進行檢測。

在代碼中測試打開攝像頭視頻流。

05跌倒檢測算法設(shè)計

算法的核心思想：

人體檢測與跟蹤
首先通過YOLO模型檢測視頻幀中的所有人體，并利用跟蹤算法為每個人分配唯一ID，實現(xiàn)跨幀跟蹤，保證同一人的運動特征連續(xù)性。

姿態(tài)估計與特征提取

對每個人體區(qū)域，使用Mediapipe等方法提取關(guān)鍵點，計算出人體主軸角度、長寬比、關(guān)鍵點坐標、速度、加速度等多種時序和空間特征。mediapipe中的關(guān)鍵點比較多，目前只需要使用如下的關(guān)鍵點：0, 11, 12, 23, 24, 25, 26, 27, 28。

多特征融合判別跌倒

跌倒檢測不是單一條件觸發(fā)，而是融合了以下多種特征：

●身體姿態(tài)接近水平

●關(guān)鍵點的垂直位移突變

●姿態(tài)角度突變（身體突然變彎曲等）

●加速度突變 只有當多個條件同時滿足（如滿足3個及以上），才判定為跌倒，降低誤報率。

最終檢測到異常的視頻幀會保存下來。