描述

在這個項目中，我們將向您展示我們?nèi)绾沃谱饕粋€傳感器，該傳感器可以告訴您酒吧或酒館是否擠滿了人。

介紹

當您想去酒吧/酒館但不知道酒吧/酒館是否已滿，是否有派對或空無一人時，您是否曾經(jīng)遇到過這樣的情況，您可以喝一杯聊天? 有了這個應用程序，您將來不會遇到任何此類問題。

描述

這個項目包括一個 Arduino Nano 板，它充當我們的傳感器或麥克風，以及一個移動應用程序，它充當我們在我們所在地區(qū)尋找酒吧和酒吧的搜索引擎。

Arduino 板上的麥克風對酒吧/酒吧的客滿程度進行采樣。然后，它使用機器學習算法處理這些信息，以確定酒吧/酒吧是否擠滿了人。然后，信息通過藍牙低功耗 (BLE) 發(fā)送到連接的手機，我們可以在其中檢查我們想去的任何酒吧/酒吧的信息。

機器學習

Edge Impulse 是一個免費的機器學習開發(fā)平臺。我們使用共享電子郵件創(chuàng)建了一個帳戶并創(chuàng)建了一個新項目。這很重要，因為將項目公開或與他人共享不會使他們能夠調(diào)整模型或幫助您收集數(shù)據(jù)。

• 數(shù)據(jù)采集

收集數(shù)據(jù)的最佳方式或最簡單的方式是使用我們的手機（而不是 Arduino 板），因為它設置起來更簡單，獲取數(shù)據(jù)的速度也更快。通過我們手機上的錄音機應用程序，我們收集了 3 種不同的數(shù)據(jù)（語音、音樂和靜音）。

我們決定我們每個人都將貢獻至少 20 分鐘的數(shù)據(jù)。我們的樣本持續(xù)時間為 10 秒，這意味著我們每個人至少貢獻了 120 個不同數(shù)據(jù)的樣本。由于大流行，我們無法進入酒吧/酒吧，因此我們不得不與家人一起模仿不同的場景。

?

?

?

?

1 / 3 ?靜音樣本

?

當我們收集到足夠的數(shù)據(jù)時，我們將其上傳到 Edge Impulse 數(shù)據(jù)采集中。Edge Impulse 自動在訓練集和測試集之間分割數(shù)據(jù)。通常，該比率為 80%（訓練集）和 20%（測試集），但您可以通過將樣本分配到各自的集合來使用我們自己的比率。

上傳現(xiàn)有數(shù)據(jù)

?

• 沖動設計

下一步是創(chuàng)造沖動。選擇“創(chuàng)建沖動”后，添加處理塊和學習塊，然后保存沖動。對于處理模塊，我們選擇了音頻（MFCC）模塊，它使用梅爾頻率倒譜系數(shù)從音頻信號中提取特征，非常適合識別人聲。對于學習模塊，我們選擇了神經(jīng)網(wǎng)絡 (Keras) 模塊，它從數(shù)據(jù)中學習模式，并將這些模式應用于新數(shù)據(jù)。這個塊非常適合對運動進行分類或識別音頻。

創(chuàng)造沖動

?

您可以檢查/更改/保存“MFCC”下的參數(shù)，然后生成特征以查看您收集的數(shù)據(jù)的表示。要訓??練您的模型，請選擇“NN 分類器”并單擊“開始訓練”。訓練完成后，您將獲得上次訓練性能的準確度、混淆矩陣和結(jié)果的 3D 模型。

?

?

?

?

1 / 3 ? 3D 模型

?

在此之后，您可以在“模型測試”選項卡下測試您的模型。如果您想提高模型的準確性，您可能不得不使用 MFCC 和 NN Classifier 模塊的參數(shù)，但您必須小心，因為精度越高，模型的復雜性就會越大，有可能，Arduino Nano 將無法運行該模型。

部署

要使用 Arduino Nano 板，您需要創(chuàng)建正確的庫。在“部署”選項卡下，我們選擇了“Arduino 庫”，Edge Impulse 創(chuàng)建了我們自己的庫，該庫是基于我們的項目制作的。您將看到一個包含您的模型的 zip 庫，然后您可以將其編譯到您的 Arduino Nano 上。

現(xiàn)在我們可以檢查模型是否正常工作。在串行監(jiān)視器中，您應該會收到 3 種不同的反饋。如果您與某人交談，串行監(jiān)視器應打印出 Talk 標簽，如果您正在聽音樂，則標簽應為 Music，如果無聲，則標簽應為 Silence。

因為我們需要通過 BLE 連接 Arduino，所以我們稍微修改了從 Edge Impulse 導出的代碼。它還會自動連接應用程序，而無需從可用藍牙設備列表中選擇合適的設備。

我們修改了代碼，以便 Arduino 可以將正確的標簽發(fā)送到應用程序。如果 Arduino 閱讀的談話多于音樂和沉默，那么應用程序會告訴我們這個酒吧/酒吧里擠滿了人，如果音樂響亮，那么在場人員的交流或沉默應用程序會告訴我們酒吧/酒吧是開著的，但那里的人不多，如果沒有音樂也沒有人在說話，應用程序應該告訴我們酒吧/酒吧里很安靜，這意味著它可能已經(jīng)關(guān)門了。此外，我們修改了我們的代碼，使 Arduino 平均使用最后 5 分鐘（最后 30 個樣本）并每 5 分鐘刷新一次，否則實例會發(fā)生任何劇烈變化。

移動應用

我們決定使用的移動應用是安卓設備的 Mit2app 發(fā)明者，因為它在編程界面的意義上是實用的，速度快，并且易于初學者使用。然而，缺點是圖形用戶界面設計。編碼的框圖如下圖所示。

?

?

?

?

1 / 3 ?用于主屏幕和斷開連接的塊

?

該應用程序易于使用。您只需登錄應用程序，然后轉(zhuǎn)到地圖，您（將來，因為這只是一個原型）將在那里看到酒吧的標記，并且根據(jù)顏色，您可以決定去哪里。

?

?

?

?

1 / 2 ?地圖屏幕

?

這是一個視頻，向您展示了該應用程序的使用及其工作原理。

結(jié)論

該應用程序非常適合原型。這個應用程序是為一個酒吧/酒吧制作的，看看它是否可以工作，所以有很多改進需要做，這將顯著增強用戶體驗，在嘗試將應用程序投放市場之前應該考慮。

• 改進

限制我們的第一件事是，由于大流行，所有的酒吧/酒吧都關(guān)閉了，所以我們無法在真實情況下進行測試。進行了測試，但只有少數(shù)人集中在一個地方。

此外，您應該考慮包括更多的酒吧/酒吧，但問題是要存儲收集到的所有數(shù)據(jù)。為此，您需要更多的 Arduino 或一些麥克風，一個供 Arduino 連接的在線服務器，以及通過服務從具有不同 ID 的酒吧/酒吧發(fā)送的數(shù)據(jù)將被存儲在哪里。

該應用程序本身是功能性的，但可以使其更具吸引力。在將任何產(chǎn)品引入市場之前，應考慮切換到本機代碼，因為它可以在應用程序設計中提供更大的靈活性。