1. 方案簡介

方案設計邏輯流程圖

2. 快速上手

2.1 開發(fā)環(huán)境準備

如果您初次閱讀此文檔，請閱讀《入門指南/開發(fā)環(huán)境準備/Easy-Eai編譯環(huán)境準備與更新》，并按照其相關的操作，進行編譯環(huán)境的部署。

在PC端Ubuntu系統(tǒng)中執(zhí)行run腳本，進入EASY-EAI編譯環(huán)境，具體如下所示。

cd ~/develop_environment ./run.sh

2.2 源碼下載以及實例編譯

在EASY-EAI編譯環(huán)境下創(chuàng)建存放源碼倉庫的管理目錄：

cd /opt mkdir EASY-EAI-Toolkit cd EASY-EAI-Toolkit

通過git工具，在管理目錄內(nèi)克隆遠程倉庫

git clone https://github.com/EASY-EAI/EASY-EAI-Toolkit-C-Solution.git

注：

* 此處可能會因網(wǎng)絡原因造成卡頓，請耐心等待。

* 如果實在要在gitHub網(wǎng)頁上下載，也要把整個倉庫下載下來，不能單獨下載本實例對應的目錄

進入到對應的例程目錄執(zhí)行編譯操作，具體命令如下所示：

cd EASY-EAI-Toolkit-C-Solution/solu-rtspMulitPlayer/ ./build.sh

注：

* 由于依賴庫部署在板卡上，因此交叉編譯過程中必須保持adb連接。

注：

* 若build.sh腳本不帶任何參數(shù)，則僅會拷貝solution編譯出來的可執(zhí)行文件。

* 若build.sh腳本帶有cpres參數(shù)，則會把Release/目錄下的所有資源都拷貝到開發(fā)板上。

* 若build.sh腳本帶有clear參數(shù)，則會把build/目錄和Release/目錄刪除。

2.3 方案部署

然后把編譯好的結果部署到板卡中（有兩種方法）。

方法一：通過執(zhí)行以下命令手動部署【推薦】

cp Release/solu-* /mnt/userdata/Solu cp Release/rtspClient.ini /mnt/userdata/Solu

方法二：在編譯時加上編譯參數(shù)自動部署

./build.sh cpres

2.4 示例方案運行

通過按鍵Ctrl+Shift+T創(chuàng)建一個新窗口，執(zhí)行adb shell命令，進入板卡運行環(huán)境。

adb shell

進入板卡后，定位到例程部署的位置，如下所示：

cd /userdata/Solu

用戶根據(jù)自身所在的網(wǎng)絡環(huán)境，運行以下命令，修改rtspClient.ini配置文件(配置文件的詳細說明見本文的4.1配置文件使用說明)。

vi rtspClient.ini

運行例程命令如下所示：

./solu-rtspMulitPlayer Main &

2.5 運行效果

每路網(wǎng)絡攝像頭的圖像會在屏幕中輪詢顯示。輪詢時間為5s。

2.6 開機啟動

首先進入板卡環(huán)境，執(zhí)行以下命令，在板卡上創(chuàng)建一個給本例程使用的應用目錄：myapp

cd /userdata/apps/ mkdir myapp

然后回到開發(fā)環(huán)境中，通過使用“2.3方案部署”類似的操作方法，把本例程所需要的全部文件，包含：編譯結果，配置文件，模型等。部署到剛剛新建的myapp目錄中。

最后在板卡上創(chuàng)建一個run.sh腳本來管控用戶所有需要的應用即可，《入門指南/應用程序開機自啟動》會詳細描述run.sh腳本該如何編寫。

3. 代碼組成

方案主邏輯代碼分為三部分，如下所示。

啟動代碼位于：EASY-EAI-Toolkit-C-Solution/solu-rtspMulitPlayer/src/main.cpp

取流代碼位于：EASY-EAI-Toolkit-C-Solution/solu-rtspMulitPlayer/src/capturer/rtspCapturer.cpp

播放器代碼位于：EASY-EAI-Toolkit-C-Solution/solu-rtspMulitPlayer/src/player/player.cpp

3.1 組件庫組成

多路網(wǎng)絡攝像頭方案的實現(xiàn)，需要使用到easyeai-api庫的以下組件。

3.1.1 啟動部分使用庫情況

啟動代碼main.cpp主要負責讀取配置文件，設置本地網(wǎng)絡信息等，使用到的easyeai-api庫組件如下所示。

啟動代碼主要使用的模塊信息如下所示。

組件	頭文件以及庫路徑	描述
系統(tǒng)操作組件	easyeai-api/common_api/system_opt	提供網(wǎng)絡操作函數(shù)
ini文件操作組件	easyeai-api/common_api/ini_wrapper	提供ini文件提取操作函數(shù)
網(wǎng)絡參數(shù)配置組件	easyeai-api/peripheral_api/network	提供網(wǎng)絡操作函數(shù)

3.1.2 取流部分使用庫情況

取流代碼rtspCapturer.cpp主要負責從網(wǎng)絡攝像頭RTSP拉流、ini配置文件讀取、推進解碼器操作、時間戳操作等，使用到的easyeai-api庫組件如下所示。

取流代碼主要使用的模塊信息如下所示。

組件	頭文件以及庫路徑	描述
系統(tǒng)操作組件	easyeai-api/common_api/system_opt	提供時間戳操作函數(shù)
ini文件操作組件	easyeai-api/common_api/ini_wrapper	提供ini文件提取操作函數(shù)
解碼器操作組件	easyeai-api/media_api/frame_queue	提供推入解碼器操作函數(shù)
rtsp組件	easyeai-api/netProtocol_api/rtsp	提供RTSP拉流操作函數(shù)

3.1.3 播放/分析部分使用庫情況

播放器代碼player.cpp主要負責從解碼器獲取YUV數(shù)據(jù)、YUV轉(zhuǎn)RGA操作、解碼操作、顯示圖片等，使用到的easyeai-api庫組件如下所示。

播放器代碼主要使用模塊信息如下所示。

組件	頭文件以及庫路徑	描述
系統(tǒng)操作組件	easyeai-api/common_api/system_opt	提供線程操作函數(shù)
ini文件操作組件	easyeai-api/common_api/ini_wrapper	提供ini文件提取操作函數(shù)
解碼器操作組件	easyeai-api/media_api/frame_queue	提供解碼器操作函數(shù)
easyeai-api/media_api/endeCode_api	提供創(chuàng)建解碼器、綁定回調(diào)等函數(shù)
顯示組件	easyeai-api/peripheral_api/display	提供顯示操作函數(shù)
RGA數(shù)據(jù)轉(zhuǎn)換組件	rga/RgaApi.h	非easyeai-api庫，提供Rga數(shù)據(jù)轉(zhuǎn)換操作

4. 邏輯框圖

項目的整體邏輯框圖如下所示。

4.1 配置文件使用說明

本方案使用ini文件管理配置參數(shù)，根據(jù)您的網(wǎng)絡環(huán)境，配置板卡，網(wǎng)絡攝像頭的參數(shù)，路徑為EASY-EAI-Toolkit-C-Solution/solu-rtspMulitPlayer/config/rtspClient.ini，內(nèi)容如下所示。

本機配置節(jié)	節(jié)名：configInfo
enableChnNum	需要使能的前n個RTSP取流通道。如填2，則[rtspChannel_0]和[rtspChannel_1]的配置被使能
ipAddress	板卡IP地址信息
netMask	板卡網(wǎng)絡掩碼信息
gateWay	板卡網(wǎng)關信息
網(wǎng)絡Camera配置節(jié)	節(jié)名：rtspChannel_*（星號為攝像頭序號，從0開始）
rtspUrl	可僅填流媒體地址，也可以填上完整格式的 url。例如:rtsp://admin:a12346578@192.168.1.69/main
progName
userName	rtsp服務器登錄用戶名。若 rtspUrl 已填，此處為空即可
password	rtsp服務器登錄密碼。若 rtspUrl 已填，此處為空即可
frameRate	流控時參考幀率，此處建議填寫0（自動匹配）。 注意事項： 1. 必須大于等于實際幀率。 2. H.265碼流暫未實現(xiàn)自適應功能，必須填寫一個大于等于實際幀率的數(shù)值。

修改好以后進行保存：

:wq

4.2 啟動邏輯

啟動邏輯代碼路徑為：src/main.cpp。

4.2.1 啟動——配置板卡網(wǎng)絡

調(diào)用ini庫，讀取配置文件，設置本地IP地址，操作命令如下。

char ipv4[64]={0}; char netMask[64]={0}; char gateWay[64]={0}; ini_read_string(RTSP_CLIENT_PATH, "configInfo", "ipAddress", ipv4, sizeof(ipv4)); ini_read_string(RTSP_CLIENT_PATH, "configInfo", "netMask", netMask, sizeof(netMask)); ini_read_string(RTSP_CLIENT_PATH, "configInfo", "gateWay", gateWay, sizeof(gateWay)); set_net_ipv4(ipv4, netMask, gateWay);

4.2.2 啟動——創(chuàng)建播放器和取流器

主進程根據(jù)配置文件，創(chuàng)建1個播放器，創(chuàng)建N個取流器。播放器用于統(tǒng)一接收解碼器輸出的圖像文件，取流器用于獲取單個網(wǎng)絡攝像頭的RTSP流，使用幾個攝像頭就開啟幾個取流器。

創(chuàng)建播放器的操作如下所示，播放器會接受各個攝像頭解碼出來的圖像數(shù)據(jù)，故需要得知攝像頭的數(shù)量。

ini_read_int(RTSP_CLIENT_PATH, "configInfo", "enableChnNum", &chnNum); Player *pPlayer = new Player(chnNum);

創(chuàng)建多個RTSP取流器如下所示。

char chnId[MAX_CHN_NUM] = {0}; for(int i = 0; i < chnNum; i++){ bzero(&chnId, sizeof(chnId)); sprintf(chnId, "%d", i); CreateSignalProcess(PROCESS_RTSPCLIENT_NAME, &st_TaskInfo, chnId); }

4.3 取流器邏輯

4.3.1 取流器——創(chuàng)建過程

取流器實際是對每個網(wǎng)絡攝像頭的RTSP拉流，RTSP拉流應用有個特點，一般啟動RTSP拉流之后，Camera端會不斷返回NAL報文，對于本地應用來說，需要為每個攝像頭開啟獨立進程接收報文，所以進程和Camera一一對應。創(chuàng)建取流器的過程實際就是創(chuàng)建子進程的過程。

創(chuàng)建進程操作如下所示。

static int32_t CreateProcess(const char *pcPara, struct st_SysTask *st_TaskInfo){ pid = fork(); if(pid == -1) {/*創(chuàng)建進程失敗操作*/ } else if(pid != 0) {/*父進程操作，只記錄*/ } /*子進程操作*/ execlp(“./solu-rtspMulitPlayer”, “solu-rtspMulitPlayer”, pcPara, (char *)0); }

進程的主體為main.cpp的solu-rtspMulitPlayer分支，即以下代碼。

4.3.2 取流器——對象描述

創(chuàng)建RTSP取流器的操作實現(xiàn)在rtspCapture/rtspCapture.cpp內(nèi)的rtspSignalInit()函數(shù)內(nèi)，主要流程如下所示。

RtspCapturer *pRtspCapturer = new RtspCapturer(channelName); pRtspCapturer->init(atoi(argv[2]));

代碼創(chuàng)建了一個RtspCapturer對象，并調(diào)用了對象的init函數(shù)。

4.3.3 取流器初始化——環(huán)形隊列操作

在src/capture/rtspCapturer.cpp的RtspCapturer初始化init函數(shù)中，由于單路取流器只能運行在單條進程中，因此取回來的RTSP流媒體數(shù)據(jù)，需要通過“流媒體環(huán)形隊列”送入解碼器。

以下是創(chuàng)建流媒體環(huán)形隊列操作。

create_video_frame_queue_pool(MAX_VIDEO_CHN_NUMBER);

這部分請參考《【多媒體組件】編解碼-流媒體環(huán)形隊列》。

4.3.4 取流器初始化——讀取INI配置

取流器需要知道網(wǎng)絡攝像頭的配置情況，從INI文件讀對應配置操作如下所示。在src/capture/rtspCapturer.cpp的RtspCapturer初始化init函數(shù)。

ini_read_string(RTSP_CLIENT_PATH, strSection(), "progName", cProgName,sizeof(cProgName)); ini_read_string(RTSP_CLIENT_PATH, strSection(), "rtspUrl", cRtspUrl,sizeof(cRtspUrl)); ini_read_string(RTSP_CLIENT_PATH, strSection(), "userName", cUserName,sizeof(cUserName)); ini_read_string(RTSP_CLIENT_PATH, strSection(), "password", cPassword,sizeof(cPassword)); ini_read_int(RTSP_CLIENT_PATH, strSection(), "frameRate", &frameRate);

4.3.5 取流器初始化——綁定回調(diào)函數(shù)

設置RTSP取流器的回調(diào)函數(shù)。

set_rtsp_client_video_callback(VideoHandle, (void *)this);

回調(diào)函數(shù)原型 如下所示。

int32_t VideoHandle(void *pCapturer, VideoNodeDesc *pNodeDesc, uint8_t *pData)

傳入?yún)?shù)如下所示。

參數(shù)	描述
pCapturer	取流器對象指針
pNodeDesc	NAL報文描述頭
pData	NAL報文內(nèi)容

利用RTSP取流器回調(diào)，把NALU(NAL單元)，即H.264碼流組成單元送入流媒體環(huán)形隊列。

push_node_to_video_channel(pSelf->channelId(), pNodeDesc, pData);

4.3.6 取流器初始化——創(chuàng)建RTSP拉流通道

在src/capture/rtspCapturer.cpp的RtspCapturer初始化init函數(shù)內(nèi)，創(chuàng)建RTSP拉流通道。

create_rtsp_client_channel(&rtspChn);

一旦調(diào)用該接口，整條取流進程就會進入RTSP拉流事件循環(huán)中，會阻塞在此處，代碼不再往下執(zhí)行。

4.4 播放邏輯

4.4.1 播放器初始化——創(chuàng)建解碼器

Player對象的構造函數(shù)Player()內(nèi)，創(chuàng)建解碼器操作如下所示。

create_decoder(mChnannelNumber);

4.4.2 播放器初始化——綁定回調(diào)函數(shù)

首先創(chuàng)建流媒體環(huán)形隊列。再向解碼器申請解碼通道，并向通道綁定輸出回調(diào)，同時分別創(chuàng)建出線程去讀取共享內(nèi)存的NALU，送入編碼器對應的通道中。

使用create_decMedia_channel()創(chuàng)建解碼通道，然后通過set_decMedia_channel_callback()綁定解碼回調(diào)處理函數(shù)。

解碼回調(diào)處理函數(shù)原型如下所示。

static int32_t VideoPlayerHandle(void *pPlayer, VideoFrameData *pData);

傳入?yún)?shù)如下所示。

參數(shù)	描述
pPlayer	播放器對象指針
pData	解碼輸出結果

使用create_video_frame_queue_pool()創(chuàng)建對應數(shù)量的流媒體環(huán)形隊列，然后在sendNALUtoDecoderThread里，通過get_node_from_video_channel()從流媒體環(huán)形隊列對應的通道取出NALU數(shù)據(jù)，再通過push_node_in_decMedia_channel();把數(shù)據(jù)送入對應的解碼通道。

4.4.3 播放器初始化——管理線程

創(chuàng)建播放管理線程，如下所示。

CreateNormalThread(cruiseCtrl_thread, pPlayer, &mTid);

播放器的管理線程用于計算切換播放通道的chnId變量，實現(xiàn)每5秒切換一組攝像頭的功能，如下所示。

4.4.4 播放器——解碼輸入線程

sendNALUtoDecoderThread線程的內(nèi)部實現(xiàn)如下所示：

void *sendNALUtoDecoderThread(void *para) { uint32_t *pChnId = (uint32_t *)para; uint32_t chnId = *pChnId; VideoNodeDesc nodeDesc; uint8_t *pTempBuf = NULL; pTempBuf = (uint8_t *)mpp_malloc(char, MEM_BLOCK_SIZE_5M); while(1) { if(!pTempBuf){ pTempBuf = (uint8_t *)mpp_malloc(char, MEM_BLOCK_SIZE_5M); usleep(20 * 1000); } // 通道合法性校驗 if((0 <= chnId) && (chnId < MAX_CHN_NUM)) { if(!pTempBuf){ usleep(20 * 1000); continue; } // 從環(huán)形共享內(nèi)存隊列中，取出節(jié)點描述信息，以及把幀數(shù)據(jù)放入臨時內(nèi)存中 if(0 == get_node_from_video_channel(chnId, &nodeDesc, pTempBuf)){ // 把NALU數(shù)據(jù)送入各自的解碼通道 push_node_in_decMedia_channel(chnId, &nodeDesc, pTempBuf); usleep(5*1000); } else { usleep(15*1000); } }else{ usleep(500*1000); } } if(pTempBuf){ mpp_free(pTempBuf); pTempBuf = NULL; } pthread_exit(NULL); }

4.4.5 播放器——解碼回調(diào)函數(shù)

解碼回調(diào)函數(shù)會把每一路解碼后的“最后一幀”數(shù)據(jù)（YUV）通過調(diào)用播放器對象的makeCamImg()函數(shù)轉(zhuǎn)換成RGB數(shù)據(jù)，然后緩存到該路對應的camImg中，以便后續(xù)處理。

這里需要注意：

1. 由于每一路的解碼器都是調(diào)用同一個回調(diào)函數(shù)，因此在此函數(shù)內(nèi)定義并使用靜態(tài)變量時，一定要注意多通道的影響，即按通道來定義靜態(tài)變量：

否則每一個通道都會操作“同一個”靜態(tài)變量。

2. 解碼回調(diào)函數(shù)內(nèi)不能有耗時過長的操作，否則會導致解碼器因堵幀導致的丟幀情況。整個函數(shù)調(diào)用耗時建議不超過(1000/幀率)ms。

4.4.6 播放器——數(shù)據(jù)格式化函數(shù)

數(shù)據(jù)格式化函數(shù)如下所示。

此函數(shù)的目的是把解碼后數(shù)據(jù)轉(zhuǎn)換成1280x720 RGB888的格式，以便顯示函數(shù)使用。

4.4.7 播放器——播放函數(shù)

播放函數(shù)如下所示。

5. 開發(fā)指南

5.1 示例文件&目錄結構

Solution git倉庫會隨著產(chǎn)品迭代更新，不斷新增解決方案代碼，當前截圖只作參考。

5.1.1 solution git 倉庫目錄介紹

Solution工程構成如下所示，由功能組件easyeai-api和各個解決方案構成。

功能組件的描述如下所示，easyeai-api是經(jīng)過高度封裝的易用性組件接口，便于用戶直接調(diào)用板卡資源。

功能	組件目錄	組件子目錄	描述
功能組件	easyeai-api	algorithm_api	算法組件
common_api	通用組件
media_api	多媒體組件
netProtocol_api	網(wǎng)絡協(xié)議組件
peripheral_api	外設硬件組件

解決方案的描述如下所示，單個“solu-”開頭的目錄即為一個解決方案案例，代碼內(nèi)調(diào)用“EASY EAI-API”來滿足某一實際應用場景的需求。

功能	工程目錄	描述
解決方案	solu-qrdecode	二維碼解決方案
solu-rtspMulitPlayer	RTMP推流解決方案
......	持續(xù)更新

5.1.2 解決方案最基本的目錄構成

每個解決方案就是一個獨立的項目，項目內(nèi)包含部分如下所示，項目使用cmake構建自動編譯部署。

具體介紹如下所示。

組成部分	描述
build.sh	編譯腳本，用于管理生成可執(zhí)行文件后的部署準備工作，用戶可自定義shell命令
CMakeLists.txt	工程管理文件，用于組織整個工程結構，指導cmake生成Makefile
include	用于存放第三方應用庫、頭文件目錄等
src	用于存放實現(xiàn)本方案需求的源代碼

5.1.3 解決方案可拓展的目錄構成

可拓展的目錄是指：開發(fā)過程中增加某些功能模塊，功能代碼。增加模式分為兩種：

增加已編譯的第三方庫，在include、libs目錄內(nèi)添加頭文件和庫文件；

增加用戶自定義的功能模塊，推薦在src目錄內(nèi)增加；

具體情況如下所示，第三方模塊相關的文件由include/3rd_model/xxx.h、libs/3rd_model/xxx.a。自定義的功能模塊為src/mySrcCode、src/mySrcCode2。

5.2CMakeLists.txt文件解析

5.2.1 編譯環(huán)境配置部分：

第一部分為配置部分，配置部分如下所示。（獲取當前方案目錄、配置工具鏈、提取方案名稱）：

配置信息如下所示。

配置項	描述
CMake要求版本	cmake_minimum_required函數(shù)指定，要求的最低版本
CMAKE_SYSTEM_NAME	cmake的系統(tǒng)類型，交叉編譯必須
CMAKE_CROSSCOMPILING	cmake是否啟動交叉編譯
cross.camke	camke_host_system_information獲取平臺信息，發(fā)現(xiàn)不是armv7l就導入當前平臺的交叉編譯配置。
project項目名	由project函數(shù)指定

5.2.2 easyeai-api配置部分

第二部分是引入我司的功能組件庫（針對當前方案進行：配置EASY EAI API頭文件目錄、庫文件目錄以及配置庫鏈接參數(shù)）：

配置信息如下所示。

配置項	描述
api_inc	最終通過target_include_directories關鍵字指定目標包含的頭文件路徑
link_directories	由link_directories關鍵字指定easyeai-api庫所在路徑
LINK_LIBRARIES	由LINK_LIBRARIES關鍵字指定easyeai-api庫文件

5.2.3 第三方庫配置部分

第三部分配置第三方的庫（針對當前方案進行：配置第三方頭文件目錄、庫文件目錄、配置第三方庫鏈接參數(shù)以及配置源碼目錄）：

配置信息如下所示。

配置項	描述
custom_inc	自定義變量custom_inc，最終通過target_include_directories函數(shù)指定目標包含的頭文件路徑，在源碼include目錄下
link_directories	由link_directories函數(shù)指定第三方庫所在路徑
custom_libs	自定義變量custom_libs，最終通過target_link_libraries函數(shù)指定目標引用的庫鏈接參數(shù)
aux_source_directory	自定義變量dir_srcs，用于添加工程代碼以及自定義的個人代碼

例如添加個人庫的目錄組成方式如下所示。

aux_source_directory的修改方式為：

aux_source_directory(./src ./src/mySrcCode ./src/mySrcCode2 dir_srcs)

或

aux_source_directory(./src dir_srcs) aux_source_directory(./src/mySrcCode dir_srcs) aux_source_directory(./src/mySrcCode2 dir_srcs)

5.2.4 本方案配置部分

第四部分配置項目的編譯信息，內(nèi)容如下所示：

配置項如下所示。

配置項	描述
add_executable	編譯結果為${CURRENT_FOLDER}指定，即方案目錄名； 編譯的源文件為${dir_srcs}指定；
target_include_directories	指定頭文件的名字，由${api_inc}與${custom_inc}指定；

5.3 build.sh編譯腳本：

5.3.1 路徑定位部分

第一部分用于提取目錄用于編譯操作，內(nèi)容如下所示：（進入build.sh腳本所在目錄，并且提取當前目錄絕對路徑，提取當前目錄名稱）

5.3.2 清除編譯部分

第二部分清除操作，清除目錄為build、Release，內(nèi)容如下所示：（執(zhí)行build.sh腳本時，帶入了參數(shù)“clear”，則清空編譯輸出）

5.3.3 編譯操作

第三部分，編譯直接調(diào)用cmake，內(nèi)容如下所示：（重新編譯，成部署目錄，并把資源自動部署進板卡）

審核編輯 黃宇