1. 方案簡介

本開發(fā)實例是一個包含：抓取攝像頭數(shù)據(jù)、圖像送入編碼器進行編碼壓縮、以及把壓縮后的數(shù)據(jù)通過RTSP協(xié)議發(fā)送出去的簡單核心示例。

若用戶需要通過webServer對圖像進行調(diào)整，以及配置攝像頭的一些工作方式，則需要用戶自行研發(fā)增加對應的功能。

1.1 接線示意圖

攝像頭與板卡的連接：

板卡與PC的連接：

2. 快速上手

2.1 開發(fā)環(huán)境準備

如果您初次閱讀此文檔，請閱讀《入門指南/開發(fā)環(huán)境準備/Easy-Eai編譯環(huán)境準備與更新》，并按照其相關的操作，進行編譯環(huán)境的部署。

在PC端Ubuntu系統(tǒng)中執(zhí)行run腳本，進入EASY-EAI編譯環(huán)境，具體如下所示。

cd ~/develop_environment
./run.sh

2.2 源碼下載以及實例編譯

在EASY-EAI編譯環(huán)境下創(chuàng)建存放源碼倉庫的管理目錄：

cd /opt
mkdir EASY-EAI-Toolkit
cd EASY-EAI-Toolkit

通過git工具，在管理目錄內(nèi)克隆遠程倉庫

git clone https://github.com/EASY-EAI/EASY-EAI-Toolkit-C-Solution.git

注：

* 此處可能會因網(wǎng)絡原因造成卡頓，請耐心等待。

* 如果實在要在gitHub網(wǎng)頁上下載，也要把整個倉庫下載下來，不能單獨下載本實例對應的目錄。

進入到對應的例程目錄執(zhí)行編譯操作，具體命令如下所示：

cd EASY-EAI-Toolkit-C-Solution/solu-rtspIPCamera/
./build.sh

注：

* 由于依賴庫部署在板卡上，因此交叉編譯過程中必須保持adb連接。

注：

* 若build.sh腳本不帶任何參數(shù)，則僅會拷貝solution編譯出來的可執(zhí)行文件。

* 若build.sh腳本帶有cpres參數(shù)，則會把Release/目錄下的所有資源都拷貝到開發(fā)板上。

* 若build.sh腳本帶有clear參數(shù)，則會把build/目錄和Release/目錄刪除。

2.3 方案部署

然后把編譯好的結果部署到板卡中（有兩種方法）。

方法一：通過執(zhí)行以下命令手動部署【推薦】

cp Release/solu-* /mnt/userdata/Solu

方法二：在編譯時加上編譯參數(shù)自動部署

./build.sh cpres

2.4 示例方案運行

通過按鍵Ctrl+Shift+T創(chuàng)建一個新窗口，執(zhí)行adb shell命令，進入板卡運行環(huán)境。

adb shell

進入板卡后，定位到例程部署的位置，如下所示：

cd /userdata/Solu

運行例程前，先通過以下命令查看一下開發(fā)板網(wǎng)卡的地址：

ifconfig

運行例程命令如下所示：

./solu-rtspIPCamera Main &

2.5 運行效果

運行打印如下所示：

[1] 3931
root@EASY-EAI-NANO:/userdata/Solu# media get entity by name: rkcif-lvds-subdev is null
media get entity by name: rkcif-lite-lvds-subdev is null
media get entity by name: rkisp-mpfbc-subdev is null
media get entity by name: rkisp_dmapath is null
media get entity by name: rkisp-mpfbc-subdev is null
media get entity by name: rkisp_dmapath is null
media get entity by name: rockchip-mipi-dphy-rx is null
[16:45:52.418515][CAMHW]:XCAM ERROR CamHwIsp20.cpp:928: No free isp&ispp needed by fake camera!
Rga built version:1.04 94a2c08+2023-04-12 10:23:53
*****************************************
Waiting for the child process terminated!
*****************************************
……
mpp[3939]: mpp_rt: NOT found ion allocator
mpp[3939]: mpp_rt: found drm allocator
mpp[3939]: mpp_info: mpp version: 2cc04fd author: chenhaiman     2023-02-08 update build scripts
mpp[3939]: mpp_log: 0x6718c0 mpi_enc_test encoder test start w 720 h 1280 type 7
mpp[3939]: mpp_enc: MPP_ENC_SET_RC_CFG bps 2880000 [180000 : 2880000] fps [30:25] gop 12
mpp[3939]: h264e_api_v2: MPP_ENC_SET_PREP_CFG w:h [720:1280] stride [720:1280]
mpp[3939]: mpp_enc: send header for set cfg change input/format 
mpp[3939]: mpp_enc: mode cbr bps [180000:2880000:2880000] fps flex [30/1] -> fix [25/1] gop i [12] v [0]
=====[frame time]: 1970-01-01 08:00:00
[000][0x67][1]------------- dataLen = 38
=====[frame time]: 2023-05-08 16:45:54
[001][0x06][1]------------- dataLen = 86
=====[frame time]: 2023-05-08 16:45:54
[002][0x06][1]------------- dataLen = 90
=====[frame time]: 2023-05-08 16:45:54
[003][0x65][1]------------- dataLen = 13747
=====[frame time]: 2023-05-08 16:45:54
[004][0x41][2]------------- dataLen = 4531
=====[frame time]: 2023-05-08 16:45:54
……

然后在PC主機（windows系統(tǒng)或者Ubuntu系統(tǒng)都可以），打開VLC播放器。輸入rtsp流地址即可通過rtsp協(xié)議播放攝像機畫面。

rtsp流地址構造規(guī)則在下方【4.3.2RTSP服務器--服務器對象】中有詳細講解。

注：若無法播放，請檢查網(wǎng)絡環(huán)境是否正常（如：PC是否與開發(fā)板處于同一網(wǎng)段內(nèi)，是否有IP沖突的情況等）

攝像機畫面如下所示：

2.6 開機啟動

首先進入板卡環(huán)境，執(zhí)行以下命令，在板卡上創(chuàng)建一個給本例程使用的應用目錄：myapp

cd /userdata/apps/
mkdir myapp

然后回到開發(fā)環(huán)境中，通過使用“2.3方案部署”類似的操作方法，把本例程所需要的全部文件，包含：編譯結果，配置文件，模型等。部署到剛剛新建的myapp目錄中。

最后在板卡上創(chuàng)建一個run.sh腳本來管控用戶所有需要的應用即可，《入門指南/應用程序開機自啟動》會詳細描述run.sh腳本該如何編寫。

3. 代碼組成

方案主邏輯代碼分為三部分，如下所示。

啟動代碼位于：EASY-EAI-Toolkit-C-Solution/solu-rtspIPCamera/src/main.cpp

畫面編碼代碼位于：EASY-EAI-Toolkit-C-Solution/solu-rtspIPCamera/src/enCoder/enCoder.cpp

RTSP傳輸代碼位于：EASY-EAI-Toolkit-C-Solution/solu-rtspIPCamera/src/rtspServer/rtspServer.cpp

3.1 組件庫組成

網(wǎng)絡攝像頭方案的實現(xiàn)，需要使用到easyeai-api庫的以下組件。

3.1.1 啟動部分使用庫情況

啟動代碼main.cpp主要負責啟動并守護編碼進程和RTSP傳輸進程，使用到的easyeai-api庫組件如下所示。

啟動代碼主要使用的模塊信息如下所示。

組件	頭文件以及庫路徑	描述
系統(tǒng)操作組件	easyeai-api/common_api/system_opt	提供系統(tǒng)操作函數(shù)

3.1.2 畫面編碼部分使用庫情況

畫面編碼代碼enCoder.cpp主要負責從mipi攝像頭獲取畫面、把畫面送入編碼器、把編碼后數(shù)據(jù)送入流媒體環(huán)形隊列中等操作，使用到的easyeai-api庫組件如下所示。

取流代碼主要使用的模塊信息如下所示。

組件	頭文件以及庫路徑	描述
攝像頭組件	easyeai-api/peripheral_api/camera	提供時間戳操作函數(shù)
編碼器操作組件	easyeai-api/media_api/endeCode_api	提供推入編碼器操作函數(shù)、編碼數(shù)據(jù)輸出函數(shù)
環(huán)形隊列組件	easyeai-api/media_api/frame_queue	提供推入編碼數(shù)據(jù)到環(huán)形隊列操作函數(shù)

3.1.3 RTSP傳輸部分使用庫情況

Rtsp服務器代碼rtspServer.cpp主要負責從環(huán)形隊列中取出NALU送入RTSP服務等操作，使用到的easyeai-api庫組件如下所示。

Rtsp服務器代碼主要使用模塊信息如下所示。

組件	頭文件以及庫路徑	描述
Rtsp協(xié)議組件	easyeai-api/netProtocol_api/rtsp	提供RTSP服務器操作函數(shù)
環(huán)形隊列組件	easyeai-api/media_api/frame_queue	提供從環(huán)形隊列取出NALU數(shù)據(jù)操作函數(shù)

4. 邏輯框圖

項目的整體邏輯框圖如下所示。

4.1 啟動邏輯

啟動邏輯代碼路徑為：src/main.cpp。

主進程會創(chuàng)建1個RTSP服務器和1個編碼器。RTSP服務器用于通過RTSP協(xié)議發(fā)送NALU包；編碼器用于獲取MIPI攝像頭的圖像，并且編碼成NALU數(shù)據(jù)，送入流媒體環(huán)形隊列。然后變成一個守護進程，監(jiān)視RTSP服務器進程和編碼器進程的運行狀況，一旦崩潰則把它們重新創(chuàng)建。

創(chuàng)建RTSP服務器代碼如下所示。

CreateProcess(PROCESS_RTSPSERVER_NAME, &st_TaskInfo);

創(chuàng)建編碼器代碼如下所示。

CreateProcess(PROCESS_ENCODER_NAME, &st_TaskInfo);

4.2 編碼邏輯

編碼邏輯代碼路徑為：src/enCoder/enCoder.cpp。

4.2.1 編碼器——創(chuàng)建編碼資源

首先是創(chuàng)建編碼資源，包含：編碼器、編碼通道、輸出通道（流媒體環(huán)形隊列）。

創(chuàng)建編碼器代碼如下所示，其中MAXCHNNUM代表此編碼器的可分配的最大通道數(shù)。

create_encoder(MAXCHNNUM);

創(chuàng)建編碼通道代碼如下所示，其中encodeChn_Id就是編碼器自動分配出來的可用通道號，此通道Id的有效取值范圍是0~MAXCHNNUM。

create_encMedia_channel(&encodeChn_Id);

創(chuàng)建輸出通道代碼如下所示，注意這個環(huán)形隊列的通道數(shù)與編碼器的通道無直接關系。

create_video_frame_queue_pool(DATA_INPUT_CHN+1);

4.2.2 編碼器——初始化mipi攝像頭

初始化mipi攝像頭的代碼如下所示，分為兩步：第一步初始化攝像頭畫面的寬高、顯示角度；第二步改變攝像頭的畫面圖像格式為nv12。

ret = rgbcamera_init(CAMERA_WIDTH, CAMERA_HEIGHT, 90); 
rgbcamera_set_format(RK_FORMAT_YCbCr_420_SP);

4.2.3 編碼器——初始化編碼器

初始化編碼包含：向編碼通道綁定輸出回調(diào)函數(shù)；通過設置工作參數(shù)，指導編碼通道的編碼工作方式。具體代碼如下所示。

set_encMedia_channel_callback(encodeChn_Id, StreamOutpuHandle, NULL);
memset(&wp, 0, sizeof(WorkPara));
wp.in_fmt  = VFRAME_TYPE_NV12;
wp.out_fmt = VCODING_TYPE_AVC;
wp.out_fps = 25;
wp.width   = CAMERA_WIDTH;
wp.height  = CAMERA_HEIGHT;
ret = set_encMedia_channel_workPara(encodeChn_Id, &wp, NULL);

編碼通道回調(diào)函數(shù)，源碼如下所示。

int32_t StreamOutpuHandle(void *obj, VideoNodeDesc *pNodeDesc, uint8_t *pNALUData)
{
    push_node_to_video_channel(DATA_INPUT_CHN, pNodeDesc, pNALUData);
    return 0;
}

編碼通道回調(diào)函數(shù)，傳入?yún)?shù)說明。

參數(shù)	描述
obj	綁定解碼回調(diào)函數(shù)時，傳入的對象指針。以便可以在回調(diào)函數(shù)中操作此對象，此示例為NULL。
pNodeDesc	NAL報文描述頭
pNALUData	NAL報文內(nèi)容

編碼通道普通工作參數(shù)，成員變量說明，如下所示：

參數(shù)	成員	描述
WorkPara 【必須】	in_fmt	輸入數(shù)據(jù)的數(shù)據(jù)格式，如VFRAME_TYPE_NV12
	out_fmt	輸出數(shù)據(jù)的數(shù)據(jù)格式，如VCODING_TYPE_AVC
	out_fps	輸出視頻裸流幀率，如25幀
	width	輸出視頻的寬
	height	輸出視頻的高
	hor_stride	輸出視頻的水平步長，通常是寬的16位對齊。
	ver_stride	輸出視頻的垂直步長，通常是高的16位對齊。

編碼通道高級工作參數(shù)，成員變量說明，如下所示：

參數(shù)	成員	描述
AdvanceWorkPara 【非必須】	num_frames
	gop_mode	高級GOP模式，默認不需要配置(填0)
	gop_len	0:[I幀間隔采用2*fps_out_num], n:[I幀間隔為n(1==n,即每一幀都是I幀)]
	vi_len
	fps_out_flex	0:[固定的輸出幀率, 輸出幀率=(fps_out_num/fps_out_den)], 1:[可變的輸出幀率,完成幀編碼后馬上輸出]
	fps_out_num	0:[使用默認值], n:[使用n值] -- 默認值為30
	fps_out_den	0:[使用默認值], n:[使用n值] -- 默認值為1
	fps_in_flex	0:[固定的輸入幀率, 輸入幀率=(fps_in_num/fps_in_den)], 1:[可變的輸入幀率]
	fps_in_num	0:[使用默認值], n:[使用n值] -- 默認值為30
	fps_in_den	0:[使用默認值], n:[使用n值] -- 默認值為1
	rc_mode	碼率控制模式(CBR、VBR、AVBR、FIXQP)
	bps_target	目標碼率(CBR模式下使用)
	bps_max	碼率上限(VBR模式下使用)
	bps_min	碼率下限(VBR模式下使用)
	split_mode	slice 切分模式(0:[不切分], 1:[根據(jù)slice大小], 2:[根據(jù)宏塊或CTU個數(shù)切分])
	split_arg
	split_out
	osd_enable	不生效
	osd_mode	不生效
	user_data_enable	不生效
	roi_enable	不生效

4.2.4 編碼器——攝像頭畫面送入編碼器

此處采用一個死循環(huán)，首先從攝像頭接口讀出數(shù)據(jù)到pbuf，然后pbuf數(shù)據(jù)送入編碼通道，最后編碼通道會自動地從回調(diào)函數(shù)中輸出NALU。

while(1){
    ret = rgbcamera_getframe(pbuf);
    if(ret){
        usleep(10*1000); continue;
    }
    push_frame_to_encMedia_channel(encodeChn_Id, pbuf, IMAGE_SIZE);
    usleep(10*1000);
}

4.3 傳輸邏輯

傳輸邏輯代碼路徑為：src/rtspServer/rtspServer.cpp。

4.3.1 RTSP服務器——初始化服務器

RTSP服務器通過rtspServerInit()函數(shù)進行【流媒體環(huán)形隊列初始化】和【RTSP服務器初始化】。其中服務器初始化包含：初始化服務端口、對多路碼流進行初始化。示例如下所示。

int rtspServerInit(const char *moduleName)
{
    RtspServer_t srv;
    memset(&srv, 0, sizeof(RtspServer_t));
    srv.port = 554;
    srv.stream[0].bEnable = true;
    srv.stream[0].videoHooks.pConnectHook = VideoStreamConnect;
    srv.stream[0].videoHooks.pDataInHook = VideoStreamDataIn;
    srv.stream[0].audioHooks.pConnectHook = NULL;
    srv.stream[0].audioHooks.pDataInHook = NULL;
    strcpy(srv.stream[0].strName, "aabb");

    create_video_frame_queue_pool(DATA_INPUT_CHN+1); //初始化流媒體環(huán)形隊列
    //create_audio_frame_queue_pool(DATA_INPUT_CHN+1);

    create_rtsp_Server(srv); //啟動RTSP服務器事件循環(huán)

    // 正常情況下不會走到這里
    PRINT_ERROR("Fatal Error! RtspServer loop exited!");

    return -1;
}

4.3.2 RTSP服務器——服務器對象

RTSP服務器對象的描述結構體的內(nèi)容如下所示。

描述結構體：RtspServer_t
目錄	easyeai-api/netProtocol_api/rtsp/rtsp_data.h easyeai-api/netProtocol_api/rtsp/rtsp.h
成員	描述
port	服務器端口號
stream[n]	該服務器所提供的碼流服務
	bEnable	該碼流是否使能
	strName	該碼流名稱。如：strName為"mainStream"， url則為rtsp://username:password@192.168.1.69/mainStream
	videoHooks	視頻輸入的鉤子函數(shù)組
		pConnectHook	在客戶端向服務器發(fā)起視頻流連接時所調(diào)用的函數(shù)，不使用可填NULL
		pDataInHook	服務端會從此函數(shù)獲取視頻流輸入數(shù)據(jù)，不使用可填NULL
	audioHooks	音頻輸入的鉤子函數(shù)組
		pConnectHook	在客戶端向服務器發(fā)起音頻流連接時所調(diào)用的函數(shù)，不使用可填NULL
		pDataInHook	服務端會從此函數(shù)獲取音頻流輸入數(shù)據(jù)，不使用可填NULL

4.3.3 RTSP服務器——視頻連接鉤子函數(shù)

視頻連接鉤子函數(shù)：在客戶端向服務器發(fā)起視頻流連接時所調(diào)用的函數(shù)，不使用可填NULL。

void VideoStreamConnect()
{
    flush_video_channel(DATA_INPUT_CHN);
}
……
int rtspServerInit(const char *moduleName)
{
……
    srv.stream[0].videoHooks.pConnectHook = VideoStreamConnect;
……
}

4.3.4 RTSP服務器——視頻拉流鉤子函數(shù)

視頻連接鉤子函數(shù)：服務端會從此函數(shù)獲取視頻流輸入數(shù)據(jù)，不使用可填NULL。

int32_t VideoStreamDataIn(RTSPVideoDesc_t *pDesc, uint8_t *pData)
{
    int ret = -1;

    VideoNodeDesc node;
    memset(&node, 0, sizeof(node));
    ret = get_node_from_video_channel(DATA_INPUT_CHN, &node, pData);
    if(0 != ret){
        return ret;
    }

    pDesc->frameType  = node.bySubType;
    pDesc->frameIndex = node.dwFrameIndex;
    pDesc->dataLen    = node.dwDataLen;
    pDesc->timeStamp  = node.ddwTimeStamp;
    
    return 0;
}
……
int rtspServerInit(const char *moduleName)
{
……
    srv.stream[0].videoHooks.pDataInHook = VideoStreamDataIn;
……
}

5. 開發(fā)指南

5.1 示例文件&目錄結構

Solution git倉庫會隨著產(chǎn)品迭代更新，不斷新增解決方案代碼，當前截圖只作參考。

5.1.1 Solution git倉庫目錄介紹。

Solution工程構成如下所示，由功能組件easyeai-api和各個解決方案構成。

功能組件的描述如下所示，easyeai-api是經(jīng)過高度封裝的易用性組件接口，便于用戶直接調(diào)用板卡資源。

功能	組件目錄	組件子目錄	描述
功能組件	easyeai-api	algorithm_api	算法組件
		common_api	通用組件
		media_api	多媒體組件
		netProtocol_api	網(wǎng)絡協(xié)議組件
		peripheral_api	外設硬件組件

解決方案的描述如下所示，單個“solu-”開頭的目錄即為一個解決方案案例，代碼內(nèi)調(diào)用“EASY EAI-API”來滿足某一實際應用場景的需求。

功能	工程目錄	描述
解決方案	solu-qrdecode	二維碼解決方案
	solu-rtspMulitPlayer	RTMP推流解決方案
	……	持續(xù)更新

5.1.2 解決方案最基本的目錄構成。

每個解決方案就是一個獨立的項目，項目內(nèi)包含部分如下所示，項目使用cmake構建自動編譯部署。

具體介紹如下所示。

組成部分	描述
build.sh	編譯腳本，用于管理生成可執(zhí)行文件后的部署準備工作，用戶可自定義shell命令
CMakeLists.txt	工程管理文件，用于組織整個工程結構，指導cmake生成Makefile
include	用于存放第三方應用庫、頭文件目錄等
src	用于存放實現(xiàn)本方案需求的源代碼

5.1.3 解決方案可拓展的目錄構成。

可拓展的目錄是指：開發(fā)過程中增加某些功能模塊，功能代碼。增加模式分為兩種：

增加已編譯的第三方庫，在include、libs目錄內(nèi)添加頭文件和庫文件；

增加用戶自定義的功能模塊，推薦在src目錄內(nèi)增加；

具體情況如下所示，第三方模塊相關的文件由include/3rd_model/xxx.h、libs/3rd_model/xxx.a。自定義的功能模塊為src/mySrcCode、src/mySrcCode2。

5.2 CMakeLists.txt文件解析

5.2.1 編譯環(huán)境配置部分：

第一部分為配置部分，配置部分如下所示。（獲取當前方案目錄、配置工具鏈、提取方案名稱）：

配置信息如下所示。

配置項	描述
CMake要求版本	cmake_minimum_required函數(shù)指定，要求的最低版本
CMAKE_SYSTEM_NAME	cmake的系統(tǒng)類型，交叉編譯必須
CMAKE_CROSSCOMPILING	cmake是否啟動交叉編譯
cross.camke	camke_host_system_information獲取平臺信息，發(fā)現(xiàn)不是armv7l就導入當前平臺的交叉編譯配置。
project項目名	由project函數(shù)指定

5.2.2 easyeai-api配置部分

第二部分是引入我司的功能組件庫（針對當前方案進行：配置EASY EAI API頭文件目錄、庫文件目錄以及配置庫鏈接參數(shù)）：

配置信息如下所示。

配置項	描述
api_inc	最終通過target_include_directories關鍵字指定目標包含的頭文件路徑
link_directories	由link_directories關鍵字指定easyeai-api庫所在路徑
LINK_LIBRARIES	由LINK_LIBRARIES關鍵字指定easyeai-api庫文件

5.2.3 第三方庫配置部分

第三部分配置第三方的庫（針對當前方案進行：配置第三方頭文件目錄、庫文件目錄、配置第三方庫鏈接參數(shù)以及配置源碼目錄）：

配置信息如下所示。

配置項	描述
custom_inc	自定義變量custom_inc，最終通過target_include_directories函數(shù)指定目標包含的頭文件路徑，在源碼include目錄下
link_directories	由link_directories函數(shù)指定第三方庫所在路徑
custom_libs	自定義變量custom_libs，最終通過target_link_libraries函數(shù)指定目標引用的庫鏈接參數(shù)
aux_source_directory	自定義變量dir_srcs，用于添加工程代碼以及自定義的個人代碼

例如添加個人庫的目錄組成方式如下所示。

aux_source_directory的修改方式為：

aux_source_directory(./src ./src/mySrcCode ./src/mySrcCode2 dir_srcs)

或

aux_source_directory(./src dir_srcs)
aux_source_directory(./src/mySrcCode dir_srcs)
aux_source_directory(./src/mySrcCode2 dir_srcs)

5.2.4 本方案配置部分

第四部分配置項目的編譯信息，內(nèi)容如下所示：

配置項如下所示。

配置項	描述
add_executable	編譯結果為${CURRENT_FOLDER}指定，即方案目錄名； 編譯的源文件為${dir_srcs}指定；
target_include_directories	指定頭文件的名字，由${api_inc}與${custom_inc}指定；

5.3 build.sh編譯腳本：

5.3.2 路徑定位部分

第一部分用于提取目錄用于編譯操作，內(nèi)容如下所示：（進入build.sh腳本所在目錄，并且提取當前目錄絕對路徑，提取當前目錄名稱）

5.3.2 清除編譯部分

第二部分清除操作，清除目錄為build、Release，內(nèi)容如下所示：（執(zhí)行build.sh腳本時，帶入了參數(shù)“clear”，則清空編譯輸出）

5.3.3 編譯操作

第三部分，編譯直接調(diào)用cmake，內(nèi)容如下所示：（重新編譯，成部署目錄，并把資源自動部署進板卡）

審核編輯 黃宇