1. GStreamer介紹

GStreamer 是用來(lái)構(gòu)建流媒體應(yīng)用的開(kāi)源多媒體框架(framework)。其目標(biāo)是要簡(jiǎn)化音/視頻應(yīng)用程序的開(kāi)發(fā)。

1.1 基本概念

管線(pipeline)：又稱(chēng)為管道或流水線，是一個(gè)完整的GStreamer工作流，即：一個(gè)多媒體任務(wù)處理的基本單元（必須要以source類(lèi)【元素】開(kāi)頭，以sink類(lèi)【元素】結(jié)尾）。

元素(element)：GStreamer工作流中的每一個(gè)節(jié)點(diǎn)，例如source類(lèi)元素、filter類(lèi)元素、sink類(lèi)元素。元素與元素之間通過(guò)【管道】進(jìn)行數(shù)據(jù)傳遞（而【管道】又通過(guò)【襯墊】與【元素】進(jìn)行連接）。

襯墊(Pad)：數(shù)據(jù)通過(guò)襯墊進(jìn)入或離開(kāi)這個(gè)元素，輸入襯墊叫sinkPads，輸出襯墊叫srcPads，每個(gè)元素都會(huì)至少一個(gè)襯墊，如source類(lèi)元素和sink類(lèi)元素。

有些元素會(huì)有多個(gè)襯墊，比如：解復(fù)用器（demuxer）和分流器（tee）。

1.2 Gstreamer工具

gst-launch-1.0：gst-launch-1.0是Gstreamer中一個(gè)常用和強(qiáng)大的工具，用于創(chuàng)建并啟動(dòng)多媒體管道圖。它可以從標(biāo)準(zhǔn)命令行讀取管道圖的描述，用戶(hù)可以在命令行中直接運(yùn)行該描述。它不需要復(fù)雜的編程或腳本，使用戶(hù)方便地測(cè)試和調(diào)試管道圖。

gst-inspect-1.0：gst-inspect-1.0可以打印出可用 GStreamer 插件的信息、特定插件的信息或特定元素的信息。當(dāng)在沒(méi)有PLUGIN或ELEMENT參數(shù)的情況下執(zhí)行時(shí)，gst-inspect-1.0將打印所有插件和元素的列表以及sumary。當(dāng)使用PLUGIN或ELEMENT參數(shù)執(zhí)行時(shí)，gst-inspect-1.0將打印有關(guān)該插件或元素的信息。

1.3 Gstreamer調(diào)試信息

使用GST_DEBUG環(huán)境變量，可查看調(diào)用Gstreamer時(shí)所產(chǎn)生的打印信息。比如在終端輸入以下命令。

export GST_DEBUG=2

如果想看到更詳細(xì)的信息，調(diào)試等級(jí)可設(shè)為3。

2. 編碼

下文用到的video節(jié)點(diǎn)，可以通過(guò)以下幾篇文章查詢(xún)：

MIPI-CSI：《外設(shè)接口使用說(shuō)明/攝像頭/MIPI-CSI攝像頭》

USB Camera：《外設(shè)接口使用說(shuō)明/攝像頭/USB攝像頭》

2.1 保存錄像

通過(guò)串口調(diào)試或ssh調(diào)試，進(jìn)入開(kāi)發(fā)板環(huán)境：

經(jīng)查詢(xún)，cam0的設(shè)備節(jié)點(diǎn)是video23。
輸入下方命令，即可對(duì)video23節(jié)點(diǎn)進(jìn)行錄像。效果如下圖所示。

gst-launch-1.0 v4l2src device=/dev/video23 ! mpph264enc ! mpegtsmux ! filesink location=./1.ts -e

按下組合鍵【Ctrl+C】后即可退出錄像，并得到一個(gè)ts文件(MPEG-TS：MPEG Transport Stream)。可在PC端Ubuntu系統(tǒng)用scp的方式從板卡拉取ts文件，并且可以通過(guò)vlc對(duì)其解碼播放。

調(diào)整幀率錄制：

gst-launch-1.0 v4l2src device=/dev/video23 ! video/x-raw,framerate=30/1 ! videoconvert ! mpph264enc ! mpegtsmux ! filesink location=./1.ts -e

調(diào)整分辨率和幀率錄制：

gst-launch-1.0 v4l2src device=/dev/video23 ! video/x-raw,width=1280,height=800,framerate=30/1 ! videoconvert ! mpph264enc ! mpegtsmux ! filesink location=./1.ts -e

除了ts格式，還有通過(guò)下方命令錄制其它格式的視頻：

-flv格式錄制：

gst-launch-1.0 v4l2src device=/dev/video23 ! mpph264enc ! h264parse ! flvmux ! filesink location=./1.flv -e

-裸流錄制：

gst-launch-1.0 v4l2src device=/dev/video23 ! mpph264enc ! filesink location=./1.h264 -e

2.2 UDP推流

首先創(chuàng)建一個(gè)名為gst_test.sdp的文件。

用記事本打開(kāi)此文件，添加如下內(nèi)容（注意兩個(gè)IP地址均為用戶(hù)電腦的IP地址）：

v=0 o=- 0 0 IN IP4 192.168.3.191 s=H.264 Stream from RK3576 c=IN IP4 192.168.3.191 t=0 0 m=video 8554 RTP/AVP 96 a=rtpmap:96 H264/90000

然后通過(guò)vlc打開(kāi)剛才設(shè)置的文件，如下圖所示：

通過(guò)adb shell進(jìn)入【開(kāi)發(fā)板環(huán)境】，輸入下方命令（注意命令中的IP地址為用戶(hù)電腦的IP地址），即可對(duì)video節(jié)點(diǎn)編碼，并通過(guò)UDP推流到PC的vlc上。

gst-launch-1.0 v4l2src device=/dev/video23 ! video/x-raw,framerate=30/1 ! mpph264enc ! h264parse ! rtph264pay config-interval=1 ! queue max-size-buffers=100 leaky=downstream ! udpsink host=192.168.3.191 port=8554 sync=false

執(zhí)行現(xiàn)象如下：

2.3 rtsp服務(wù)器

如果要用gstreamer搭建rtsp服務(wù)器，則需要額外的庫(kù)以及第三方基于此庫(kù)開(kāi)發(fā)的gstreamer應(yīng)用。

首先，用apt-get安裝rtspServer相關(guān)的庫(kù)，命令如下：

sudo apt-get install libgstrtspserver-1.0-dev

安裝【成功】后，獲取rtspServer應(yīng)用的源碼，命令如下：

wget https://raw.githubusercontent.com/GStreamer/gst-rtsp-server/1.14/examples/test-launch.c

然后通過(guò)下方命令編譯此源碼：

gcc test-launch.c -o test-launch $(pkg-config --cflags --libs gstreamer-1.0 gstreamer-rtsp-server-1.0)

成功生成test-launch后，通過(guò)下方命令，運(yùn)行此rtspServer。

./test-launch "v4l2src device=/dev/video23 ! mpph264enc ! rtph264pay name=pay0 pt=96"

最后用vlc通過(guò)8554端口拉取rtsp流。

若要指定分辨率和幀率，可以采用下方的例子：

./test-launch "v4l2src device=/dev/video23 ! video/x-raw,width=1920,height=1080,framerate=30/1 ! videoconvert ! mpph264enc ! rtph264pay name=pay0 pt=96"

2.4 注意事項(xiàng)

編碼時(shí)要注意編碼幀率，不能超過(guò)編碼格式的最大能力。（假如編h.264的最大幀率只能到30幀，那么給h.264編到60幀。無(wú)論是錄制還是推流，再解碼端都會(huì)發(fā)生異常）

3. 解碼

3.1 錄像文件解碼

如果錄像文件名為1.ts，并且位于/userdata/目錄中，就執(zhí)行下方命令即可用gstreamer解碼并播放。否則需要調(diào)整一下文件位置。

命令執(zhí)行后，桌面系統(tǒng)會(huì)出現(xiàn)一個(gè)窗口，并播放文件的內(nèi)容，效果如下所示。

gst-launch-1.0 filesrc location=/userdata/1.ts ! tsdemux ! queue ! h264parse ! mppvideodec ! videoflip method=1 ! autovideosink

注：如果無(wú)法滿(mǎn)屏播放，請(qǐng)參考一下本文的==2.1保存錄像==章節(jié)，調(diào)整一下分辨率。

同樣文件在/userdata/目錄中，播放flv格式視頻：

gst-launch-1.0 filesrc location=./1.flv ! flvdemux ! h264parse ! mppvideodec ! videoconvert ! videoflip method=1 ! autovideosink

播放h.264裸流視頻：

gst-launch-1.0 filesrc location=/userdata/1.h264 ! h264parse ! mppvideodec ! videoflip method=1 ! autovideosink sync=false

3.2 rtsp拉流解碼

執(zhí)行下方命令，即可對(duì)一個(gè)地址為rtsp://admin:a12345678@192.168.5.68的IPCamera進(jìn)行拉流并顯示。

gst-launch-1.0 rtspsrc location=rtsp://admin:a12345678@192.168.5.68 ! rtph264depay ! h264parse ! mppvideodec ! videoflip method=1 ! autovideosink sync=false

命令執(zhí)行后，MIPI-DSI屏上會(huì)出現(xiàn)一個(gè)窗口，并播放IPCamera的內(nèi)容，效果如下所示。

4. 分流器使用(tee)

tee是一個(gè)很常用的元素。比如有一個(gè)需要邊用屏幕播放攝像頭畫(huà)面，又要邊把攝像頭的畫(huà)面錄下來(lái)應(yīng)用場(chǎng)景，就需要用到分流器。

命令如下：

gst-launch-1.0 v4l2src device=/dev/video23 ! video/x-raw,framerate=30/1 ! tee name=t t. ! queue ! videoflip method=1 ! autovideosink sync=false t. ! queue ! mpph264enc ! mpegtsmux ! filesink location=./1.ts

節(jié)點(diǎn)圖解：

命令可拆分為三個(gè)部分理解：

第一部分，取視頻流：

gst-launch-1.0 v4l2src device=/dev/video23 ! video/x-raw,framerate=30/1 ! tee name=t

第二部分，復(fù)制一份視頻流到顯示窗口（autovideosink）：

t. ! queue ! videoflip method=1 ! autovideosink sync=false

第三部分，復(fù)制一份視頻流到編碼器，最終打包成ts文件：

t. ! queue ! mpph264enc ! mpegtsmux ! filesink location=./1.ts

4.1 注意事項(xiàng)

分流器的實(shí)現(xiàn)原理是通過(guò)CPU復(fù)制一份，送入管道，因此如果用于處理原格式(YUV/RGB等)數(shù)據(jù)，將會(huì)加大CPU以及內(nèi)存的開(kāi)銷(xiāo)。

5. gst-inspect-1.0使用

5.1 列出所有元素

直接輸入gst-inspect-1.0命令即可列出所有元素，及其簡(jiǎn)要描述，如下所示。

gst-inspect-1.0

5.2 查看元素信息

采用gst-inspect-1.0加元素名的方式，即可查看這個(gè)元素的詳細(xì)信息，如下所示。

gst-inspect-1.0 v4l2src

5.3 使用技巧

gst-inspect-1.0可以配合grep來(lái)初步篩選自己感興趣的【元素】，比如pcma格式相關(guān)的音頻插件元素，如下所示。

gst-inspect-1.0 | grep pcma gst-inspect-1.0 | grep law

6. Gstreamer文檔

Gstreamer文檔的官網(wǎng)地址：

https://gstreamer.freedesktop.org