隨著物聯(lián)網(wǎng)和人工智能的快速發(fā)展，實(shí)時(shí)視頻傳輸在嵌入式系統(tǒng)中變得越來越重要。無論是智能攝像頭、無人機(jī)還是工業(yè)監(jiān)控設(shè)備，都需要高效、低延遲的流媒體傳輸解決方案。
慧視推出的LLSM低延遲低帶寬流媒體傳輸模塊，就能夠?qū)崿F(xiàn)在500K帶寬環(huán)境下進(jìn)行穩(wěn)定的流媒體傳輸，且延遲在50ms左右（不含數(shù)據(jù)鏈）。

該結(jié)果基于我們團(tuán)隊(duì)完整而周密的延遲測試！
目前大多數(shù)流媒體視頻典型的傳輸鏈路如下：攝像頭成像輸出 -> 流媒體傳輸模塊處理 -> 拉流端顯示
于是我們從這三個(gè)方面入手。

測試設(shè)備如下：

采集端：SDI相機(jī)，分辨率 1080p@60HZ

處理端：Rockchip RK3588，自帶硬件編解碼器

拉流端:

CPU：Intel Xeon E5-2650 v2 @ 2.6GHZ

GPU: Nvidia GeForce RTX 2060

顯示器：2k@120HZ顯示器，支持 PiP（可同時(shí)接收兩個(gè)輸入源，并以畫中畫的方式顯示）

網(wǎng)路環(huán)境：本地局域網(wǎng)

成像延時(shí)測試測試目的：在同分辨率同幀率的條件下，對比不同相機(jī)的成像延時(shí)。
測試步驟：

1. 顯示器同時(shí)接入兩個(gè)輸入源，并開啟畫中畫模式。
2. 一個(gè)輸入源接電腦輸出
3. 一個(gè)輸入源接相機(jī)，相機(jī)通過SDI轉(zhuǎn)HDMI轉(zhuǎn)換器接入（該轉(zhuǎn)化器延時(shí)約為10ms）。
4. 在電腦上運(yùn)行高幀率秒表程序，相機(jī)對準(zhǔn)秒表程序。
5. 使用高幀率相機(jī)對屏幕進(jìn)行拍照，照片中兩個(gè)秒表的差值即為相機(jī)的成像延時(shí)。

測試結(jié)果：廠家一相機(jī)測試結(jié)果如圖，減去轉(zhuǎn)換器延時(shí)，相機(jī)延時(shí)為23ms。

廠家二相機(jī)測試結(jié)果如圖，減去轉(zhuǎn)換器延時(shí)，相機(jī)延時(shí)為61ms。


不同協(xié)議下的整體延時(shí)測試測試目的：在整體鏈路相同的條件下，對比使用不同協(xié)議時(shí)，整個(gè)鏈路的整體延時(shí)。
測試步驟：

1. 使用延時(shí)為 23ms 的相機(jī)，接入 RK3588 流媒體模塊。
2. 在電腦上運(yùn)行高幀率秒表程序，相機(jī)對準(zhǔn)秒表程序。
3. 在電腦上運(yùn)行專用拉流軟件，進(jìn)行拉流顯示。
4. 對整個(gè)屏幕進(jìn)行高幀率錄屏。
5. 使用 vlc 按幀查看視頻，視頻中兩個(gè)秒表的差值即為整體延時(shí)。
6. 更換 RK3588 流媒體模塊的流媒體協(xié)議，重復(fù)上述步驟。

測試結(jié)果：首先確認(rèn)錄制的視頻確實(shí)為120Hz！

使用 rtsp 協(xié)議的整體延時(shí)為100ms。

使用 rtmp 協(xié)議的整體延時(shí)為108ms。

使用自定義協(xié)議的整體延時(shí)為60ms。


拉流端延時(shí)測試測試目的：在整體鏈路相同的條件下，對比使用不同拉流軟件時(shí)，整個(gè)鏈路的整體延時(shí)。
測試步驟：

1. 與上述不同協(xié)議下的整體延時(shí)測試的測試步驟相同。
2. 流媒體協(xié)議固定為 rtsp，使用不同的拉流軟件。

測試結(jié)果：使用專用拉流軟件，延時(shí)為100ms。

使用 vlc 進(jìn)行拉流播放，延時(shí)為192ms。

大部分流媒體視頻傳輸都有低帶寬高畫質(zhì)的需求。常見的流媒體協(xié)議（rtsp，rtmp）傳輸?shù)亩际?H264/H265 碼流，其傳輸時(shí)需要的帶寬與編碼后的碼流大小相關(guān)。
于是我們通過設(shè)置不同碼率，來對比成像畫質(zhì)，且觀察帶寬波動。

RTSP 2M 碼率1080p@60HZ 的視頻流，使用rtsp協(xié)議，編碼格式為 H264，并設(shè)置為 2M 碼率下的效果以及網(wǎng)絡(luò)帶寬使用如下圖：

通過上圖可以發(fā)現(xiàn)：圖片有些部分已經(jīng)模糊了，碼率再低一點(diǎn)就沒法看了碼率上下波動較大

自定義協(xié)議 0.5M 碼率1080p@60HZ 的視頻流，使用自定義協(xié)議，并設(shè)置為 0.5M 碼率下的效果以及網(wǎng)絡(luò)帶寬使用如下圖：

通過上圖可以發(fā)現(xiàn)：圖片基本清晰可看碼率上下波動小，基本穩(wěn)定

FAQ

• 如何減少流媒體視頻傳輸?shù)难訒r(shí)：

1. 使用成像延時(shí)低的相機(jī)。
2. 使用性能強(qiáng)勁的CPU以及ISP處理能力強(qiáng)的MCU。
3. 使用低延遲流媒體協(xié)議，甚至私有協(xié)議。
4. 使用性能較好的硬件編解碼器。
5. 使用專用拉流軟件。
6. 使用優(yōu)良的網(wǎng)絡(luò)環(huán)境。
7. 使用高刷新屏幕，屏幕刷新率至少為視頻幀率兩倍。

• 如何減少流媒體視頻傳輸?shù)膸挘?/span>

1. 使用壓縮率高的編碼標(biāo)準(zhǔn)（如H265），甚至私有協(xié)議。
2. 將視頻縮小后再進(jìn)行編碼傳輸。