在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

英創信息技術ESM6802視頻處理簡介

英創信息技術 ? 來源:英創信息技術 ? 作者:英創信息技術 ? 2020-02-06 10:47 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

ESM6802是英創公司推出的基于Freescale i.MX6DL雙核處理器(ARM Cortex-A9,主頻1GHz)的高性能工控主板,imx6dl內部包含一個視頻處理模塊(VPU)可以支持多種視頻格式的編解碼,而開發板預裝的Linux系統也提供了gstreamer以及Qt 5.8來給視頻處理應用程序提供便捷的函數接口。本文將簡單介紹VPU硬件模塊以及gsteamer多媒體編程框架和Qt 5.8的多媒體處理模塊。

1、多媒體文件簡單介紹

多媒體文件通常有文件后綴如mp4、mkv等。這些后綴表明的是多媒體文件的container格式,也就是視頻數據、音頻數據、字幕數據的封裝在一個文件中的封裝格式。而視頻數據、音頻數據又有自己的編碼格式,如視頻常用的H264、MPEG4等以及音頻常用的AC3、MP3等。編碼格式才是不同多媒體文件之間的本質區別所在,在處理相關多媒體文件時必須有相應的編解碼器才能進行。不同的編碼能夠提供不同的數據壓縮水平以及數據恢復的質量,關于各種編碼標準以及文件封裝格式的詳細信息用戶可以自行查看相關資料,我們建議用戶在使用中盡量使用H264編碼的視頻數據。

2、硬件資源介紹

imx6dl內部集成了一個高性能的、支持多種編解碼格式的視頻處理模塊(VPU),支持最高1920x1080 60i或者30p分辨率的解碼以及1920x1088分辨率的視頻編碼,使用VPU來處理視頻不占用CPU資源,而且處理速度更快,在實際使用中應該盡量優化應用程序使用VPU來處理視頻編解碼相關操作。

VPU能夠解碼的視頻格式為:

●H.264 BP/MP/HP

●VC-1 SP/MP/AP

●MPEG-4 SP/ASP (不包括GMC)

●DivX(Xvid)

●MPEG-1/2

●VP8

●AVS

●MJPEG

VPU支持的編碼格式為:

●H.264

●MPEG-4

●H.263

●MJPG

關于支持的編解碼格式的詳細說明請參考后面Qt章節的詳細列表或者文檔《i.MX VPU Application Programming Interface Linux Reference Manual》,我們在此不再詳細說明。

VPU提供了一套函數接口供程序調用,程序調用這些API函數向VPU發送命令以及相應的參數來達到控制VPU編解碼的運行。由于Linux系統下面的視頻處理編程框架有更加高級的gstreamer,而且imx6dl也提供了相應的gstreamer插件來使用VPU資源,我們不再詳細介紹VPU提供的低級API函數,也不推薦用戶使用這套API,不過有興趣的用戶可以自行參考《i.MX VPU Application Programming Interface Linux Reference Manual》。

3、GStreamer介紹

GStreamer是目前常用的流媒體處理編程框架,GStreamer提供一種基于插件的編程框架,他的核心部分只提供了支持框架之間的數據流、媒體格式的協商等基礎功能,而對于流媒體的編解碼以及流媒體內容的獲取(如攝像頭、網絡、本地文件)等功能都由插件提供。在編程時可以將插件進行連接組合成一條流媒體處理流水線(pipeline),當流水線工作時,流媒體內容從第一個插件元素(element)一直流動到最后一個,各個插件元素完成自己的功能從而實現流媒體的處理。一個簡單的ogg視頻播放流水線示例如下圖所示:

一個流水線內的元素包含了數據處理接口(pad),pad根據數據的流向又分為source pad和sink pad,如上圖所示,source pad是生成數據的接口,而sink pad是接收數據的接口。每個接口都有自己能夠接收或產生的數據格式的限制,稱為cap capabilities,這些限制可以使用命令行工具gst-inspect-1.0進行查看,使用方法為:

gst-inspect-1.0 [選項...] [ELEMENT-NAME | PLUGIN-NAME]

如查看v4l2src,v4l2src是用于從攝像頭采集數據的元素,命令輸出部分結果如下:

上圖中可以看到v4l2src有一個source pad,可以生成image/jpeg、video/mpeg、video/x-h264等格式的數據,在構建GStreamer流水線時,只有當兩個元素的src pad和sink pad能夠處理相同格式的數據時,才能將這兩個元素連接起來。而對于像v4l2src這類的數據生成的元素,其支持的數據格式和最終能夠產生的數據格式是不一樣的,能夠產生的數據格式是所支持的數據格式的一部分,受到攝像頭硬件的限制,比如常見的USB攝像頭只支持生成YUY2\jpeg格式,則使用此攝像頭的v4l2src元素也就只能產生這兩中格式的數據,在編程時要特別注意這點,避免錯誤的連接元素。

更多GStreamer基礎知識請用戶詳細閱讀GStreamer官網上的編程參考手冊或其他相關知識,我們下面將介紹imx6dl所提供的特有的插件。

基于imx6dl內部視頻處理模塊VPU的GStreamer插件包括:

●vpudec: 基于VPU的視頻解碼插件

●vpuenc_h264: 基于VPU的AVC/H264視頻編碼插件

●vpuenc_h263: 基于VPU的H263視頻編碼插件

●vpuenc_mpeg4: 基于VPU的MPEG4視頻編碼插件

●vpuenc_jpeg: 基于VPU的JPEG視頻編碼插件

上面模塊的編解碼格式詳細信息可以參考上一章VPU的介紹。

基于其他硬件模塊的插件包括:

●overlaysink: 基于2D圖形處理模塊G2D的視頻輸出插件

●imxvideoconvert_g2d: 基于G2D的視頻圖像轉換模塊,包括圖像顏色空間轉換、改變大小、旋轉

●imxvideoconvert_ipu: 基于圖像處理模塊ipu的圖像轉換模塊

●imxcompositor_g2d: 基于G2D的視頻編排模塊

●imxcompositor_ipu: 基于IPU的視頻編排模塊,視頻合成模塊可以將多個視頻編排成一個,并且編排同時支持顏色空間轉換、改變大小、旋轉、alpha(透明度)、z-order(用于圖像重疊)。

這些插件在處理數據時都不會占用CPU資源,并且能提供高性能的數據處理,建議用戶在應用程序中優先使用這些插件。每個插件都有支持的數據格式限制,用戶可以使用gst-inspect-1.0命令進行查看,限于篇幅我們只展示vpuenc_h264的部分輸出如下:

從輸出可知,vpuenc_h264支持video/x-raw格式的視頻輸入,而且限制為NV12、I420、YV12顏色模式,以及分辨率為寬64~1920、長64~1088,幀率從每秒0幀到每秒2147483647幀,如果要使用vpuenc_h264進行視頻文件編碼,則前一級的GStreamer流水線元素必須提供限制內的數據格式,否則將無法正確編碼,程序運行出錯。用戶在使用GStreamer插件之前需要先確認其支持的數據格式以及之前插件提供的輸入的數據格式是否匹配,以免程序不能正常運行。

除了單獨使用插件外,GStreamer還提供高級元素,元素內部自動識別文件格式調用相應的插件來完成數據處理,比如playbin、decodebin、camerabin等,這些元素能夠自動使用上面所說的特定硬件的插件。這些元素能夠簡化程序的開發,但是程序也就不能詳細配置某個特定的插件的屬性了,程序少了靈活性,更多相關內容請自行參考GStreamer相關文檔。

4、Qt 5.8多媒體處理模塊

ESM6802文件系統已經移植了Qt 5.8,Qt的多媒體處理模塊是基于GStreamer框架搭建的,用戶在編寫程序時可以調用Qt提供的API來進行視頻處理,這樣就可以在使用硬件資源(VPU、IPU、G2D等)的同時簡化程序的復雜程度(不用自行搭建GStreamer流水線)。

關于Qt視頻播放的介紹請參考我們官網的文章《ESM6802支持基于Qt的視頻播放》。

關于Qt攝像頭的程序請參考我們官網的文章《ESM6802支持Qt攝像頭應用》。

由于Qt內部多用playbin、camerabin等高級元素來構建視頻應用,應用靈活性有限,為了使程序能正確運行以及提高視頻數據處理性能,對輸入數據格式有一定限制。由之前兩章的介紹可知,imx6dl硬件資源能夠處理的多媒體格式是有限制的,在使用Qt進行視頻播放時需要滿足這些限制才能正確的使用特定的硬件資源,而不占用CPU資源,對于視頻播放(解碼)的限制格式如下:

? H.264

? Fully compatible with the ITU-T Recommendation H.264 specification in BP/MP and HP

? CABAC/CAVLC

? Supports MVC Stereo High profile

? Variable block size-16x16, 16x8, 8x16, 8x8, 8x4, 4x8 and 4x4

? Error detection, concealment and error resilience tools

? VC1

? All VC-1 profile features-SMPTE Proposed SMPTE Standard for Television: VC-1 Compressed Video Bitstream format and Decoding Process

? Simple/Main/Advanced Profile

? MPEG-4

? Simple/Advanced Simple profile except GMC

? H.263 Baseline profile + Annex I, J, K (except RS/ASO), and T

? DivX version 3.x to 6.x

? Xvid

? MPEG-2

? Fully compatible with ISO/IEC 13182-2 MPEG2 specification in main profile

? I,P and B frame

? Field coded picture (interlaced) and fame coded picture

? AVS

? Supports Jizhun profile level 6.2 (exclude 422 use case)

? VP8

? Fully compatible with VP8 decoder specification

? Supporting both simple and normal in-loop deblocking

? 64x64 pixel minimum decoding size

對于攝像頭應用,支持的編碼輸出格式為:

? H.264

? 1/4-pel accuracy motion estimation with programmable search range up to [+/-128, +/-64]

? Search range is reconfigurable by SW

? 16x16, 16x8, 8x16 and 8x8 block sizes

? Configurable block sizes

? Only one reference frame for motion estimation

? Intra-prediction

? Luma I4x4 Mode : 9 modes

? Luma I16x16 Mode : 3 modes (Vertical, Horizon, DC)

? Chroma Mode : 3 modes (Vertical, Horizon, DC)

? Minimum encoding image size is 96 pixels in horizontal and 16 pixels in vertical

? FMO/ASO tool of H.264 is not supported

? MPEG-4

? AC/DC prediction

? 1/2-pel accuracy motion estimation with search range up to [+/-128, +/-64]

? Search range is reconfigurable by SW

? H.263

? H.263 Baseline profile + Annex J, K (RS=0 and ASO=0), and T

? 48x32 pixel minimum encoding image size (48 pixels horizontal and 32 pixels vertical)

而要使用這些硬件編碼資源還需要攝像頭輸入數據滿足如下格式:

video/x-raw

format: { NV12, I420, YV12 }

width: [ 64, 1920, 8 ]

height: [ 64, 1088, 8 ]

framerate: [ 0/1, 2147483647/1 ]

如果不能滿足以上格式要求,Qt內部調用的GStreamer高級元素有可能會選取軟件編解碼插件來進行視頻的處理,這樣整個處理過程會占用大量的CPU資源,也有可能內部協商出錯,不能正常處理視頻,因此用戶最好在編寫應用時提供滿足上面介紹的格式的視頻數據。購買攝像頭時盡量選擇能夠直接輸出NV12、I420、YV12格式的攝像頭,其他格式則需要自己構建GStreamer pipeline先進行數據格式的轉換,Qt內部使用的camerabin不能正確處理這些。

更多視頻處理相關的內容請關注我們后續的文章。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • Linux
    +關注

    關注

    87

    文章

    11508

    瀏覽量

    213573
  • 嵌入式主板
    +關注

    關注

    7

    文章

    6100

    瀏覽量

    36265
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    中星微技術斬獲2025金牛科企業獎

    6月14日,由中國證券報主辦的2025科金牛獎頒獎典禮在上海市舉行,2025科金牛獎獲獎名單現場揭曉。其中中星微技術獲得新一代信息技術金牛科
    的頭像 發表于 06-16 14:16 ?721次閱讀

    科普|信是什么?一文讀懂“信息技術應用創新”戰略

    什么是信?信,即“信息技術應用創新”,是國家推動IT系統自主可控、安全可控的重要戰略工程。它不僅是技術層面的創新,更承載著保障國家網絡安全、推動產業升級和實現數字主權的重任。簡單來
    的頭像 發表于 06-13 10:06 ?1760次閱讀
    科普|信<b class='flag-5'>創</b>是什么?一文讀懂“<b class='flag-5'>信息技術</b>應用創新”戰略

    2025第二屆教育信息技術應用創新大賽正式開賽

    為進一步落實建設網絡強國和教育強國的戰略部署,推動各級教育行政部門及高校信息技術應用創新能力提升,培養實戰型創新人才。龍芯中科聯合太初元碁、誠邁科技在2025第二屆教育信息技術應用創新大賽共同發布信息技術應用創新人工智能方向(賽
    的頭像 發表于 05-13 16:21 ?495次閱讀

    浪潮下,國產主板有什么新的發展機遇?

    信息技術應用創新浪潮的推動下,國產主板迎來了諸多新的發展機遇。信產業旨在實現信息技術領域的自主可控,這一戰略目標為國產主板的發展提供了廣闊的空間。信浪潮下國產主板的發展機遇多元且
    的頭像 發表于 05-09 09:24 ?204次閱讀
    信<b class='flag-5'>創</b>浪潮下,國產主板有什么新的發展機遇?

    新壹科技秒平臺接入DeepSeek,提升視頻創作效率

    技術為核心,能夠為用戶提供一系列先進的視頻處理和分析功能。此次秒接入DeepSeek后,將充分利用DeepSeek的能力,為用戶提供更加便捷、高效的
    的頭像 發表于 02-20 09:20 ?505次閱讀

    龍芯中科榮獲2024年度信息技術應用創新工作委員會卓越貢獻成員單位

    近日,中國電子工業標準化技術協會信息技術應用創新工作委員會(以下簡稱“信工委會”)在北京召開2024年度工作總結座談會暨信“大比武”總結大會。中國工程院院士、信
    的頭像 發表于 01-23 10:50 ?688次閱讀

    芯盛智能榮獲2024年信息技術應用創新工作委員會卓越貢獻成員單位

    日前,中國電子工業標準化技術協會信息技術應用創新工作委員會(以下簡稱 “信工委會”)2024 年度總結座談會于北京隆重舉行。此次會議對在信工作中作出突出貢獻的成員單位予以表彰。江蘇
    的頭像 發表于 01-20 09:56 ?623次閱讀

    飛騰助力首屆教育信息技術應用創新大賽圓滿落幕

    近日,由中國教育技術協會主辦,教育部教育管理信息中心教育信實驗室、公安部第三研究所、中國電子工業標準化技術協會信工委會支持,北京航空航天
    的頭像 發表于 12-24 09:57 ?509次閱讀

    有方科技參編的信息技術團體標準發布

    近日,有方科技參編的《信息技術產品供應鏈成熟度 共性指標 第1部分:企業背景評價》《信息技術產品供應鏈成熟度 共性指標 第2部分:技術掌控評價》《信息技術產品供應鏈成熟度 共性指標 第
    的頭像 發表于 12-23 10:44 ?593次閱讀

    龍芯中科助力2024首屆教育信息技術應用創新大賽成功舉辦

    近日,2024首屆教育信息技術應用創新大賽在北京航空航天大學成功舉辦。本次大賽由中國教育技術協會主辦,教育信實驗室、公安部第三研究所、中國電子工業標準化技術協會信
    的頭像 發表于 12-19 17:02 ?561次閱讀

    拓維信息參與牽頭組建!長沙新一代信息技術產教聯合體正式獲批

    的長沙新一代信息技術產教聯合體成功獲批,為長沙市信息技術產業發展注入了新的活力。圖/《2024年長沙市市級市域產教聯合體名單》長沙新一代信息技術產教聯合體將依托龍頭企
    的頭像 發表于 12-07 01:06 ?885次閱讀
    拓維<b class='flag-5'>信息</b>參與牽頭組建!長沙新一代<b class='flag-5'>信息技術</b>產教聯合體正式獲批

    中科達榮獲2024年軟件和信息技術服務優秀企業

    及前百家企業”名單。中科達憑借非凡的技術實力與持續的創新能力,成功入選“2024年度軟件和信息技術服務競爭力百強企業”以及“2024年軟件和信息技術服務優秀企業”。
    的頭像 發表于 10-30 11:44 ?944次閱讀

    國產化背景下的工控主板發展現狀

    ,是信息技術應用創新產業的簡稱,于2016年“信工委會”(信息技術應用創新工作委員會)提出,目的就是要推動我們國內軟硬件關鍵技術的研發
    的頭像 發表于 09-21 16:15 ?865次閱讀

    梯度科技入選2023年信息技術應用創新解決方案名單

    日前,工業和信息化部網絡安全產業發展中心(工業和信息化部信息中心)在天津舉辦2024信息技術應用創新發展大會暨解決方案應用推廣大會。會上正式公布了2023年
    的頭像 發表于 09-09 16:29 ?753次閱讀

    集芯IP6802:至為芯設計的一站式無線充電soc解決方案應用芯片

    設計的無線充電解決方案采用了集芯的IP6802。作為該方案的核心部件,IP6802不僅擁有高效的無線充電功能,還具備了靈活的定制能力,能夠根據客戶的需求進行個性
    的頭像 發表于 08-02 16:40 ?787次閱讀
    <b class='flag-5'>英</b>集芯IP<b class='flag-5'>6802</b>:至為芯設計的一站式無線充電soc解決方案應用芯片
    主站蜘蛛池模板: 奇米欧美成人综合影院 | 欧美日韩精品一区二区另类 | 欧美高清成人 | 伊人婷婷色香五月综合缴激情 | 欧美成人精品一区二三区在线观看 | 国产免费高清视频在线观看不卡 | 欧美三级网站 | 激情婷婷六月 | 夜夜爱夜夜做 | 韩国美女丝袜一区二区 | 天天摸天天摸天天躁 | 让她爽的喷水叫爽乱 | 在线免费黄色网址 | 三级毛片在线播放 | 美女网站在线观看视频18 | 欧美性生活网址 | 伊人色强在线网 | 日韩特黄特色大片免费视频 | 夜夜爽免费视频 | 日韩写真在线 | 神马影视午夜 | 久久99热精品免费观看无卡顿 | 亚洲女人小便 | 亚洲午夜久久久久久噜噜噜 | 深爱综合网 | 新版天堂中文资源8在线 | 欧美性久久久久 | 综合伊人久久 | 日本黄页网址 | 婷婷深爱五月 | 色婷婷一区二区三区四区成人 | 在线观看免费观看 | 色久天| 美女黄页在线观看 | 欧美18性欧美黑吊 | 久久99久久精品97久久综合 | 天天看片中文字幕 | 欧美三级色 | 久久久久久国产精品mv | 夜色成人网 | 国产免费糟蹋美女视频 |