在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

國產FPGA SOC 雙目視覺處理系統開發實例

米爾電子 ? 2025-02-20 08:05 ? 次閱讀

1. 系統架構解析

本系統基于米爾MYC-YM90X構建,搭載安路DR1 FPGA SOC 創新型異構計算平臺,充分發揮其雙核Cortex-A35處理器與可編程邏輯(PL)單元的協同優勢。通過AXI4-Stream總線構建的高速數據通道(峰值帶寬可達12.8GB/s),實現ARM與FPGA間的納秒級(ns)延遲交互,較傳統方案提升了3倍的傳輸效率,極大地提升了系統整體性能。

國產化技術亮點:

  • 全自主AXI互連架構,支持多主多從拓撲,確保系統靈活性與可擴展性
  • 硬核處理器與PL單元共享DDR3控制器提高內存帶寬利用率(可升級至DDR4)
  • 動態時鐘域隔離技術(DCIT),確保跨時鐘域的數據交互穩定性,避免時序錯誤
  • 國產SM4加密引擎硬件加速模塊,為數據加密任務提供硬件級別的支持,提升加密處理效率
73fda53a-ef1e-11ef-9434-92fbcf53809c.png

圖一 系統架構框圖

如圖一所示,系統架構通過“低內聚,高耦合”的設計思想,通過模塊化的設計方式,完成了以下工作。

1. 通過I2C對OV5640攝像頭進行分辨率,輸出格式等配置。2. 雙目圖像數據進行三級幀緩存,FIFO——DMA——DDR。3. 客制化低延遲ISP(開發者根據場景需求加入)

4. VTC驅動HDMI輸出顯示

2. 系統程序開發

2.1 DR1固件架構設計

GUI設計界面,類Blockdesign設計方式,通過AXI總線,連接DR1的ARM核與定制化外設,包括以太網RAM模塊,PL DMA和VTC。

74115102-ef1e-11ef-9434-92fbcf53809c.png

圖二 FPGA底層架構框圖

2.2 雙目視覺處理流水線

2.2.1 傳感器配置層

為實現高效的傳感器配置,本系統采用混合式I2C配置引擎,通過PL端硬件I2C控制器實現傳感器參數的動態加載。與純軟件方案相比,該硬件加速的配置速度提升了8倍,顯著降低了配置延遲。

// 可重配置傳感器驅動IPmodule ov5640_config (input wire clk_50M,output tri scl,inout tri sda,input wire [7:0] reg_addr,input wire [15:0] reg_data,output reg config_done);// 支持動態分辨率切換(1920x1080@30fps 1280x720@60fps)parameter [15:0] RESOLUTION_TABLE[4] = '{...};

該配置引擎支持多分辨率與高幀率動態切換,適應不同應用場景需求。

2.2.2 數據采集管道

系統構建了三級緩存體系,確保數據處理的高效性和實時性:

  • 像素級緩存:采用雙時鐘FIFO(寫時鐘74.25MHz,讀時鐘100MHz),實現數據的穩定緩存和傳輸。
  • 行緩沖:使用BRAM的乒乓結構(每行1920像素×16bit),減少數據延遲。
  • 幀緩存:通過DDR3-1066 1GB內存支持四幀循環存儲,確保圖像的持續流暢展示。

// 位寬轉換智能適配器module data_width_converter #(parameter IN_WIDTH = 16,parameter OUT_WIDTH = 96)(input wire [IN_WIDTH-1:0] din,output wire [OUT_WIDTH-1:0] dout,// 時鐘與使能信號);// 采用流水線式位寬重組技術always_ff @(posedge clk) begincase(state)0: buffer <= {din, 80'b0};1: buffer <= {buffer[79:0], din};// ...6周期完成96bit組裝endcaseend

2.2.3. 異構計算調度

系統通過AXI-DMA(Direct Memory Access)實現零拷貝數據傳輸,優化內存和外設間的數據交換:

  • 寫通道:PL→DDR,采用突發長度128、位寬128bit的高速數據傳輸
  • 讀通道:DDR→HDMI,配合動態帶寬分配(QoS等級可調),確保不同帶寬需求的動態適配

2.2.4 VTC顯示引擎深度優化

  • PL DMA輸出顯示優化
  • 顯示時序的優化對高質量圖像輸出至關重要。通過VTC(Video Timing Controller),本系統能夠實現多模式自適應輸出。

axi_hdmi_tx#(.ID(0),.CR_CB_N(0),.DEVICE_TYPE(17), // 17 for DR1M.INTERFACE("16_BIT"),.OUT_CLK_POLARITY (0))axi_hdmi_tx_inst (.hdmi_clk (pll_clk_150),//.hdmi_clk (clk1_out),.hdmi_out_clk (hdmi_clk ),.hdmi_16_hsync (hdmi_hs ),.hdmi_16_vsync (hdmi_vs ),.hdmi_16_data_e (hdmi_de),.hdmi_16_data (/hdmi_data/ ),// .hdmi_16_data (hdmi_data ),.hdmi_16_es_data (hdmi_data),.hdmi_24_hsync (),.hdmi_24_vsync (),.hdmi_24_data_e (),.hdmi_24_data (/{r_data,g_data,b_data}/),.hdmi_36_hsync (),.hdmi_36_vsync (),.hdmi_36_data_e (),.hdmi_36_data (),.vdma_clk (pll_clk_150 ),.vdma_end_of_frame (dma_m_axis_last ),.vdma_valid (dma_m_axis_valid ),.vdma_data (dma_m_axis_data ),.vdma_ready (dma_m_axis_ready),.s_axi_aclk (S_AXI_ACLK ),.s_axi_aresetn (S_AXI_ARESETN ),.s_axi_awvalid (axi_ds5_ds5_awvalid ),.s_axi_awaddr (axi_ds5_ds5_awaddr ),.s_axi_awprot (axi_ds5_ds5_awprot ),.s_axi_awready (axi_ds5_ds5_awready ),.s_axi_wvalid (axi_ds5_ds5_wvalid ),.s_axi_wdata (axi_ds5_ds5_wdata ),.s_axi_wstrb (axi_ds5_ds5_wstrb ),.s_axi_wready (axi_ds5_ds5_wready ),.s_axi_bvalid (axi_ds5_ds5_bvalid ),.s_axi_bresp (axi_ds5_ds5_bresp ),.s_axi_bready (axi_ds5_ds5_bready ),.s_axi_arvalid (axi_ds5_ds5_arvalid ),.s_axi_araddr (axi_ds5_ds5_araddr ),.s_axi_arprot (axi_ds5_ds5_arprot ),.s_axi_arready (axi_ds5_ds5_arready ),.s_axi_rvalid (axi_ds5_ds5_rvalid ),.s_axi_rresp (axi_ds5_ds5_rresp ),.s_axi_rdata (axi_ds5_ds5_rdata ),.s_axi_rready (axi_ds5_ds5_rready));

  • 動態時序生成器
  • 通過PL-PLL動態調整像素時鐘,確保顯示無卡頓、無閃爍,誤差控制在<10ppm內。

// VTC配置代碼片段(Anlogic SDK)void config_vtc(uint32_t h_total, uint32_t v_total) {VTCRegs->CTRL = 0x1; // 使能軟復位VTCRegs->HTOTAL = h_total - 1;VTCRegs->VTOTAL = v_total - 1;// 詳細時序參數配置VTCRegs->POLARITY = 0x3; // HS/VS極性配置VTCRegs->CTRL = 0x81; // 使能模塊}

3. 硬件連接與測試

  • 硬件連接

米爾的安路飛龍板卡采用2 X 50 PIN 連接器設計,可靈活插拔多種子卡,配合子卡套件,可擴展成多種形態,多種應用玩法。

742b859a-ef1e-11ef-9434-92fbcf53809c.png

圖三 使用模組,底板,子卡和線纜搭建硬件系統

  • 顯示測試

實測雙目顯示清晰,無卡幀,閃屏。

7454c07c-ef1e-11ef-9434-92fbcf53809c.png

圖四 輸出顯示效果

  • 系統集成
  • 在FPGA硬件描述文件的基礎上,進一步在Linux下實現雙攝,為復雜系統調度應用鋪平道路。
  • 內核加載5640驅動下通過dma搬運ddr數據,在應用層中通過v4l2框架顯示到HDMI上,完整數據流如下:
  • FPGADDR→AXI-DMA控制器→LinuxDMA引擎→內核dma_buf→V4L2vb2隊列→mmap用戶空間→應用處理

三路DMA設備樹HDMI、camera1、camera2代碼片段:

//hdmisoft_adi_dma0: dma@80400000 {compatible = "adi,axi-dmac-1.00.a";reg = <0x0 0x80400000 0x0 0x10000>;interrupts = ;clocks = <&axi_dma_clk>;#dma-cells = <1>;status = "okay";adi,channels {#size-cells = <0>;#address-cells = <1>;dma-channel@0 {reg = <0>;adi,source-bus-width = <32>;adi,source-bus-type = <0>;adi,destination-bus-width = <64>;adi,destination-bus-type = <1>;};};};// cam1mipi_adi_dma0: dma@80300000 {compatible = "adi,axi-dmac-1.00.a";reg = <0x0 0x80300000 0x0 0x10000>;interrupts = ;clocks = <&axi_dma_clk>;#dma-cells = <1>;status = "okay";adi,channels {#size-cells = <0>;#address-cells = <1>;dma-channel@0 {reg = <0>;adi,source-bus-width = <128>;adi,source-bus-type = <1>;adi,destination-bus-width = <64>;adi,destination-bus-type = <0>;};};};//cam2mipi_adi_dma1: dma@80700000 {compatible = "adi,axi-dmac-1.00.a";reg = <0x0 0x80700000 0x0 0x10000>;interrupts = ;clocks = <&axi_dma_clk>;#dma-cells = <1>;status = "okay";adi,channels {#size-cells = <0>;#address-cells = <1>;dma-channel@0 {reg = <0>;adi,source-bus-width = <128>;adi,source-bus-type = <1>;adi,destination-bus-width = <32>;adi,destination-bus-type = <0>;};};};

雙路i2cOV5640設備樹配置代碼片段

camera@3c { compatible = "ovti,ov5640"; pinctrl-names = "default"; // pinctrl-0 = <&pinctrl_ov5640>; reg = <0x3c>; clocks = <&ov5640_clk>; clock-names = "xclk"; // DOVDD-supply = <&vgen4_reg>; /* 1.8v / // AVDD-supply = <&vgen3_reg>; / 2.8v / // DVDD-supply = <&vgen2_reg>; / 1.5v / powerdown-gpios = <&portc 8 GPIO_ACTIVE_HIGH>; reset-gpios = <&portc 7 GPIO_ACTIVE_LOW>; port { / Parallel bus endpoint / ov5640_out_0: endpoint { remote-endpoint = <&vcap_ov5640_in_0>; bus-width = <8>; data-shift = <2>; / lines 9:2 are used */ hsync-active = <0>; vsync-active = <0>; pclk-sample = <1>; }; }; };

  • 性能測試

性能實測數據。

指標實測值理論峰值
圖像處理延遲18.7ms≤20ms
DDR吞吐量2GB/s2.6GB/s
功耗(全負載)3.8W4.2W
啟動時間(Linux)18s-

4. 場景化應用擴展

該方案可廣泛應用于以下領域:

  1. 智能駕駛:前視ADAS系統,包含車道識別和碰撞預警
  2. 工業檢測:高速AOI(自動光學檢測)流水線,提升檢測精度和效率
  3. 醫療影像:內窺鏡實時增強顯示,支持多視角成像
  4. 機器人導航:SLAM(同步定位與地圖構建)點云加速處理,提升機器人自主導航能力

通過安路TD 2024.10開發套件,開發者能夠快速移植和定制化開發,具體包括:

  • 使用GUI圖形化設計約束工具,簡化硬件開發過程
  • 調用預置的接口與處理器IP,加速產品開發上市時間,專注應用和算法的處理
  • 進行動態功耗分析(DPA)與仿真,確保系統的穩定性與高效性

0. One More Thing…

這里,回到我們原點,回到我們開發設計國產 FPGA SOC的初衷 ,芯片也好,模組也好,都只是開始,無論是FPGA,SOC,或者SOM,都是為了以更快,更好,平衡成本,體積,開發周期,開發難度,人員配置等等綜合因素,做出的面向解決問題的選擇,最終結果是降低成本和產品力的平衡。

安路飛龍系列的問世,讓我們很欣喜看見國產SOC FPGA的崛起,希望和業界開發者一起開發構建國產SOC FPGA生態,所以選擇將系列教程以知識庫全部開源,共同無限進步!

747c518c-ef1e-11ef-9434-92fbcf53809c.png

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • FPGA
    +關注

    關注

    1632

    文章

    21816

    瀏覽量

    607005
  • soc
    soc
    +關注

    關注

    38

    文章

    4223

    瀏覽量

    219412
  • 視覺處理
    +關注

    關注

    0

    文章

    32

    瀏覽量

    8984
收藏 人收藏

    評論

    相關推薦

    基于SoC雙目視覺ADAS解決方案

    相比于單目視覺雙目視覺(Stereo Vision)的關鍵區別在于可以利用雙攝像頭從不同角度對同一目標成像,從而獲取視差信息,推算目標距離。
    發表于 11-05 03:46 ?3302次閱讀

    鉅芯發布業內首顆智能雙目視覺芯片

    據麥姆斯咨詢報道,物聯網及雙目視覺專家鉅芯發布了一款智能雙目立體視覺系統,以及業內首顆智能雙目立體視覺芯片eagleye100。
    的頭像 發表于 10-26 10:26 ?1w次閱讀

    雙目視覺處理系統開發實例-基于米爾安路國產DR1M90開發

    以太網,RAM模塊,PL DMA和VTC。圖二 FPGA底層架構框圖 2.2 雙目視覺處理流水線 2.2.1 傳感器配置層為實現高效的傳感器配置,本系統采用混合式I2C配置引擎,通過P
    發表于 02-21 14:20

    基于SoC雙目視覺ADAS解決方案

    的方向流動,A53作為主控CPU完成邏輯控制和必要的數據處理。通過這種流水線式的處理方式,可以使各部分計算資源充分利用,提高計算效率。圖5:基于S32V234的雙目視覺數據流利用S32V234
    發表于 08-12 15:15

    LabVIEW雙目視覺 【轉載】

    ://mp.weixin.qq.com/s/kcecV6PNE92FB8ugSoV4tw雙目立體視覺系統使用兩只相機同步采集圖像,通過像素匹配獲得深度圖像,進而獲取三維點云,系統結構如下。用下圖來解釋
    發表于 03-02 17:03

    采用DM642設計的機器人雙目視覺系統

    基于DM642的機器人雙目視覺系統設計
    發表于 04-02 07:20

    基于神經網絡的雙目視覺傳感器建模

    根據雙目視覺傳感器的工作原理, 分析了影響測量精度的因素, 表明雙目視覺傳感器的物體空間坐標與圖像坐標之間存在復雜的非線性映射關系, 其數學模型無法用解析式精確地加以
    發表于 07-10 15:53 ?11次下載

    基于雙目視覺的跟蹤機器人系統的設計

    文章介紹了一種以TMS320DM642 為核心,結合編解碼芯片SAA7115 和SAA7105 組成的高速圖像處理系統,和典型的電機控制芯片TMS320F2812 為核心的電機控制系統,組成了基于雙目視覺的跟蹤機
    發表于 01-18 15:28 ?28次下載

    雙目視覺立體匹配算法研究

    雙日視覺是計算機視覺領域的一個重要組成部分。雙目視覺研究中的關鍵技術攝像機標定和立體匹配一直是研究的熱點。本文由兩部分組成,分別對雙目視覺的算法和未標定圖
    發表于 08-14 16:41 ?0次下載

    基于結構光雙目視覺的智能機器人系統

    本內容基于ADSP-BF548處理器設計實現了具有結構光雙目視覺的四足可變形仿生機器人系統
    發表于 08-31 17:42 ?144次下載
    基于結構光<b class='flag-5'>雙目視覺</b>的智能機器人<b class='flag-5'>系統</b>

    雙目視覺傳感器的現場標定技術

    本文以遺視投影變換為依據,針對多視覺傳感器檢測系統中的雙目視覺傳感器,建立了雙目視覺傳感器測量空間三維坐標的模型.事先確定攝像機的部分不易變化的參數,其它參數在攝
    發表于 03-02 16:02 ?15次下載
    <b class='flag-5'>雙目視覺</b>傳感器的現場標定技術

    一種基于圖像處理雙目視覺校準方法

    雙目視覺是利用機器視覺進行障礙物檢測的研究熱點。針對雙目視頻不同步,導致立體匹配不精準的問題,提出了一種基于圖像處理雙目校準算法。算法首先
    發表于 12-18 16:26 ?34次下載

    在DM642開發評估板上實現雙目視覺監控系統的軟硬件設計方案

    的視野范圍。雙目視覺一直是機器視覺領域的熱門研究課題,在工業控制、智能交通、金融、公共安全等應用領域逐漸顯示出非常廣闊的發展前景。詳細分析和研究基于DM642的雙目視覺監控系統,給出
    發表于 05-07 09:55 ?1192次閱讀

    嵌入式雙目視覺系統和三維重建技術研究

    嵌入式雙目視覺系統和三維重建技術研究(嵌入式開發方向)-該文檔為嵌入式雙目視覺系統和三維重建技術研究總結文檔,是一份很不錯的參考資料,具有較高參考價值,感興趣的可以下載看看………………?
    發表于 07-30 11:50 ?7次下載
    嵌入式<b class='flag-5'>雙目視覺系統</b>和三維重建技術研究

    雙目立體視覺是什么?單目視覺雙目立體視覺的區別?

    雙目更多的是基于物理測量,而單目視覺則是基于邏輯推理,通過大量的數據訓練,先識別出目標,再根據目標的大小和高度估算距離。因此,單目視覺的漏檢率高于雙目立體
    發表于 08-17 09:40 ?4315次閱讀
    <b class='flag-5'>雙目</b>立體<b class='flag-5'>視覺</b>是什么?單<b class='flag-5'>目視覺</b>與<b class='flag-5'>雙目</b>立體<b class='flag-5'>視覺</b>的區別?
    主站蜘蛛池模板: 成人看片在线观看 | 国产精品九九久久一区hh | 欧美黄色片在线 | 黄色大成网站 | 欧美在线资源 | 男人的天堂在线免费视频 | 777色狠狠一区二区三区香蕉 | 色狠狠一区二区 | 沟沟人体一区二区 | a天堂在线观看 | 6969精品视频在线观看 | 日产毛片| 天天澡天天摸天天添视频 | 成 人色 网 站 欧美大片在线观看 | 亚洲热热久久九九精品 | aaa一级片 | 亚洲国产精品自在现线让你爽 | 国产成人精品免费视频大全可播放的 | 成人毛片在线播放 | 久久久免费| 精品在线小视频 | 美女免费视频一区二区三区 | 亚洲色图吧 | 色五五月| youjizz国产 | 欧美69xxx | 久操视频免费 | 美日韩一区二区 | 午夜视频在线观看免费高清 | 国产性较精品视频免费 | 亚洲97在线 | 色五夜婷婷 | 四虎永久网址 | 女人十六毛片 | 涩涩高清无乱码在线观看 | 在线观看一区二区三区视频 | 极品吹潮视频大喷潮tv | 高清性色生活片欧美在线 | 国产精品久久久福利 | 色啦啦影院 | 日本偷偷操 |