91在线观看视频-91在线观看视频-91在线观看免费视频-91在线观看免费-欧美第二页-欧美第1页

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

用于加速嵌入式視覺和推理的開放標準

星星科技指導員 ? 來源:嵌入式計算設計 ? 作者:Neil Trevett ? 2022-06-06 16:29 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

機器學習領域的不斷發展為部署利用神經網絡推理的設備和應用程序創造了新的機會,這些設備和應用程序具有前所未有的基于視覺的功能和準確性水平。但是,快速發展的領域已經讓位于處理器、加速器和庫的混亂局面。本文介紹了開放互操作性標準及其在降低成本和降低在實際產品中使用推理和視覺加速的障礙方面的作用。

每個行業都需要開放標準,通過增加生態系統元素之間的互操作性來降低成本和縮短上市時間。開放標準和專有技術具有復雜且相互依存的關系。專有 API接口通常是達爾文式的試驗場,并且可以在智能市場領導者手中保持主導地位,這是理所當然的。強大的開放標準源于行業對成熟技術的更廣泛需求,可以提供健康、激勵的競爭。從長遠來看,不受任何一家公司控制或依賴于任何一家公司的開放標準通常可以成為行業向前發展的連續性線索,因為技術、平臺和市場地位不斷變化和發展。

Khronos Group 是一個非營利性標準聯盟,任何公司都可以加入,擁有超過 150 名成員。所有標準組織的存在都是為了為競爭者提供一個安全的場所,讓他們為了所有人的利益進行合作。Khronos Group 的專業領域是創建開放、免版稅的 API 標準,使軟件應用程序庫和引擎能夠利用硅加速的力量來滿足要求苛刻的用例,例如 3D 圖形、并行計算、視覺處理和推理。

創建嵌入式機器學習應用程序

許多互操作部分需要協同工作來訓練神經網絡并將其成功部署在嵌入式加速推理平臺上——如圖 1 所示。有效的神經網絡訓練通常需要大型數據集,使用浮點精度并在強大的 GPU 上運行- 加速臺式機或云端。訓練完成后,經過訓練的神經網絡將被引入為快速張量操作優化的推理運行時引擎,或將神經網絡描述轉換為可執行代碼的機器學習編譯器。無論使用引擎還是編譯器,最后一步都是在從 GPU 到專用張量處理器的各種加速器架構之一上加速推理代碼。

pYYBAGKduxuANEM3AAL-yWoM4GE752.png

圖 1. 訓練神經網絡并將其部署在加速推理平臺上的步驟

那么,行業開放標準如何幫助簡化這一過程呢?圖 2. 說明了在視覺和推理加速領域中使用的 Khronos 標準。總的來說,隨著處理器頻率擴展讓位于并行編程作為以可接受的成本和功率水平提供所需性能的最有效方式,人們對所有這些標準的興趣越來越大。

pYYBAGKduyOAOZejAAKLK-4-C7Y915.png

圖 2. 用于加速視覺和推理應用程序和引擎的 Khronos 標準

從廣義上講,這些標準可以分為兩組:高級和低級。高級 API 側重于易于編程,具有跨多個硬件架構的有效性能可移植性。相比之下,低級 API 提供對硬件資源的直接、顯式訪問,以實現最大的靈活性和控制。每個項目都必須了解最適合其開發需求的 API 級別。此外,高級 API 通常會在其實現中使用低級 API。

讓我們更詳細地了解其中的一些 Khronos 標準。

SYCL - C++ 單源異構編程

SYCL(發音為“鐮刀”)使用 C++ 模板庫來調度標準 ISO C++ 應用程序的選定部分以卸載處理器。SYCL 使復雜的 C++ 機器學習框架和庫能夠直接編譯并加速到在許多情況下優于手動調整代碼的性能水平。如圖 3 所示,默認情況下,SYCL 是通過較低級別的 OpenCL 標準 API 實現的:將用于加速的代碼提供給 OpenCL,而剩余的主機代碼則通過系統的默認 CPU 編譯器提供。

pYYBAGKduyuATYb1AALO79Gi2Zw311.png

圖 3. SYCL 將標準 C++ 應用程序拆分為 CPU 和 OpenCL 加速代碼

越來越多的 SYCL 實現,其中一些使用專有后端,例如 NVIDIA 的 CUDA 用于加速代碼。值得注意的是,英特爾的新 oneAPI Initiative 包含一個名為 DPC++ 的并行 C++ 編譯器,它是基于 OpenCL 的符合 SYCL 實現。

NNEF——神經網絡交換格式

當今使用的神經網絡訓練框架有數十種,包括 Torch、Caffe、TensorFlow、Theano、Chainer、Caffe2、PyTorch 和 MXNet 等等,并且都使用專有格式來描述他們訓練的網絡。還有數十種甚至數百種嵌入式推理處理器進入市場。迫使許多硬件供應商理解和導入如此多的格式是一個典型的碎片問題,可以通過如圖 4 所示的開放標準來解決。

poYBAGKduzKACNpEAAUMj32pS5g735.png

圖 4. NNEF 神經網絡交換格式通過推理加速器簡化訓練網絡的攝取

NNEF 文件格式旨在在網絡訓練和推理芯片領域之間架起一座有效的橋梁——Khronos 久經考驗的多公司治理模型為硬件社區提供了關于格式如何以滿足需求的方式發展的強烈聲音。開發處理器工具鏈和框架的公司,通常在安全關鍵市場。

NNEF 并不是業界唯一的神經網絡交換格式,ONNX 是由 Facebook 和微軟共同創立的開源項目,是一種被廣泛采用的格式,主要專注于訓練框架之間的網絡交換。NNEF 和 ONNX 是互補的,因為 ONNX 跟蹤培訓創新和機器學習研究社區的快速變化,而 NNEF 的目標是嵌入式推理硬件供應商,這些供應商需要一種具有更深思熟慮的路線圖演變的格式。Khronos 圍繞 NNEF 發起了一個不斷發展的開源工具生態系統,包括來自關鍵框架的導入器和導出器以及一個模型動物園,以使硬件開發人員能夠測試他們的推理解決方案。

OpenVX – 便攜式加速視覺處理

OpenVX(VX 代表“視覺加速”)通過提供圖形級抽象來簡化視覺和推理軟件的開發,使程序員能夠通過連接一組函數或“節點”來構建他們所需的功能。這種高級抽象使芯片供應商能夠非常有效地優化他們的 OpenVX 驅動程序,以便在幾乎任何處理器架構上高效執行。隨著時間的推移,OpenVX 在原始視覺節點旁邊添加了推理功能——畢竟神經網絡只是另一個圖!通過將 NNEF 訓練的網絡直接導入 OpenVX 圖中,OpenVX 和 NNEF 之間的協同作用越來越大,如圖 5 所示。

pYYBAGKduzqADfXJAAMNQ-SQs3w464.png

圖 5. OpenVX 圖可以描述從 NNEF 文件導入的視覺節點和推理操作的任意組合

OpenVX 1.3 于 2019 年 10 月發布,使針對垂直細分市場(例如推理)的精心挑選的規范子集能夠被實施和測試,使其符合官方標準。OpenVX 還與 OpenCL 深度集成,使程序員能夠添加自己的自定義加速節點以在 OpenVX 圖形中使用 - 提供簡單的可編程性和可定制性的獨特組合。

OpenCL – 異構并行編程

OpenCL 是一種低級標準,用于對 PC、服務器、移動設備和嵌入式設備中的各種異構處理器進行跨平臺并行編程。OpenCL 提供基于 C 和 C++ 的語言來構建內核程序,這些程序可以在具有 OpenCL 編譯器的系統中的任何處理器上并行編譯和執行,從而為程序員明確控制在哪些處理器上執行哪些內核。OpenCL 運行時協調加速器設備的發現,為選定的設備編譯內核,以復雜的同步級別執行內核并收集結果,如圖 6 所示。

poYBAGKdu0KAAVI9AAFoDKDuEmc362.png

圖 6. OpenCL 使 C 或 C++ 內核程序能夠跨異構處理器的任意組合并行編譯和執行

OpenCL 在整個行業中廣泛使用,為計算、視覺和機器學習庫、引擎和編譯器提供最低的“接近金屬”執行層。

OpenCL 最初是為在高端 PC 和超級計算機硬件上執行而設計的,但在與 OpenVX 類似的演變過程中,需要 OpenCL 的處理器越來越小,精度也越來越低,因為它們以邊緣視覺和推理為目標。OpenCL 工作組正在努力定義為嵌入式處理器量身定制的功能,并使供應商能夠交付針對關鍵功耗和成本敏感用例的選定功能,并且完全符合要求。

關于作者:

Neil Trevett 是 NVIDIA 開發者生態系統副總裁,他幫助應用程序利用先進的 GPU 和芯片加速。Neil is also the elected President of the Khronos Group, where he initiated the OpenGL ES standard used by billions worldwide every day, helped catalyze the WebGL and glTF projects to bring interactive 3D graphics to the Web, fostered the creation of the OpenVX standard for vision和推理加速,并主持定義異構并行計算的開放標準的 OpenCL 工作組。在 NVIDIA Neil 站在將交互式 3D 引入 PC 的硅革命的最前沿,他建立了 3Dlabs 的嵌入式圖形部門,為各種非 PC 平臺帶來先進的視覺處理。

審核編輯:郭婷

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 處理器
    +關注

    關注

    68

    文章

    19896

    瀏覽量

    235365
  • gpu
    gpu
    +關注

    關注

    28

    文章

    4949

    瀏覽量

    131283
  • 機器學習
    +關注

    關注

    66

    文章

    8503

    瀏覽量

    134649
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    Linux嵌入式和單片機嵌入式的區別?

    區別 單片機嵌入式系統和Linux嵌入式系統是兩種不同的嵌入式系統開發方式,它們在應用領域、開發環境、資源需求等方面都有顯著的區別。以下是它們的主要區別: 1.應用領域: 單片機嵌入式
    發表于 06-20 09:46

    嵌入式開發入門指南:從零開始學習嵌入式

    隨著物聯網、智能硬件的發展,嵌入式開發成為熱門技能之一。以下將為初學者提供一份詳細的嵌入式開發入門指南,涵蓋學習路徑、必備工具、推薦資源等內容。 1. 嵌入式系統的定義與應用嵌入式系統
    發表于 05-15 09:29

    使用Lattice mVision打造嵌入式視覺系統解決方案

    嵌入式視覺嵌入式系統與機器視覺技術的集合,嵌入式視覺系統硬件集成攝像頭模組和處理板,將圖像捕獲
    的頭像 發表于 03-06 16:09 ?829次閱讀

    ARM架構嵌入式主板特點

    嵌入式主板可以理解為嵌入在設備中用于控制和數據處理的CPU板,也就是設備的“大腦”。當主板嵌入到設備中,當然對主板的體積和功耗會有更嚴格的要求(嵌入
    的頭像 發表于 12-31 16:03 ?1029次閱讀
    ARM架構<b class='flag-5'>嵌入式</b>主板特點

    什么是嵌入式人工智能

    嵌入式人工智能是指將人工智能技術應用于嵌入式系統中的一種技術。嵌入式系統是嵌入到其他設備或系統中的計算機系統,通常
    的頭像 發表于 12-11 09:23 ?1012次閱讀
    什么是<b class='flag-5'>嵌入式</b>人工智能

    嵌入式超火的方向有哪些?

    目前,隨著全球物聯網設備的大量使用和ChatGpt等AI大模型的出現,嵌入式系統市場目前呈現出快速發展的趨勢,各種嵌入式系統被廣泛應用于汽車、醫療、農業、工業自動化、安防監控等領域。但目前嵌入
    發表于 11-21 15:49

    嵌入式和人工智能究竟是什么關系?

    、連接主義和深度學習等不同的階段。目前,人工智能已經廣泛應用于各種領域,如自然語言處理、計算機視覺、智能推薦等。 嵌入式系統和人工智能在許多方面都存在密切的關聯性。首先,嵌入式系統可
    發表于 11-14 16:39

    什么是嵌入式?一文讀懂嵌入式主板

    在現代科技浪潮中,嵌入式技術已成為支撐各種智能設備和系統運行的核心力量。那么,究竟什么是嵌入式嵌入式系統,顧名思義,是將計算機的硬件和軟件嵌入到某種設備或系統中,以實現特定功能的計算
    的頭像 發表于 10-16 10:14 ?2621次閱讀

    AMD 面向嵌入式系統推出高能效 EPYC 嵌入式 8004 系列

    AMD 憑借其 EPYC? 嵌入式處理器不斷樹立行業標準,為網絡、存儲和工業應用提供卓越的性能、效率、連接與創新。今天,我們正以第四代 AMD EPYC 嵌入式 8004 系列處理器擴展這一
    發表于 10-11 13:58 ?1070次閱讀

    ARMxy嵌入式計算機在機器視覺中的卓越表現

    嵌入式視覺是指在嵌入式系統中使用計算機視覺技術,與經常所說的機器視覺系統的區別在于嵌入式
    的頭像 發表于 10-10 14:47 ?552次閱讀
    ARMxy<b class='flag-5'>嵌入式</b>計算機在機器<b class='flag-5'>視覺</b>中的卓越表現

    嵌入式主板是什么意思?嵌入式主板全面解析

    嵌入式主板,通常被稱為嵌入式系統的核心組件,是一種用于控制和數據處理的計算機硬件,其設計旨在嵌入特定設備中執行專門任務。嵌入式主板如同是設備
    的頭像 發表于 09-30 10:05 ?1627次閱讀

    飛凌嵌入式「在線文檔」功能上線 | 開放靈活,盡在掌握

    在忙碌的研發過程中,效率十分關鍵,飛凌嵌入式深知“便捷獲取最新資料”的重要性,為此全新上線【在線文檔】功能——進入飛凌嵌入式官網,產品資料全面升級為在線文檔形式,旨在為客戶帶來更加開放與靈活的使用體驗。
    的頭像 發表于 09-13 09:46 ?626次閱讀
    飛凌<b class='flag-5'>嵌入式</b>「在線文檔」功能上線 | <b class='flag-5'>開放</b>靈活,盡在掌握

    嵌入式linux開發板芯片的工作原理

    嵌入式Linux開發板是一種基于Linux操作系統的嵌入式系統開發平臺,它廣泛應用于工業控制、智能家居、智能交通、醫療設備等領域。 嵌入式Linux開發板概述
    的頭像 發表于 09-02 09:07 ?823次閱讀

    用于標準嵌入式網絡,CANopen有什么不同?

    ,CANopen定義了應用層的通信規則,因此特別適用于需要標準化設備配置和網絡管理的嵌入式網絡。 ? CANopen協議簡介 1994年發布的國際標準ISO 11898-2定義了CAN
    的頭像 發表于 08-22 01:19 ?4132次閱讀

    Astra? SL系列SL1680詳細介紹,嵌入式物聯網處理器

    Astra? SL系列嵌入式處理器是高度集成的AI原生Linux?和Android?的片上系統(SoC),針對多模式消費者、企業和工業物聯網工作負載進行硬件優化,并配備了邊緣推理、安全、視頻、圖形
    的頭像 發表于 08-15 10:32 ?610次閱讀
    Astra? SL系列SL1680詳細介紹,<b class='flag-5'>嵌入式</b>物聯網處理器
    主站蜘蛛池模板: 久久黄网站 | 2022国产情侣真实露脸在线 | 男人视频网 | 国模张文静啪啪私拍337p | 久久综合九色综合欧美狠狠 | 久久精品屋| 久久青草国产手机看片福利盒子 | 国产精品李雅在线观看 | 色多多福利网站老司机 | 国产精品黄网站免费进入 | 99久久精品费精品国产一区二 | 欧美成人精品一区二三区在线观看 | 久色乳综合思思在线视频 | 色女人综合 | 九九热国产 | 欧美色图亚洲 | 久久精品视频国产 | 欧美a∨ | 美女被曹 | 一区三区三区不卡 | 色天天综合色天天天天看大 | 神马福利 | 午夜国产高清精品一区免费 | 亚洲午夜顶级嘿嘿嘿影院 | 国产成人mv 在线播放 | 一区二区午夜 | 黄 色 片免费观看 | 在线免费公开视频 | 五月天婷婷色 | 欧美女同网站 | 天堂最新版免费观看 | 欧美8888 | 国产午夜精品理论片久久影视 | 四虎精品永久在线 | 午夜在线视频 | 免费一级片在线观看 | 日韩一二三级 | 欧美久久天天综合香蕉伊 | 午夜视频在线免费播放 | 爆操极品美女 | 777奇米影视一区二区三区 |