在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

MIPI在下一代邊緣AI物聯網設備中有何應用?

ruikundianzi ? 來源:IP與SoC設計 ? 2023-11-09 10:29 ? 次閱讀

數據處理的歷史始于 20 世紀 60 年代,當時的集中式現場大型機后來演變為分布式客戶端服務器。在本世紀初,集中式云計算變得有吸引力,并開始獲得發展勢頭,成為當今最流行的計算工具之一。

然而,近年來,我們看到對邊緣或更接近數據源的處理的需求再次增加。讓我們開始 ,“走向未來 !”

云處理的最初好處之一就是能夠超越現場處理的有限能力。隨著人工智能的進步,越來越多的決策可以在邊緣做出。現在很明顯,邊緣和云處理是互補的技術;它們對于實現最佳系統性能都是必不可少的。

互聯系統的設計者必須問,云和邊緣之間最有效的系統劃分是什么?

云計算與邊緣計算的優勢

要了解對系統進行分區的最佳方法,我們必須首先了解每種方法的優點。對于邊緣計算來說,最大的好處就是低延遲。當必須實時或近實時做出決策時,Edge 確實大放異彩。這種實時決策的能力還提供了其他附帶好處。借助人工智能,設備可以通過減少錯誤通知來提高能效。

在邊緣進行處理還可以減少由于傳輸原始數據到其他地方進行處理而導致安全漏洞的可能性。在連接成本較高或連接有限的情況下,邊緣處理可能是唯一可行或實用的選擇。

當談到云計算的好處時,實際上取決于性能。云處理提供了無法在邊緣復制的海量計算能力。這對于復雜的機器學習和建模至關重要。云還提供大存儲容量,并提供以增量成本擴展存儲和計算資源的能力。一旦數據進入數據中心,云就可以提供高安全性。

此外,由于云服務器的集中化,維護通常更容易。

e664ba1a-7ea3-11ee-939d-92fbcf53809c.png

Table 1: Edge vs. Cloud Computing

系統設計示例

現在我們已經檢查了權衡,我們可以看一些可以同時使用云和邊緣處理的系統設計示例。

智能家居安全系統是一個著名的例子,因為數據處理存在自然的分段。一些任務,例如面部識別、語音識別、忽略錯誤警報的運動檢測、檢測相關音頻輸入(例如用戶命令、玻璃破碎或警報)的能力,最好在邊緣完成。云仍然可以用于長期保留和機器學習。

e69260aa-7ea3-11ee-939d-92fbcf53809c.png

Figure 2: Smart home system

另一個例子是可穿戴智能設備。可穿戴設備將利用邊緣處理來監控環境并通過小型內置傳感器識別相關物體、人和聲音。可穿戴設備還將通過移動設備連接到云和互聯網,使其能夠訪問龐大的數據庫,其中包括聯系人、圖像、全球地圖和百科全書。

e6b255f4-7ea3-11ee-939d-92fbcf53809c.png

Figure 3: Wearables system

上述兩個例子同樣受益于云計算和邊緣計算。云用于匿名數據聚合和優化以及長期存儲。通過設備作出更好 的本地決策,您可以延長電池壽命、降低帶寬要求并提高安全性。與許多物聯網設備一樣,這兩個系統示例都需要跨多個設備(例如傳感器、攝像頭、顯示器和麥克風)收集和集成數據。要在邊緣實時處理所有這些數據,您需要一個能夠以極低功耗處理支持人工智能和機器學習的多個感官輸入的處理器。Perceive 通過其 Ergo AI 處理器做到了這一點,該處理器專為物聯網和邊緣設備而設計。

Perceive Ergo 人工智能處理器

Perceive Ergo 芯片是一款推理處理器,專為滿足功耗受限的物聯網和邊緣設備的需求而設計。它可以以 55 TOPS/W 的速度提供 4 個持續的 GPU 等效浮點 TOPS。憑借這種功率,Ergo 處理器可以使用低至 20 mW 的功耗處理大型神經網絡,并支持各種高級神經網絡,所有這些都具有本地處理功能。Perceive Ergo 芯片支持機器學習應用,例如視頻對象檢測、音頻事件檢測、語音識別、視頻分割、姿勢分析以及其他可創造更好用戶體驗的功能。Perceive 客戶使用 Ergo 處理器的一些目標應用包括前面提到的智能家居安全系統和可穿戴設備示例,以及視頻會議和便攜式計算。

當系統設計人員尋找邊緣處理器時,處理器與系統其他組件兼容非常重要。邊緣處理需要系統中的攝像頭、揚聲器、麥克風和其他傳感器陣列與邊緣處理器之間有一個接口。這意味著 Perceive 需要一套與系統其他組件兼容并無縫融入客戶設計的接口規范。

e6e8c0d0-7ea3-11ee-939d-92fbcf53809c.png

Figure 4: Ergo within a system. Image Perceive. Used with permission. All rights reserved.

要了解如何將 Ergo 集成到邊緣設備中,讓我們看一下框圖。

e70c539c-7ea3-11ee-939d-92fbcf53809c.png

Figure 5: Ergo processor blockdiagram. Image Perceive. Used with permission. All rights reserved.

內置成像接口部分包括 2 個 MIPI CSI-2 和 2 個 CPI 輸入以及 1 個 MIPI CSI-2 輸出。這支持兩個同步圖像處理管道:一個使用兩個 MIPI D-PHYSM CSI-2 RX 實例的高性能 4K,另一個使用一個實例的標準 HD。還包括通過 MIPI D-PHY CSI-2 TX 將視頻傳輸出去的功能,這在許多應用中都很有用,例如安全性,其中警報可以伴隨相應的音頻和視頻。該子塊下方是音頻接口,支持麥克風輸入和揚聲器輸出。

右邊是CPU系統,主要功能是芯片管理、數據流轉以及與主處理器的通信。一些音頻預處理由 CPU 子系統處理,例如時間到頻譜的轉換。DSP 引擎進行音頻預處理或后處理,例如 FFT。

在頂部中心,圖像處理單元處理來自相機的原始圖像,使用縮放、裁剪和色彩空間轉換等功能,使神經網絡結構更容易使用它們。

Ergo 處理器的大腦是右上角的神經網絡結構。這是分割、識別、推理和其他功能發生的地方。Ergo 芯片支持多個神經網絡集群,使其能夠同時運行多個神經網絡并支持多種輸入數據類型(例如同時視頻和音頻),從而能夠產生更高質量的推理。例如,與單獨的任何一個輸入相比,伴隨著玻璃破碎聲音的運動檢測可能會在安全應用中觸發更值得信賴的響應。神經網絡集群及其 SRAM 占據了芯片面積的三分之二以上。

MIPI 支持邊緣設備

就 Ergo 芯片而言,我們看到了幾個用于接收和傳輸視頻的 MIPI D-PHY 和 MIPI CSI-2 實例。雖然 MIPI 規范最初是為移動應用程序設計的,但后來已在物聯網邊緣設備等移動鄰近應用程序中廣泛實施。由于大多數邊緣應用都是電池供電,因此電源效率是重中之重。就像家庭安全和可穿戴系統一樣,許多物聯網設備需要使用具有高帶寬、突發和不對稱通信要求的攝像頭、顯示器和傳感器。

因此,MIPI 規范非常適合物聯網應用。這些規范旨在與從調制解調器、天線和系統處理器到相機、顯示器、傳感器和其他外圍設備的各種組件連接。MIPI 規范從頭開始設計,旨在最大限度地降低功耗,同時支持高帶寬和嚴格的 EMI 要求。簡而言之,如果系統需要使用傳感器、執行器、顯示器、攝像頭、高級音頻或無線通信接口,那么它很可能受益于 MIPI 規范的使用。

Perceive Ergo 處理器是一個很好的例子,展示了如何利用 MIPI 規范的優勢進行邊緣處理器設計。Perceive 選擇使用 MIPI D-PHY 和 MIPI CSI-2 規范,不僅是因為它們提供的電源效率和低 EMI,還因為它是業界此類應用最廣泛采用的規范, 支持它的廣泛的生態系統。

Mixel MIPI D-PHY

Mixel 提供了 Perceive MIPI D-PHY CSI-2 TX 和 Mixel MIPI D-PHY CSI-2 RX IP。這兩個 IP 在移植到 22FDX 之前都經過了 FDSOI 工藝的硅驗證。Perceive 選擇采用 FDSOI 工藝,因為與成本更高的 FinFET 工藝相比,它提供了低功耗和低成本的正確組合,以實現高性能。此外,由于襯底偏執電壓的可編程性,FDSOI 還提供了更大的靈活性,從而實現更高的性能并可能減少功耗和面積。

這些優點使 FDSOI 成為最廣泛采用的物聯網設備之一。在接收器方面,Mixel 提供了 CSI-2 D-PHY 的 2 種不同區域優化的 RX 配置:2 通道和 4 通道版本。它們都支持 MIPI D-PHY v2.1,向后兼容 v1.2 和 v1.1。兩種配置均以高達 2.5Gbps/通道的速度運行,并支持以高達 80Mbps/通道的速度運行的低功耗模式。

對于發射器端,Mixel 為 Perceive 提供了面積優化的 4 通道 CSI-2 TX D-PHY。該IP還支持MIPI D-PHY v2.1,并具有以2.5Gbps/通道運行的高速傳輸模式。該發射機用于支持隧道功能。在下圖中,您可以看到以 1.5Gbps/通道和 2.5Gbps/通道運行的 TX IP 的眼圖。Perceive 憑借 Mixel IP 首次取得成功,現已投入生產。

e7421892-7ea3-11ee-939d-92fbcf53809c.png

Figure 6: Mixel D-PHY TX eye diagram at 1.5Gbps/lane

e7872bc6-7ea3-11ee-939d-92fbcf53809c.png

Figure 7: Mixel D-PHY TX eye diagram at 2.5Gbps/lane

結論

如今的物聯網連接系統需要在云和邊緣處理之間取得平衡,以優化系統性能。您根本無法擊敗云數據中心的處理能力,但對于需要實時決策的應用程序,邊緣可提供最低的延遲。為了支持邊緣設備,您需要一個能夠進行機器學習的處理器。Perceive Ergo AI 處理器支持邊緣推理處理,使物聯網設備更加智能、降低延遲并提高電池壽命和安全性。邊緣處理器設計還需要一個與各種物聯網外圍設備兼容的接口。

MIPI CSI-2 是低功耗傳感器和攝像頭的事實上的標準,鑒于 MIPI 規范是為低功耗、高帶寬應用而設計的,它們非常適合物聯網 AI 設備的邊緣處理。通過利用 Mixel 的經過硅驗證的差異化 MIPI CSI-2 支持的 MIPI D-PHY,Perceive 能夠降低風險、縮短上市時間,并為客戶提供高能效、極具競爭力的解決方案,以應對不斷擴展的市場需求。競爭激烈的人工智能邊緣處理市場。








審核編輯:劉清

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 物聯網
    +關注

    關注

    2914

    文章

    45054

    瀏覽量

    378373
  • 數據處理
    +關注

    關注

    0

    文章

    622

    瀏覽量

    28676
  • MIPI
    +關注

    關注

    11

    文章

    312

    瀏覽量

    48854
  • 邊緣計算
    +關注

    關注

    22

    文章

    3139

    瀏覽量

    49688

原文標題:MIPI 在下一代邊緣 AI 物聯網設備中的應用

文章出處:【微信號:IP與SoC設計,微信公眾號:IP與SoC設計】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    AI賦能邊緣網關:開啟智能時代的新藍海

    ,準確率達到99.9%。 這技術革新正在創造巨大的商業價值。在智慧城市領域,AI邊緣網關可以實現交通流量實時分析、違章行為智能識別;在工業互聯網中,能夠實現
    發表于 02-15 11:41

    聯網邊緣計算網關的特點

    計算網關的特點。 、強大的數據處理能力 聯網邊緣計算網關配備了高性能的處理器和充足的內存資源。這使其能夠在本地對海量的
    的頭像 發表于 01-23 16:14 ?157次閱讀

    國家大力部署 IPv6,打造下一代聯網新生態

    。大力發展基于IPv6的下一代聯網,有助于提升我國網絡信息技術自主創新能力和產業高端發展水平。IPv6能夠高效支撐移動互聯網聯網、工業
    的頭像 發表于 10-09 13:37 ?771次閱讀
    國家大力部署 IPv6,打造<b class='flag-5'>下一代</b>互<b class='flag-5'>聯網</b>新生態

    如何使聯網邊緣設備高效節能?

    電源效率對于聯網的成功至關重要。設備的效率越高,其功能壽命就越長,用戶體驗就越好。您是否在組織中實施了聯網解決方案,以提高
    的頭像 發表于 09-24 15:18 ?608次閱讀
    如何使<b class='flag-5'>物</b><b class='flag-5'>聯網</b><b class='flag-5'>邊緣</b><b class='flag-5'>設備</b>高效節能?

    下一代高功能新一代AI加速器(DRP-AI3):10x在高級AI系統高級AI中更快的嵌入處理

    電子發燒友網站提供《下一代高功能新一代AI加速器(DRP-AI3):10x在高級AI系統高級AI
    發表于 08-15 11:06 ?0次下載
    <b class='flag-5'>下一代</b>高功能新<b class='flag-5'>一代</b><b class='flag-5'>AI</b>加速器(DRP-<b class='flag-5'>AI</b>3):10x在高級<b class='flag-5'>AI</b>系統高級<b class='flag-5'>AI</b>中更快的嵌入處理

    光路科技FR-TSN系列工業交換機:提升下一代聯網的安全與效率

    下一代聯網個建立在IP技術基礎上的新型公共網絡,具有更大的地址空間、更快的通信速度、更高的安全性和更豐富的業務類型。光纖通信技術的廣泛應用,將為下一代
    的頭像 發表于 07-24 13:53 ?456次閱讀
    光路科技FR-TSN系列工業交換機:提升<b class='flag-5'>下一代</b>互<b class='flag-5'>聯網</b>的安全與效率

    24芯M16插頭在下一代技術中的潛力

      德索工程師說道隨著科技的飛速發展,下一代技術正逐漸展現出其獨特的魅力和潛力。在這背景下,24芯M16插頭作為種高性能、多功能的連接器,將在下一代技術中發揮至關重要的作用。以下是
    的頭像 發表于 06-15 18:03 ?427次閱讀
    24芯M16插頭<b class='flag-5'>在下一代</b>技術中的潛力

    賽輪思與NVIDIA合作,利用生成式AI打造下一代車內體驗

    AI 驅動的移動出行創新企業與 NVIDIA 合作,打造下一代車內體驗。
    的頭像 發表于 05-23 10:12 ?1327次閱讀

    豐田、日產和本田將合作開發下一代汽車的AI和芯片

    豐田、日產和本田等日本主要汽車制造商確實計劃聯手開發下一代汽車的軟件,包括在生成式人工智能(AI)和半導體(芯片)等領域進行合作。
    的頭像 發表于 05-20 10:25 ?1054次閱讀

    DPU技術賦能下一代AI算力基礎設施

    4月19日,在以“重構世界 奔赴未來”為主題的2024中國生成式AI大會上,中科馭數作為DPU新型算力基礎設施代表,受邀出席了中國智算中心創新論壇,發表了題為《以網絡為中心的AI算力底座構建之路》主題演講,勾勒出在通往AGI之路上,DPU技術賦能
    的頭像 發表于 04-20 11:31 ?985次閱讀

    使用NVIDIA Holoscan for Media構建下一代直播媒體應用

    NVIDIA Holoscan for Media 現已向所有希望在完全可重復使用的集群上構建下一代直播媒體應用的開發者開放。
    的頭像 發表于 04-16 14:04 ?772次閱讀

    NVIDIA的專用AI平臺如何推動下一代醫療健康行業的發展

    醫療科技創新企業在 GTC 上介紹了 NVIDIA 的專用 AI 平臺如何推動下一代醫療健康行業的發展。
    的頭像 發表于 04-09 10:10 ?1377次閱讀

    IPv6在下一代聯網中的地位不可替代

    引言隨著計算機技術和通訊技術的的融合發展,下一代聯網將會引發社會新需求和社會發展方式的大轉變。IPv6技術作為互聯網世界中的個重要組成部分,已經逐漸嶄露頭角,成為新
    的頭像 發表于 04-03 13:17 ?891次閱讀
    IPv6<b class='flag-5'>在下一代</b>互<b class='flag-5'>聯網</b>中的地位不可替代

    英偉達的下一代AI芯片

    根據英偉達(Nvidia)的路線圖,它將推出其下一代black well架構很快。該公司總是先推出個新的架構與數據中心產品,然后在幾個月后公布削減的GeForce版本,所以這也是這次的預期。
    的頭像 發表于 03-08 10:28 ?1024次閱讀
    英偉達的<b class='flag-5'>下一代</b><b class='flag-5'>AI</b>芯片

    高通持續推動終端側生成式AI變革,推出高通AI Hub賦能開發者

    高通現賦能終端側AI在下一代PC、智能手機、軟件定義汽車、XR設備聯網等領域規模化商用,讓智能計算無處不在。
    的頭像 發表于 02-26 16:46 ?669次閱讀
    主站蜘蛛池模板: 四虎影院永久免费 | 小泽玛利亚厕所大喷水 | 欧美三级影院 | 中文字幕自拍 | 特级毛片女人18毛片 | 丁香午夜 | 国产精品久久久久久吹潮 | 亚洲精品私拍国产福利在线 | 日韩欧美中文字幕在线视频 | 国产亚洲视频在线播放大全 | 国内亚州视频在线观看 | 天天舔天天色 | 窝窝午夜看片成人精品 | 国产精品久久久久久久久免费hd | 免费公开视频人人人人人人人 | 视频免费黄色 | 国产一级aa大片毛片 | 欧美系列在线播放 | 中文天堂网 | 黄色欧美网站 | 性免费视频 | 丁香婷婷开心激情深爱五月 | 亚洲线精品一区二区三区 | 国产免费成人在线视频 | 久久免费精品国产72精品剧情 | 岬奈奈美在线 国产一区 | 天堂视频免费在线观看 | 国产三级香港三级人妇 | 97午夜理伦片在线影院 | 欧美色图综合 | 亚洲成片在线观看12345ba | 狠狠色丁香久久综合网 | 日本aaaaa毛片动漫 | 一个色在线视频 | 天天干网址 | 男女吃奶一进一出动态图 | 免费人成在线观看网站品爱网日本 | 一二三区乱码一区二区三区码 | 天天噜天天干 | 37pao强力打造免费高速高清 | 免费色视频在线观看 |