在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

從TPU v1到Trillium TPU,蘋果等科技公司使用谷歌TPU進行AI計算

Carol Li ? 來源:電子發燒友 ? 作者:李彎彎 ? 2024-07-31 01:08 ? 次閱讀

電子發燒友網報道(文/李彎彎)7月30日消息,蘋果公司周一在一篇技術論文中表示,支撐其人工智能系統Apple Intelligence的兩個人工智能模型是在谷歌設計的云端芯片上進行預訓練的。這表明,在訓練尖端人工智能方面,大型科技公司正在尋找英偉達以外的替代品。

不斷迭代的谷歌TPU芯片

隨著機器學習算法,特別是深度學習算法在各個領域的廣泛應用,對于高效、低功耗的AI計算硬件需求日益增長。傳統的CPUGPU在處理這些算法時存在效率較低的問題,促使谷歌等科技巨頭開始探索專用AI加速芯片的研發。

谷歌在2015年左右開始規劃開發新的專用架構處理器,旨在優化機器學習算法中的張量運算執行過程。經過快速迭代和研發,谷歌于2016年發布了首個TPU版本(TPU v1),專門用于大規模機器學習加速。

TPU v1部署于數據中心,用于加速神經網絡的推理階段。擁有65536個8-bit MAC(矩陣乘單元),峰值性能為92 TOPS(每秒萬億次操作),以及28 MiB的片上內存空間。相比于CPU和GPU,TPU v1在響應時間和能效比上表現出色,能夠顯著提升神經網絡的推理速度。

隨著技術的不斷進步,谷歌相繼推出了多個TPU版本,不斷提升性能和功能。例如,TPU v2和TPU v3被設計為服務端AI推理和訓練芯片,支持更復雜的AI任務。TPU v4則進一步增強了擴展性和靈活性,支持大規模AI計算集群的構建。

在面對爭議和質疑后,谷歌推出了TPU v5e版本。TPU v5e在架構上進行了調整,采用單TensorCore架構,并在INT8峰值算力上有所提升。盡管在BF16峰值算力上略低于前代版本,但TPU v5e更適用于推理任務,并體現了谷歌在AI算力服務市場的戰略選擇。

在今年5月的I/O開發者大會上,谷歌又發布了第六代張量處理單元 (TPU) ,稱為Trillium。Trillium TPU 可以更快地訓練下一波基礎模型,并以更少的延遲和更低的成本為這些模型提供服務。至關重要的是,Trillium TPU 的能效比 TPU v5e 高出 67% 以上。

值得一提的是,Trillium 可以在單個高帶寬、低延遲 Pod 中擴展到多達 256 個 TPU。除了這種 Pod 級可擴展性之外,借助多切片技術和Titanium 智能處理單元 (IPU ),Trillium TPU 還可以擴展到數百個 Pod,從而連接建筑物級超級計算機中的數萬個芯片,這些芯片通過每秒數 PB 的速度互連數據中心網絡。

谷歌表示,Trillium TPU 將為下一波 AI 模型和代理提供動力,包括自動駕駛汽車公司Nuro、藥物發現公司Deep Genomics、德勤等企業也采用其TPU產品進行應用。

越來越多企業使用谷歌TPU芯片滿足AI計算

據谷歌官方信息,其最新TPU的運行成本每小時不足2美元,但客戶需提前三年預訂以確保使用。自2015年專為內部工作負載設計的TPU問世以來,谷歌于2017年將其向公眾開放,如今,TPU已成為人工智能領域最為成熟和先進的定制芯片之一。

谷歌在其多個設施中使用了自研的TPU(Tensor Processing Unit)芯片。谷歌云平臺廣泛使用了TPU芯片來支持其AI基礎設施。這些芯片被用于加速機器學習模型的訓練和推理過程,提供高性能和高效的計算能力。通過谷歌云平臺,用戶可以訪問到基于TPU芯片的虛擬機實例(VM),用于訓練和部署自己的機器學習模型。

除此之外,已經有多家公司使用谷歌的TPU芯片,如蘋果,蘋果在最新發表的技術論文中承認,公司采用了谷歌張量處理單元(TPU)訓練其人工智能模型。

在周一發布的技術論文中,蘋果詳細介紹為支持蘋果個人智能化系統Apple Intelligence而開發了一些基礎語言模型,包括一個用于在設備上高效運行的約30億參數模型——端側“蘋果基礎模型”(AFM),以及一個為蘋果云端AI架構“私有云計算”(Private Cloud Compute)而設計的大型服務器語言模型——服務器AFM。

蘋果披露,訓練模型采用了谷歌研發的第四代AI ASIC芯片TPUv4和更新一代的芯片TPUv5。蘋果在8192塊TPUv4 芯片上從無到有訓練服務器AFM,使用4096的序列長度和4096個序列的批量大小,進行6.3萬億token訓練。端側AFM在2048塊TPUv5p芯片上進行訓練。

此外,Anthropic這家被譽為“OpenAI勁敵”的人工智能初創公司,據悉是谷歌TPU芯片的早期用戶之一。Anthropic使用谷歌Cloud TPU v5e芯片為其大語言模型(LLM)Claude提供硬件支持,以加速模型的訓練和推理過程。Hugging Face和AssemblyAI這兩家同樣在人工智能領域備受矚目的初創公司也在大規模使用谷歌TPU芯片來支持其AI應用。

另外,許多科研機構也在使用谷歌TPU芯片來支持其AI相關的研究項目。這些機構可以利用TPU芯片的高性能計算能力來加速實驗過程,推動科研進展。一些教育機構也將谷歌TPU芯片用于教學和培訓目的,幫助學生和研究人員學習和掌握機器學習技術。

寫在最后

長期以來,英偉達的高性能GPU在高端人工智能模型訓練市場占據主導地位,包括OpenAI、微軟、Anthropic在內的多家科技公司紛紛采用其GPU來加速模型訓練。但在過去幾年里,英偉達GPU始終供不應求,為此谷歌、Meta、甲骨文及特斯拉等企業都在自研芯片,以滿足各自人工智能系統與產品開發的需求。

不僅如此,如谷歌,雖然TPU最初是為內部工作負載而創建,而其憑借著諸多優勢,現在正得到更廣泛的應用。隨著人工智能技術的不斷發展和市場的不斷擴大,未來可能會有更多的企業選擇使用谷歌TPU芯片來滿足其AI計算需求。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 谷歌
    +關注

    關注

    27

    文章

    6225

    瀏覽量

    107644
  • 蘋果
    +關注

    關注

    61

    文章

    24539

    瀏覽量

    203240
  • TPU
    TPU
    +關注

    關注

    0

    文章

    152

    瀏覽量

    21104
收藏 人收藏

    評論

    相關推薦
    熱點推薦

    OpenAI與博通洽談合作!定制化ASIC芯片走向臺前,英偉達GPU迎來“勁敵”?

    設計公司就開發新芯片進行洽談,以減輕對英偉達的依賴并加強供應鏈。 ? 此外,據稱OpenAI還聘請了曾參與谷歌張量處理單元(TPU)開發和生產的谷歌
    的頭像 發表于 07-20 00:02 ?5603次閱讀
    OpenAI與博通洽談合作!定制化ASIC芯片走向臺前,英偉達GPU迎來“勁敵”?

    智算加速卡是什么東西?它真能在AI戰場上干掉GPU和TPU

    隨著AI技術火得一塌糊涂,大家都在談"大模型"、"AI加速"、"智能計算",可真到了落地環節,算力才是硬通貨。你有沒有發現,現在越來越多的AI企業不光用GPU,也不怎么迷信
    的頭像 發表于 06-05 13:39 ?295次閱讀
    智算加速卡是什么東西?它真能在<b class='flag-5'>AI</b>戰場上干掉GPU和<b class='flag-5'>TPU</b>!

    TPU處理器的特性和工作原理

    張量處理單元(TPU,Tensor Processing Unit)是一種專門為深度學習應用設計的硬件加速器。它的開發源于對人工智能(AI)和機器學習應用的需求,尤其是深度學習中的神經網絡計算
    的頭像 發表于 04-22 09:41 ?1044次閱讀
    <b class='flag-5'>TPU</b>處理器的特性和工作原理

    Google推出第七代TPU芯片Ironwood

    在 Google Cloud Next 25 大會上,我們隆重推出第 7 代 Tensor Processing Unit (TPU) — Ironwood。這不僅是我們迄今為止性能最高、擴展性最佳的定制 AI 加速器,更是第一款專為推理而設計的
    的頭像 發表于 04-16 11:20 ?462次閱讀
    Google推出第七代<b class='flag-5'>TPU</b>芯片Ironwood

    谷歌第七代TPU Ironwood深度解讀:AI推理時代的硬件革命

    谷歌第七代TPU Ironwood深度解讀:AI推理時代的硬件革命 Google 發布了 Ironwood,這是其第七代張量處理單元 (TPU),專為推理而設計。這款功能強大的
    的頭像 發表于 04-12 11:10 ?1617次閱讀
    <b class='flag-5'>谷歌</b>第七代<b class='flag-5'>TPU</b> Ironwood深度解讀:<b class='flag-5'>AI</b>推理時代的硬件革命

    谷歌新一代 TPU 芯片 Ironwood:助力大規模思考與推理的 AI 模型新引擎?

    電子發燒友網報道(文 / 李彎彎)日前,谷歌在 Cloud Next 大會上,隆重推出了最新一代 TPU AI 加速芯片 ——Ironwood。據悉,該芯片預計于今年晚些時候面向 Google
    的頭像 發表于 04-12 00:57 ?2162次閱讀

    TPU編程競賽|第二十屆研電賽算能杯賽啟動 -- 智算賦能,創見未來!

    第二十屆中國研究生電子設計競賽(以下簡稱“研電賽”)正式啟動,算能作為命題企業聚焦人工智能與邊緣計算前沿技術,圍繞TPU硬件平臺與輕量化AIoT系統發布兩大創新賽題,涵蓋大模型邊緣部署、智能交互系統
    的頭像 發表于 04-01 17:33 ?970次閱讀
    <b class='flag-5'>TPU</b>編程競賽|第二十屆研電賽算能杯賽啟動 -- 智算賦能,創見未來!

    為什么無法使用OpenVINO?模型優化器轉換TensorFlow 2.4模型?

    已下載 ssd_mobilenet_v2_fpnlite_640x640_coco17_tpu-8 型號。 使用將模型轉換為中間表示 (IR) ssd_support_api_v
    發表于 03-05 09:07

    TPU編程競賽系列|第九屆集創賽“算能杯”火熱報名中!

    ,探索將語言模型、邊緣計算技術移植并部署于TPU硬件設備上的創新方案。在這個充滿希望的蛇年新春,讓我們共同開啟智能時代的新篇章!一、賽題任務基于算能TPU硬件,實現
    的頭像 發表于 02-06 13:41 ?995次閱讀
    <b class='flag-5'>TPU</b>編程競賽系列|第九屆集創賽“算能杯”火熱報名中!

    光纜用tpu外護套用在哪些型號光纜上

    型號: 鎧裝野戰光纜:如GJYPJH-2B1型號,這類光纜通常用于野外布線、搶修場景,需要具備良好的耐磨、抗拉和柔性,以適應復雜多變的野外環境。TPU外護套能有效保護光纜免受外界損
    的頭像 發表于 01-10 10:05 ?641次閱讀

    TPU編程競賽|2024 CCF BDCI大賽圓滿結束!算能賽道“常務副SOTA”團隊榮獲最佳算法能力獎

    近日,中國計算機學會在海南博鰲成功舉辦了第十二屆CCF大數據與計算智能大賽(簡稱2024CCFBDCI)。本屆比賽的算能賽道吸引了1748名選手報名,經過激烈角逐,北京航空航天大學的“常務副SOTA
    的頭像 發表于 01-08 08:33 ?542次閱讀
    <b class='flag-5'>TPU</b>編程競賽|2024 CCF BDCI大賽圓滿結束!算能賽道“常務副SOTA”團隊榮獲最佳算法能力獎

    《算力芯片 高性能 CPUGPUNPU 微架構分析》第3篇閱讀心得:GPU革命:圖形引擎AI加速器的蛻變

    標量、向量、矩陣的表示;硬件實現看,不同廠商各顯神通。谷歌TPU采用脈動陣列計算單元,通過數據流向的精心編排提升計算密度;NVIDIA張量
    發表于 11-24 17:12

    蘋果轉向谷歌芯片訓練AI,或成棄用英偉達GPU首例

    在7月29日這個令全球矚目的日子里,蘋果公司對外展示了其iPhone AI應用的首次預覽版本,并同步發表了相關研究論文,而這篇論文十分明確地指出,蘋果的深度學習人工智能模型正是在Google的
    的頭像 發表于 07-30 16:06 ?930次閱讀

    【算能RADXA微服務器試用體驗】+ GPT語音與視覺交互:2,圖像識別

    /download.sh 下載完成后,應該可以看到文件夾中出現以下模型: ./models ├── BM1684 │├── yolov8s_fp32_1b.bmodel# 使用TPU-MLIR編譯,用于
    發表于 07-14 23:36

    TPU編程競賽系列|2024中國國際大學生創新大賽產業命題賽道,算能11項命題入選!

    近日,中國國際大學生創新大賽(原“互聯網+”大賽)產業命題正式公布,算能十一項命題成功入選。本次算能賽題主要聚焦于國產TPU處理器的邊緣系統開發和RISC-V架構處理器的系統設計。大賽提供了多款
    的頭像 發表于 07-02 08:34 ?914次閱讀
    <b class='flag-5'>TPU</b>編程競賽系列|2024中國國際大學生創新大賽產業命題賽道,算能11項命題入選!
    主站蜘蛛池模板: 日本三级香港三级人妇网站 | 在线观看s色 | 夜夜爽一区二区三区精品 | 岛国毛片在线观看 | 一级毛片q片 | 国产精品乳摇在线播放 | 最好免费高清视频观看韩国 | 成人深夜视频 | 久久久久久9 | 日本簧片在线观看 | jinv在线视频 | 免费一级特黄特色大片在线观看 | 手机免费看a | 72种姿势欧美久久久久大黄蕉 | 手机看片1024日韩 | 最近2018年在线中文字幕高清 | 亚洲婷婷综合网 | 国产三级日产三级日本三级 | aa视频在线观看 | 亚洲毛片网站 | 综合网在线观看 | 狂捣猛撞侍卫攻双性王爷受 | 成人国产精品毛片 | 欧美另类图片亚洲偷 | 久久久久综合 | 久操视频在线免费观看 | 日韩午夜免费 | 夜夜爽天天干 | 欧美性video精品 | 日本最猛黑人xxxx猛交 | 四虎国产成人亚洲精品 | 国产做a爰片久久毛片a | 欧美午夜性刺激在线观看免费 | 手机福利在线观看 | 日日夜夜狠狠 | 毛片观看网址 | 国内久久精品视频 | 日本理论片www视频 日本理论午夜中文字幕第一页 | 亚洲精品一卡2卡3卡三卡四卡 | a资源在线 | 欧美67194|