簡單認識高級處理器

除了傳統的處理器 (CPU、MPU/MCU、DSP 和 GPU)，面向當代各種應用的高級處理器（Advanced Processors）層出不窮，例如加...

2023-12-07 標簽：處理器dspamd 1302 0

基于 TPU v4的超級計算機性能解析

谷歌張量處理器（tensor processing unit，TPU）是該公司為機器學習定制的專用芯片（ASIC），第一代發布于 2016 年，成為了 ...

2023-04-23 標簽：連接器gpuTPU 1297 0

為什么GPU適用于AI？AI服務器產業鏈格局分析

GPT模型對比BERT模型、T5模型的參數量有明顯提升。GPT-3是目前最大的知名語言模型之一，包含了1750億（175B）個參數。在GPT-3發布之前...

2024-04-09 標簽：cpugpu人工智能 1293 0

設計大規模并行哈希圖時的幾個重要考慮事項

在 GPU 上使用大規模并行哈希圖實現性能最大化

2023-07-05 標簽：NVIDIAgpuAI 1282 0

字節跳動攻克GPU萬卡互聯技術突破與解決方案

在分布式訓練中大規模使用默認的DCQCN協議時，all-to-all通信可能會導致擁塞和PFC級別的提高。過度使用PFC可能會導致頭部阻塞（HoL），從...

2024-04-01 標簽：gpu人工智能網絡拓撲 1281 0

高性能計算環境下的深度學習異構集群建設與優化實踐

隨著人工智能在工業和學術界大規模的應用，深度學習訓練需求日益迫切。各組織機構投入大量資金購置和搭建配置GPU和InfiniBand網卡異構計算集群。集群...

2023-09-25 標簽：gpu計算機服務器 1281 0

NVIDIA Merlin分布式嵌入使快速、TB級推薦培訓變得簡單

嵌入在深度學習推薦模型中起著關鍵作用。它們用于將數據中的編碼分類輸入映射到可由數學層或多層感知器（ MLP ）處理的數值。

2022-10-11 標簽：NVIDIAgpu深度學習 1280 0

超高清時代的編解碼處理方案

在技術選型方面，正是CPU不可替代的優點讓騰訊云決定摒棄硬件方案的選型，轉為純CPU編碼器的處理。那么，第四代至強是如何助力騰訊云4k/8k超高清解碼的？

2023-09-06 標簽：編碼器cpugpu 1275 0

FPGA或將取代CPU而成為機器人開發的新寵

FPGA這個詞可能很多人都有所耳聞，尤其是理工科的同學們大多數應該都自愿或被迫被這個詞刷屏過。但要真追究起來FPGA到底是個什么東西。

2019-07-01 標簽：FPGACPUGPU 1272 0

Google GPipe為代表的流水線并行范式

但在實際應用中，流水線并行并不特別流行，主要原因是模型能否均勻切割，影響了整體計算效率，這就需要算法工程師做手調。因此，今天我們來介紹一種應用最廣泛，最...

2023-05-26 標簽：Googlegpu模型 1271 0

PrimeSimSPICE：異構計算模型實現數量級性能突破

隨著對更高計算性能的需求不斷增加，HPC 行業正朝著異構計算模型發展，其中 GPU 和 CPU 協同工作以執行通用計算任務。在這種異構計算模型中，GPU...

2023-05-24 標簽：CPUGPUHPC 1271 0

兆芯CPU+GPU+芯片組技術路線

”CPU“ 和“芯片組”分立模式，系統瓶頸在兩者之間的主板總線， SOC變片外為片內、解決了這- -瓶頸;

2023-07-15 標簽：cpu云計算gpu 1270 0

詳解ChatGPT的預訓練模型成長史

PFMs能在nlp中盛行起來，得益于能它同時對單詞的句法和語義表示進行建模，并根據不同的輸入動態改變多義詞的表示上下文。PFM能學習豐富的語法和語義推理...

2023-04-25 標簽：gpunlp半監督學習 1268 0

深入分析評估GPU算力需求

長期來看，國產CPU、GPU、AI芯片廠商受益于龐大的國內市場，疊加國內信創市場帶來國產化需求增量，我們預期國內AI芯片的國產化比例將顯著提升，借此機會...

2024-01-17 標簽：cpuNVIDIAgpu 1249 0