瘋狂的H100：現(xiàn)代GPU體系結(jié)構(gòu)淺析，從算力焦慮開始聊起

昂貴 H100 的一時洛陽紙貴，供不應(yīng)求，大模型訓(xùn)練究竟需要多少張卡呢？GPT-4 很有可能是在 10000 到 20000 張 A100 的基礎(chǔ)上訓(xùn)練...

2023-10-29 標(biāo)簽：gpuAI芯片算力 1.2萬 0

深度解讀各種人工智能加速器和GPU上的LLM性能特征

在不同的硬件平臺上評估LLM對于理解傳統(tǒng)和非傳統(tǒng)體系結(jié)構(gòu)的能力和局限性至關(guān)重要。先前的工作已經(jīng)在超級計算機(jī)上研究了LLM，并使用傳統(tǒng)的深度學(xué)習(xí)基準(zhǔn)來提供...

2023-10-25 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)gpu人工智能 1065 0

Google的TPU芯片的發(fā)展歷史和硬件架構(gòu)

Google在高性能處理器與AI芯片主要有兩個系列：1)針對服務(wù)器端AI模型訓(xùn)練和推理的TPU系列，主要用于Goggle云計算和數(shù)據(jù)中心；2)針對手機(jī)端...

2023-10-18 標(biāo)簽：處理器云計算服務(wù)器 3814 0

AI芯片設(shè)計DNN加速器buffer管理策略

如前所述，數(shù)據(jù)緩存是創(chuàng)建高效DNN加速器的關(guān)鍵組件之一。因此，除了選擇適當(dāng)?shù)臄?shù)據(jù)流(控制數(shù)據(jù)緩存的位置和時間)外，DNN加速器還需要一個緩存方案

2023-10-17 標(biāo)簽：加速器緩沖器FIFO存儲 1757 0

MI300X能否與H100一較高下？

市場研究公司Omdia近日發(fā)布報告稱，預(yù)計英偉達(dá)二季度用于AI和高性能計算應(yīng)用的H100 GPU的出貨量超過了900噸。并且預(yù)計其在未來幾個季度的GPU...

2023-09-28 標(biāo)簽：gpu英偉達(dá)AI芯片 1870 0

先進(jìn)封裝演進(jìn)，ic載板的種類有哪些？

先進(jìn)封裝增速高于整體封裝，將成為全球封裝市場主要增量。根據(jù)Yole的數(shù)據(jù)，全球封裝市場規(guī)模穩(wěn)步增長，2021 年全球封裝 市場規(guī)模 約達(dá) 777 億美元...

2023-09-22 標(biāo)簽：集成電路pcbIC封裝 3690 0

晶圓代工各家的優(yōu)勢與劣勢分別是什么？

在實(shí)際應(yīng)用中，由于其穩(wěn)定的良率也使其收獲了多筆來自三星等其他代工廠的訂單。比如在10nm和7nm制程剛剛量產(chǎn)的時候，高通和英偉達(dá)就分別把驍龍855、86...

2023-09-21 標(biāo)簽：處理器高通晶圓代工 1294 0

傳統(tǒng)封測廠的先進(jìn)封裝有哪些

2023年以來，AIGC迅速發(fā)展，帶動AI芯片與AI服務(wù)器熱潮，而由臺積電推出、被稱為CoWoS的2.5D先進(jìn)封裝技術(shù)更是扮演關(guān)鍵角色。然而，突如其來的...

2023-09-18 標(biāo)簽：臺積電電子元件gpu 758 0

AI芯片之xPU技術(shù)架構(gòu)分析

CPU 和GPU 均具有通用性，但以頻繁的內(nèi)存訪問導(dǎo)致資源消耗為代價。CPU 和 GPU 都是通用處理器，可以支持?jǐn)?shù)百萬種不同的應(yīng)用程序和軟件。

2023-09-05 標(biāo)簽：fpgacpugpu 2938 0

CPU+xPU的異構(gòu)方案解析 cpu和gpu有啥區(qū)別

CPU+xPU 的異構(gòu)方案成為大算力場景標(biāo)配，GPU為應(yīng)用最廣泛的 AI 芯片。目前業(yè)內(nèi)廣泛認(rèn)同的AI 芯片類型包括GPU、FPGA、NPU 等。由于 ...

2023-09-03 標(biāo)簽：cpugpuAI芯片 2579 0

離線語音風(fēng)扇設(shè)計應(yīng)用案例

?1概述?隨著人們生活水平的提高，對產(chǎn)品的功能要求也越來越高，追求舒適的體驗(yàn)感，特別是對操控性的要求越來越高。目前風(fēng)扇產(chǎn)品的控制方式有以下幾類：按鍵控制...

2022-02-11 標(biāo)簽：風(fēng)扇AI芯片 1749 0

AI芯片 CPU+xPU的異構(gòu)方案全面解析

CPU+xPU 的異構(gòu)方案成為大算力場景標(biāo)配，GPU為應(yīng)用最廣泛的 AI 芯片。目前業(yè)內(nèi)廣泛認(rèn)同的AI 芯片類型包括GPU、FPGA、NPU 等。由于 ...

2023-08-22 標(biāo)簽：fpgacpugpu 1652 0

汽車領(lǐng)域擁抱Transformer需要多少AI算力？

Transformer在汽車領(lǐng)域應(yīng)用自然是針對視覺的，ChatGPT3這種至少需要八張英偉達(dá)A100顯卡的大模型是絕對無法出現(xiàn)在汽車上的。

2023-08-17 標(biāo)簽：處理器FSDTransformer 1084 0

如何設(shè)計一顆AI芯片？AI芯片設(shè)計入門方案

機(jī)器學(xué)習(xí)（ML）已經(jīng)在在線活動中變得無處不在。近年來，這些模型的規(guī)模和復(fù)雜性大幅增長，這有助于提高預(yù)測的準(zhǔn)確性和有效性。然而，與此同時，這種增長給用于大...

2023-08-10 標(biāo)簽：內(nèi)存Meta機(jī)器學(xué)習(xí) 4449 0