NVLink技術(shù)之GPU與GPU的通信

在多 GPU 系統(tǒng)內(nèi)部，GPU 間通信的帶寬通常在數(shù)百GB/s以上，PCIe總線的數(shù)據(jù)傳輸速率容易成為瓶頸，且PCIe鏈路接口的串并轉(zhuǎn)換會產(chǎn)生較大延時，...

2024-03-27 標(biāo)簽：cpu數(shù)據(jù)傳輸NVIDIA 5166 0

超算網(wǎng)絡(luò)中的主流拓?fù)浼軜?gòu)

傳統(tǒng)的樹形網(wǎng)絡(luò)拓?fù)渲?，帶寬是逐層收斂的，樹根處的網(wǎng)絡(luò)帶寬要遠小于各個葉子處所有帶寬的總和。而Fat-Tree則更像是真實的樹，越到樹根，枝干越粗，即：從...

2024-03-26 標(biāo)簽：gpu服務(wù)器交換機 6323 0

GPU如何成為人工智能與計算的核心動力

在計算機科學(xué)中，浮點數(shù)（floating points，簡稱浮點）是表示非整數(shù)值的數(shù)據(jù)類型，例如6.2815或0.0044。

2024-03-25 標(biāo)簽：gpu超級計算機人工智能 657 0

一文詳解GPU硬件與CUDA開發(fā)工具

CPU 和 GPU 的顯著區(qū)別是：一個典型的 CPU 擁有少數(shù)幾個快速的計算核心，而一個典型的 GPU 擁有幾百到幾千個不那么快速的計算核心。

2024-03-21 標(biāo)簽：gpuC語言編程語言 1764 0

深度解析Nvidia AI芯片發(fā)展藍圖

從時延角度來看，NVLink C2C采用40Gbps NRZ調(diào)制，可以實現(xiàn)無誤碼運行 （BER《1e-12），免除FEC，接口時延可以做到小于5ns。

2024-03-19 標(biāo)簽：cpuNVIDIAgpu 1707 0

什么是隨機森林？隨機森林的工作原理

隨機森林使用名為“bagging”的技術(shù)，通過數(shù)據(jù)集和特征的隨機自助抽樣樣本并行構(gòu)建完整的決策樹。雖然決策樹基于一組固定的特征，而且經(jīng)常過擬合，但隨機性...

2024-03-18 標(biāo)簽：cpugpuAI 4407 0

Nvidia芯片工藝先進封裝演進洞察

根據(jù)IRDS的樂觀預(yù)測，未來5年，邏輯器件的制造工藝仍將快速演進，2025年會初步實現(xiàn)Logic器件的3D集成。TSMC和Samsung將在2025年左...

2024-03-15 標(biāo)簽：cpuNVIDIAgpu 2186 0

大算力時代，關(guān)于內(nèi)存墻的應(yīng)對方法

以Transformer架構(gòu)為基礎(chǔ)的AI大模型導(dǎo)致了模型參數(shù)量激增，短短兩年間模型大小擴大了驚人的410倍，運算量更是激增了高達750倍。

2024-03-14 標(biāo)簽：gpu內(nèi)存AI 507 0

聊一聊Transformer中的FFN

NLP上估計會幫助reduce overfitting, improve generalization，但是與其花時間改這個地方不如好好clean da...

2024-03-13 標(biāo)簽：gpuTransformernlp 2358 0

深度解讀Nvidia AI芯片路線圖

Nvidia是一個同時擁有 GPU、CPU和DPU的計算芯片和系統(tǒng)公司。Nvidia通過NVLink、NVSwitch和NVLink C2C技術(shù)將CPU...

2024-03-13 標(biāo)簽：cpuNVIDIAgpu 1280 0

為何GPU在AI訓(xùn)練中不可或缺？

人工智能在早期誕生了一個“不甚成功”的流派，叫做“人工神經(jīng)網(wǎng)絡(luò)”。這個技術(shù)的思路是，人腦的智慧無與倫比，要實現(xiàn)高級的人工智能，模仿人腦就是不二法門。

2024-03-12 標(biāo)簽：gpuAI人工智能 688 0

GPU CUDA 編程的基本原理是什么

神經(jīng)網(wǎng)絡(luò)能加速的有很多，當(dāng)然使用硬件加速是最可觀的了，而目前除了專用的NPU（神經(jīng)網(wǎng)絡(luò)加速單元），就屬于GPU對神經(jīng)網(wǎng)絡(luò)加速效果最好了

2024-03-05 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)gpusram 1075 0

AI芯片架構(gòu)誰將問鼎江湖？

Al算力對高效電源提出新需求，背面供電技術(shù)蓄勢待發(fā)：越來越高度化的集成會造成針對加速芯片的電源解決方案越來越復(fù)雜，方案需要不同電壓、不同路的多路輸入，這...

2024-03-05 標(biāo)簽：gpu深度學(xué)習(xí)AI芯片 435 0

先進半導(dǎo)體封裝技術(shù)的革新與演進之路

基于熱壓鍵合（TCB）工藝的微泵技術(shù)已經(jīng)比較成熟，在各種產(chǎn)品中都一直在用。其技術(shù)路線在于不斷擴大凸點間距。

2024-03-04 標(biāo)簽：處理器gpu半導(dǎo)體封裝 1734 0

什么是自動語音識別（ASR）？如何使用深度學(xué)習(xí)和GPU加速ASR

ASR 是自然語言中一項頗具挑戰(zhàn)性的任務(wù)，它由語音分割、聲學(xué)建模和語言建模等一系列子任務(wù)組成，根據(jù)噪聲和未分割的輸入數(shù)據(jù)形成預(yù)測（標(biāo)簽序列）。

2024-02-28 標(biāo)簽：NVIDIAgpuAI 6969 0

從基本原理到應(yīng)用的SLAM技術(shù)深度解析

LSD-SLAM 即 Large-Scale Direct SLAM，兼容單目相機和雙目相機。LSD-SLAM是一種基于光流跟蹤的直接法SLAM，但是實...

2024-02-26 標(biāo)簽：傳感器gpuSLAM 1.0萬 0