總結(jié)FasterTransformer Encoder優(yōu)化技巧

FasterTransformer BERT 包含優(yōu)化的 BERT 模型、高效的 FasterTransformer 和 INT8 量化推理。

2023-05-30 標(biāo)簽：編碼器gpuCUDA 1568 0

Arm發(fā)布全新一代Cortex移動(dòng)CPU架構(gòu)

本次發(fā)布的X4/A720/A520基于最新的Armv9.2指令集，相比上代的X2/X3基于Armv9.0主要提升了性能及并行性，可以支持更多的大核/超大核組合。

2023-05-30 標(biāo)簽：arm臺(tái)積電cpu 1833 0

GPU Render Engine詳細(xì)介紹

GPU （Graphics Processing Unit）是一種專門在個(gè)人電腦、工作站、游戲機(jī)和一些移動(dòng)設(shè)備（如平板電腦、智能手機(jī)等）上做圖形相關(guān)運(yùn)算...

2023-05-30 標(biāo)簽：內(nèi)核gpuintel 1477 0

GPU的預(yù)測瞬態(tài)仿真分析

如今，圖形處理單元 (GPU) 具有數(shù)百億個(gè)晶體管。隨著每一代新一代 GPU 的出現(xiàn)，GPU 中的晶體管數(shù)量不斷增加，以提高處理器性能。然而，晶體管數(shù)量...

2023-05-30 標(biāo)簽：處理器gpu晶體管 890 0

如何使用triton的language api來實(shí)現(xiàn)gemm的算子

前言 通過前兩章對于triton的簡單介紹，相信大家已經(jīng)能夠通過從源碼來安裝triton，同時(shí)通過triton提供的language前端寫出自己想要的一...

2023-05-29 標(biāo)簽：gpu源碼Triton 2792 0

BIOS開發(fā)筆記：顯示類型

UEFI啟動(dòng)流程跑完前三階段，UEFI環(huán)境的準(zhǔn)備基本完成，到BDS階段的任務(wù)就是準(zhǔn)備引導(dǎo)OS。 在此之前還需要使一些必要的硬件工作起來，比如鍵盤設(shè)備，屏...

2023-05-26 標(biāo)簽：顯示器接口GPU 3072 0

Google GPipe為代表的流水線并行范式

但在實(shí)際應(yīng)用中，流水線并行并不特別流行，主要原因是模型能否均勻切割，影響了整體計(jì)算效率，這就需要算法工程師做手調(diào)。因此，今天我們來介紹一種應(yīng)用最廣泛，最...

2023-05-26 標(biāo)簽：Googlegpu模型 1264 0

Server的通訊量與GPU數(shù)量呈線性關(guān)系

在上篇介紹中，通訊負(fù)載不均的優(yōu)化我們解釋過了，但還遺留了一個(gè)顯存開銷問題：數(shù)據(jù)并行中，每個(gè)GPU上都復(fù)制了一份完整模型，當(dāng)模型變大時(shí)，很容易打爆GPU的...

2023-05-26 標(biāo)簽：gpuServer顯存 910 0

游戲顯示器的未來

從視頻卡在顯示器上顯示圖像涉及許多步驟;有人甚至可能認(rèn)為它涉及兩個(gè)主要步驟（即從準(zhǔn)備框架到渲染框架）。顯示器以固定的刷新率工作，即顯示器上圖像的刷新頻率...

2023-05-26 標(biāo)簽：顯示器gpu監(jiān)視器 1747 0

GDDR6超越圖形：用于AI、VR和自動(dòng)駕駛的內(nèi)存

現(xiàn)代計(jì)算機(jī)應(yīng)用程序嚴(yán)重依賴圖形處理和渲染，這涉及大量同步數(shù)學(xué)計(jì)算。典型的 CPU 不適合需要同時(shí)處理的作業(yè)，這就是引入專用圖形處理單元 （GPU） 概念...

2023-05-26 標(biāo)簽：cpuGPU計(jì)算機(jī) 1301 0

NSDI '23熱點(diǎn)論文：可編程、RDMA、數(shù)據(jù)中心、GPU有哪些新動(dòng)態(tài)？

NSDI常年錄取率非常低，穩(wěn)定在20%以下，有的年份甚至低于15%。投稿量來看，在早幾年中呈現(xiàn)出緩慢上升的趨勢，從16年的228到2021年的369篇，...

2023-05-25 標(biāo)簽：gpu可編程網(wǎng)絡(luò)通信 3961 0

Layerscape LX2160A：小體積大算力

與大多數(shù)其他Layerscape處理器一樣，LX2160A處理器面向無頭嵌入式系統(tǒng)。它不適用于擁有強(qiáng)大CPU和流暢用戶界面的計(jì)算機(jī)。誠然，它的大多數(shù)指標(biāo)...

2023-05-25 標(biāo)簽：處理器CPUgpu 2232 0

深入淺出GPU優(yōu)化系列：gemv優(yōu)化

這次講到并行算法設(shè)計(jì)，什么叫并行算法設(shè)計(jì)。每個(gè)人的理解都不太一樣，在GPU中，我的理解就是：設(shè)計(jì)block和thread的workload，說白了就是要...

2023-05-25 標(biāo)簽：寄存器gpu線程 2847 0

如何對GPU中的矩陣乘法（GEMM）進(jìn)行優(yōu)化

本篇文章是GEMM優(yōu)化的第一個(gè)部分，在這篇文章中，只說優(yōu)化思路和分析。

2023-05-25 標(biāo)簽：寄存器gpu代碼 3908 1

PrimeSimSPICE：異構(gòu)計(jì)算模型實(shí)現(xiàn)數(shù)量級(jí)性能突破

隨著對更高計(jì)算性能的需求不斷增加，HPC 行業(yè)正朝著異構(gòu)計(jì)算模型發(fā)展，其中 GPU 和 CPU 協(xié)同工作以執(zhí)行通用計(jì)算任務(wù)。在這種異構(gòu)計(jì)算模型中，GPU...

2023-05-24 標(biāo)簽：CPUGPUHPC 1257 0

基于GPU 的并行模擬退火算法調(diào)度應(yīng)用

作者：翟昌宇，李德禎，劉博（上海船舶電子設(shè)備研究所） 引言 智能制造是“中國制造2025”的主攻方向，是人工智能技術(shù)深度融入制造業(yè)的產(chǎn)物。越來越多的制造...

2023-05-24 標(biāo)簽：云計(jì)算gpu物聯(lián)網(wǎng) 1687 0

國內(nèi)外GPU市場現(xiàn)狀分析

英偉達(dá) GeForce RTX 40 系列 GPU 為游戲玩家和創(chuàng)作者提供了高性能游戲體驗(yàn)。這一系列 GPU 由更高效的 NVIDIA Ada Love...

2023-05-23 標(biāo)簽：處理器gpu人工智能 1530 0

使用分子動(dòng)力學(xué)軌跡來預(yù)測大型自旋系統(tǒng)中的核自旋弛豫行為

分子動(dòng)力學(xué)（MD）模擬對于研究小分子和大型生物分子系統(tǒng)的構(gòu)象移動(dòng)性非常有用，但對于MD力場預(yù)測的構(gòu)象能量和分布的準(zhǔn)確性仍存在疑慮。

2023-05-20 標(biāo)簽：gpuOPCNMR 1465 0