DeepSeek在開源周開源了部分關鍵模塊的代碼及推理系統參考架構，再次引發行業震動，但目前尚未開源DeepSeek-V3 滿血版完整訓練代碼。壁仞科技憑借八大自主創新技術，實現DeepSeek-V3滿血版在國產GPU平臺的高效全棧式訓練與推理，實現國產大模型與國產GPU的深度融合優化，開啟國產算力新篇章。

01.首個國產化Megatron-LM

深度適配方案

DeepSeek業界首次提出了Multi-head Latent Attention (MLA) 、Multi-Token Prediction (MTP)、Auxiliary-Loss-Free Load Balancing等新特性，但并未開放訓練代碼，且Megatron-LM初期也未支持DeepSeek-V3。壁仞科技充分利用自研的Megatron-LM-BR插件、訓練框架BR-PyTorch以及高性能加速庫suDNN、suBLAS、suCCL等，在Megatron-LM框架上率先支持了這些新特性。針對DeepSeek-V3預訓練，壁仞支持四大并行策略（TP/EP/PP/DP）靈活組合，較原生方案（TP1PP16EP64DP2）更容易適應不同規模節點的靈活擴展。實現"Attention-MoE異構TP"技術，大幅降低了Attention顯存需求。

02.突破海外GPU高度依賴，

實現關鍵技術國產替代

DeepSeek基于海外GPU做了大量算法和軟硬件協同優化，其實現高度依賴海外GPU微架構、NVLink互連、IB交換機等?；谧匝蠦IREN大算力TCore、高速互連BLink等技術，壁仞科技在DeepSeek開源周之前就已經實現了FlashMLA、DeepGEMM、DeepEP等核心模塊類似功能和優化技術，并進行了軟硬協同深度優化，端到端打通了訓練全流程，實現了關鍵技術的國產自主可控。

03.業界首創顯存優化雙擎技術，

實現滿血版高效訓練

DeepSeek-V3滿血版有671B參數，官方推薦方案至少需要1024個H800（TP1PP16EP64DP1）才能進行全參訓練。為了應對顯存挑戰，壁仞科技自主創新Async Offload、GPU-based Chunk Optimizer等精度無損的顯存優化技術，將大量激活值及優化器狀態異步卸載至CPU內存，實現僅需4096GB顯存（8-16臺單機8卡GPU機器）即可支持DeepSeek-V3全參高效訓練。與此同時，通過巧妙地重疊計算與通信，上述顯存優化技術幾乎沒有帶來訓練性能的損失。另外支持智能重計算策略，自動識別顯存瓶頸層，實現"算力換空間"智能決策。通過Async Offload和重計算顯存優化雙擎技術，實現算力開銷和顯存節約的最佳均衡。

04.業界首創"虛擬層+動態重排"技術，

大幅降低流水線氣泡

DeepSeek的DualPipe技術能掩蓋部分傳輸開銷及大幅降低流水線氣泡，但DualPipe需要GPU微架構層面對計算單元進行精確控制才能實現計算和通信的高效并發，相比1F1B，DualPipe需要增加1倍的模型權重及部分激活值顯存消耗。相比1F1B，Interleave with Virtual Pipeline技術可以在不增加顯存消耗的情況下大幅降低流水線氣泡，但是要求每個PP Stage的layer數是均衡的。DeepSeek-V3有61個Layer，PP8/PP16都無法均衡切分Layer導致無法使能Virtual Pipeline，壁仞科技業界首創"虛擬層+動態重排"技術，通過插入3個虛擬層實現64層均勻切分，重排部分層實現負載均衡，避免流水線等待，最終實現高效PP并行。

05.融合算子加速體系，

釋放國產GPU性能潛力

針對DeepSeek-V3的Linear、Attention、YaRN RoPE、Dispatch、Combine等關鍵耗時算子，壁仞科技基于其GPU架構特點做了極致的圖算/通算融合優化，從多計算操作極致的片上融合，張量處理器與矢量處理器極致異步融合，多級緩存的流水融合，到計算與通信融合，并進一步引入自動化的Kernel Selection技術，基于硬件計算/通信/訪存建模的CostModel針對不同工作負載自適應選擇最優內核實現，將芯片綜合能效發揮到極致。

06.整合關鍵技術模塊，實現DeepSeek-

V3滿血版端到端高效預訓練

壁仞科技壁礪TM系列產品如壁礪TM106M、106B等產品具備高算力、高能效、高通用性等優勢，訓推一體，已在多個行業完成大規模商業化落地，其中在中國電信落地了國內少有的真正實現市場化建設和運營的國產千卡集群，連續訓練30天不中斷，斷點續訓小于5分鐘，支持客戶完成大模型訓練，穩定性、性能、精度各項指標達到客戶要求。此次基于壁礪TM106系列產品，壁仞科技快速高效完成了DeepSeek-V3各項關鍵技術落地，基于RedPajama-Data-1T-Sample主流開源數據集實現了端到端高效預訓練，Loss收斂正常。

07.實現W4A16細粒度量化技術，支持

DeepSeek-V3/R1滿血版高效推理

壁仞科技在此前已經支持了BF16、INT8等版本的DeepSeek-V3/R1滿血版推理，此次新提出W4A16等細粒度混合量化技術，進一步降低了處理延時，提升了總吞吐。另外針對DeepSeek官方最新發布的推理系統參考架構，壁仞科技已初步實現了分布式EP以及PD分離架構，將進一步提供更高性價比的推理集群解決方案。

08.One More Thing

業界首創大模型彈性訓推一體架構，

實現集群最佳利用效率

DeepSeek 開放周最后一天公布了One More Thing-DeepSeek-V3/R1推理系統參考方案，為行業展示了如何實現高性能、低成本的分布式推理集群。其提到“由于白天的服務負荷高，晚上的服務負荷低，因此我們實現了一套機制，在白天負荷高的時候，用所有節點部署推理服務。晚上負荷低的時候，減少推理節點，以用來做研究和訓練”，在計算推理成本時，其將釋放給訓練使用的資源排除在外，因此降低了推理成本（大概20%= 100% - 226節點/278節點）。但如何實現訓練和推理任務高效共享資源呢？

此前在落地千卡集群時，壁仞科技已業界首創了大模型3D并行訓練任務自動彈性伸縮機制，可以在大模型訓練任務不中斷的情況下，根據集群的資源情況自動進行在線擴縮容。根據業務流量情況自動進行削峰填谷，對大模型推理服務進行實例縮容、擴容，相應的訓練任務則自動進行擴容、縮容。通過這套彈性訓推一體架構，可以將集群資源的使用率保持在近100%，大幅降低資源空閑浪費成本。

壁仞科技打造了軟硬一體、全棧優化、異構協同、開源開放的大規模智算集群全棧解決方案，憑借其技術創新能力和商業化落地成果，先后獲得環球時報新質生產力產業實踐“人工智能”示范標桿等多個權威技術獎項，技術方案和產品已在運營商、智算中心、行業AI、金融、電力等多個行業規模落地。此次通過八大核心技術賦能DeepSeek-V3滿血版全棧式訓練推理，進一步提升壁仞科技軟硬一體、開箱即用的產品實力，支持客戶利用好DeepSeek的新質生產力實現業務創新落地！