鯤云科技全新一代的可重構(gòu)數(shù)據(jù)流 AI 芯片 CAISA 430 成功適配 DeepSeek R1 蒸餾模型推理，這一創(chuàng)新舉措為大模型應(yīng)用的高效部署帶來了全新的解決方案，標(biāo)志著可重構(gòu)數(shù)據(jù)流 AI 技術(shù)與大模型融合發(fā)展的又一重要里程碑，也展示了鯤云科技的可重構(gòu)數(shù)據(jù)流技術(shù)的技術(shù)通用性和生態(tài)友好。

全新一代可重構(gòu)數(shù)據(jù)流 AI 芯片 CAISA 430

此次適配的 CAISA 430 芯片是鯤云科技基于第四代可重構(gòu)數(shù)據(jù)流架構(gòu)技術(shù)研發(fā)，于 2023 年底回片，并于 2024 年實(shí)現(xiàn)量產(chǎn)，相較于上一代產(chǎn)品，其實(shí)測(cè)性能、通用性等關(guān)鍵指標(biāo)實(shí)現(xiàn)了跨越性提升。該芯片采用國(guó)內(nèi)成熟的 12nm 制程工藝生產(chǎn)，端到端芯片利用率最高可達(dá) 90%，有效算力指標(biāo)表現(xiàn)突出。此外，憑借鯤云自主研發(fā)的 RainBuilder 編譯工具鏈，CAISA 430 支持所有常用的 AI 算子和算法模型，展現(xiàn)出強(qiáng)大的通用性，可以滿足不同深度學(xué)習(xí)算法的推理需求。

▲ Rainbuilder 編譯工具鏈

鯤云科技基于 CAISA 芯片推出了一系列 AI 算力產(chǎn)品，包括面向邊緣端、數(shù)據(jù)中心進(jìn)行深度學(xué)習(xí)推斷的 AI 專用計(jì)算加速的星空加速卡 X3、X3A、N460H，面向低算力場(chǎng)景的星空 X6A、N430S/P/E 邊緣小站，以及基于星空加速卡系列推出的智能計(jì)算服務(wù)器等，為計(jì)算機(jī)視覺、語音語義及大模型應(yīng)用提供高性能、低延時(shí)、高算力性價(jià)比的 AI 算力支持。

高效適配，為 DeepSeek R1 推理提供底層 AI 算力支持

DeepSeek R1 作為一款先進(jìn)的推理模型，基于 Transformer 架構(gòu)，其參數(shù)規(guī)模龐大，對(duì)硬件的計(jì)算能力和內(nèi)存容量提出了極高要求。CAISA 430 芯片憑借其高算力性價(jià)比和強(qiáng)大的通用性，能夠?yàn)?DeepSeek R1 推理提供有力支持。CAISA 430 的高芯片利用率確保了在處理大規(guī)模模型時(shí)能夠充分利用硬件資源，減少計(jì)算資源的浪費(fèi)，從而提高推理效率。同時(shí)，CAISA 430 的可重構(gòu)數(shù)據(jù)流架構(gòu)能夠根據(jù) DeepSeek R1模型的特點(diǎn)進(jìn)行動(dòng)態(tài)配置，生成面向該模型的高性能定制化流水線，進(jìn)一步優(yōu)化推理性能。

▲ DeepSeek R1 Llama 8B模型在RainBuilder上編譯過程圖示

鑒于 CAISA 430 強(qiáng)大的通用性，原生支持 DeepSeek R1 蒸餾模型的開源基礎(chǔ)模型，DeepSeek R1 的QWen和 Llama 模型可直接在 CAISA 430 上運(yùn)行，不需要復(fù)雜的適配工作，技術(shù)團(tuán)隊(duì)主要進(jìn)行了精度驗(yàn)證和性能優(yōu)化，適配模型包括已發(fā)布的 DeepSeek-R1-Distill-Qwen-1.5B、DeepSeek-R1-Distill-Qwen-7B、DeepSeek-R1-Distill-Qwen-14B、DeepSeek-R1-Distill-Qwen-32B、DeepSeek-R1-Distill-Llama-8B、DeepSeek-R1-Distill-Llama-70B。

▲ DeepSeek R1 Llama 8B模型運(yùn)行圖示

大模型友好：助力 AI 應(yīng)用高效部署，加速人工智能落地

在大模型時(shí)代，如何高效地部署和運(yùn)行這些模型成為了一個(gè)關(guān)鍵問題。CAISA 430 芯片的適配為 DeepSeek R1 推理提供了更加靈活和高效的解決方案，能夠?yàn)椴煌?guī)模和需求的 AI 項(xiàng)目提供底層算力支持。

對(duì)高精度和強(qiáng)大推理能力的應(yīng)用場(chǎng)景，CAISA 430 能夠充分發(fā)揮其高實(shí)測(cè)性能的優(yōu)勢(shì)，滿足 DeepSeek R1 模型的計(jì)算需求。

對(duì)資源有限的應(yīng)用場(chǎng)景，CAISA 430 的通用性和可重構(gòu)性讓用戶可以根據(jù)實(shí)際情況對(duì)模型進(jìn)行優(yōu)化和調(diào)整，降低硬件資源的消耗。

基于可重構(gòu)數(shù)據(jù)流架構(gòu)底層優(yōu)勢(shì)，適配后的CAISA430芯片算力產(chǎn)品的優(yōu)勢(shì)主要體現(xiàn)在：

產(chǎn)品形態(tài)多樣：支持邊緣盒子、一體機(jī)、AI 服務(wù)器、算力中心服務(wù)器集群等邊緣至中心不同產(chǎn)品形態(tài)，適配不客戶不同場(chǎng)景的AI推理需求;

適配算法豐富：配套的星云 AI 開發(fā)平臺(tái)支持超過 400 種視覺模型、視覺大模型、大語言模型等算法模型，可靈活搭配按需使用，無論是復(fù)雜的視覺識(shí)別任務(wù)還是大規(guī)

模的語言處理應(yīng)用，都能高效運(yùn)行;

行業(yè)方案落地：配套的星空系列算力平臺(tái)，提供深入行業(yè)、滿足行業(yè)需求的 AI 解決方案，當(dāng)前已落地覆蓋超過 30 個(gè)行業(yè)，幫助客戶加速落地智能化項(xiàng)目。

截止到目前，CAISA 系列芯片產(chǎn)品已服務(wù)上千客戶，落地 5000+項(xiàng)目，實(shí)現(xiàn)規(guī)模化的業(yè)務(wù)落地，充分驗(yàn)證了商業(yè)可行性。

CAISA 芯片在短時(shí)間內(nèi)快速完成DeepSeek R1 大模型適配，充分展示了 CAISA 系列可重構(gòu)數(shù)據(jù)流架構(gòu)芯片在高算力利用率的同時(shí)，可以做到對(duì)于深度學(xué)習(xí)算法的通用、便捷、快速支持，體現(xiàn)了 CAISA 芯片與工具鏈經(jīng)過 4 代架構(gòu)迭代后的深厚積累。未來，鯤云科技將沿著 CAISA 創(chuàng)新架構(gòu)的全新技術(shù)路線，提供下一代計(jì)算平臺(tái)基座，加速千行百業(yè)人工智能產(chǎn)品落地。