目前,數字化與智能化的深度融合正重塑千行萬業的競爭格局。江蘇潤和軟件股份有限公司(以下簡稱“潤和軟件”)以昇騰AI算力為引擎、openEuler開源系統為基石、OpenHarmony全場景連接為脈絡,結合DeepSeek行業大模型,正式推出覆蓋云-邊-端的智能生態體系,實現了“云端智能決策、邊緣實時響應、終端無縫交互”的全鏈協同,通過開源技術與自主創新能力的深度耦合,開啟“軟硬一體、生態無界”的新范式。
AI時代中,企業不僅需要前瞻性的技術布局,更需破解“算力成本高、端側部署困難、場景碎片化”的核心痛點,潤和軟件以全棧自主可控為根基,以軟硬協同、場景驅動、生態開放為支點,實現5大技術突破,為企業構筑從模型開發到落地部署的“零摩擦”智能升級路徑。
云邊協同智能
通過“昇騰910芯片+openEuler開源操作系統+DeepSeek模型”,潤和軟件打造了云端訓練平臺,實現大規模數據并行處理與高精度模型優化;依托“昇騰310芯片+OpenHarmony開源操作系統+DeepSeek模型”構建了邊端推理系統,實現實時低延時智能推理。二者協同融合,形成了從云端訓練到邊端推理的全鏈路閉環系統,為行業提供了全場景、高效、穩定的智能計算解決方案。
云端:潤和軟件基于openEuler開源操作系統發行的HopeOS AI版本,實現了昇騰910芯片與操作系統內核的無損兼容,基于HopeOS AI版的NUMA親和性調度以及容器化編排,可以支持多卡集群分布式訓練。
邊端:在昇騰310芯片上,潤和軟件基于OpenHarmony開源操作系統的分布式軟總線、統一數據管理能力與DeepSeek輕量化模型相結合,支持邊緣設備間低時延通信與協同推理。
云邊協同訓練推理示意圖
統一推理引擎hoperun_llm,南北向兼容
南向:通過硬件抽象層(HAL)適配多類芯片(昇騰910、昇騰310、RKNPU等),屏蔽底層差異,實現“一次開發,多端部署”。
北向:支持PyTorch、TensorFlow、MindSpore等主流框架模型格式轉換,涵蓋各類開源模型(DeepSeek、Qwen、ChatGLM等),提供統一API接口,同時保證在各操作系統上的穩定運行,降低開發者多模型適配成本,定制輕量化AI運行時。
hoperun_llm引擎在OpenHarmony上推理DeepSeek 1.5B大模型
量化過程中的質量評估,保證量化精度
量化技術不僅大幅降低了模型的存儲和計算開銷,使其更適合部署在資源受限的邊端設備上,同時通過嚴格的量化精度保證,使模型在高效運行時保持準確的推理能力和穩定的應用效果。
分層動態量化:針對大模型不同層級的敏感性差異(如Attention層對量化誤差容忍度低),采用混合精度策略——關鍵層保留FP16精度,非關鍵層壓縮至INT8/INT4甚至更低,兼顧精度與壓縮率。
量化質量評估:引入感知量化損失評估,在模型壓縮過程中實時監測輸出偏差,評估精度損失對模型性能的影響。結合行業場景的閾值要求,動態調整量化參數,優化模型在邊端設備上的精度與效率平衡。
原生DeepSeek和1.58bit量化版本了在部分數據集上的評測對比
能效感知的軟硬協同全域調優技術
潤和軟件充分發揮在AI方向上的能力優勢,通過硬件加速與軟件優化能力,全方位性能提升芯片及操作系統性能。
硬件加速優化:針對昇騰、瑞芯微等邊端芯片特性,定制算子加速庫加速算法執行,根據訓練推理負載實時調整芯片的電壓與頻率。
軟件加速優化:進一步加強AI場景下的openEuler、OpenHarmony開源操作系統的深度調優。
軟硬協同:基于潤和軟件在openEuler和OpenHarmony開源操作系統上定制的性能分析工具,以及強化學習算法,自動搜索芯片頻率、內存帶寬、任務并行度的最優組合。
DeepSeek1.5B大模型在RK3588上推理
行業模型微調使能
潤和軟件基于DeepSeek大模型,深度融合行業know-how與全棧AI技術實現從通用智能到行業專屬智能的精準躍遷。
行業數據定制化:針對不同行業的特定需求,潤和軟件對各行業的特有數據進行深度分析和定制化處理,確保模型深入學習行業特征,提升模型在行業應用中的準確性和魯棒性。
領域知識嵌入:結合行業專家的知識與經驗,潤和軟件通過“知識蒸餾”技術,將領域知識嵌入模型中,幫助模型快速學習行業規則,減少訓練數據需求,提高模型對行業需求的適應性。
任務特化微調:針對垂直行業的具體任務,潤和軟件在DeepSeek的基礎上進行微調,優化模型的結構與算法,確保模型在行業應用中具有更高的準確度和推理速度。
經過數據監督微調后,模型在邊端設備部署后的能力增強
未來,潤和軟件將以客戶需求為指引,持續優化AI軟硬件協同能力,深化與DeepSeek系列模型的融合,面向千行萬業提供定制化智能決策與全場景數據洞察服務,提升企業競爭力,共同邁向數智未來。
江蘇潤和軟件股份有限公司(簡稱“潤和軟件”)成立于2006年,2012年在深圳證券交易所創業板上市(證券代碼:300339),是國家重點規劃布局內的大型軟件企業。公司總部位于南京,在北京、上海、深圳、香港等22個國內主要城市設有研發中心或分子公司,在日本、美國、新加坡等國設有海外分支機構,全球員工約13000人,擁有全球化的技術整合、客戶響應與服務到達能力。
秉承“做民族軟件脊梁,擔世界進步責任”的使命,潤和軟件致力成為“中國數智科技與服務創新的引領者”,通過國產化、數字化、智能化創新技術,軟硬件一體化解決方案能力及全生命周期軟件服務體系,激活行業新動能、發展新質生產力,助力廣大客戶數字化轉型和智能化升級。
-
昇騰
+關注
關注
1文章
152瀏覽量
6848 -
潤和軟件
+關注
關注
1文章
307瀏覽量
1118 -
DeepSeek
+關注
關注
1文章
759瀏覽量
1137
原文標題:潤和軟件構建基于“昇騰+openEuler+OpenHarmony+DeepSeek”的全場景云-邊-端智能生態體系
文章出處:【微信號:hoperun300339,微信公眾號:潤和軟件】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
科技賦能碧水保衛戰,凱米斯智能監測體系守護水生態

潤和軟件榮獲華為“生態星火燎原獎”
浪潮軟件率先推出政務服務大模型,重塑全場景應用

潤和軟件將持續深化“昇騰+DeepSeek”技術路線
潤和軟件AIRUNS智能中樞平臺接入DeepSeek大模型

潤和軟件與潤開鴻榮獲上海海思“解決方案生態合作伙伴”認證
潤開鴻亮相首屆鴻蒙生態大會
潤和軟件展示技術創新與生態共建最新成果
惠普AI PC全場景AI解決方案重磅發布, AI一步到位,智能觸手可及

專注充電充滿想象,羅馬仕全球品牌升級打造全場景用電體驗生態

專注充電充滿想象,羅馬仕全球品牌升級打造全場景用電體驗生態

評論