電子發燒友網報道(文/李彎彎)日前,在火山引擎2025春季FORCE原動力大會上,星宸科技股份有限公司董事副總經理陳立敬談到,在人工智能技術飛速發展的時代,多模態感知與大模型的融合成為推動各行業變革的關鍵力量。星宸科技與豆包大模型的合作,將這一技術趨勢落實到實際應用場景中,在智能家居、可穿戴設備以及連鎖店等領域引發了深刻變革。
智能家居升級
陳立敬指出:“智能家居2.0需要大模型大腦”。在智能家居領域,多模態感知與豆包大模型的結合實現了從基礎連接控制到智能理解決策的跨越升級。傳統的智能家居1.0時代,設備僅能實現簡單的連接與控制功能,而如今智能家居2.0時代,星宸科技借助多模態感知技術,為設備賦予了“感知”能力。以SSC305DE產品為例,其具備1TOPs + 2*CA32 + CM4的計算能力,支持多模態感知且功耗較低,能接入雙攝像頭,搭配豆包大模型,構建起全面的智能看護體系。

在居家跌倒監測場景中,端側設備通過視覺和語音等多模態信息初步識別,將有效幀、有效信息發送至云端豆包大模型進行確認。豆包大模型憑借強大的視覺理解和語音交互能力,不僅提高了事件識別率,避免誤報、漏報,還能在確認跌倒后主動交互,及時通知家人和物業,保障老人安全。

此外,智能家居還接入豆包大模型實現問醫問藥、情感陪伴等功能。用戶在家中就能通過設備獲取專業醫療建議,與設備進行自然流暢的情感交流,滿足情感陪伴需求。同時,通過在板端搭建RAG應用,結合云端大模型,打造智能管家和私人知識庫,實現對個人私有數據的高效管理與智能問答。
大模型如何改變可穿戴場景
可穿戴設備領域同樣因多模態感知與豆包大模型的結合而煥然一新。星宸科技的SSC309QL 小型化、低功耗產品,擁有15TOPs算力,適用于智能眼鏡、智能胸牌等設備,為多模態交互提供了硬件基礎。

智能眼鏡成為個人豆包智能助理的最佳載體,在多個場景發揮重要作用。在學習場景中,智能眼鏡通過多模態感知獲取學習資料、學生的學習狀態等信息,結合豆包大模型的知識儲備,為用戶提供學習輔導和翻譯服務;在工作場景中,可輔助會議記錄、商務溝通和客戶管理,成為高效的工作助理;在日常生活中,能實現快速拍照、錄像、直播等功能,還可根據用戶定義的感興趣區域或物體,智能判斷場景并截取精彩瞬間,生成集錦。在運動和旅游場景中,用戶無需動手操作手機,智能眼鏡就能實時感知環境,結合豆包大模型提供導航、景點介紹等服務,真正實現解放雙手,提升用戶體驗。

大模型應用之連鎖店提效
在連鎖店領域,多模態感知與豆包大模型的應用助力企業實現高效運營和精準管理。星宸科技的SSC388G多模態大算力產品,支持3路sensor輸入,具備強大的多模態分析能力,配合豆包大模型,為連鎖店帶來全方位的提效方案。

在安防合規監測方面,通過實時行為監測與分析,能快速識別違法違規及可疑行為,并聯動安防系統發出警報,保障店鋪安全;在客流分析優化上,利用多模態數據進行客流預測,根據員工經驗和能力合理排班,減少人力浪費,同時通過追蹤客戶移動路徑,識別高流量區域,優化貨架布局,提升排隊及結算效率;在運營管理方面,可識別貨架空置率,自動觸發補貨工單,還能判斷價簽與促銷是否合規;在員工效率提升方面,實現動作標準化檢測及工時統計。

以沃爾瑪為例,通過應用相關技術,利用AI攝像頭將盜竊損失減少35%,借助多模態分析根據攝像頭數據生成決策建議,利用熱力圖調整陳列,使高價值區域轉化率提升18%;其他便利店也通過視覺補貨系統降低缺貨率27%,充分展現了該技術在連鎖店運營中的巨大價值。
寫在最后
多模態感知與豆包大模型的結合,為智能家居、可穿戴設備和連鎖店等行業帶來了顯著的升級與變革。隨著技術的不斷發展和完善,這一技術組合有望在更多領域得到應用,持續推動各行業向智能化、高效化方向邁進,為人們的生活和生產方式帶來更大的改變。
聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。
舉報投訴
發布評論請先 登錄
相關推薦
熱點推薦
德賽西威端側大模型重塑智能座艙體驗
智能汽車產業發展正從規模擴張向質量躍升轉變,其中大模型驅動的智能化升級將成為產業突破的核心引擎。在日前召開的2025上海車展國際汽車關鍵技術論壇上,德賽西威技術中心人工
移遠通信智能模組全面接入多模態AI大模型,重塑智能交互新體驗
全系智能模組產品已全面接入火山引擎豆包VLM(視覺語言)多模態AI大模型。這一突破性進展表明,搭載移遠任意
發表于 03-21 14:12
?245次閱讀

商湯日日新多模態大模型權威評測第一
剛剛,商湯科技日日新SenseNova多模態大模型,在權威綜合評測權威平臺OpenCompass的多模態評測中取得榜單第一。
利用OpenVINO部署Qwen2多模態模型
多模態大模型的核心思想是將不同媒體數據(如文本、圖像、音頻和視頻等)進行融合,通過學習不同模態之間的關聯,實現更加智能化的信息處理。簡單來說
PerfXCloud 重大更新 端側多模態模型 MiniCPM-Llama3-V 2.5 閃亮上架
近日,PerfXCloud完成重大更新,上架了面壁小鋼炮 MiniCPM 系列的端側多模態模型 MiniCPM-Llama3-V 2.5,現

【附實操視頻】聆思CSK6大模型開發板接入國內主流大模型(星火大模型、文心一言、豆包、kimi、智譜glm、通義千問)
輸出的結果進行語音合成實現端側播報。
目前已經接通文心一言、豆包、kimi、智譜glm、通義千問等國內主流大模型,詳細模板和操作步驟可以參考附件文檔。
發表于 08-22 10:12
智能硬件接入主流大模型做語音交互(附文心一言、豆包、kimi、智譜glm、通義千問示例)
本帖最后由 jf_40317719 于 2024-8-21 19:17 編輯
多模態交互離不開硬件載體,近期有不少開發者在研究聆思CSK6大模型開發板除了使用出廠示例自帶的星火大模型
發表于 08-21 19:13
基于AX650N芯片部署MiniCPM-V 2.0高效端側多模態大模型
今年4月份,面壁智能&清華大學自然語言處理實驗室推出MiniCPM系列的最新多模態版本MiniCPM-V 2.0。該模型基于MiniCPM 2.4B和SigLip-400M構建,共擁有

評論