請問移動端生成式AI如何在Arm CPU上運行呢？

2023 年，生成式人工智能 (Generative AI) 領域涌現出諸多用例。這一突破性的人工智能 (AI) 技術是 OpenAI 的 ChatGP...

2024-05-21 標簽：RAM人工智能LLM 1136 0

Optimum Intel三步完成Llama3在算力魔方的本地量化和部署

Llama3 是Meta最新發布的開源大語言模型(LLM), 當前已開源8B和70B參數量的預訓練模型權重，并支持指令微調。

2024-05-10 標簽：處理器pythonLLM 1372 0

OpenAI新研究：指令層次結構防御LLM攻擊策略

為了解決這個問題，這篇研究提出了一種指令層次結構（instruction hierarchy）。它明確定義了不同指令的優先級，以及當不同優先級的指令發生...

2024-04-28 標簽：指令AIGPT 505 0

主流GPU/TPU集群組網方案深度解析

用于連接 GPU 服務器中的 8 個 GPU 的 NVLink 交換機也可以用于構建連接 GPU 服務器之間的交換網絡。Nvidia 在 2022 年的...

2024-04-24 標簽：gpu服務器InfiniBand 1423 0

MOE與MOT：提升LLM效能的關鍵策略比較

MoE 與 MoT：在專家混合中（左），每個令牌都被路由到不同的專家前饋層。在令牌混合（右）中，每組內的令牌被混合，并且混合令牌由專家前饋層處理。

2024-04-15 標簽：控制器機器學習LLM 1258 0

自然語言處理應用LLM推理優化綜述

當前，業界在將傳統優化技術引入 LLM 推理的同時，同時也在探索從大模型自回歸解碼特點出發，通過調整推理過程和引入新的模型結構來進一步提升推理性能。

2024-04-10 標簽：人工智能自然語言處理調度器 833 0

LLM推理任務中GPU的選擇策略

在Roofline模型可以直觀展示一張曲線圖，其中x軸表示AI（Arithmetic Intensity），即每個內存操作對應的浮點運算次數；y軸表示性...

2024-04-07 標簽：NVIDIAgpuLLM 1428 0

OpenVINO? C# API部署YOLOv9目標檢測和實例分割模型

YOLOv9模型是YOLO系列實時目標檢測算法中的最新版本，代表著該系列在準確性、速度和效率方面的又一次重大飛躍。

2024-04-03 標簽：英特爾計算機視覺深度學習 1221 0

OpenVINO?協同Semantic Kernel：優化大模型應用性能新路徑

作為主要面向 RAG 任務方向的框架，Semantic Kernel 可以簡化大模型應用開發過程，而在 RAG 任務中最常用的深度學習模型就是 Embe...

2024-03-08 標簽：JAVAOpenAI大模型 1056 0

利用知識圖譜與Llama-Index技術構建大模型驅動的RAG系統（下）

對于語言模型（LLM）幻覺，知識圖譜被證明優于向量數據庫。知識圖譜提供更準確、多樣化、有趣、邏輯和一致的信息，減少了LLM中出現幻覺的可能性。

2024-02-22 標簽：數據庫語言模型知識圖譜 1469 0

快速全面了解大模型長文本能力

那關于LLM的長文本能力，目前業界通常都是怎么做的？有哪些技術點或者方向？今天我們就來總結一波，供大家快速全面了解。

2024-02-22 標簽：GPT位置編碼器大模型 1082 0

開發RAG管道過程中的12個痛點

準確解釋用戶查詢以檢索相關的結構化數據是困難的，特別是在面對復雜或模糊的查詢、不靈活的文本到SQL轉換方面

2024-02-21 標簽：SQL數據源OpenAI 969 0

如何在TorchServe上提供LLMs的分布式推理

你可以看到我們在這里使用了張量并行和并行預填充。它實際上幫助大大加快了推理速度。與等效的GPU相比，它使得Inferentia 2的成本大幅降低了。我們...

2024-01-31 標簽：gpu內存并行處理 1021 0

小紅書搜索團隊研究新框架：負樣本在大模型蒸餾中的重要性

在思維鏈（CoT）提示的幫助下，大語言模型（LLMs）展現出強大的推理能力。然而，思維鏈已被證明是千億級參數模型才具有的涌現能力。

2024-01-30 標簽：算法OpenAI大模型 1260 0

探索LangChain：構建專屬LLM應用的基石

LangChain通過Loader加載外部的文檔，轉化為標準的Document類型。Document類型主要包含兩個屬性：page_content 包含...

2024-01-30 標簽：ChatGPTLLM 881 0

LLM推理加速新范式！推測解碼（Speculative Decoding）最新綜述

這個問題隨著LLM規模的增大愈發嚴重。并且，如下左圖所示，目前LLM常用的自回歸解碼（autoregressive decoding）在每個解碼步只能生...

2024-01-29 標簽：解碼模型LLM 3943 0

淺析流行的LLM推理堆棧和設置

還有一個與批次大小有關的數量，它們在一個有趣的點上相交。這個點不取決于硬件之外的任何因素。舉例來說，在 A10G 和 A100 上，硬件可以實現的總浮點...

2024-01-29 標簽：神經網絡gpuAI 504 0

使用基于Transformers的API在CPU上實現LLM高效推理

英特爾 Extension for Transformers是英特爾推出的一個創新工具包，可基于英特爾 架構平臺，尤其是第四代英特爾 至強 可擴展處理器...

2024-01-22 標簽：處理器英特爾cpu 3143 0

大語言模型事實性幻象的實驗性分析

盡管大語言模型能力不斷提升，但一個持續存在的挑戰是它們具有產生幻象的傾向。本文構建了幻象評測基準HaluEval 2.0，并基于該評測框架從預訓練/有監...

2024-01-19 標簽：開源語言模型自然語言處理 662 0