語言大模型內部究竟是如何工作的？

當ChatGPT在去年秋天推出時，在科技行業乃至世界范圍內引起了轟動。當時，機器學習研究人員嘗試研發了多年的語言大模型（LLM），但普通大眾并未十分關注...

2023-08-23 標簽：神經網絡機器學習GPT 1009 0

LLM大模型訓練Trick系列之拒絕采樣

這個方法之所以有效，是因為均勻分布幫助我們將Mq(x)提供的“封包”縮放到p(x)的概率密度函數。另一種看法是，我們取樣點x0的概率。這與從g中取樣x0...

2023-08-21 標簽：算法大模型LLM 3454 0

什么是向量數據庫？關系數據庫和向量數據庫之間的區別是什么？

向量數據庫是一種以向量嵌入（高維向量）方式存儲和管理非結構化數據（如文本、圖像或音頻）的數據庫，以便于快速查找和檢索類似對象。

2023-08-16 標簽：存儲器向量機機器學習 2865 0

GPT-4沒有推理能力嗎？

今年三月，OpenAI 重磅發布了 GPT-4 大模型，帶來了比 ChatGPT 背后 GPT-3.5 更強的推理、計算、邏輯能力，也引發了全民使用的熱...

2023-08-11 標簽：機器學習GPTOpenAI 1064 0

更適合機械寶寶體質的操作系統，竟然內置LLM！

工程師們一直在試圖搭建更智能、可靠的機器人，比如之前火爆全網、來自波士頓動力公司的機器狗Spot。它可以輕松上下樓梯、搬運重物、巡查街道，等等。

2023-08-03 標簽：人機交互機器人編解碼器 599 0

BigCode背后的大規模數據去重方法有哪些？

本文面向對大規模文檔去重感興趣，且對散列 (hashing) 、圖 (graph) 及文本處理有一定了解的讀者。

2023-08-02 標簽：存儲器URLpython 1330 0

LLM的長度外推淺談

蘇神最早提出的擴展LLM的context方法，基于bayes啟發得到的公式

2023-07-28 標簽：解碼器LLM 2104 0

適用于各種NLP任務的開源LLM的finetune教程~

ChatGLM2-6b是清華開源的小尺寸LLM，只需要一塊普通的顯卡(32G較穩妥)即可推理和微調，是目前社區非常活躍的一個開源LLM。

2023-07-24 標簽：LoRa模塊nlpprompt 1916 0

基于MNN在個人設備上流暢運行大語言模型該如何實現呢？

LLM（大語言模型）因其強大的語言理解能力贏得了眾多用戶的青睞，但LLM龐大規模的參數導致其部署條件苛刻；

2023-07-20 標簽：轉換器存儲器C++語言 1939 0

RISC-V 跑大模型（二）：LLaMA零基礎移植教程

這是RISC-V跑大模型系列的第二篇文章，主要教大家如何將LLaMA移植到RISC-V環境里。

2023-07-17 標簽：RISC-V大模型LLM 1587 0

RISC -V跑大模型（一）

去年，ChatGPT的出現震驚了全世界，在短短幾個月的時間內，ChatGPT的月活躍用戶達到了1億。ChatGPT的成功讓許多人第一次知道了大語言模型（...

2023-07-17 標簽：RISC-VRISC-V處理器ChatGPT 1214 0

最新綜述！當大型語言模型（LLM）遇上知識圖譜：兩大技術優勢互補

LLM 是黑箱模型，缺乏可解釋性，因此備受批評。LLM 通過參數隱含地表示知識。因此，我們難以解釋和驗證 LLM 獲得的知識。此外，LLM 是通過概率模...

2023-07-10 標簽：編碼語言模型知識圖譜 2324 0

當紅炸子雞LoRA，是當代微調LLMs的正確姿勢？

大多數人對于 LLM 的“親密度”，可能最多就是拉個開源的 demo 跑下推理過程，得到個“意料之中”的結果，然后很諷刺地自 high 一把：WOW~ ...

2023-07-07 標簽：模型LoRaChatGPT 3071 0

英特爾銳炫顯卡運行類ChatGPT的開源大語言模型(LLM)Dolly 2.0解讀

人類偏好強化學習Reinforcement learning with human preferences（RLHF）和 InstructGPT 等技術...

2023-07-07 標簽：英特爾顯卡開源 1827 0

使用NVIDIA NeMo定制LLM的過程

如何創建自定義語言模型

2023-07-05 標簽：NVIDIAAI語言模型 1004 0

我們能否擴展現有的預訓練 LLM 的上下文窗口

? ? 在大家不斷升級迭代自家大模型的時候，LLM（大語言模型）對上下文窗口的處理能力，也成為一個重要評估指標。 ? 比如 OpenAI 的 gpt-3...

2023-06-30 標簽：編碼窗口模型 804 0

基于一個完整的 LLM 訓練流程

? ? 在這篇文章中，我們將盡可能詳細地梳理一個完整的 LLM 訓練流程。包括模型預訓練（Pretrain）、Tokenizer 訓練、指令微調（Ins...

2023-06-29 標簽：數據編碼模型 2481 0

一種完全由LLM + 啟發式搜索算法結合的TOT算法

今天分享一篇普林斯頓大學的一篇文章，Tree of Thoughts: Deliberate Problem Solving with Large La...

2023-06-29 標簽：模塊算法語言模型 1857 0

基于Transformer的大型語言模型（LLM）的內部機制

本文旨在更好地理解基于 Transformer 的大型語言模型（LLM）的內部機制，以提高它們的可靠性和可解釋性。 隨著大型語言模型（LLM）在使用和部...

2023-06-25 標簽：存儲語言模型Transformer 1737 0