這篇究極諷刺的文章一出，NLP無(wú)了
一個(gè)在推上測(cè)試Phi-1.5的例子引發(fā)了眾多討論。例如，如果你截?cái)嘞聢D這個(gè)問(wèn)題并輸入給Phi-1.5....
最新研究綜述——探索基礎(chǔ)模型中的“幻覺(jué)”現(xiàn)象
這種“幻覺(jué)”現(xiàn)象可能是無(wú)意中產(chǎn)生的，它可以由多種因素導(dǎo)致，包括訓(xùn)練數(shù)據(jù)集中存在的偏見(jiàn)、模型不能獲取最....
TextBind：在開(kāi)放世界中多輪交織的多模態(tài)指令跟隨
語(yǔ)言模型能夠執(zhí)行各種任務(wù)，包括根據(jù)一組圖像創(chuàng)作引人入勝的故事，比較多個(gè)圖像中的共同和不同之處，用生動(dòng)....
Falcon-7B大型語(yǔ)言模型在心理健康對(duì)話數(shù)據(jù)集上使用QLoRA進(jìn)行微調(diào)
使用領(lǐng)域適應(yīng)技術(shù)對(duì)預(yù)訓(xùn)練LLM進(jìn)行微調(diào)可以提高在特定領(lǐng)域任務(wù)上的性能。但是，進(jìn)行完全微調(diào)可能會(huì)很昂貴....
從原理到代碼理解語(yǔ)言模型訓(xùn)練和推理，通俗易懂，快速修煉LLM
要理解大語(yǔ)言模型（LLM），首先要理解它的本質(zhì)，無(wú)論預(yù)訓(xùn)練、微調(diào)還是在推理階段，核心都是next t....
百川的大模型KnowHow介紹
大模型是一個(gè)實(shí)驗(yàn)工程，涉及數(shù)據(jù)清洗、底層框架、算法策略等多個(gè)工序，每個(gè)環(huán)節(jié)都有很多坑，因此知道如何避....
字節(jié)跳動(dòng)李航：AI for Science的一些探索和進(jìn)展
ByteDance Research 也在進(jìn)行 AI for Science 的研究，包括機(jī)器學(xué)習(xí)與....
開(kāi)源大模型FLM-101B：訓(xùn)練成本最低的超100B參數(shù)大模型
近期，一支來(lái)自中國(guó)的研究團(tuán)隊(duì)正是針對(duì)這些問(wèn)題提出了解決方案，他們推出了FLM-101B模型及其配套的....
如何更好地繼續(xù)預(yù)訓(xùn)練（Continue PreTraining）
但，這種前提是「充分訓(xùn)練」，如果只看訓(xùn)練前期的話，使用更長(zhǎng)的預(yù)熱步數(shù)（黃色的線）。無(wú)論是「上游任務(wù)」....
基于多模態(tài)學(xué)習(xí)的虛假新聞檢測(cè)研究
目前，單流架構(gòu)模型在視頻分類(lèi)、情感分析、圖像生成等多模態(tài)領(lǐng)域中得以廣泛應(yīng)用，單流模型具有結(jié)構(gòu)簡(jiǎn)單、容....
LLaMA微調(diào)顯存需求減半，清華提出4比特優(yōu)化器
從 GPT-3，Gopher 到 LLaMA，大模型有更好的性能已成為業(yè)界的共識(shí)。但相比之下，單個(gè) ....
大模型外掛知識(shí)庫(kù)優(yōu)化-大模型輔助向量召回
用LLM根據(jù)用戶query生成k個(gè)“假答案”。（大模型生成答案采用sample模式，保證生成的k個(gè)答....
RLAIF：一個(gè)不依賴(lài)人工的RLHF替代方案
如圖所示，在RLAIF中，首先使用LLM來(lái)評(píng)估給定的文本和2個(gè)候選回復(fù)，然后，這些由LLM生成的偏好....
YaRN：一種高效RoPE擴(kuò)展方法，可推理更長(zhǎng)上下文并達(dá)到SOTA
為了解決在插值RoPE嵌入時(shí)丟失高頻信息的問(wèn)題，[4]中開(kāi)發(fā)了"NTK-aware"插值。與同樣乘以....
斯坦福教授Manning長(zhǎng)文梳理：十年后的基礎(chǔ)模型能成AGI嗎？
Transofrmer一個(gè)常見(jiàn)的自監(jiān)督目標(biāo)是遮罩文本中出現(xiàn)的單詞，將該位置的query, key和v....
AI Agents的框架構(gòu)成以及LLMs的基礎(chǔ)知識(shí)
智能代理（AI Agents）長(zhǎng)期以來(lái)都被視為通往人工通用智能（AGI）的一條希望途徑，預(yù)期中其能夠....
一個(gè)任務(wù)通用的的指令微調(diào)Embedder！
現(xiàn)有的文本嵌入表示方法在應(yīng)用到新的任務(wù)或領(lǐng)域時(shí)，通常性能都會(huì)受損，甚至應(yīng)用到相同任務(wù)的不同領(lǐng)域也會(huì)遇....
十分鐘讀懂旋轉(zhuǎn)編碼（RoPE）
對(duì)于位置編碼，常規(guī)的做法是在計(jì)算 query，key 和 value 向量之前，會(huì)計(jì)算一個(gè)位置編碼向....
大模型現(xiàn)存的10個(gè)問(wèn)題和挑戰(zhàn)
減輕幻覺(jué)問(wèn)題并開(kāi)發(fā)用于衡量幻覺(jué)的度量標(biāo)準(zhǔn)是一個(gè)蓬勃發(fā)展的研究課題。有許多初創(chuàng)公司專(zhuān)注于解決這個(gè)問(wèn)題。....
32k上下文可商用！羊駝進(jìn)化成長(zhǎng)頸鹿，“開(kāi)源大模型之最”
首先團(tuán)隊(duì)發(fā)現(xiàn)，目前已有的長(zhǎng)下文外推方法普遍都是通過(guò)修改注意力機(jī)制中使用的位置編碼系統(tǒng)，指示token....
LoRA繼任者ReLoRA登場(chǎng)，通過(guò)疊加多個(gè)低秩更新矩陣實(shí)現(xiàn)更高效大模型訓(xùn)練效果
雖然目前學(xué)術(shù)界和工業(yè)界都在不斷推出自家的各種基座模型，但不可否認(rèn)的是，完全預(yù)訓(xùn)練一個(gè)具有初等推理能力....
大模型分布式訓(xùn)練并行技術(shù)（一）-概述
數(shù)據(jù)并行是最常見(jiàn)的并行形式，因?yàn)樗芎?jiǎn)單。在數(shù)據(jù)并行訓(xùn)練中，數(shù)據(jù)集被分割成幾個(gè)碎片，每個(gè)碎片被分配到....
BaiChuan13B多輪對(duì)話微調(diào)范例
答案是不會(huì)。原因是LLM作為語(yǔ)言模型，它的注意力機(jī)制是一個(gè)單向注意力機(jī)制(通過(guò)引入 Masked A....
國(guó)內(nèi)首個(gè)數(shù)學(xué)千億大模型MathGPT上線開(kāi)啟公測(cè)
用戶使用MathGPT時(shí)，用文字或圖片方式上傳數(shù)學(xué)題，即可得到對(duì)話式的解答反饋，也可以通過(guò)“隨機(jī)來(lái)一....
通過(guò)循環(huán)訓(xùn)練實(shí)現(xiàn)忠實(shí)的低資源數(shù)據(jù)文本生成
從結(jié)構(gòu)化數(shù)據(jù)中自然語(yǔ)言生成（NLG）往往會(huì)產(chǎn)生多種錯(cuò)誤，從而限制了這些模型在面向客戶的應(yīng)用中的實(shí)用性....
大型語(yǔ)言模型與知識(shí)圖譜：機(jī)遇與挑戰(zhàn)
這對(duì)知識(shí)表示領(lǐng)域來(lái)說(shuō)是一個(gè)巨大的步驟。長(zhǎng)時(shí)間以來(lái)，人們關(guān)注的是明確的知識(shí)，例如嵌入在文本中的知識(shí)，有....
為什么要做AI研究器
OpenAI所選擇的路徑就是：「Turn compute into alignment」，通過(guò)計(jì)算的....
關(guān)于Llama 2的一切資源，我們都幫你整理好了
Meta 發(fā)布的 Llama 2，是新的 SOTA 開(kāi)源大型語(yǔ)言模型（LLM）。Llama 2 代表....
中科大提出：LLMs的個(gè)性化綜述，詳述大模型與個(gè)性化的挑戰(zhàn)與機(jī)遇
因此，我們認(rèn)為現(xiàn)在是時(shí)候?qū)徱晜€(gè)性化服務(wù)的挑戰(zhàn)以及用大型語(yǔ)言模型來(lái)解決它們的機(jī)會(huì)了。特別是，我們?cè)谶@篇....
工商網(wǎng)監(jiān)