大模型由于其在各種任務(wù)中的出色表現(xiàn)而引起了廣泛的關(guān)注。然而，大模型推理的大量計算和內(nèi)存需求對其在資源....

高級的RAG能很大程度優(yōu)化原始RAG的問題，在索引、檢索和生成上都有更多精細的優(yōu)化，主要的優(yōu)化點會集....

MoE 與 MoT：在專家混合中（左），每個令牌都被路由到不同的專家前饋層。在令牌混合（右）中，每組....

這篇論文試圖解決的問題是大型預(yù)訓(xùn)練模型在下游任務(wù)中進行微調(diào)時出現(xiàn)的過擬合問題。盡管低秩適應(yīng)（LoRA....

在選擇k值時，較大的值會使生成的內(nèi)容更具多樣性，但可能會生成不合理的內(nèi)容；較小的值則使生成的內(nèi)容多樣....

斯坦福大學(xué)此前提出的FlashAttention算法，能夠在BERT-large訓(xùn)練中節(jié)省15%，將....

對于所有“基座”（Base）模型，–template 參數(shù)可以是 default, alpaca, ....

NLP上估計會幫助reduce overfitting, improve generalizatio....

篇論文主要研究了大型語言模型（LLMs）中的一個現(xiàn)象，即在模型的隱藏狀態(tài)中存在極少數(shù)激活值（acti....

對于語言模型（LLM）幻覺，知識圖譜被證明優(yōu)于向量數(shù)據(jù)庫。知識圖譜提供更準(zhǔn)確、多樣化、有趣、邏輯和一....

向量數(shù)據(jù)庫是一組高維向量的集合，用于表示實體或概念，例如單詞、短語或文檔。向量數(shù)據(jù)庫可以根據(jù)實體或概....

Meta 發(fā)布的 LLaMA 2，是新的 sota 開源大型語言模型 (LLM)。LLaMA 2 代....

基于1.1中的思想，我們在V2中將原本的內(nèi)外循環(huán)置換了位置（示意圖就不畫了，基本可以對比V1示意圖想....

準(zhǔn)確解釋用戶查詢以檢索相關(guān)的結(jié)構(gòu)化數(shù)據(jù)是困難的，特別是在面對復(fù)雜或模糊的查詢、不靈活的文本到SQL轉(zhuǎn)....

通過SFT、DPO、RLHF等技術(shù)訓(xùn)練了領(lǐng)域?qū)懽髂Ｐ汀崪y下來，在該領(lǐng)域?qū)懽魃希瑥娪趪鴥?nèi)大多數(shù)的閉源....

在思維鏈（CoT）提示的幫助下，大語言模型（LLMs）展現(xiàn)出強大的推理能力。然而，思維鏈已被證明是千....

這個問題隨著LLM規(guī)模的增大愈發(fā)嚴重。并且，如下左圖所示，目前LLM常用的自回歸解碼（autoreg....

.通常CPT開始的階段會出現(xiàn)一段時間的loss上升，隨后慢慢收斂，所以學(xué)習(xí)率是一個很重要的參數(shù)，這很....

盡管大語言模型能力不斷提升，但一個持續(xù)存在的挑戰(zhàn)是它們具有產(chǎn)生幻象的傾向。本文構(gòu)建了幻象評測基準(zhǔn)Ha....

這是任何RAG流程的最后一步——基于我們仔細檢索的所有上下文和初始用戶查詢生成答案。最簡單的方法可能....

單模態(tài)大模型，通常大于100M～1B參數(shù)。具有較強的通用性，比如對圖片中任意物體進行分割，或者生成任....

這個“gradient”怎么得到的了呢，這是個啥玩意，怎么還有梯度？注意，注意。人家是帶引號的！比喻....

PaLM和GLM130b之前的解決辦法是找到loss spike之前最近的checkpoint，更換....

Reward Model的初始化：6B的GPT-3模型在多個公開數(shù)據(jù)（(ARC, BoolQ, Co....

vLLM 中，LLM 推理的 prefill 階段 attention 計算使用第三方庫 xform....

幾天前，OpenAI「超級對齊」(Superalignment)團隊發(fā)布了成立以來的首篇論文，聲稱開....

今天對百川的RAG方法進行解讀，百川智能具有深厚的搜索背景，來看看他們是怎么爬RAG的坑的吧～

我們都知道，OpenAI 團隊一直對 GPT-4 的參數(shù)量和訓(xùn)練細節(jié)守口如瓶。Mistral 8x7....

近期的大語言模型（LLM）在自然語言理解和生成上展現(xiàn)出了接近人類的強大能力，遠遠優(yōu)于先前的BERT等....

隨著開源預(yù)訓(xùn)練大型語言模型（Large Language Model, LLM ）變得更加強大和開放....