文心一言是什么？文心一言有哪些功能？

文心一言 *（英文名：ERNIE Bot）* 是百度全新一代知識(shí)增強(qiáng)大語(yǔ)言模型，文心大模型家族的新成員，能夠與人對(duì)話互動(dòng)，回答問(wèn)題，協(xié)助創(chuàng)作，高效便捷地...

2023-08-31 標(biāo)簽：語(yǔ)言模型深度學(xué)習(xí)文心一言 58.9萬(wàn) 0

華為AI盤(pán)古大模型與chatgpt，Mate 60 Pro接入盤(pán)古人工智能大模型

華為盤(pán)古大模型是華為公司最新推出的AI語(yǔ)言模型，該模型的命名取自中國(guó)神話中的盤(pán)古開(kāi)天辟地的故事。該模型在2021年4月正式發(fā)布，是華為公司在人工智能領(lǐng)域...

2023-09-05 標(biāo)簽：華為語(yǔ)言模型盤(pán)古大模型 8662 0

完成適配！曦云C500在智譜AI升級(jí)版大模型上充分兼容、高效穩(wěn)定運(yùn)行

近日，沐曦集成電路（上海）有限公司（下稱“沐曦”）曦云C500千億參數(shù)AI大模型訓(xùn)練及通用計(jì)算GPU與北京智譜華章科技有限公司（下稱“智譜AI”）開(kāi)源的...

2023-08-23 標(biāo)簽：gpuAI語(yǔ)言模型 8169 0

一套新的自然語(yǔ)言處理（NLP）評(píng)估基準(zhǔn)，名為 SuperGLUE

實(shí)現(xiàn) NLP 的方法有很多，主流的方法大多圍繞多任務(wù)學(xué)習(xí)和語(yǔ)言模型預(yù)訓(xùn)練展開(kāi)，由此孕育出很多種不同模型，比如 BERT、MT-DNN、ALICE 和 S...

2019-04-29 標(biāo)簽：語(yǔ)言模型自然語(yǔ)言處理nlp 6452 0

谷歌再次發(fā)布BERT的多語(yǔ)言模型和中文模型

為了評(píng)估這些系統(tǒng)，我們使用了XNLI dataset，它是MultiNLI的一個(gè)版本，其中dev集和test集已經(jīng)（由人類）翻譯成15種語(yǔ)言。需要注意的...

2018-11-08 標(biāo)簽：谷歌語(yǔ)言模型機(jī)器翻譯 6309 0

OpenAI發(fā)布一款令人印象深刻的語(yǔ)言模型GPT-2

今年2月，OpenAI發(fā)布了一款令人印象深刻的語(yǔ)言模型GPT-2，它可以寫(xiě)短篇小說(shuō)、詩(shī)歌，甚至輕松辨別《哈利波特》和《指環(huán)王》中的角色。最近，一位加拿大...

2019-05-17 標(biāo)簽：AI語(yǔ)言模型機(jī)器學(xué)習(xí) 4743 0

GTP正式誕生，你的自媒體會(huì)發(fā)生什么變化？

GPT是一種人工智能模型，代表了“生成預(yù)訓(xùn)練語(yǔ)言模型”的縮寫(xiě)。GPT系列模型由OpenAI公司開(kāi)發(fā)，采用了深度學(xué)習(xí)和自然語(yǔ)言處理技術(shù)，用于生成自然語(yǔ)言文本。

2023-05-11 標(biāo)簽：人工智能語(yǔ)言模型GPT 4601 0

SuperGLUE正式上線：NLP模型們，來(lái)迎接挑戰(zhàn)吧！

GLUE全稱是通用語(yǔ)言理解評(píng)估（General Language Understanding Evaluation），基于已有的9種英文語(yǔ)言理解任務(wù)，涵...

2019-09-13 標(biāo)簽：語(yǔ)言模型數(shù)據(jù)集nlp 4308 0

三星發(fā)布UFS 4.0 和UFS 5.0產(chǎn)品規(guī)劃，順序讀取速度提升至8GB/s

隨著端側(cè)人工智能的崛起，智能手機(jī)市場(chǎng)對(duì)UFS技術(shù)也提出更高要求。考慮到大語(yǔ)言模型在未來(lái)的應(yīng)用前景，提升UFS接口速度迫在眉睫。

2024-03-21 標(biāo)簽：智能手機(jī)人工智能語(yǔ)言模型 4264 0

布朗大學(xué)90后研究生：我們復(fù)現(xiàn)了15億參數(shù)GPT-2模型，你也行！

本模型的實(shí)現(xiàn)基于Grover模型，并修改其代碼庫(kù)以匹配GPT-2的語(yǔ)言建模訓(xùn)練目標(biāo)。由于他們的模型是在類似的大型語(yǔ)料庫(kù)上進(jìn)行訓(xùn)練的，因此大部分代碼和超參...

2019-09-01 標(biāo)簽：語(yǔ)言模型數(shù)據(jù)集 3577 0

從預(yù)訓(xùn)練語(yǔ)言模型看MLM預(yù)測(cè)任務(wù)

為了解決這一問(wèn)題，本文主要從預(yù)訓(xùn)練語(yǔ)言模型看MLM預(yù)測(cè)任務(wù)、引入prompt_template的MLM預(yù)測(cè)任務(wù)、引入verblize類別映射的Promp...

2022-11-14 標(biāo)簽：語(yǔ)言模型nlp 3386 0

Google科學(xué)家設(shè)計(jì)簡(jiǎn)化稀疏架構(gòu)Switch Transformer，語(yǔ)言模型的參數(shù)量可擴(kuò)展至 1.6 萬(wàn)億

剛剛，Google Brain 高級(jí)研究科學(xué)家 Barret Zoph 發(fā)帖表示，他們?cè)O(shè)計(jì)了一個(gè)名叫「Switch Transformer」的簡(jiǎn)化稀疏架...

2021-01-13 標(biāo)簽：Google架構(gòu)語(yǔ)言模型 3363 0

Multilingual多語(yǔ)言預(yù)訓(xùn)練語(yǔ)言模型的套路

Facebook在Crosslingual language model pretraining（NIPS 2019）一文中提出XLM預(yù)訓(xùn)練多語(yǔ)言模型，...

2022-05-05 標(biāo)簽：語(yǔ)言模型數(shù)據(jù)集nlp 3347 0

OpenAI宣布，發(fā)布了7.74億參數(shù)GPT-2語(yǔ)言模型

就在本周，OpenAI宣布，發(fā)布了7.74億參數(shù)GPT-2語(yǔ)言模型，15.58億的完整模型也有望于幾個(gè)月內(nèi)發(fā)布，并將GPT-2這6個(gè)月的進(jìn)展情況在博客上...

2019-09-01 標(biāo)簽：語(yǔ)言模型數(shù)據(jù)集nlp 3208 0

同濟(jì)大學(xué)發(fā)布首個(gè)“知識(shí)大模型”CivilGPT，深化教育教學(xué)數(shù)字化轉(zhuǎn)型

該大模型由同濟(jì)大學(xué)獨(dú)立研發(fā)，通過(guò)構(gòu)建高質(zhì)量的語(yǔ)料庫(kù)并利用千億級(jí)別的基礎(chǔ)模型進(jìn)行訓(xùn)練，成功打造了首個(gè)具備土木工程專業(yè)知識(shí)的垂直領(lǐng)域大模型，為工程教育和科研...

2024-05-28 標(biāo)簽：人工智能語(yǔ)言模型大模型 3033 0

如何進(jìn)行MLM訓(xùn)練

Bert的MLM是靜態(tài)mask，而在后續(xù)的其他預(yù)訓(xùn)練模型中，這一策略通常被替換成了動(dòng)態(tài)mask。除此之外還有 whole word mask 的模型，這...

2022-08-13 標(biāo)簽：模型語(yǔ)言模型mask 3009 0

Zero-shot-CoT是multi-task的方法

大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型借助于針對(duì)特定任務(wù)設(shè)計(jì)的prompt（無(wú)論是few shot還是zero shot），在單步驟的system-1任務(wù)上有著出色表現(xiàn)，...

2022-06-15 標(biāo)簽：自動(dòng)化語(yǔ)言模型 2857 0