專家解讀GPT 2.0 VS BERT!GPT 2.0到底做了什么

在談GPT 2.0之前，先回顧下它哥GPT 1.0，這個(gè)之前我在介紹Bert模型的時(shí)候介紹過(guò)，過(guò)程參考上圖，簡(jiǎn)述如下：GPT 1.0采取預(yù)訓(xùn)練+Fine...

2019-02-18 標(biāo)簽：語(yǔ)言模型GPTnlp 1.0萬(wàn) 0

GPT2.0究竟是做什么的？有哪些優(yōu)勢(shì)和不足？未來(lái)發(fā)展趨勢(shì)如何？

在談GPT 2.0之前，先回顧下它哥GPT 1.0，這個(gè)之前我在介紹Bert模型的時(shí)候介紹過(guò)，過(guò)程參考上圖，簡(jiǎn)述如下：GPT 1.0采取預(yù)訓(xùn)練+Fine...

2019-02-18 標(biāo)簽：語(yǔ)言模型GPTnlp 8055 0

深度分析NLP中的注意力機(jī)制

注意力機(jī)制越發(fā)頻繁的出現(xiàn)在文獻(xiàn)中，因此對(duì)注意力機(jī)制的學(xué)習(xí)、掌握與應(yīng)用顯得十分重要。本文便對(duì)注意力機(jī)制做了較為全面的綜述。

2019-02-17 標(biāo)簽：自然語(yǔ)言NLP 3925 0

終于有了！大規(guī)模中文NLP語(yǔ)料庫(kù)！

基于#2和#3，我們會(huì)在測(cè)試集上做測(cè)試，并報(bào)告測(cè)試集上的準(zhǔn)確率；只提供了#1和#2的隊(duì)伍，驗(yàn)證集上的成績(jī)依然可以被顯示出來(lái)，但會(huì)被標(biāo)記為未驗(yàn)證。

2019-02-14 標(biāo)簽：自然語(yǔ)言處理nlp 15.5萬(wàn) 0

如何利用20萬(wàn)條客戶咨詢消息，打造一款功能定制化的自動(dòng)聊天應(yīng)答機(jī)器人？

集群與意圖：這里需要對(duì)這兩個(gè)概念作一個(gè)區(qū)分。集群是一組具有相似語(yǔ)義的句子。比如可以確定10個(gè)句子，內(nèi)容似乎都是關(guān)于購(gòu)買房產(chǎn)的。但是因?yàn)檫@是一種無(wú)監(jiān)督的機(jī)...

2019-01-25 標(biāo)簽：微軟機(jī)器人nlp 2939 0

NLP技術(shù)為什么這么難落地其中有什么困難

AI 很火，但是 AI 的門檻也很高，普通的開發(fā)者想要搭上這波 AI 紅利依然困難。近期，人工智能公司推出了新一代智能 Bot 開放平臺(tái)，它整合了小i機(jī)...

2019-02-03 標(biāo)簽：機(jī)器人AINLP 4195 0

回顧2018自然語(yǔ)言處理NLP最全的應(yīng)用與合作

2018年見證了 NLP 許多新的應(yīng)用發(fā)展。Elvis Saravia 是計(jì)算語(yǔ)言學(xué)專家，也是2019 計(jì)算語(yǔ)言學(xué)會(huì)年度大會(huì)北美分部的項(xiàng)目委員之一。

2019-01-13 標(biāo)簽：阿里云NLP 4776 0

探析自然語(yǔ)言處理中的深度遷移學(xué)習(xí)

展示幾種最先進(jìn)的通用句子嵌入編碼器，特別是在遷移學(xué)習(xí)任務(wù)的少量數(shù)據(jù)上與 Word embedding 模型相比的情況下，它們往往會(huì)給出令人驚訝的良好性能。

2018-12-13 標(biāo)簽：深度學(xué)習(xí)nlp 3154 0

為何說(shuō)Bert是近年來(lái)NLP重大進(jìn)展的集大成者？

這么做有幾個(gè)好處，首先，如果手頭任務(wù) C 的訓(xùn)練集合數(shù)據(jù)量較少的話，現(xiàn)階段的好用的 CNN 比如 Resnet/Densenet/Inception 等...

2018-11-21 標(biāo)簽：圖像神經(jīng)元NLP 1.1萬(wàn) 0

NLP-Progress庫(kù)NLP的最新數(shù)據(jù)集、論文和代碼

方向是自然語(yǔ)言處理的同學(xué)們有福啦，為了跟蹤自然語(yǔ)言處理(NLP)的進(jìn)展，有大量仁人志士在 Github 上維護(hù)了一個(gè)名為 NLP-Progress 的庫(kù)...

2018-11-17 標(biāo)簽：代碼數(shù)據(jù)集NLP 2602 0

BERT的官方代碼終于來(lái)了

預(yù)訓(xùn)練（Pre-training）的成本是相當(dāng)昂貴的（需要4到16個(gè)Cloud TPU訓(xùn)練4天），但是對(duì)于每種語(yǔ)言來(lái)說(shuō)都只需訓(xùn)練一次（目前的模型僅限英語(yǔ)...

2018-11-05 標(biāo)簽：谷歌代碼NLP 1.3萬(wàn) 0

NLP領(lǐng)域取得最重大突破！BERT模型開啟了NLP的新時(shí)代！

BERT 提出一種新的預(yù)訓(xùn)練目標(biāo)：遮蔽語(yǔ)言模型（masked language model，MLM），來(lái)克服上文提到的單向性局限。MLM 的靈感來(lái)自 C...

2018-10-18 標(biāo)簽：編碼器NLP 4606 0

自然語(yǔ)言處理研究的基本問(wèn)題及發(fā)展趨勢(shì)

自然語(yǔ)言處理（NLP）是計(jì)算機(jī)科學(xué)領(lǐng)域與人工智能領(lǐng)域中的一個(gè)重要方向。它研究能實(shí)現(xiàn)人與計(jì)算機(jī)之間用自然語(yǔ)言進(jìn)行有效通信的各種理論和方法。隨著深度學(xué)習(xí)在圖...

2018-09-21 標(biāo)簽：機(jī)器學(xué)習(xí)NLP 8657 0

用NLP技術(shù)分析了一位出名卻也具有爭(zhēng)議的嘻哈歌手——Drake創(chuàng)作的歌詞

有兩種將 LDA 模型進(jìn)行可視化的方法。第一個(gè)是通過(guò)寫一個(gè)函數(shù)，輸出為每個(gè)主題中最突出的單詞。這個(gè)結(jié)果似乎很有意思，但它只能提供了少量的信息。例如下圖中...

2018-10-04 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)算法NLP 4903 0

困擾NLP領(lǐng)域的這三座大山究竟是什么？

曾經(jīng)被視為科幻的場(chǎng)景現(xiàn)在變?yōu)榱爽F(xiàn)實(shí)，但為了維持真正的人機(jī)關(guān)系，機(jī)器必須能夠與人進(jìn)行更直觀、理解上下文和自然的對(duì)話--這仍然是一個(gè)挑戰(zhàn)。我致力于研究NLP...

2018-09-05 標(biāo)簽：智能機(jī)器人NLP 4426 0