結(jié)合計(jì)算機(jī)視覺深入理解視覺Transformer技術(shù)

一般講解transformer都會(huì)以機(jī)器翻譯任務(wù)為例子講解，機(jī)器翻譯任務(wù)是指將一種語言轉(zhuǎn)換得到另一種語言，例如英語翻譯為中文任務(wù)。

2023-02-09 標(biāo)簽：計(jì)算機(jī)視覺cnnTransformer 878 0

詳細(xì)解讀ChatGPT 背后的技術(shù)重點(diǎn)

通常，基礎(chǔ)模型的語言建模目標(biāo)不足以讓模型學(xué)會(huì)以有用的方式遵循用戶的指令。模型創(chuàng)建者使用「指令微調(diào) (Instruction Fine-Tuning，IF...

2023-02-09 標(biāo)簽：聊天機(jī)器人nlpChatGPT 793 0

Prompt Tuning相比于Fine Tuning在哪些場景下表現(xiàn)更好？

第三范式：基于「預(yù)訓(xùn)練模型 + finetuning」的范式，如 BERT + finetuning 的NLP任務(wù)，相比于第二范式，模型準(zhǔn)確度顯著提高，...

2023-02-02 標(biāo)簽：模型深度學(xué)習(xí)nlp 2820 0

基于預(yù)訓(xùn)練語言模型的行業(yè)搜索的應(yīng)用和研究

面向產(chǎn)業(yè)和消費(fèi)互聯(lián)網(wǎng)的搜索本質(zhì)都是一樣的：用戶有信息獲取需求，同時(shí)有信息資源庫，通過搜索引擎把兩者橋接起來。

2023-02-01 標(biāo)簽：QPSSCWSLMR 1222 0

NLP類別不均衡問題之loss大集合

　　NLP 任務(wù)中，數(shù)據(jù)類別不均衡問題應(yīng)該是一個(gè)極常見又頭疼的的問題了。最近在工作中也是碰到這個(gè)問題，花了些時(shí)間梳理并實(shí)踐了下類別不均衡問題的解決方式，...

2023-01-31 標(biāo)簽：數(shù)據(jù)代碼GitHub 1067 0

Jina AI到底是做什么的？為什么要做這些

在 Jina AI，我們的產(chǎn)品囊括了跨模態(tài)、多模態(tài)、神經(jīng)搜索和生成式 AI，涵蓋了未來 AI 應(yīng)用的很大一部分。

2023-01-16 標(biāo)簽：人工智能機(jī)器學(xué)習(xí)LDA 2837 0

怎樣去使用ChatGPT呢？

文本生成模型已成為文本輸入方法（如聯(lián)想詞、語言檢查等）的重要技術(shù)支撐。

2023-01-16 標(biāo)簽：ACLnlpChatGPT 2387 0

基于統(tǒng)一語義匹配的通用信息抽取框架USM

信息提取（Information Extraction，IE）需要提取句子中的實(shí)體、關(guān)系、事件等，其不同的任務(wù)具有多樣的抽取目標(biāo)和異質(zhì)的機(jī)構(gòu)，因此，傳統(tǒng)...

2023-01-16 標(biāo)簽：USMGPTnlp 1318 0

基于Transformer編碼器的chatGPT模型設(shè)計(jì)

Bert 所作的事就是從大規(guī)模的上億的文本預(yù)料中，隨機(jī)地扣掉一部分字，形成上面例子的完形填空題型，不斷地學(xué)習(xí)空格處到底該填寫什么。

2023-01-11 標(biāo)簽：解碼器編碼器nlp 1383 0

講一講ChatGPT的技術(shù)細(xì)節(jié)

通過人工標(biāo)注等方式，使用監(jiān)督學(xué)習(xí)的模式對(duì)GPT3模型（對(duì)這個(gè)是chatGPT模型的base）進(jìn)行初步訓(xùn)練（有監(jiān)督微調(diào)，SFT），從而得到一個(gè)初步能夠理解...

2023-01-03 標(biāo)簽：SFTGPTnlp 2607 0

在TensorFlow中對(duì)Tensor進(jìn)行拆和裝

TensorCore改進(jìn)的方向就是針對(duì)矩陣乘法（GEMM，General Matrix Mulitiplicaiton）運(yùn)算進(jìn)行優(yōu)化。

2022-12-29 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)tensorflownlp 877 0

介紹幾篇EMNLP'22的語言模型訓(xùn)練方法優(yōu)化工作

來自：圓圓的算法筆記 今天給大家介紹3篇EMNLP 2022中語言模型訓(xùn)練方法優(yōu)化的工作，這3篇工作分別是： 針對(duì)檢索優(yōu)化語言模型 ：優(yōu)化語言模型訓(xùn)練過...

2022-12-22 標(biāo)簽：算法nlp 1134 0

基于VQVAE的長文本生成 利用離散code來建模文本篇章結(jié)構(gòu)的方法

寫在前面 近年來，多個(gè)大規(guī)模預(yù)訓(xùn)練語言模型 GPT、BART、T5 等被提出，這些預(yù)訓(xùn)練模型在自動(dòng)文摘等多個(gè)文本生成任務(wù)上顯著優(yōu)于非預(yù)訓(xùn)練語言模型。但對(duì)...

2022-12-01 標(biāo)簽：CodeGPTcnn 1973 0

介紹兩種高效的參數(shù)更新方式LoRA與BitFit

NLP一個(gè)重要的范式包括在通用領(lǐng)域數(shù)據(jù)上的大規(guī)模預(yù)訓(xùn)練和在特定任務(wù)或者領(lǐng)域上的微調(diào)。

2022-11-24 標(biāo)簽：PLMLoRa技術(shù)nlp 2647 0

統(tǒng)計(jì)機(jī)器學(xué)習(xí)方法：基于HMM的中文詞性標(biāo)注

「隱馬爾可夫模型（Hidden Markov Model, HMM)」 是做NLP的同學(xué)繞不過去的一個(gè)基礎(chǔ)模型, 是一個(gè)生成式模型, 通過訓(xùn)練數(shù)據(jù)學(xué)習(xí)隱...

2022-11-17 標(biāo)簽：HMM機(jī)器學(xué)習(xí)nlp 1439 0

基于性別的暴力（GBV）的語言表達(dá)如何影響責(zé)任認(rèn)知

不同的語言表達(dá)可以通過強(qiáng)調(diào)某些部分從不同的角度來概念化同一事件。該論文調(diào)查了一個(gè)具有社會(huì)后果的案例：基于性別的暴力（GBV）的語言表達(dá)如何影響責(zé)任認(rèn)知。

2022-11-12 標(biāo)簽：編碼器MSAnlp 1801 0

用于學(xué)習(xí)對(duì)象級(jí)、語言感知和語義豐富視覺表征的GLIP模型

Visual recognition 模型通常只能預(yù)測(cè)一組固定的預(yù)先確定的目標(biāo)類別，這限制了在現(xiàn)實(shí)世界的可擴(kuò)展能力，因?yàn)閷?duì)于新的視覺概念類別和新的任務(wù)領(lǐng)...

2022-10-26 標(biāo)簽：Clipcnnnlp 2154 0

基于BIO序列標(biāo)注的方法和基于片段的圖解析方法

該論文的出發(fā)點(diǎn)是將端到端基于片段的（span-based）語義角色標(biāo)注（SRL）轉(zhuǎn)換為基于詞的（word-based）圖解析（graph parsing）任務(wù)。

2022-10-21 標(biāo)簽：BIO數(shù)據(jù)集nlp 3211 0

分享微博在特征Embedding建模方向做的一些工作

首先我們對(duì)比自然語言處理和圖像處理：NLP 最基本的數(shù)據(jù)元素是單詞，每個(gè)單詞有一定的含義，可能指代某個(gè)實(shí)體；

2022-10-20 標(biāo)簽：圖像處理CTRnlp 1115 0