近日，騰訊科技(深圳)有限公司公布了一項(xiàng)名為“大語(yǔ)言模型的訓(xùn)練方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)”的新專利。該專利的公布，標(biāo)志著騰訊在大語(yǔ)言模型訓(xùn)練領(lǐng)域取得了新的突破。
據(jù)專利摘要顯示，該方法通過(guò)在大語(yǔ)言模型的訓(xùn)練過(guò)程中引入第一摘要文本和第二摘要文本，為模型提供了更為豐富的學(xué)習(xí)信息。這兩個(gè)摘要文本在信息量上存在差異，且第一摘要文本中既包含正確語(yǔ)句也包含錯(cuò)誤語(yǔ)句。這一設(shè)計(jì)使得模型在訓(xùn)練過(guò)程中，能夠通過(guò)對(duì)比學(xué)習(xí)兩個(gè)不同摘要文本的內(nèi)容，同時(shí)區(qū)分并學(xué)習(xí)第一摘要文本中的正確語(yǔ)句和錯(cuò)誤語(yǔ)句。
這一創(chuàng)新性的訓(xùn)練方法，有效避免了由于摘要文本單一而導(dǎo)致的模型過(guò)擬合和生成不準(zhǔn)確等問(wèn)題。通過(guò)引入更多樣化的學(xué)習(xí)信息，模型能夠更好地泛化到新的數(shù)據(jù)上，從而提高其泛化性能。同時(shí)，對(duì)正確語(yǔ)句和錯(cuò)誤語(yǔ)句的區(qū)分學(xué)習(xí)，也進(jìn)一步提升了模型的準(zhǔn)確性。
騰訊此次公布的新專利，不僅展示了其在人工智能領(lǐng)域的深厚技術(shù)積累，也為大語(yǔ)言模型的訓(xùn)練提供了新的思路和方法。
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題，請(qǐng)聯(lián)系本站處理。
舉報(bào)投訴
相關(guān)推薦
在當(dāng)今人工智能飛速發(fā)展的時(shí)代，大型語(yǔ)言模型（LLMs）正以其強(qiáng)大的語(yǔ)言理解和生成能力，改變著我們的生活和工作方式。在最近的一項(xiàng)研究中，科學(xué)家們?yōu)榱松钊肓私馊绾胃咝У?b class='flag-5'>訓(xùn)練大型
![的頭像]()
發(fā)表于 03-03 11:51
?248次閱讀
近日，華為技術(shù)有限公司在技術(shù)創(chuàng)新領(lǐng)域再次邁出重要一步，其申請(qǐng)的“模型的訓(xùn)練方法、車輛的控制方法及相關(guān)裝置”專利于2月18日正式公布。這一專利
![的頭像]()
發(fā)表于 02-20 09:14
?232次閱讀
大語(yǔ)言模型開發(fā)框架是指用于訓(xùn)練、推理和部署大型語(yǔ)言模型的軟件工具和庫(kù)。下面，AI部落小編為您介紹大語(yǔ)言
![的頭像]()
發(fā)表于 12-06 10:28
?262次閱讀
，基礎(chǔ)模型。 ? 大模型是一個(gè)簡(jiǎn)稱，完整的叫法，應(yīng)該是“人工智能預(yù)訓(xùn)練大模型”。預(yù)訓(xùn)練，是一項(xiàng)技術(shù)，我們后面再解釋。 ? 我們現(xiàn)在口頭上常說(shuō)
![的頭像]()
發(fā)表于 11-25 09:29
?1w次閱讀
一，前言 ? 在AI領(lǐng)域，訓(xùn)練一個(gè)大型語(yǔ)言模型（LLM）是一個(gè)耗時(shí)且復(fù)雜的過(guò)程。幾乎每個(gè)做大型語(yǔ)言模型（LLM）
![的頭像]()
發(fā)表于 11-08 14:15
?482次閱讀
近日，騰訊公司宣布成功推出業(yè)界領(lǐng)先的開源MoE(Mixture of Experts，專家混合)大語(yǔ)言模型——Hunyuan-Large。這款模型不僅在參數(shù)量上刷新了業(yè)界紀(jì)錄，更在效果
![的頭像]()
發(fā)表于 11-06 10:57
?476次閱讀
（YuRen-7b）大語(yǔ)言模型的訓(xùn)練測(cè)試。測(cè)試結(jié)果顯示，訓(xùn)練效率達(dá)到預(yù)期，夸娥千卡智算集群展現(xiàn)出了高度的兼容性和穩(wěn)定性，為羽人科技未來(lái)的零代碼訓(xùn)練
![的頭像]()
發(fā)表于 08-27 16:19
?640次閱讀
能力，逐漸成為NLP領(lǐng)域的研究熱點(diǎn)。大語(yǔ)言模型的預(yù)訓(xùn)練是這一技術(shù)發(fā)展的關(guān)鍵步驟，它通過(guò)在海量無(wú)標(biāo)簽數(shù)據(jù)上進(jìn)行訓(xùn)練，使模型學(xué)習(xí)到
![的頭像]()
發(fā)表于 07-11 10:11
?694次閱讀
解鎖
我理解的是基于深度學(xué)習(xí)，需要訓(xùn)練各種數(shù)據(jù)知識(shí)最后生成自己的的語(yǔ)言理解和能力的交互模型。
對(duì)于常說(shuō)的RNN是處理短序列的數(shù)據(jù)時(shí)表現(xiàn)出色，耳真正厲害的是Transformer，此框架被推出后直接
發(fā)表于 05-12 23:57
。
關(guān)于大語(yǔ)言模型是否具備與人類“系統(tǒng)2”相似的能力，存在廣泛的爭(zhēng)議。然而，隨著模型參數(shù)量的增加和大規(guī)模預(yù)訓(xùn)練的實(shí)施，大語(yǔ)言
發(fā)表于 05-07 17:21
大語(yǔ)言模型的核心特點(diǎn)在于其龐大的參數(shù)量，這賦予了模型強(qiáng)大的學(xué)習(xí)容量，使其無(wú)需依賴微調(diào)即可適應(yīng)各種下游任務(wù)，而更傾向于培養(yǎng)通用的處理能力。然而，隨著學(xué)習(xí)容量的增加，對(duì)預(yù)訓(xùn)練數(shù)據(jù)的需求也相
發(fā)表于 05-07 17:10
全面剖析大語(yǔ)言模型的核心技術(shù)與基礎(chǔ)知識(shí)。首先，概述自然語(yǔ)言的基本表示，這是理解大語(yǔ)言模型技術(shù)的前提。接著，詳細(xì)介紹自然
發(fā)表于 05-05 12:17
的復(fù)雜模式和長(zhǎng)距離依賴關(guān)系。
預(yù)訓(xùn)練策略:
預(yù)訓(xùn)練是LLMs訓(xùn)練過(guò)程的第一階段，模型在大量的文本數(shù)據(jù)上學(xué)習(xí)語(yǔ)言的通用表示。常用的預(yù)
發(fā)表于 05-05 10:56
大語(yǔ)言模型（LLM）是人工智能領(lǐng)域的尖端技術(shù)，憑借龐大的參數(shù)量和卓越的語(yǔ)言理解能力贏得了廣泛關(guān)注。它基于深度學(xué)習(xí)，利用神經(jīng)網(wǎng)絡(luò)框架來(lái)理解和生成自然語(yǔ)言文本。這些
發(fā)表于 05-04 23:55
處理中預(yù)訓(xùn)練架構(gòu)Transformer，以及這些技術(shù)在現(xiàn)實(shí)世界中的如何應(yīng)用。通過(guò)具體案例的分析，作者展示了大語(yǔ)言模型在解決實(shí)際問(wèn)題中的強(qiáng)大能力，同時(shí)也指出了當(dāng)前技術(shù)面臨的挑戰(zhàn)和局限性。書中對(duì)大
發(fā)表于 04-30 15:35
騰訊公布大語(yǔ)言模型訓(xùn)練新專利
工商網(wǎng)監(jiān)
評(píng)論