91在线观看视频-91在线观看视频-91在线观看免费视频-91在线观看免费-欧美第二页-欧美第1页

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

大模型沒有“知識圍城”

腦極體 ? 來源:腦極體 ? 作者:腦極體 ? 2024-08-27 11:06 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

wKgZombNQq6AMYaEAAl7e05UIyo071.jpg

最近,兩大知識平臺開始“反擊”大模型。

一是知網。就是引發學術界震動、開啟“天臨元年”的那個知網,要求秘塔AI搜索終止對他們內容的搜索和鏈接。

二是知乎。網友發現在微軟必應搜索、谷歌搜索的結果中,知乎內容的標題和正文都可能是亂碼,極大可能是為了避免內容被用來訓練AI模型。

這兩大平臺區別于其他互聯網社區的一大特點,就是知識內容豐富、質量較高。

對于大模型來說,“知識密度”是一個非常關鍵的指標,就像集成電路領域的“先進制程”一樣,如果說高制程芯片能夠在同樣面積上集成更多的晶體管,那么“知識密度高”的大模型,能夠在同樣的參數空間內學習并存儲更多的知識,從而更好地完成特定領域的任務。

半導體領域的“先進制程”封鎖,一直是拿捏中國芯片的有效手段。

那么,頭部知識平臺對大模型采取“關門政策”,會影響到大模型及AI產品的先進性嗎?

我們的觀點如標題所示,大模型是不會被“知識圍城”而封鎖的

比起結論,更值得進一步探討的是,既然大模型訓練對平臺內容并沒有高度依賴,模廠和平臺的矛盾是從何而起呢?

wKgZombNQrCAMSuzAAIz-cwzV1I704.jpg

很多讀者都聽說過AI三要素,是數據、算力、算法。知識處于什么地位呢?憑什么大模型知識密度,具有半導體“先進制程”一樣的重要性呢?

清華大學張鈸院士說過,當前大模型存在難以逾越的天花板,“推動AI的創新應用與產業化,四個要素肯定都要發揮知識、數據、算法、算力,但是我們最主張的,就必須重視知識的作用,所以我們把知識放在第一位”。

可能有人又會問,院士說得就一定對嗎?當然不一定。我們還可以來看看一線的從業者,又是怎么想的。

我聽過某AI創業公司,在交付產品時,發現即便是基于GPT4-Turbo這樣性能領先的基座模型,AI也對很多問題答不上來。因為有些場景會用到一些隱性知識,這些知識是下一步推理所必需的,但模型經常get不到。

wKgaombNQrCADzJsAACJ8BZXr9s881.jpg

比如生成一道菜譜,其中提到了“加辣椒”,但辣椒有點辣(隱性知識),就需要詢問用戶“喜不喜歡吃辣”,人類廚師早就了解這個基礎知識,但讓AI主動意識到并詢問就很難。

這是因為缺少“通識知識”。

某金融券商想用大模型來替代人類理財師,發現大模型給出的理財觀點和建議很泛泛,是一些常識性內容,而用戶在決策時,需要的是人類專家那樣犀利的洞見。

一位金融從業者說,有些場景,大模型fine tuning還不如傳統的小模型,怎么把業務知識注入大模型中,做了各種嘗試也沒有特別好的方法,只能把飄在上面的問題數據,收集來達標給LLM,希望它下次不要再犯錯網絡。

而另一個創業公司發現,如果從小處著手,將LLM與行業知識融合,可以獲得97%以上的準確率,基本能達到行業客戶的驗收標準。實際上,很多AI創業公司的大模型ToB項目,都是幫助企業構建定制化知識庫(KB系統)。

領域知識,則是關乎大模型處理復雜專項任務、收獲商業成功的第二道壁壘。

所以,很多模廠都希望模型通過持續學習,來不斷吸收新知識,這又帶來了新的問題——修改核心參數,這可能影響到模型的原有性能,有可能直接崩掉,不work了,這是業務的大敵。

咋辦呢?還是得靠知識。

一方面,原本知識密度就高的大模型,相當于人類具備很強的通識基礎,提前了解了很多背景知識,所以泛化能力很強,可以在面對新領域、陌生任務時,快速學習、舉一反三。所以,知識密度可以讓大模型具備跨領域、自學習的能力,通過“知識回路”就能學會新知識了。這就減少了人工干預,從而降低了故障率。

另外,高效、精準的知識編輯,可以對大模型中的知識進行新增、擦除等操作,就可以用很小的代價,實現模型的迭代升級。讓模廠在保持模型先進性的同時,也不影響到現有業務的持續性。對于業務不能中斷的金融、政務、電力、工廠等行業客戶,簡直不要太有吸引力。

此外,一些實際業務中,不希望大模型在生成時說出來的話,比如一些隱私信息,或者有害有毒內容、政治偏見等,都需要知識編輯技術來進行“祛毒”,精準地識別毒性區域并擦除有毒內容,真正做到給大模型“洗腦”。

由此可見,知識是AI商業化全流程都必須關注的。業界一度有著“得知識者得天下”的風向。有模廠提出了大模型知識的“摩爾定律”,認為大模型的知識密度,應該每隔8個月就翻一倍,同等知識量的模型參數量減半。

那反過來想一想,失知識者豈不是要失天下了?

wKgaombNQrKAK4o5AAHUiaMcQLM672.jpg

知識平臺,是人類知識匯聚的重要渠道,OpenAI、谷歌等海外AI公司都與優質媒體內容平臺有商業化合作,用授權內容來訓練自家模型。

既然如此,為什么我們會說,大模型其實并不擔心平臺的“知識封鎖”呢?

因為人類知識平臺,不再是模型不得不進的“圍城”。

如果說原始數據是“草”,而知識是牛奶,那么傳統知識獲取,是讓機器“喝的是奶,產的也是奶”。就像20世紀的專家系統,根據一個或者多個專家提供的知識和經驗,通過模擬專家的思維過程,讓機器能夠解決問題。

這種情況下,實現機器智能就必須依賴由人類領域專家,以及專家知識庫。要“進城”獲取知識,必須給平臺“城主”交過路費。

但大模型不一樣的地方,一是“不是必須喝奶,吃草也行”,可以直接從原始數據中挖掘知識、抽取知識。DeepMind聯合創始人哈薩比斯曾經設想過,未來的大模型可以直接從與客觀世界的感知交互過程中,利用深度學習算法來總結知識,并直接用于決策。

二是“不依賴人產奶,自己也行”,通過數據驅動的大規模自動化的知識獲取,反哺模型。

ChatGPT、GPT4都具備較強的知識圖譜建構能力,按照要求抽取知識,正確率可以達到88%,這種“生產效率”可比人類寫論文、在問答平臺“謝邀,剛下飛機,答一下”,要快得多。

更進一步,業界還在研究能夠大規模編碼和處理各種知識表示結構的大型知識模型(Large Knowledge Model)。從LLM到LKM,對現有人類知識的依賴越來越低了。

所以,是否收錄基于人類知識的平臺內容,其實對大模型訓練來說,影響已經很小了。

“吃的是草,吐的是奶”的模型,可以在大數據的曠野上生存,并不一定要進知識平臺這座“圍城”,“關門”也就關門吧。

wKgaombNQrOAKqmXAAB0ZlM_MNM451.jpg

所以我們看到的后續就是,秘塔AI搜索在收到知網的函件之后,表示“學術”版塊僅收錄了論文的文獻摘要和題錄,并未收錄文章內容本身。而且還主動“斷鏈”,不再收錄知網文獻的題錄及摘要數據,轉而收錄其他中英文權威知識庫的文獻題錄及摘要數據。類似的,被知乎以亂碼干擾的谷歌搜索、微軟必應搜索,模型能力依然領先。

wKgZombNQrSAHvUOAAJM_NBM_4A531.jpg

那么,知識平臺的反應,難道是過度反應、虛空索敵嗎?平臺究竟想“鎖”住什么,恐怕才是值得關注的真問題。

首先,沒必要利用人類知識來訓練模型,并不是說大模型廠商就一定不會侵權。

目前,全球模廠都面臨高質量語料匱乏的隱憂,數據焦渴之下,在未授權的情況下,用到有知識產權的數據是可能發生的。

在某次采訪中,OpenAI的CTO就對“視頻訓練數據是否來自YouTube等公開網站”等問題避而不談。此前,《紐約時報》曾因商談“內容付費”沒有成效,將OpenAI和微軟告上法庭,指控他們未經授權就使用該機構的數百萬篇文章來訓練AI模型。

而前不久,微軟就與學術出版商Taylor & Francis簽署了一項價值1000萬美元的協議,允許微軟訪問其數據來改進AI系統。

由此可見,雖然AI領域的知識產權問題仍然有很多盲區,但與知識平臺達成版權合作,應該被模廠及其客戶,納入AI合規和持續性經營的考量中。

此外,即使侵權問題并不存在,但價值沖擊也會發生。

具體來說,AI搜索等新一代AI產品,對知識平臺的沖擊有兩方面:

一是流量價值沖擊。盡管秘塔AI搜索聲明中提到,向用戶提供的是知網的學術文獻題錄及摘要數據,用戶要進一步瀏覽正文,要通過來源鏈接跳轉至網站獲取。但搜索引擎將觸角伸到網站,用戶就會減少訪問與站內搜索,從而影響平臺的流量和潛在收益,類似于微信此前阻止百度搜索到公眾號內容一樣。

二是知識價值沖擊。基于大模型的AI搜索具備總結、生成等能力,而由于模型可能存在“過擬合”問題,也就是AI自己“腦補”,最終可能輸出給用戶的內容與原文高度一致,沒直接侵權但勝似侵權。

此前就有很多小說作者發現,模型生成的故事大綱與走向與自己寫的高度類似,懷疑云文檔被用來訓練AI模型,但極有可能是AI跟人類作者“撞腦”了。

大模型經濟的核心價值,是知識的創造與分發。

一位朋友說,“以前有問題,我會上網問知乎,但有些問題我不想讓公眾知道,以后我就問基礎大模型+領域知識+AI Agent打造的專業bot,一次到位”。Perplexity CEO曾明確說過,“我們想成為世界上最以知識為中心的公司”,秘塔AI搜索經常被比作中國的Perplexity。

可以看到,即使沒有侵權糾紛,AI企業及產品,也與知識平臺,在商業層面形成了直接的替代和競爭關系。

失知識者失天下,從這個角度來說,的確成立。

大模型在數據曠野上狂飆突進,知識平臺能否靠“關門上鎖”來守住核心價值呢?或許大家心中已經有答案。

解鎖關鍵信息

知識平臺封鎖,鎖不住AI獲取知識的腳步

審核編輯 黃宇

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • AI
    AI
    +關注

    關注

    88

    文章

    35105

    瀏覽量

    279558
  • 大模型
    +關注

    關注

    2

    文章

    3138

    瀏覽量

    4062
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    模型在半導體行業的應用可行性分析

    沒有這樣的半導體專用大模型,能縮短芯片設計時間,提高成功率,還能幫助新工程師更快上手。或者軟硬件可以在設計和制造環節確實有實際應用。會不會存在AI缺陷檢測。 能否應用在工藝優化和預測性維護中
    發表于 06-24 15:10

    pspice一直顯示元器件沒有仿真模型怎么回事?

    有大佬知道pspice仿真為什么總是顯示找不到仿真模型嗎,就連自帶庫的元器件左上角也有個綠圈顯示沒有仿真模型仿真不了,我把相應元器件的仿真模型.lib文件也都移到仿真設置的librar
    發表于 06-09 18:57

    知識分享 | 評估模型架構——如何實現?

    確保良好的模型架構對于開發安全和可靠的軟件非常重要。本文為您介紹MES Model Examiner? (MXAM)如何優化模型架構,簡化復雜度管理步驟,并最終提升軟件質量。
    的頭像 發表于 06-05 11:46 ?140次閱讀
    <b class='flag-5'>知識</b>分享 | 評估<b class='flag-5'>模型</b>架構——如何實現?

    AD8313沒有模型,仿真不了怎么解決?

    AD8313沒有模型,在multisim上仿真不了,請提供支援,或者提供一個更新的版本也可以。
    發表于 03-24 06:38

    【「基于大模型的RAG應用開發與優化」閱讀體驗】+大模型微調技術解讀

    。通過微調,模型可以學習特定領域的專業知識和語言特征,從而在高度專業化的領域中展現出卓越的表現。微調過程主要有這幾項內容:數據清洗:消除噪聲、提高數據質量。包括處理缺失值(如用特殊符號代替缺失的單詞或
    發表于 01-14 16:51

    Tina里沒有LDC1000的模型嗎?

    Tina里沒有LDC1000的模型嗎??
    發表于 12-25 08:25

    名單公布!【書籍評測活動NO.52】基于大模型的RAG應用開發與優化

    推理用到某些特定場景,就會產生不準確的輸出。 (3)理解存在局限性:死記硬背,加上問題太難了。 大模型沒有真正“理解”訓練知識的深層含義,也不具備人類普遍的常識與經驗,因此可能會在一些需要深入
    發表于 12-04 10:50

    adc0809在proteus中沒有仿真模型

    發現某些元件在Proteus的元件庫中找不到,這可能是因為Proteus的元件庫并不包含所有市面上的元件,或者某些元件的仿真模型尚未被開發。 對于ADC0809,Proteus可能沒有內置的仿真模型,但這并不意味著你無法在Pro
    的頭像 發表于 10-21 09:29 ?2009次閱讀

    【實操文檔】在智能硬件的大模型語音交互流程中接入RAG知識

    本帖最后由 jf_40317719 于 2024-9-29 17:13 編輯 智能硬件的語音交互接入大模型后可以直接理解自然語言內容,但大模型作為一個語言模型,對專業領域知識
    發表于 09-29 17:12

    知識分享 | 輕松實現優質建模

    知識分享在知識分享欄目中,我們會定期與讀者分享來自MES模賽思的基于模型的軟件開發相關Know-How干貨,關注公眾號,隨時掌握基于模型的軟件設計的技術
    的頭像 發表于 09-12 08:08 ?723次閱讀
    <b class='flag-5'>知識</b>分享 | 輕松實現優質建模

    想要了解下大模型知識

    工作需要,想要了解一下大模型算力建設知識
    發表于 08-20 15:31

    【《大語言模型應用指南》閱讀體驗】+ 基礎知識學習

    今天來學習大語言模型在自然語言理解方面的原理以及問答回復實現。 主要是基于深度學習和自然語言處理技術。 大語言模型涉及以下幾個過程: 數據收集:大語言模型通過從互聯網、書籍、新聞、社交媒體等多種渠道
    發表于 08-02 11:03

    【《大語言模型應用指南》閱讀體驗】+ 基礎篇

    的章節包括統一自然語言任務、大語言模型的訓練過程和局限性分析,閱讀還算順利。 至此,基礎篇只能算是瀏覽完成,因為部分原理方法并沒有吃透,但盡管如此也是收獲頗豐,因為我了解了大語言模型的基礎知識
    發表于 07-25 14:33

    阿里云設備的物模型數據里面始終沒有值是為什么?

    如上圖,不知道講清楚沒有。 IG502自定義TOPIC 上發到阿里云沒問題。采用阿里云物模型的格式來上發就不行。請大佬指教!
    發表于 07-24 07:49

    【《大語言模型應用指南》閱讀體驗】+ 俯瞰全書

    ,了解此書的主要內容: 書分四篇,基礎、入門、進階和展望。 基礎篇從人工智能起源開始、之后又介紹了機器學習、神經網絡和大語言模型的基礎知識,如果讀者學習過機器學習相關課程,那這個基礎篇的閱讀就會很輕
    發表于 07-21 13:35
    主站蜘蛛池模板: 国产激情久久久久影院小草 | 久操福利 | 亚洲大黑香蕉在线观看75 | 99青草青草久热精品视频 | 欧美黄色免费 | 老师喂我吃她的奶水脱她胸罩 | 亚洲成人自拍 | 色国产视频 | 午夜影院在线观看免费 | 亚洲综合精品一区二区三区中文 | 永久看免费bbbbb视频 | 国产人成高清视频观看 | 拍拍拍美女黄色1000视频 | 久青草国产手机在线视频 | 小屁孩cao大人免费网站 | 天天综合射| 在线免费视频手机版 | 天天干天天要 | 人人干天天操 | 欧美成人天天综合在线视色 | 亚洲性视频网站 | 97午夜| 亚洲经典一区二区三区 | 国产精品美女久久久久网站 | avtt亚洲一区中文字幕 | 国产在线播放你懂的 | 97夜夜澡人人爽人人喊一欧美 | 第四色播日韩第一页 | 91黄视频在线观看 | 国内精品免费视频精选在线观看 | 特级全黄一级毛片免费 | 国产亚洲精品仙踪林在线播放 | 国产精品主播在线观看 | 四虎永久在线精品影院 | 在线网站 看片 网站 | 资源在线www天堂 | 久久免费香蕉视频 | 国产精品久久久久久久成人午夜 | 欧美成人午夜不卡在线视频 | h视频在线观看视频观看 | 四虎国产精品永久免费网址 |