在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

知識圖譜與大模型結合方法概述

華為DevCloud ? 來源:未知 ? 2023-10-29 15:50 ? 次閱讀

本文作者 | 黃巍

《Unifying Large Language Models and Knowledge Graphs: A Roadmap》總結了大語言模型和知識圖譜融合的三種路線:1)KG增強的LLM,可在LLMs的預訓練和推理階段引入KGs;2)LLM增強KG,LLM可用于KG構建、KG embedding、KG補全、基于KG的文本生成、KBQA(基于圖譜的問答)等多種場景;3)LLM+KG協同使用,主要用于知識表示和推理兩個方面。該文綜述了以上三個路線的代表性研究,探討了未來可能的研究方向。

知識圖譜(KG)和大語言模型(LLM)都是知識的表示形式。KG是符號化的知識庫,具備一定推理能力,且結果可解釋性較好。但存在構建成本高、泛化能力不足、更新難等不足。LLM是參數化的概率知識庫,具備較強語義理解和泛化能力,但它是黑盒模型,可能編造子虛烏有的內容,結果的可解釋性較差。可見,將LLM和KG協同使用,同時利用它們的優勢,是一種互補的做法。

wKgZomU-D9WABEmCAACDJaTqIbk703.png

LLM和KG的融合路線,可分為以下類型:

wKgZomU-D9WAWM3wAADglL6UMl0258.png

第一種融合路線是KG增強LLM,可在LLM預訓練、推理階段引入KG。以KG增強LLM預訓練為例,一個代表工作是百度的ERNIE 3.0將圖譜三元組轉換成一段token文本作為輸入,并遮蓋其實體或者關系來進行預訓練,使模型在預訓練階段直接學習KG蘊含的知識。

wKgZomU-D9aAHQU4AACBLP79zBo093.png

第二種融合路線是LLM增強KG。LLM可用于KG構建、KG embedding、KG補全、基于KG的文本生成、KBQA(基于圖譜的問答)等多種場景。以KG構建為例,這是一項成本很高的工作,一般包含1) entity discovery 實體挖掘 2) coreference resolution 指代消解 3) relation extraction 關系抽取任務。LLM本身蘊含知識,且具備較強的語義理解能力,因此,可利用LLM從原始數據中抽取實體、關系,進而構建知識圖譜。

wKgZomU-D9aAMineAACkS7JiANc980.png

第三種融合路線是KG+LLM協同使用,主要用于知識表示和推理兩個方面。以知識表示為例,文本語料庫和知識圖譜都蘊含了大量的知識,文本中的知識通常是非結構化的,圖譜里的知識則是結構化的,針對一些下游任務,需要將其對齊進行統一的表示。比如,KEPLER是一個統一的模型來進行統一表示,它將文本通過LLM轉成embedding表示,然后把KG embedding的優化目標和語言模型的優化目標結合起來,一起作為KEPLER模型的優化目標,最后得到一個能聯合表示文本語料和圖譜的模型。示意圖如下:

wKgZomU-D9aAK95VAABY9WjcPUQ072.pngwKgZomVA6_OAdWxgAAAChhq5BME149.svg

小結

上述方法都在嘗試打破LLM和KG兩類不同知識表示的邊界,促使LLM這種概率模型能利用KG靜態的、符號化的知識;促使KG能利用LLM參數化的概率知識。從現有落地案例來看,大模型對知識的抽象程度高,泛化能力強,用戶開箱即用,體驗更好。且如果采用大模型+搜索的方案,用戶更新知識的成本也較低,往知識庫加文檔即可。在實際業務場景落地時,如果條件允許,優先考慮使用大模型。當前chatGPT火爆,也印證了其可用性更好。如遇到以下場景時,可以考慮將LLM和KG結合使用:

?對知識可信度和可解釋性要求高的場景,比如醫療、法律等,可以考慮再建設知識圖譜來降低大模型回答錯誤知識的概率,提高回答的可信度和可解釋性。

?已經有一個蘊含豐富知識的圖譜,再做大模型建設時。可以參考KG增強LLM的方法,將其知識融合到LLM中。

?涉及基于圖譜的多條推理能力的場景。

?涉及基于圖譜可視化展示的場景,比如企查查、天眼查等。

參考文獻:

1.Unifying Large Language Models and Knowledge Graphs: A Roadmaphttps://arxiv.org/abs/2306.08302


原文標題:知識圖譜與大模型結合方法概述

文章出處:【微信公眾號:華為DevCloud】歡迎添加關注!文章轉載請注明出處。


聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 華為
    +關注

    關注

    216

    文章

    35070

    瀏覽量

    255216

原文標題:知識圖譜與大模型結合方法概述

文章出處:【微信號:華為DevCloud,微信公眾號:華為DevCloud】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦
    熱點推薦

    FA模型和Stage模型API切換概述

    API切換概述 FA模型和Stage模型由于線程模型和進程模型的差異,部分接口僅在FA模型下才
    發表于 06-06 06:29

    輕輕松松學電工(識圖篇)

    內容介紹 結合廣大電工人員的實際需要,主要介紹了常用電工電路識圖的基礎知識方法及技巧,內容包括常用電氣符號、電工識圖基本
    發表于 04-30 17:18

    典型電路原理、電路識圖從入門到精通等資料

    1、電路識圖從入門到精通高清電子資料 由淺入深地介紹了電路圖的基礎知識、典型單元電路的識圖方法,通過“入門篇”和“精通篇”循序漸進、由淺入深地介紹了電路圖的基礎
    的頭像 發表于 04-15 15:53 ?4808次閱讀
    典型電路原理、電路<b class='flag-5'>識圖</b>從入門到精通等資料

    電路識圖從入門到精通高清電子資料

    由淺入深地介紹了電路圖的基礎知識、典型單元電路的識圖方法,通過“入門篇”和“精通篇”循序漸進、由淺入深地介紹了電路圖的基礎知識、典型單元電路的識圖
    發表于 04-10 16:22

    淵亭KGAG升級引入“高級策略推理”

    為了突破現有AI技術在決策推理方面的局限,淵亭科技對其知識圖譜分析平臺KGAG進行了最新升級,創新性地引入了“高級策略推理”模式。這一模式的引入,實現了“大模型×知識圖譜×專家策略×動態推理”的深度
    的頭像 發表于 02-14 15:07 ?481次閱讀

    微軟發布《GraphRAG實踐應用白皮書》助力開發者

    近日,微軟針對開發者群體,重磅推出了《GraphRAG實踐應用白皮書》。該白皮書全面而深入地涵蓋了知識圖譜的核心內容,為開發者和企業提供了寶貴的指導和啟示。 從知識圖譜的基礎概念出發,白皮書詳細闡述
    的頭像 發表于 01-13 16:11 ?892次閱讀

    利智方:驅動企業知識管理與AI創新加速的平臺

    利智方致力于深度整合企業知識資產,全面打通知識生命周期的各個環節。通過構建強大的知識庫和精準的知識圖譜,支持快速定制和部署各類AI應用,為企業創新發展提供堅實的技術支撐。可多維度提升企
    的頭像 發表于 12-30 11:07 ?854次閱讀

    傳音旗下人工智能項目榮獲2024年“上海產學研合作優秀項目獎”一等獎

    和華東師范大學聯合申報的“跨語言知識圖譜構建與推理技術研究及應用”項目憑借創新性和技術先進性榮獲一等獎。該項目成功突破了多形態信息抽取技術、跨語言知識圖譜對齊技術和知識問答對
    的頭像 發表于 12-16 17:04 ?618次閱讀
    傳音旗下人工智能項目榮獲2024年“上海產學研合作優秀項目獎”一等獎

    三星自主研發知識圖譜技術,強化Galaxy AI用戶體驗與數據安全

    據外媒11月7日報道,三星電子全球AI中心總監Kim Dae-hyun近日透露,公司正致力于自主研發知識圖譜技術,旨在進一步優化Galaxy AI的功能,提升其易用性,并加強用戶數據的隱私保護。
    的頭像 發表于 11-07 15:19 ?1305次閱讀

    想要了解下大模型知識

    工作需要,想要了解一下大模型算力建設知識
    發表于 08-20 15:31

    【《大語言模型應用指南》閱讀體驗】+ 基礎篇

    token; 緊隨token之后,作者講解了基于自回歸模型的字符預測方法以及文本生成原理,這些知識對我來說有些晦澀難懂,如果要熟練掌握是需要一些時間的,只能后續抽空仔細研讀,暫且跳過繼續閱讀,后面
    發表于 07-25 14:33

    【《大語言模型應用指南》閱讀體驗】+ 俯瞰全書

    的大語言模型設計技術人員閱讀,主要包括大語言模型的優化方法、Agent系統調優以及模型的安全技術。 展望篇分析了大語言模型的發展前景,介紹了
    發表于 07-21 13:35

    三星電子將收購英國知識圖譜技術初創企業

    在人工智能技術日新月異的今天,三星電子公司再次展現了其前瞻性的戰略布局與技術創新實力。近日,三星正式宣布完成了對英國領先的人工智能(AI)與知識圖譜技術初創企業Oxford Semantic Technologies的收購,此舉標志著三星在提升設備端AI能力、深化個性化用戶體驗方面邁出了重要一步。
    的頭像 發表于 07-18 14:46 ?727次閱讀

    知識圖譜與大模型之間的關系

    在人工智能的廣闊領域中,知識圖譜與大模型是兩個至關重要的概念,它們各自擁有獨特的優勢和應用場景,同時又相互補充,共同推動著人工智能技術的發展。本文將從定義、特點、應用及相互關系等方面深入探討知識圖譜與大
    的頭像 發表于 07-10 11:39 ?1971次閱讀

    Al大模型機器人

    )大模型AI機器人采用中英文雙語應用,目前的知識圖譜包括了金航標和薩科微所有的產品內容、應用場景、產品的家屬參數等,熱賣的型號S8050、TL431、SS8550、FR107、LM321、ZMM5V6
    發表于 07-05 08:52
    主站蜘蛛池模板: 欧美一区二区三区视频在线观看 | 欧美色综合久久 | hs网站免费| 成年人网站免费观看 | 亚洲三级在线看 | 老色批软件 | 国产精品香蕉成人网在线观看 | 国产精品三区四区 | 成 人在线观看视频网站 | 午夜手机看片 | 日本三级带日本三级带黄首页 | 四虎国产精品视频免费看 | 日韩免费网站 | 色色就色色 | 亚洲人成电影在线播放 | 亚洲1234区乱码 | 亚洲成人观看 | 久久久久久全国免费观看 | 国产啊v在线观看 | 丁香五月缴情在线 | 末发育女一区二区三区 | 国产免费一区二区三区在线 | 不卡视频免费在线观看 | 人人弄| 久久综合爱 | 欧美午夜精品一区二区三区 | 天堂福利视频在线观看 | 欧美色图亚洲 | 日本免费色网站 | 色丁香六月| 日本三级理论片 | 国产免费糟蹋美女视频 | 超人碰碰碰人人成碰人 | 亚洲高清免费视频 | 日本久操视频 | 国产性videostv另类极品 | 国产亚洲网站 | 欧美成人午夜影院 | 日韩中文视频 | 天天视频一区二区三区 | 2019天天操天天干天天透 |