在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

浪潮信息發(fā)布“源”Yuan-EB助力RAG檢索精度新高

浪潮AIHPC ? 來源:浪潮AIHPC ? 2024-11-26 13:54 ? 次閱讀

近日,浪潮信息發(fā)布 “源”Yuan-EB(Yuan-embedding-1.0,嵌入模型),在C-MTEB榜單中斬獲檢索任務(wù)第一名,以78.41的平均精度刷新大模型RAG檢索最高成績,將基于元腦企智EPAI為構(gòu)建企業(yè)知識(shí)庫提供更高效、精準(zhǔn)的知識(shí)向量化能力支撐,助力用戶使用領(lǐng)先的RAG技術(shù)加速企業(yè)知識(shí)資產(chǎn)的價(jià)值釋放。

2a0c093e-a659-11ef-93f3-92fbcf53809c.png

“源”Yuan-EB 在HuggingFace的C-MTEB榜單中排名第一

Yuan-EB(版本號(hào)Yuan-embedding-1.0) 是專為增強(qiáng)中文文本檢索能力而設(shè)計(jì)的嵌入模型(也稱Embedding模型),在 “源2.0” 大模型的工作基礎(chǔ)上,創(chuàng)新性地采用了“源2.0-M32”大模型進(jìn)行數(shù)據(jù)重寫與合成,并通過索引技術(shù)、樣本排序等系列方法完成高質(zhì)量微調(diào)數(shù)據(jù)集構(gòu)建,能夠有效提升RAG系統(tǒng)的檢索精度。

C-MTEB是目前業(yè)內(nèi)最權(quán)威的嵌入模型測試榜單。其中,檢索任務(wù)(Retrieval)是檢索增強(qiáng)生成(RAG)場景下最為重要、應(yīng)用最廣泛的任務(wù)能力,考察的是Embedding模型從大量的數(shù)據(jù)集中找到并返回與給定查詢最相關(guān)或最匹配的信息的過程。“源”Yuan-EB基于該任務(wù)提供的醫(yī)療、新聞、電商、娛樂等8個(gè)中文文本數(shù)據(jù)集,實(shí)現(xiàn)了業(yè)界領(lǐng)先的海量文本檢索精度。

2a18dba0-a659-11ef-93f3-92fbcf53809c.png

C-MTEB榜單Retrieval任務(wù)提供8個(gè)測試數(shù)據(jù)集

“源” Yuan-EB 助力RAG檢索精度新高

嵌入模型在RAG流程中扮演著關(guān)鍵角色,它能夠?qū)?fù)雜的高維數(shù)據(jù)(例如文本、圖像或音頻)轉(zhuǎn)換為機(jī)器可理解的向量形式,直接決定了RAG檢索的精準(zhǔn)性和效率。

2a3da4ee-a659-11ef-93f3-92fbcf53809c.png

“源”Yuan-EB通過數(shù)據(jù)準(zhǔn)備與模型微調(diào)兩個(gè)方面的技術(shù)創(chuàng)新,實(shí)現(xiàn)了模型精度的大幅提升:

■ 在數(shù)據(jù)方面,基于“源2.0”微調(diào)階段的問答數(shù)據(jù)進(jìn)行清洗與篩選,構(gòu)建問題(query)與文本(corpus)數(shù)據(jù)集;使用“源2.0-M32”對C-MTEB 訓(xùn)練數(shù)據(jù)進(jìn)行重寫與合成,通過索引技術(shù)與排序模型進(jìn)行高效的難負(fù)樣本提取,完成大規(guī)模難負(fù)例樣本挖掘,形成高質(zhì)量微調(diào)數(shù)據(jù)集;

■ 在微調(diào)方面,通過兩個(gè)階段的領(lǐng)先微調(diào)方法實(shí)現(xiàn)模型能力提升。第一階段,使用各個(gè)領(lǐng)域(醫(yī)療、新聞、長文本、娛樂等方向)的大規(guī)模數(shù)據(jù)進(jìn)行對比學(xué)習(xí)訓(xùn)練;第二階段,采用“源2.0-M32”生成的合成數(shù)據(jù)進(jìn)一步微調(diào),并使用MRL方法完成“源”Yuan-EB訓(xùn)練;

“源”Yuan-EB為用戶提供了大模型企業(yè)知識(shí)庫應(yīng)用開發(fā)的最優(yōu)模型選擇,能夠在 RAG流程的多個(gè)方面起到顯著的精度提升,包括信息檢索的準(zhǔn)確性、處理大規(guī)模數(shù)據(jù)的效率、消除語義歧義、降低計(jì)算成本、增強(qiáng)對長文檔的處理能力以及模型魯棒性等,最大化提升RAG流程的整體性能和應(yīng)用效果。

元腦企智EPAI集成“源”Yuan-EB,加速知識(shí)庫構(gòu)建與性能提升

目前,“源”Yuan-EB已經(jīng)在開源社區(qū)和企業(yè)大模型開發(fā)平臺(tái)元腦企智EPAI中全面開放下載。用戶可以在元腦企智EPAI平臺(tái)中快速使用“源”Yuan-EB,并結(jié)合EPAI自研的多階段RAG技術(shù),零代碼、低成本地基于企業(yè)數(shù)據(jù)構(gòu)建大模型知識(shí)庫應(yīng)用。

企業(yè)大模型開發(fā)平臺(tái)“元腦企智”EPAI(Enterprise Platform of AI),是浪潮信息為企業(yè)AI大模型落地應(yīng)用打造的高效、易用、安全的端到端開發(fā)平臺(tái),提供數(shù)據(jù)準(zhǔn)備、模型訓(xùn)練、知識(shí)檢索、應(yīng)用框架等系列工具,支持調(diào)度多元算力和多模算法,幫助企業(yè)高效開發(fā)部署生成式AI應(yīng)用、打造智能生產(chǎn)力。

元腦企智EPAI已經(jīng)支持超過13種類型文檔的信息識(shí)別與提取,結(jié)合創(chuàng)新的多級(jí)混合檢索策略,有效提升元腦企智EPAI在管理、解析、檢索知識(shí)庫與生成內(nèi)容方面的最終效果,幫助企業(yè)用戶實(shí)現(xiàn)基于私有數(shù)據(jù)、行業(yè)數(shù)據(jù)下的精準(zhǔn)檢索、精準(zhǔn)問答,確保專業(yè)場景下大模型生成內(nèi)容的準(zhǔn)確性和可靠性,加速大模型創(chuàng)新力釋放。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報(bào)投訴
  • 浪潮
    +關(guān)注

    關(guān)注

    1

    文章

    474

    瀏覽量

    24512
  • 開源
    +關(guān)注

    關(guān)注

    3

    文章

    3618

    瀏覽量

    43504
  • 大模型
    +關(guān)注

    關(guān)注

    2

    文章

    3035

    瀏覽量

    3840

原文標(biāo)題:浪潮信息發(fā)布“源”Yuan-EB,刷新大模型RAG檢索精度紀(jì)錄!

文章出處:【微信號(hào):浪潮AIHPC,微信公眾號(hào):浪潮AIHPC】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    【「基于大模型的RAG應(yīng)用開發(fā)與優(yōu)化」閱讀體驗(yàn)】RAG基本概念

    RAG應(yīng)用架構(gòu)具備清晰的分層設(shè)計(jì)。知識(shí)庫構(gòu)建層,著重于將各類非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行有效處理,轉(zhuǎn)化為計(jì)算機(jī)能夠理解的形式,通過向量化編碼技術(shù)為數(shù)據(jù)賦予數(shù)字特征,并建立動(dòng)態(tài)索引以便快速查詢更新。檢索增強(qiáng)層,采用
    發(fā)表于 02-08 00:22

    【「基于大模型的RAG應(yīng)用開發(fā)與優(yōu)化」閱讀體驗(yàn)】+第一章初體驗(yàn)

    3降低幻覺風(fēng)險(xiǎn):通過引入權(quán)威數(shù)據(jù)(如學(xué)術(shù)論文、企業(yè)文檔),RAG為生成過程提供“事實(shí)錨點(diǎn)”,減少模型虛構(gòu)內(nèi)容的可能性。 4輕量化部署:開發(fā)者無需頻繁微調(diào)大模型,僅需優(yōu)化檢索模塊即可提升系統(tǒng)性
    發(fā)表于 02-07 10:42

    【「基于大模型的RAG應(yīng)用開發(fā)與優(yōu)化」閱讀體驗(yàn)】+Embedding技術(shù)解讀

    理和理解這些數(shù)據(jù)。在自然語言處理中,Embedding常用于將文本數(shù)據(jù)中的單詞、句子或文檔映射為固定長度的實(shí)數(shù)向量,這些向量包含了豐富的語義信息RAG技術(shù)是一種結(jié)合信息檢索與文本生成
    發(fā)表于 01-17 19:53

    浪潮信息與智研究院攜手共建大模型多元算力生態(tài)

    近日,浪潮信息與北京智人工智能研究院正式簽署戰(zhàn)略合作協(xié)議,雙方將緊密合作,共同構(gòu)建大模型多元算力開源創(chuàng)新生態(tài)。 此次合作旨在提升大模型創(chuàng)新研發(fā)的算力效率,降低大模型應(yīng)用開發(fā)的算力門檻,推動(dòng)
    的頭像 發(fā)表于 12-31 11:49 ?542次閱讀

    浪潮信息與智研究院達(dá)成戰(zhàn)略合作協(xié)議

    近日,浪潮信息與智研究院達(dá)成戰(zhàn)略合作協(xié)議,雙方將緊密協(xié)作共建大模型多元算力開源創(chuàng)新生態(tài),提升大模型創(chuàng)新研發(fā)的算力效率,降低大模型應(yīng)用開發(fā)的算力門檻。目前,智Triton算子庫FlagGems已
    的頭像 發(fā)表于 12-26 10:25 ?502次閱讀

    浪潮信息發(fā)布""Yuan-EB,刷新RAG檢索最高成績

    檢索任務(wù)的第一名,以78.41的平均精度刷新了大模型RAG檢索的最高成績。 ""Yuan-EB
    的頭像 發(fā)表于 12-25 15:54 ?482次閱讀

    浪潮信息與17家元腦伙伴共簽億級(jí)分銷協(xié)議

    近日,一場意義非凡的簽約儀式——2025年浪潮信息億級(jí)分銷伙伴簽約大會(huì)圓滿落幕。在這場盛會(huì)中,浪潮信息與來自全國12個(gè)省區(qū)的17家元腦生態(tài)伙伴共同簽署了億級(jí)分銷合作協(xié)議,攜手開啟合作共贏的新篇章
    的頭像 發(fā)表于 12-25 15:46 ?668次閱讀

    借助浪潮信息元腦企智EPAI高效創(chuàng)建大模型RAG

    生成能力,提高生成質(zhì)量和可靠性。但企業(yè)構(gòu)建知識(shí)檢索系統(tǒng)并非易事,通常面臨開發(fā)門檻高、生成內(nèi)容差等難題。而借助浪潮信息元腦企智EPAI企業(yè)大模型開發(fā)平臺(tái),企業(yè)僅需三步即可高效創(chuàng)建大模型RAG,讓企業(yè)內(nèi)部積累的大量數(shù)據(jù)得到有效利用,
    的頭像 發(fā)表于 12-19 14:32 ?637次閱讀
    借助<b class='flag-5'>浪潮信息</b>元腦企智EPAI高效創(chuàng)建大模型<b class='flag-5'>RAG</b>

    RAG的概念及工作原理

    )與外部知識(shí)集成,增強(qiáng)了其能力。這種集成允許模型動(dòng)態(tài)地引入相關(guān)信息,使其能夠生成不僅連貫而且事實(shí)準(zhǔn)確、上下文相關(guān)的回應(yīng)。RAG系統(tǒng)的主要組成部分包括: ·檢索器(Retriever)
    的頭像 發(fā)表于 12-17 13:41 ?1458次閱讀
    <b class='flag-5'>RAG</b>的概念及工作原理

    浪潮信息AI存儲(chǔ)性能測試的領(lǐng)先之道

    MLCommons,一個(gè)致力于推動(dòng)全球 AI系統(tǒng)發(fā)展的頂級(jí)工程聯(lián)盟,匯聚了包括谷歌、斯坦福大學(xué)在內(nèi)的眾多頂尖企業(yè)和研究機(jī)構(gòu)。作為該聯(lián)盟的創(chuàng)始成員之一,浪潮信息自2020年起便積極參與其中,共同探索
    的頭像 發(fā)表于 10-29 16:30 ?580次閱讀
    <b class='flag-5'>浪潮信息</b>AI存儲(chǔ)性能測試的領(lǐng)先之道

    浪潮信息源2.0大模型與百度PaddleNLP全面適配

    近日,浪潮信息宣布其開源大模型2.0已全面適配百度PaddleNLP。這一舉措標(biāo)志著大模型開發(fā)生態(tài)正加速進(jìn)化,為用戶提供了更加便捷、高效的大模型應(yīng)用體驗(yàn)。
    的頭像 發(fā)表于 10-17 18:15 ?898次閱讀

    浪潮信息:元腦企智EPAI助力金融大模型快速落地

    浪潮信息在AI算力底座建設(shè)、大模型開發(fā)領(lǐng)域積累的成熟、成功經(jīng)驗(yàn)工具化,助力金融機(jī)構(gòu)又快、又穩(wěn)地部署生成式AI應(yīng)用,助力金融數(shù)智化跨越式發(fā)展。
    的頭像 發(fā)表于 09-20 16:07 ?643次閱讀
    <b class='flag-5'>浪潮信息</b>:元腦企智EPAI<b class='flag-5'>助力</b>金融大模型快速落地

    33家元腦區(qū)域伙伴與浪潮信息簽署戰(zhàn)略合作協(xié)議

    近日,2024年浪潮信息區(qū)域ISP伙伴戰(zhàn)略簽約儀式圓滿落幕,標(biāo)志著浪潮信息在人工智能領(lǐng)域的合作版圖再度擴(kuò)大。此次盛會(huì)匯聚了全國范圍內(nèi)33家實(shí)力雄厚的億級(jí)及千萬級(jí)元腦區(qū)域伙伴,共同簽署戰(zhàn)略合作協(xié)議,攜手開啟AI應(yīng)用新篇章。
    的頭像 發(fā)表于 08-14 16:25 ?689次閱讀

    浪潮信息發(fā)布AIStation 人工智能開發(fā)平臺(tái)V5升級(jí)版

    7月9日,在“元腦中國行”全國巡展?jié)险旧希?b class='flag-5'>浪潮信息發(fā)布「AIStation 人工智能開發(fā)平臺(tái)V5升級(jí)版」,具備全面的大模型流程支持能力,幫助企業(yè)用戶降低構(gòu)建大模型微調(diào)任務(wù)門檻,提供標(biāo)準(zhǔn)、安全
    的頭像 發(fā)表于 07-10 16:25 ?980次閱讀

    浪潮信息推出AIGC存儲(chǔ)解決方案

    近日,在科技創(chuàng)新的浪潮中,浪潮信息成功舉辦了“元腦中國行”全國巡展的杭州站活動(dòng),此次盛會(huì)不僅匯聚了業(yè)界的精英與目光,更見證了浪潮信息在AIGC(人工智能生成內(nèi)容)領(lǐng)域的一次重大突破。會(huì)上,浪潮
    的頭像 發(fā)表于 07-03 11:16 ?1074次閱讀
    主站蜘蛛池模板: 国产亚洲婷婷香蕉久久精品 | 欧美成人午夜毛片免费影院 | 天堂资源中文官网 | 国产小视频免费在线观看 | 国产 高清 在线 | 操操操综合网 | 91天天干 | 久久精品影视 | 日本口工福利漫画无遮挡 | 天天综合色天天综合色sb | 又黄又爽的成人免费网站 | 四虎最新影院 | 免费的男女拍拍拍的视频 | 黄色小视频免费看 | 偷偷狠狠的日日日日 | 婷婷激情狠狠综合五月 | 全国男人天堂网 | 日本女人啪啪 | 一级a毛片免费 | 久久久噜噜噜久久中文字幕色伊伊 | 久久刺激 | 77788色淫网站女女免费视频 | 一区不卡 | 亚洲国产精品自在现线让你爽 | 欧美日韩高清一本大道免费 | 免费黄色 | 男生脱美女内裤内衣动态图 | 久久综合九色综合98一99久久99久 | 青草久草视频 | 一区二区三区四区欧美 | 色噜噜人体337p人体 | 亚洲四虎永久在线播放 | 成人在线色视频 | 国产精品热久久毛片 | 丰满寡妇一级毛片 | 天天亚洲综合 | 高h肉肉视频在线播放观看 高黄视频 | 亚洲欧美成人 | 亚洲欧美国产视频 | 免费一级欧美片在线观看 | 亚洲欧美色一区二区三区 |