在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

再現(xiàn)輝煌:瑞典國家圖書館運用 AI 解析數(shù)百年數(shù)據(jù)

NVIDIA英偉達企業(yè)解決方案 ? 來源:未知 ? 2023-02-15 16:10 ? 次閱讀

瑞典國家圖書館正在使用五百年來的瑞典語文本訓(xùn)練最先進的 AI 模型,以支持歷史、語言學(xué)、媒體研究等方面的人文研究。

從價值連城的中世紀(jì)手稿到今天的披薩店菜單,瑞典國家圖書館在過去 500 年中收藏了幾乎所有瑞典語出版物。

由于瑞典法律要求一切瑞典語出版物都要上交副本至瑞典國家圖書館(也稱為瑞典皇家圖書館),因此該圖書館的藏品涵蓋了各清晰度的書籍、報紙、無線廣播、電視廣播、互聯(lián)網(wǎng)內(nèi)容、博士論文、明信片、菜單和電子游戲。這個內(nèi)容豐富的收藏集含近 26 PB 的數(shù)據(jù),是訓(xùn)練尖端 AI 的最佳選擇。

瑞典國家圖書館數(shù)據(jù)實驗室 KBLab 的負(fù)責(zé)人 Love B?rjeson 表示:“我們有最好的數(shù)據(jù),所以我們可以構(gòu)建最先進的瑞典語 AI 模型。”

該團隊使用 NVIDIA DGX 系統(tǒng)開發(fā)了二十多個可在 Hugging Face 上使用的開源 Transformer 模型。這些模型推動了圖書館和其他學(xué)術(shù)機構(gòu)的研究,每月的開發(fā)者下載量多達 20 萬。

B?rjeson 表示:“在我們的實驗室成立前,研究者無法在圖書館訪問數(shù)據(jù)集,他們每次只能查閱一個對象。因此,為幫助那些需要大量查閱資料的研究者,創(chuàng)建圖書館的數(shù)據(jù)集十分必要。”

這樣,研究者很快就能創(chuàng)建專門的數(shù)據(jù)集。例如,調(diào)出所有描繪教堂的瑞典明信片、所有特定風(fēng)格的文本或是所有提到某一歷史人物的書籍、報紙文章及電視廣播。

從圖書館檔案到 AI 訓(xùn)練數(shù)據(jù)

瑞典國家圖書館的數(shù)據(jù)集涵蓋了瑞典語的所有變體,包括各種正式和非正式變體、地區(qū)方言以及隨著時間的推移而產(chǎn)生的變化。

B?rjeson 表示:“數(shù)據(jù)還在持續(xù)不斷地涌入并增長,我們每個月都會增加超過 50 TB 的新數(shù)據(jù)。在處理成倍增長的數(shù)據(jù)的同時,我們還要將數(shù)百年前的實物藏品轉(zhuǎn)換成數(shù)據(jù)錄入,所以我們一直在不斷擴大我們的數(shù)據(jù)集。”

2019 年 KBLab 成立后不久,B?rjeson 就看到了運用龐大的圖書館檔案訓(xùn)練 Transformer 語言模型的潛力。谷歌早期的多語言自然語言處理模型含有 5GB 瑞典語文本,他從此受到了啟發(fā)。

KBLab 的第一個模型使用了谷歌多語言自然語言處理模型 4 倍之多的數(shù)據(jù)——B?rjeson 團隊的目標(biāo)是使用至少 1 TB 的瑞典語文本訓(xùn)練模型。在發(fā)現(xiàn)多語言數(shù)據(jù)集可能提高 AI 的性能之后,這座實驗室開始進行實驗,在其數(shù)據(jù)集中添加荷蘭語、德語和挪威語內(nèi)容。

NVIDIA AI 和 GPU 加速模型開發(fā)

該實驗室一開始使用的是消費級 NVIDIA GPU,但 B?rjeson 很快發(fā)現(xiàn)他的團隊需要數(shù)據(jù)中心規(guī)模的計算來訓(xùn)練更大的模型。

B?rjeson 表示:“我們意識到在小型工作站上無法完成這項工作,所以 NVIDIA DGX 是明智之選。我們很多的工作離不開 DGX 系統(tǒng)。”

該實驗室使用兩套來自瑞典供應(yīng)商 AddPro 的 NVIDIA DGX 系統(tǒng)進行本地 AI 開發(fā)。這些系統(tǒng)用于處理敏感數(shù)據(jù)、開展大規(guī)模實驗和微調(diào)模型。它們還準(zhǔn)備在全歐盟搭載 GPU 的大型超級計算機上進行更大規(guī)模的運行,其中包括盧森堡的 MeluXina 系統(tǒng)。

B?rjeson 表示:“我們在 DGX 系統(tǒng)上的工作至關(guān)重要,因為我們希望能夠在高性能計算環(huán)境中做到最好,這必須將超級計算機的作用發(fā)揮到極致。”

該團隊還采用了用于訓(xùn)練大型語言模型的 PyTorch 框架 NVIDIA NeMo Megatron。其內(nèi)置的 NVIDIA CUDA 和 NVIDIA NCCL 庫可優(yōu)化 GPU 在多節(jié)點系統(tǒng)中的使用。

B?rjeson 表示:“我們十分依賴 NVIDIA 的框架。因為我們實驗室的規(guī)模較小,無法派出 50 名工程師優(yōu)化每個項目的 AI 訓(xùn)練,NVIDIA 的優(yōu)勢在這就十分明顯了。”

利用多模態(tài)數(shù)據(jù)開展人文科學(xué)研究

除了能夠理解瑞典語文本的 Transformer 模型外,KBLab 還有一個能將聲音轉(zhuǎn)換成文本的 AI 工具。這使得圖書館能夠?qū)⑵浯罅康臒o線廣播收藏轉(zhuǎn)換成數(shù)據(jù)集,以便研究者能夠搜索錄音中的具體內(nèi)容。

KBLab 還在開發(fā)生成式文本模型,同時還在研究一個可以處理視頻并自動生成內(nèi)容描述的 AI 模型。

B?rjeson 表示:“我們還希望將各種模態(tài)的數(shù)據(jù)聯(lián)系起來。當(dāng)你在圖書館數(shù)據(jù)庫中搜索一個特定的詞語時,系統(tǒng)將能夠返回包括文本、音頻和視頻在內(nèi)的結(jié)果。”

KBLab 與哥德堡大學(xué)的研究者開展了合作。這些研究者正在使用該 KBLab 的模型開發(fā)用于語言學(xué)研究的下游應(yīng)用程序。項目之一是幫助瑞典學(xué)院升級用于創(chuàng)建瑞典語詞典的數(shù)據(jù)驅(qū)動技術(shù)。

B?rjeson 表示:“這些模型的社會效益遠(yuǎn)遠(yuǎn)超出了我們的最初預(yù)想。”

9aac0100-ad07-11ed-bfe3-dac502259ad0.png ? ? ?

點擊“閱讀原文”掃描下方海報二維碼,即可免費注冊 GTC 23,切莫錯過這場 AI 和元宇宙時代的技術(shù)大會


原文標(biāo)題:再現(xiàn)輝煌:瑞典國家圖書館運用 AI 解析數(shù)百年數(shù)據(jù)

文章出處:【微信公眾號:NVIDIA英偉達企業(yè)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。


聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 英偉達
    +關(guān)注

    關(guān)注

    22

    文章

    3923

    瀏覽量

    93136

原文標(biāo)題:再現(xiàn)輝煌:瑞典國家圖書館運用 AI 解析數(shù)百年數(shù)據(jù)

文章出處:【微信號:NVIDIA-Enterprise,微信公眾號:NVIDIA英偉達企業(yè)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦
    熱點推薦

    RFID在圖書館自動化中的應(yīng)用

    RFID在圖書館自動化中的優(yōu)勢高效率:RFID可以快速批量讀取圖書信息,大幅縮短借還書時間,提高圖書館管理效率。準(zhǔn)確性:RFID減少了人工操作的錯誤率,提高了圖書管理的準(zhǔn)確性和可靠性。
    的頭像 發(fā)表于 05-27 17:15 ?129次閱讀
    RFID在<b class='flag-5'>圖書館</b>自動化中的應(yīng)用

    RFID智能書架:圖書館數(shù)字化轉(zhuǎn)型的新核心技術(shù)

    隨著數(shù)字化轉(zhuǎn)型的推進,圖書館智能化升級成為趨勢。RFID智能書架憑借高效、精準(zhǔn)、自動化的管理能力,成為圖書館現(xiàn)代化轉(zhuǎn)型的新寵。
    的頭像 發(fā)表于 04-28 11:26 ?197次閱讀
    RFID智能書架:<b class='flag-5'>圖書館</b>數(shù)字化轉(zhuǎn)型的新核心技術(shù)

    圖書館效率革命!RFID智能書柜如何顛覆傳統(tǒng)借閱體驗?

    傳統(tǒng)借閱體驗繁瑣且低效,圖書館借閱效率亟待提升。RFID智能書柜顛覆傳統(tǒng)借閱體驗,實現(xiàn)圖書精準(zhǔn)定位與高效管理。便捷自助借還,縮短借還時間,降低排隊時間,提高借閱體驗。
    的頭像 發(fā)表于 04-23 15:21 ?188次閱讀
    <b class='flag-5'>圖書館</b>效率革命!RFID智能書柜如何顛覆傳統(tǒng)借閱體驗?

    RFID圖書管理系統(tǒng)如何重構(gòu)數(shù)字化倉儲管理新生態(tài)

    圖書館與出版行業(yè)數(shù)字化轉(zhuǎn)型進程中,RFID圖書管理系統(tǒng)正打破傳統(tǒng)人工管理的效率瓶頸,通過與數(shù)字化倉儲管理系統(tǒng)的深度融合,實現(xiàn)從圖書采購、入庫到借閱的全鏈路智能化。本文結(jié)合RFID固定資產(chǎn)管理軟件的應(yīng)用邏輯,
    的頭像 發(fā)表于 04-18 16:59 ?190次閱讀
    RFID<b class='flag-5'>圖書</b>管理系統(tǒng)如何重構(gòu)數(shù)字化倉儲管理新生態(tài)

    智慧閱讀觸手可及——RFID微型圖書館,你了解嗎?

    RFID微型圖書館是一種新型的閱讀模式,通過射頻識別技術(shù)構(gòu)建的小型化、智能化圖書館設(shè)施。它提供24小時自助服務(wù)、多種登錄方式、圖書定位與查找、快速盤點圖書
    的頭像 發(fā)表于 04-09 15:37 ?199次閱讀
    智慧閱讀觸手可及——RFID微型<b class='flag-5'>圖書館</b>,你了解嗎?

    你的樹莓派為什么越用越卡?揭秘SD卡里的&amp;quot;圖書館管理員&amp;quot;

    導(dǎo)語有沒有遇到過樹莓派啟動變慢、運行卡頓,甚至莫名“死機”?這些問題很可能和SD卡里的“隱形管家”——文件系統(tǒng)有關(guān)!今天我們將用“圖書館管理員”的比喻,帶你輕松看懂樹莓派啟動流程、文件系統(tǒng)的核心作用
    的頭像 發(fā)表于 03-25 09:23 ?440次閱讀
    你的樹莓派為什么越用越卡?揭秘SD卡里的&amp;quot;<b class='flag-5'>圖書館</b>管理員&amp;quot;

    用騰訊ima和Deepseek建立個人微信知識庫

    騰訊AI圖書館來了,是時候升級英飛凌工業(yè)半導(dǎo)體的《微信圖書館》啦。(對于工程師零難度)近日騰訊推出了AI智能工作臺ima.copilot,本人親測,可以在微信平臺上建立方便實用的私人
    的頭像 發(fā)表于 02-25 17:33 ?1273次閱讀
    用騰訊ima和Deepseek建立個人微信知識庫

    二維碼掃描頭嵌入在圖書自助管理設(shè)備中的應(yīng)用案例

    在當(dāng)今數(shù)字化時代,二維碼掃描技術(shù)已廣泛應(yīng)用于各行各業(yè),其中,在圖書自助管理設(shè)備中的嵌入應(yīng)用尤為引人注目。這不僅極大地提升了圖書館的服務(wù)效率與用戶體驗,還實現(xiàn)了圖書管理流程的智能化與自動化。以下將詳細(xì)
    的頭像 發(fā)表于 12-19 16:22 ?493次閱讀
    二維碼掃描頭嵌入在<b class='flag-5'>圖書</b>自助管理設(shè)備中的應(yīng)用案例

    如何保障圖書館用電安全?——安科瑞 丁佳雯

    一、圖書館的安全挑戰(zhàn)? 圖書館作為公共場所,其電氣系統(tǒng)復(fù)雜且龐大,包括照明、空調(diào)、電腦、電子閱讀設(shè)備等眾多用電設(shè)備。這些設(shè)備在長時間運行過程中,可能會因老化、接觸不良或設(shè)計缺陷等原因產(chǎn)生故障電弧
    的頭像 發(fā)表于 12-13 14:34 ?395次閱讀
    如何保障<b class='flag-5'>圖書館</b>用電安全?——安科瑞 丁佳雯

    智慧圖書館能耗監(jiān)測優(yōu)化管理系統(tǒng)方案

    優(yōu)化管理系統(tǒng)方案,旨在通過智能化手段實現(xiàn)對圖書館能耗的全面監(jiān)測、精準(zhǔn)分析與高效管理,有效減少能耗成本并提高能源利用效率。 通過在圖書館各區(qū)域配電室內(nèi)部署物通博聯(lián)工業(yè)智能網(wǎng)關(guān),實時采集智能電表數(shù)據(jù),如電量、電壓
    的頭像 發(fā)表于 09-11 13:41 ?761次閱讀

    榮耀參展百年IFA,折疊新品Magic V3海外正式發(fā)布

    、榮耀筆記本MagicBook Art 14等全場景旗艦設(shè)備亮相,同時帶來AI離焦護眼等多項端側(cè)AI創(chuàng)新技術(shù),為這一消費電子行業(yè)盛會的百年誕辰奉上特殊的創(chuàng)新之禮。
    的頭像 發(fā)表于 09-07 09:14 ?1028次閱讀

    數(shù)據(jù)產(chǎn)業(yè)年均增速有望超20%

    數(shù)字化一直在加速落地,加之各項政策的促進,產(chǎn)業(yè)發(fā)展迅速。有數(shù)據(jù)統(tǒng)計顯示,在2023全國數(shù)據(jù)生產(chǎn)總量達到32.85澤字節(jié)(ZB),這個總量相當(dāng)于1000多萬個中國國家圖書館的數(shù)字資源總
    的頭像 發(fā)表于 08-08 15:48 ?901次閱讀

    聚徽-什么是智能圖書館

    智能圖書館(Intelligent Library,簡稱 IL)是把智能技術(shù)運用圖書館建設(shè)之中形成的一種現(xiàn)代化建筑,是智能建筑與高度自動化管理的數(shù)字圖書館的有機結(jié)合和創(chuàng)新。它應(yīng)同時具
    的頭像 發(fā)表于 08-05 09:51 ?556次閱讀

    OBOO鷗柏智能化臥式觸控查詢一體機在大學(xué)圖書館的創(chuàng)新應(yīng)用案例展覽展示

    OBOO鷗柏臥式紅外觸控一體機圖書館應(yīng)用隨著信息技術(shù)的飛速發(fā)展,校園大學(xué)圖書館正經(jīng)歷著一場由傳統(tǒng)向科技化的現(xiàn)代、由單一向多元化的智慧便民的變革。在這場導(dǎo)覽展覽展示的變革中,OBOO鷗柏紅外臥式觸
    的頭像 發(fā)表于 07-29 11:15 ?588次閱讀
    OBOO鷗柏智能化臥式觸控查詢一體機在大學(xué)<b class='flag-5'>圖書館</b>的創(chuàng)新應(yīng)用案例展覽展示

    雷拓科技云廣播助力江西省蘆溪縣新圖書館打造沉浸式觀展體驗!

    ?蘆溪縣圖書館新館位于江西省萍鄉(xiāng)市蘆溪縣古城山公園袁河西路,占地8畝,建筑面積1.1萬平方米,嚴(yán)格按照國家一級圖書館標(biāo)準(zhǔn)設(shè)計,集智能化、數(shù)字化、平臺化為一體,設(shè)立了自助辦證、借還一體機、智能書架
    的頭像 發(fā)表于 07-01 09:59 ?522次閱讀
    雷拓科技云廣播助力江西省蘆溪縣新<b class='flag-5'>圖書館</b>打造沉浸式觀展體驗!
    主站蜘蛛池模板: 四虎国产精品永久免费网址 | 天天爱天天做色综合 | 一级毛片ab片高清毛片 | 成色网| semimi亚洲综合在线观看 | 亚洲成av人片在线观看无码 | 老熟女一级毛片 | 天天爱夜夜 | 欧美性天堂 | 国产人成午夜免费噼啪视频 | 中文字幕在线观看你懂的 | 日本不卡高清免费 | 美女视频黄.免费网址 | 中文字幕11页 | 国产一级一级片 | 好深好爽视频 | 婷婷99视频精品全部在线观看 | 你懂的手机在线视频 | 激情五月播播 | 欧美高h| 性色视频在线观看 | 永久免费观看午夜视频在线 | 日本免费不卡视频一区二区三区 | 天天狠狠弄夜夜狠狠躁·太爽了 | 狠狠操天天操夜夜操 | 欧美午夜视频一区二区三区 | 2020年亚洲天天爽天天噜 | 美女和帅哥在床上玩的不可描述 | 99se亚洲综合色区 | 特黄一级视频 | 四虎影院视频在线观看 | 特级黄aaaaaaaaa毛片 | 另类激情亚洲 | 亚洲无吗在线视频 | 午夜激情小视频 | 欧美性色欧美a在线播放 | 久久黄色毛片 | 丰满寡妇一级毛片 | 欧洲精品不卡1卡2卡三卡 | 色中色资源 | 亚洲综合视频一区 |