在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

Qdrant不只是高性能向量數(shù)據(jù)庫

jf_wN0SrCdH ? 來源:Rust語言中文社區(qū) ? 2023-05-11 09:41 ? 次閱讀

Qdrant(讀作 quadrant)是一個(gè)向量相似度搜索引擎和向量數(shù)據(jù)庫。它提供了一個(gè)生產(chǎn)就緒的服務(wù),并具有便捷的 API,用于存儲(chǔ)、搜索和管理點(diǎn),具有附加負(fù)載的向量。

ef924b3c-ef67-11ed-90ce-dac502259ad0.jpg

Qdrant 是專為擴(kuò)展過濾支持而設(shè)計(jì)的,這使得它適用于各種基于神經(jīng)網(wǎng)絡(luò)或語義匹配、分面搜索等應(yīng)用。

Qdrant 使用 Rust 編寫,即使在高負(fù)載下也能快速、可靠地工作。至于性能文章后面有基準(zhǔn)測試結(jié)果。

使用 Qdrant,embeddings或神經(jīng)網(wǎng)絡(luò)編碼器可以直接轉(zhuǎn)化為完備的應(yīng)用程序,然后用于匹配、搜索、推薦等等!

github非常熱門,每天均以500star速度飆升。

efa3ff26-ef67-11ed-90ce-dac502259ad0.jpg

什么是向量數(shù)據(jù)庫

再搞清楚這個(gè)問題之前,先需要知道什么是向量(vector)。

什么是向量

AI領(lǐng)域中,向量是一個(gè)具有大小和方向的數(shù)學(xué)對(duì)象。它可以用來表示現(xiàn)實(shí)世界中的各種事物,例如圖像、語音、文本等。

機(jī)器學(xué)習(xí)深度學(xué)習(xí)中,向量通常被用作表示數(shù)據(jù)的形式,其中每個(gè)向量的維度代表了不同的特征或?qū)傩浴@纾趫D像分類任務(wù)中,一個(gè)圖像可以被表示為像素值組成的向量;在自然語言處理任務(wù)中,一句話可以被表示為單詞嵌入(word embeddings)組成的向量。通過對(duì)這些向量進(jìn)行計(jì)算和比較,機(jī)器可以從數(shù)據(jù)中提取出有用的信息,如相似性、聚類等。

拿比如人臉識(shí)別技術(shù)來說,計(jì)算機(jī)從照片或視頻中提取出人臉的圖像,然后將人臉圖像轉(zhuǎn)換為128維或者更高維度的向量。說到向量,就離不開embeddings。下面說下embeddings是什么。

什么是embeddings

embeddings是一個(gè)相對(duì)低維度的空間,可以將高維向量轉(zhuǎn)換為低維度。embeddings使得在大型輸入上搞機(jī)器學(xué)習(xí)更加容易,例如表示單詞的稀疏向量。最理想的情況是,embeddings能夠通過將語義上相似的輸入放置在embeddings空間中彼此靠近來捕獲輸入的某些語義。可以在不同的模型中學(xué)習(xí)和重復(fù)使用嵌入。

這里有一個(gè)之前學(xué)習(xí)過的Google出品的機(jī)器學(xué)習(xí)的課程可以參考:

官方網(wǎng)站:

https://developers.google.com/machine-learning/crash-course/embeddings/video-lecture?hl=en
efc1bc14-ef67-11ed-90ce-dac502259ad0.jpg

什么是向量檢索

向量搜索是一種使用機(jī)器學(xué)習(xí)模型在索引中檢測對(duì)象間語義關(guān)系的方法,以找到具有相似特征的相關(guān)對(duì)象。

向量搜索和推薦的解決方案變得越來越常見。如果你想在你的網(wǎng)站上添加自然語言文本搜索、創(chuàng)建圖像搜索或構(gòu)建強(qiáng)大的推薦系統(tǒng),那么你就需要考慮使用向量技術(shù)。

為什么需要向量數(shù)據(jù)庫

上面的一些概念解釋了之后,其實(shí)在 AI 領(lǐng)域中,向量數(shù)據(jù)庫是為了更高效地存儲(chǔ)和檢索大規(guī)模高維度的向量數(shù)據(jù)而設(shè)計(jì)的。由于傳統(tǒng)的數(shù)據(jù)庫系統(tǒng)并不擅長處理向量數(shù)據(jù),因此需要專門的向量數(shù)據(jù)庫來支持各種應(yīng)用場景,例如語義搜索、圖像檢索、推薦系統(tǒng)等。

與傳統(tǒng)數(shù)據(jù)庫不同,向量數(shù)據(jù)庫可以使用特殊的索引結(jié)構(gòu)和相似度度量方法,在高維度向量空間中快速查找相似的向量。例如,一些流行的向量數(shù)據(jù)庫如 Faiss 和 Annoy 使用基于倒排索引和近似最近鄰搜索(Approximate Nearest Neighbor Search)的技術(shù),極大地加快了向量數(shù)據(jù)的查詢速度。

向量數(shù)據(jù)庫還提供了方便的 API 接口和工具庫,使得用戶可以輕松地將其集成到自己的應(yīng)用程序中,并進(jìn)行快速的向量搜索。因此,在許多需要處理大規(guī)模向量數(shù)據(jù)的 AI 應(yīng)用中,向量數(shù)據(jù)庫成為了不可或缺的組件。

qdrant如何使用

Python中直接使用一個(gè)基于內(nèi)存的qdrant

pipinstallqdrant-client

python客戶端提供了一種方便的方式在本地啟動(dòng)qrant:

fromqdrant_clientimportQdrantClient
qdrant=QdrantClient("")#創(chuàng)建一個(gè)內(nèi)存Qdrant實(shí)例,可以用來測試CICD
#或者
client=QdrantClient(path="path/to/db")#持久化到磁盤

客戶端

這是推薦在生產(chǎn)中使用的方法。使用命令直接運(yùn)行容器:

dockerrun-p6333:6333qdrant/qdrant

現(xiàn)在,可以使用任何客戶(包括Python)連接到服務(wù)端:

qdrant=QdrantClient("http://localhost:6333")

目前支持的客戶端有:

  • 官方: Go client

  • 官方: Rust client

  • 官方: JavaScript/TypeScript client

  • 官方: Python client

  • 社區(qū): Elixir

  • 社區(qū): PHP

  • 社區(qū): Ruby

  • 社區(qū): Java

Demo示例工程

efdbb20e-ef67-11ed-90ce-dac502259ad0.jpg

總結(jié)

如今大模型浪潮浩浩蕩蕩,紅紅火火。向量數(shù)據(jù)庫被看做是Ai Infra中最關(guān)鍵的一環(huán),這種專門用于存儲(chǔ),索引和查詢向量的數(shù)據(jù)庫系統(tǒng),可以讓大模型更高效的存儲(chǔ)和讀取知識(shí)庫,并且以更低成本的進(jìn)行模型微調(diào)。Rust作為新基建的首選語言,也會(huì)在Ai infra中被大量采用。

一文告訴你為什么Mojo比python快35000x

一個(gè)用Rust寫的Go編譯器

極簡而強(qiáng)大: 一個(gè)用 Rust 編寫的 Shell 歷史記錄工具


審核編輯 :李倩


聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • API
    API
    +關(guān)注

    關(guān)注

    2

    文章

    1563

    瀏覽量

    63563
  • 數(shù)據(jù)庫
    +關(guān)注

    關(guān)注

    7

    文章

    3902

    瀏覽量

    65795
  • 機(jī)器學(xué)習(xí)

    關(guān)注

    66

    文章

    8492

    瀏覽量

    134128
  • 深度學(xué)習(xí)
    +關(guān)注

    關(guān)注

    73

    文章

    5555

    瀏覽量

    122500

原文標(biāo)題:Qdrant不只是高性能向量數(shù)據(jù)庫

文章出處:【微信號(hào):Rust語言中文社區(qū),微信公眾號(hào):Rust語言中文社區(qū)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    大模型卷價(jià)格,向量數(shù)據(jù)庫“卷”什么?

    被大模型“帶飛”這一年,向量數(shù)據(jù)庫才剛剛寫下序言
    的頭像 發(fā)表于 05-23 09:24 ?2102次閱讀
    大模型卷價(jià)格,<b class='flag-5'>向量</b><b class='flag-5'>數(shù)據(jù)庫</b>“卷”什么?

    莫名被戳中的“不只是”體

    三星電視發(fā)起“不只是”體,金秀賢版本和三星UHD電視版本一出,機(jī)智的網(wǎng)友們,將各種時(shí)下熱門紛紛打造成各種“不只是”體,加以調(diào)侃、唏噓,只有你想不到,沒有他們寫不出。據(jù)說,只要參與創(chuàng)造不只是體的還有
    發(fā)表于 05-26 17:24

    莫名被戳中的“不只是”體

    三星電視發(fā)起“不只是”體,金秀賢版本和三星UHD電視版本一出,機(jī)智的網(wǎng)友們,將各種時(shí)下熱門紛紛打造成各種“不只是”體,加以調(diào)侃、唏噓,只有你想不到,沒有他們寫不出。據(jù)說,只要參與創(chuàng)造不只是體的還有
    發(fā)表于 05-26 17:26

    為什么說藍(lán)牙技術(shù)不只是連接?

    藍(lán)牙作為實(shí)現(xiàn)物聯(lián)網(wǎng)的一種關(guān)鍵技術(shù),如今它不只是連接,也將是智能的“標(biāo)配”。雖然物聯(lián)網(wǎng)尚未完全普及開來,但是很多人已經(jīng)開始討論AIoT了,也就是智慧互聯(lián)。馬云和雷軍等大佬們不止一次在公開場合表示,AIoT才是未來物聯(lián)網(wǎng)的終極形態(tài),這也就意味著僅僅靠連接技術(shù),很難搶占未來巨大的IoT藍(lán)海市場。
    發(fā)表于 09-11 11:51

    提高Oracle的數(shù)據(jù)庫性能

    問題。通過優(yōu)化SQL語句效率、擴(kuò)充高級(jí)緩沖區(qū)和配置重做日志緩沖區(qū)等幾個(gè)方面介紹了Oracle數(shù)據(jù)庫優(yōu)化方法,探討了OraCle如何提高性能優(yōu)化的措施。通過測試Oracle查詢結(jié)果表明,經(jīng)過優(yōu)化后的Oracle數(shù)據(jù)庫縮短了響應(yīng)時(shí)間
    發(fā)表于 11-11 18:16 ?4次下載

    【數(shù)轉(zhuǎn)視野】不只是科技企業(yè) 傳統(tǒng)企業(yè)更需要數(shù)字化轉(zhuǎn)型

    【數(shù)轉(zhuǎn)視野】不只是科技企業(yè) 傳統(tǒng)企業(yè)更需要數(shù)字化轉(zhuǎn)型
    的頭像 發(fā)表于 06-27 19:39 ?3577次閱讀

    工業(yè)投影設(shè)計(jì)——不只是為了觀看

    工業(yè)投影設(shè)計(jì)——不只是為了觀看
    發(fā)表于 11-02 08:15 ?0次下載
    工業(yè)投影設(shè)計(jì)——<b class='flag-5'>不只是</b>為了觀看

    愛可生向量數(shù)據(jù)庫基于昇騰AI實(shí)現(xiàn)全面升級(jí)

    ? ? 近日,在深圳昇騰創(chuàng)新中心的支持下,愛可生向量數(shù)據(jù)庫(TensorDB)完成了與華為Atlas 800推理服務(wù)器和全場景AI框架昇思MindSpore的兼容性測試,實(shí)現(xiàn)了愛可生向量檢索技術(shù)與昇
    的頭像 發(fā)表于 03-23 10:40 ?1366次閱讀

    向量數(shù)據(jù)庫是如何工作的?

    向量數(shù)據(jù)庫和 Embedding 是當(dāng)前 AI 領(lǐng)域的熱門話題。
    的頭像 發(fā)表于 06-18 11:06 ?1113次閱讀
    <b class='flag-5'>向量</b><b class='flag-5'>數(shù)據(jù)庫</b>是如何工作的?

    北美有的,中國也有了!Zilliz Cloud向量數(shù)據(jù)庫云服務(wù)重磅登場

    Milvus自2019年正式開源以來,已經(jīng)成長為全球最大、最活躍的向量數(shù)據(jù)庫開源項(xiàng)目與開發(fā)者社區(qū)。作為Milvus背后的開發(fā)者與運(yùn)營者,Zilliz一直走在向量數(shù)據(jù)庫的最前沿,始終秉承
    的頭像 發(fā)表于 07-12 16:30 ?1530次閱讀
    北美有的,中國也有了!Zilliz Cloud<b class='flag-5'>向量</b><b class='flag-5'>數(shù)據(jù)庫</b>云服務(wù)重磅登場

    向量數(shù)據(jù)庫:AI時(shí)代的下一個(gè)熱點(diǎn)

    AI大模型帶火了向量數(shù)據(jù)庫
    的頭像 發(fā)表于 08-08 22:45 ?595次閱讀

    什么是向量數(shù)據(jù)庫?關(guān)系數(shù)據(jù)庫向量數(shù)據(jù)庫之間的區(qū)別是什么?

    向量數(shù)據(jù)庫是一種以向量嵌入(高維向量)方式存儲(chǔ)和管理非結(jié)構(gòu)化數(shù)據(jù)(如文本、圖像或音頻)的數(shù)據(jù)庫
    的頭像 發(fā)表于 08-16 10:13 ?3040次閱讀
    什么是<b class='flag-5'>向量</b><b class='flag-5'>數(shù)據(jù)庫</b>?關(guān)系<b class='flag-5'>數(shù)據(jù)庫</b>和<b class='flag-5'>向量</b><b class='flag-5'>數(shù)據(jù)庫</b>之間的區(qū)別是什么?

    探尋向量數(shù)據(jù)庫爆火的真相,Zilliz 技術(shù)合伙人帶你解惑

    大模型時(shí)代的到來將向量數(shù)據(jù)庫的熱度推向了高點(diǎn),在此氛圍下,有人發(fā)出了哲學(xué)家般的一問:究竟是大模型選擇了向量數(shù)據(jù)庫還是向量
    的頭像 發(fā)表于 09-28 11:40 ?707次閱讀
    探尋<b class='flag-5'>向量</b><b class='flag-5'>數(shù)據(jù)庫</b>爆火的真相,Zilliz 技術(shù)合伙人帶你解惑

    搭載英偉達(dá)GPU,全球領(lǐng)先的向量數(shù)據(jù)庫公司Zilliz發(fā)布Milvus2.4向量數(shù)據(jù)庫

    在美國硅谷圣何塞召開的 NVIDIA GTC 大會(huì)上,全球領(lǐng)先的向量數(shù)據(jù)庫公司 Zilliz 發(fā)布了 Milvus 2.4 版本。這是一款革命性的向量數(shù)據(jù)庫系統(tǒng),在業(yè)界首屈一指,它首次
    的頭像 發(fā)表于 04-01 14:33 ?880次閱讀
    搭載英偉達(dá)GPU,全球領(lǐng)先的<b class='flag-5'>向量</b><b class='flag-5'>數(shù)據(jù)庫</b>公司Zilliz發(fā)布Milvus2.4<b class='flag-5'>向量</b><b class='flag-5'>數(shù)據(jù)庫</b>

    科技云報(bào)到:大模型時(shí)代下,向量數(shù)據(jù)庫的野望

    科技云報(bào)到:大模型時(shí)代下,向量數(shù)據(jù)庫的野望
    的頭像 發(fā)表于 10-14 17:18 ?490次閱讀
    主站蜘蛛池模板: 可以免费观看的黄色网址 | 午夜免费福利片 | 色先锋av资源中文字幕 | 日日射天天射 | 亚洲国产成人精品久久 | 亚洲w码欧洲s码免费 | 亚洲一区二区欧美 | 2020狠狠操| 天堂成人一区二区三区 | 婷婷影院在线综合免费视频 | 天堂资源在线最新版 | 亚洲视频在线不卡 | 欧美一级看片免费观看视频在线 | 国产欧美日韩电影 | 午夜欧美福利视频 | 都市激情亚洲 | 色视频网站大全免费 | 国产片一级特黄aa的大片 | 4399一级成人毛片 | 国内91视频 | 四虎成人欧美精品在永久在线 | bt种子搜索在线 | 在线永久免费观看黄网站 | 成年人网站黄色 | china3p单男精品自拍 | 亚洲第一视频网 | 黄色大片网 | 天天操网站 | 性欧美丰满xxxx性久久久 | 手机在线视频观看 | 国产美女动态免费视频 | 欧美日韩高清一本大道免费 | 欧美一区二区三区激情啪啪 | 中文字幕视频一区二区 | 久久亚洲国产成人影院 | 99久久免费精品视频 | 毛片基地在线 | 成年美女 | 九九热在线精品 | 49pao强力在线高清基地 | 国产黄色在线观看 |