在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

使用Keras構建基于關鍵字和圖像的搜索引擎

汽車玩家 ? 來源:人工智能遇見磐創 ? 作者:人工智能遇見磐創 ? 2020-05-05 08:43 ? 次閱讀

動機

想象一下,如果有數十萬到數百萬張圖像的數據集,卻沒有描述每張圖像內容的元數據。我們如何建立一個系統,能夠找到這些圖像的子集來更好地回答用戶的搜索查詢?

我們基本上需要的是一個搜索引擎,它能夠根據圖像與搜索查詢的對應程度對圖像結果進行排序,可以用一種自然語言表示,,也可以用其他查詢圖像表示。

我們將在本文中解決問題的方法是訓練一個深度神經模型,該模型學習任何輸入圖像和文本的固定長度表示形式(或嵌入形式),使得如果文本-圖像或圖像-圖像是“相似的”,則他們在歐氏空間中接近,。

數據集

我找不到足夠大的搜索結果排名數據集,但我能夠得到這個數據集:http://jmcauley.ucsd.edu/data/amazon/它將電子商務項目的圖像鏈接到它們的標題和描述。我們將使用這些元數據作為監督源來學習有意義的聯合文本-圖像表示。為了管理計算和存儲成本,這些實驗僅限于時尚(服裝、鞋子和珠寶)物品和50萬張圖像。

問題設置

我們的數據集將每個圖像與用自然語言編寫的描述鏈接起來。因此,我們定義了一個任務,在該任務中,我們要學習圖像和文本的固定長度的聯合表示,以便每個圖像表示都接近其描述的表示。

模型

該模型有3個輸入:圖像(即錨點)、圖像標題與描述(即正例)和第三個輸入是一些隨機采樣的文本(即負例)。

然后定義兩個子模型:

圖像編碼器:Resnet50預訓練的ImageNet+GlobalMaxpooling2D

文本編碼器:GRU+GlobalMaxpooling1D

圖像子模型產生錨點E_a的嵌入,文本子模型輸出正標題和描述E_p的嵌入和負例文本E_n的嵌入。

然后,我們通過優化以下損失函數進行訓練:

L = max( d(Ea, Ep)-d(Ea, En)+alpha, 0)

其中d為歐氏距離,alpha為超參數,在本實驗中為0.4。

基本上,這種損失允許做的是使d(E_a,E_p)變小,使d(E_a,E_n)變大,這樣每個圖像的嵌入就接近于它的描述的嵌入,而遠離隨機文本的嵌入。

可視化結果

一旦我們學習了圖像嵌入模型和文本嵌入模型,我們就可以通過使用tsne (https://scikit-learn.org/stable/modules/generated/sklearn.manifold.TSNE.html)將它們投影到二維空間中來實現可視化。測試圖像及其對應的文本描述用綠線連接

從圖中可以看出,通常在嵌入空間中,圖像及其對應的描述是接近的??紤]到使用的訓練損失,這是我們期望的。

文字圖片搜索

在這里,我們使用幾個文本查詢示例來在一組70,000張圖像中搜索最佳匹配。我們計算查詢的文本嵌入,然后計算集合中每個圖像的嵌入。我們最終在嵌入空間中選擇最接近查詢的前9張圖像。

這些例子表明,嵌入模型能夠學習圖像的有用表示形式和簡單單詞組成的嵌入。

圖像搜索

在這里,我們將使用圖像作為查詢,然后在包含70,000張圖像的數據庫中搜索與之最相似的示例。排序是由每對圖像在嵌入空間內的歐氏距離決定的。

結果表明,生成的嵌入是圖像的高級表示,它捕獲了所表示對象的最重要特征,而不受方向、光照或局部細節的過度影響,也沒有經過明確的訓練。

結論:在這個項目中,我們研究了機器學習模塊,它允許我們構建一個基于關鍵字和圖像的搜索引擎,應用于圖像集合。其基本思想是學習一個有意義的文本和圖像的聯合嵌入函數,然后利用嵌入空間中項之間的距離對搜索結果進行排序。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 存儲
    +關注

    關注

    13

    文章

    4457

    瀏覽量

    86845
  • keras
    +關注

    關注

    2

    文章

    20

    瀏覽量

    6146
收藏 人收藏

    評論

    相關推薦

    阿里國際推出全球首個B2B AI搜索引擎Accio

    近日,在歐洲科技峰會Web Summit上,阿里國際正式推出了全球首個B2B領域的AI搜索引擎——Accio。這一創新產品面向全球商家開放,標志著阿里國際正式入局當前備受矚目的AI Search賽道。
    的頭像 發表于 11-15 16:53 ?1006次閱讀

    阿里國際推出B2B領域AI搜索引擎Accio

    近日,阿里國際宣布正式進軍AI搜索領域,并面向全球商家推出了首個B2B領域的AI搜索引擎——Accio。這一創新產品的推出,標志著阿里國際在電子商務和人工智能技術結合方面邁出了重要一步。 Accio
    的頭像 發表于 11-14 11:47 ?724次閱讀

    Meta開發新搜索引擎,減少對谷歌和必應的依賴

    近日,Meta正在積極進軍人工智能領域,并試圖跟上OpenAI的發展步伐。為實現這一目標,Meta正在開發一款全新的搜索引擎,該搜索引擎具備網絡爬蟲功能,能夠為用戶提供有關時事的對話答案,而這些答案
    的頭像 發表于 10-29 11:49 ?647次閱讀

    C語言關鍵字--typedef

    C語言關鍵字使用方法學習指南!
    的頭像 發表于 10-07 12:44 ?461次閱讀

    月訪問量超2億,增速113%!360AI搜索成為全球增速最快的AI搜索引擎

    與傳統搜索引擎不同,作為AI原生搜索引擎的360AI搜索基于公開網絡、知識庫、大模型三大支柱。借助首創的 CoE 技術架構,360AI搜索整合了國內主流的16家廠商51款大模型,支持用
    的頭像 發表于 09-09 13:44 ?723次閱讀
    月訪問量超2億,增速113%!360AI<b class='flag-5'>搜索</b>成為全球增速最快的AI<b class='flag-5'>搜索引擎</b>

    用 AI 解鎖技術調研的新姿勢

    1. 前言 在日常開發中,為了保證技術方案的質量,一般會在撰寫前進行調研。如果先前沒有相關領域的知識儲備,筆者的調研方式一般是先通過搜索引擎進行關鍵字查詢,然后再基于搜索的結果進行發散。這樣調研
    的頭像 發表于 08-05 13:44 ?318次閱讀
    用 AI 解鎖技術調研的新姿勢

    OpenAI推出SearchGPT原型,正式向Google搜索引擎發起挑戰

    在人工智能領域的持續探索中,OpenAI 邁出了重大一步,發布了其最新的 SearchGPT 原型,直接瞄準了 Google 的核心業務——搜索引擎。這一舉動不僅標志著 OpenAI 在技術上的又一次飛躍,也預示著搜索引擎市場即將迎來一場前所未有的變革。
    的頭像 發表于 07-26 15:11 ?688次閱讀

    微軟計劃在搜索引擎Bing中引入AI摘要功能

    近期,科技界傳來新動向,微軟緊隨百度與谷歌的步伐,宣布計劃在其搜索引擎Bing中引入先進的AI摘要功能,旨在為用戶帶來更加智能、豐富的搜索體驗。
    的頭像 發表于 07-26 14:23 ?614次閱讀

    快速掌握C語言關鍵字

    C語言中的32個關鍵字你知道多少個呢?根據關鍵字的作用分為四類:數據類型關鍵字、控制語句關鍵字、存儲類型關鍵字和其它
    的頭像 發表于 07-06 08:04 ?555次閱讀
    快速掌握C語言<b class='flag-5'>關鍵字</b>

    新火種AI|谷歌推出AI搜索引擎惹得出版商擔憂!新聞流量的至暗時刻要來了嗎?

    作者:小巖 編輯:彩云 在數字化浪潮的推動下,AI技術正逐漸滲透到我們生活的方方面面。最近,谷歌宣布推出一款全新的AI搜索引擎,這在使我們見識到了科技巨頭所擁有的超能力和“鈔”能力的同時,也讓我們
    的頭像 發表于 05-17 09:40 ?471次閱讀
    新火種AI|谷歌推出AI<b class='flag-5'>搜索引擎</b>惹得出版商擔憂!新聞流量的至暗時刻要來了嗎?

    OpenAI否認將推出搜索產品或GPT-5

    此消息對致力于將ChatGPT嵌入必應搜索引擎的微軟或許有所積極影響。早期已有報導披露,該AI企業有意研發競品以抗衡谷歌搜索引擎。
    的頭像 發表于 05-13 15:14 ?487次閱讀

    OpenAI注冊新域名,準備推出結合AI技術的搜索引擎挑戰谷歌

    OpenAI最近注冊了“search.chatgpt.com”域名,看起來是要推出一款新的搜索引擎
    的頭像 發表于 05-08 10:41 ?619次閱讀

    OpenAI或將推出ChatGPT搜索引擎

    據可靠消息透露,OpenAI正秘密研發一款以ChatGPT為基礎的大型產品,其核心功能將是一款新型搜索引擎,旨在為用戶提供更便捷的上網體驗。
    的頭像 發表于 05-08 10:19 ?618次閱讀

    新火種AI|挑戰谷歌,OpenAI要推出搜索引擎?

    新的搜索引擎,幫助用書輕松上網。 OpenAI的這一動向引起了業界的廣泛關注。作為OpenAI開發的一款強大的AI大語言模型,ChatGPT已經在自然語言處理的領域取得了顯著的成果,并給了人們全新的獲取信息的體驗。因此,自誕生以來,ChatGPT一直都被不少人視為能夠給予谷歌
    的頭像 發表于 05-07 22:06 ?467次閱讀
    新火種AI|挑戰谷歌,OpenAI要推出<b class='flag-5'>搜索引擎</b>?

    OpenAI或將在5月9日發布ChatGPT版搜索引擎

    OpenAI可能即將與谷歌展開正面競爭,推出基于ChatGPT的搜索引擎。根據Reddit網友的最新爆料,OpenAI有望在5月9日公布其全新的搜索產品。據悉,與這一新產品相對應的搜索網頁search.chatgpt.com的域
    的頭像 發表于 05-07 09:28 ?772次閱讀
    主站蜘蛛池模板: 中文字幕11页 | 四虎影视最新地址 | 亚洲久久在线 | 天天摸天天碰色综合网 | 国产精品久久久久久久久久影院 | 97黄网| 日本免费在线视频 | 色天使视频 | 久久久久青草 | 五月激情片 | 国产一区二区高清 | 久久婷五月 | 在线你懂的视频 | 四虎精品视频 | 成人伊人青草久久综合网 | 日本a级片免费 | 永久福利盒子日韩日韩免费看 | 99香蕉国产| 色多多在线看 | 韩国三级hd中文字幕 | 国产在线精品香蕉综合网一区 | 天堂网中文 | 91夫妻视频 | 亚洲邪恶天堂影院在线观看 | 国产资源在线视频 | 一级特级女人18毛片免费视频 | 亚洲成年人在线 | 天堂在线www天堂中文在线 | 97人人射 | 老师叫我下面含着精子去上课 | 手机看片国产精品 | 奇米影视777狠狠狠888不卡 | 国产女人水多白浆 | 成人免费视频一区二区三区 | 四虎影院海外永久 | 四虎在线视频观看 | 曰本性l交片视频视频 | 色资源窝窝全色 | 天天操天天插 | 欧美色视频网 | 午夜神马福利 |