在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

伯克利AI實驗室開源圖像編輯模型InstructPix2Pix,簡化生成圖像編輯并提供一致結果

jf_WZTOguxH ? 來源:AI前線 ? 2023-08-28 15:45 ? 次閱讀

來自伯克利人工智能研究(BAIR)實驗室的研究人員開源深度學習模型 InstructPix2Pix,它可以遵循人類指令來編輯圖像。InstructPix2Pix 在合成數據上進行訓練,表現優于基線 AI 圖像編輯模型。

BAIR 團隊在最近舉行的 2023 年 IEEE/CVF 計算機視覺和模式識別(CVPR)大會上展示了他們的工作成果。他們先是生成了一個合成訓練數據集,其中的訓練樣本是成對的圖像以及用于將第一幅圖像轉換為第二幅圖像的編輯指令。該數據集用于訓練圖像生成擴散模型,該模型可以接受基于文本的指令來編輯圖像。例如,給定一張騎馬的人的圖片和提示詞“讓她變成騎龍”,它會輸出原始圖片,但原來的馬被替換了龍。BAIR 的研究人員的表示:

盡管模型完全是在合成樣本上進行訓練的,但它實現了對任意真實圖像和人類自然語言指令的零樣本泛化。我們的模型能夠進行直觀的圖像編輯,可以遵循人類指令執行多種編輯:替換對象、改變圖像風格、修改設置、藝術媒介等。

之前的 AI 圖像編輯能力通常是進行風格轉換,流行的文本到圖像生成模型(如 DALL-E 和 Stable Diffusion)也支持圖像到圖像風格轉換操作。然而,使用這些模型進行有針對性的編輯仍然具有挑戰性。最近,InfoQ 報道了微軟的 Visual ChatGPT,它可以調用外部工具來編輯圖像,前提是提供編輯操作的文本描述。

為了訓練 InstructPix2Pix,BAIR 首先創建了一個合成數據集。為此,團隊在一個由輸入文字說明、編輯指令和期望輸出文字說明組成的人類文本樣本的小數據集上對 GPT-3 進行了微調。然后,這個微調模型被給予一個大型的輸入圖像文字說明數據集,從中生成了超過 450k 次編輯和輸出文字說明。然后,團隊將輸入和輸出文字說明饋送到預訓練的 Prompt-to-Prompt 模型中,該模型根據文字說明生成成對的相似圖像。

d051acec-4564-11ee-a2ef-92fbcf53809c.jpg

InstructPix2Pix 的架構,圖片來源:https://arxiv.org/abs/2211.09800

研究人員鑒于這個數據集訓練了基于 Stable Diffusion 的 InstructPix2Pix。為了評估其性能,團隊將其輸出與基線模型 SDEdit 進行了比較。他們使用兩個指標之間的權衡:一致性(即輸入圖像和編輯后圖像的 CLIP 嵌入之間的余弦相似度)和方向相似性(即編輯后文字說明中的變化與編輯后圖像的變化在多大程度上保持一致)。在實驗中,對于給定的方向相似性值,InstructPix2Pix 產生的圖像比 SDEdit 具有更高的一致性。

人工智能研究員吳恩達在他的深度學習新聞郵件組“The Batch”中評價了 InstructPix2Pix:

這項工作簡化了生成和人造圖像的編輯操作,并提供了更一致的結果。巧妙地利用現有模型,模型作者能夠使用相對較少的人類標記樣本在新任務上訓練他們的模型。

InstructPix2Pix 的代碼可在 GitHub 上獲取,模型和基于 Web 的演示可在 Huggingface 上訪問。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • Web
    Web
    +關注

    關注

    2

    文章

    1283

    瀏覽量

    70845
  • 人工智能
    +關注

    關注

    1804

    文章

    48737

    瀏覽量

    246678
  • 模型
    +關注

    關注

    1

    文章

    3488

    瀏覽量

    50021
  • 數據集
    +關注

    關注

    4

    文章

    1223

    瀏覽量

    25284

原文標題:伯克利 AI 實驗室開源圖像編輯模型 InstructPix2Pix,簡化生成圖像編輯并提供一致結果

文章出處:【微信號:AI前線,微信公眾號:AI前線】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦
    熱點推薦

    利用NVIDIA 3D引導生成AI Blueprint控制圖像生成

    AI 賦能的圖像生成技術突飛猛進,從早期模型生成手指過多的人類圖像,到現在能創造出令人驚嘆的逼
    的頭像 發表于 06-05 09:24 ?210次閱讀

    華為智算實驗室解決方案助力科研創新高質量發展

    AI浪潮席卷科研領域,以DeepSeek為代表的生成AI技術正掀起新輪科研革命。華為基于其在AI和高性能計算等領域的優勢,推出智算
    的頭像 發表于 02-25 16:22 ?761次閱讀

    阿里巴巴Qwen大模型助力開發低成本DeepSeek替代方案

    近日,阿里巴巴的開源Qwen2.5模型AI領域再次展現其強大實力,為斯坦福大學與伯克利大學的研究人員提供了低成本的
    的頭像 發表于 02-12 13:42 ?877次閱讀

    Qwen大模型助力開發低成本AI推理方案

    阿里巴巴的開源Qwen2.5模型近期在AI領域引發了廣泛關注。這模型的推出,為斯坦福大學與伯克利
    的頭像 發表于 02-12 09:19 ?510次閱讀

    SparseViT:以非語義為中心、參數高效的稀疏化視覺Transformer

    ? 背景簡介 隨著圖像編輯工具和圖像生成技術的快速發展,圖像處理變得非常方便。然而圖像在經過處理后不可避免的會留下偽影(操作痕跡),這些偽影
    的頭像 發表于 01-15 09:30 ?385次閱讀
    SparseViT:以非語義為中心、參數高效的稀疏化視覺Transformer

    借助谷歌Gemini和Imagen模型生成高質量圖像

    在快速發展的生成AI 領域,結合不同模型的優勢可以帶來顯著的成果。通過利用谷歌的 Gemini 模型來制作詳細且富有創意的提示,然后使用 Imagen 3
    的頭像 發表于 01-03 10:38 ?816次閱讀
    借助谷歌Gemini和Imagen<b class='flag-5'>模型</b><b class='flag-5'>生成</b>高質量<b class='flag-5'>圖像</b>

    大語言模型化生成管理方法

    大語言模型的優化生成管理是個系統工程,涉及模型架構、數據處理、內容控制、實時響應以及倫理監管等多個層面。以下,是對大語言模型
    的頭像 發表于 12-02 10:45 ?342次閱讀

    字節發布SeedEdit圖像編輯模型

    近日,字節跳動公司在其豆包大模型團隊的官方網站上,正式公布了其最新的通用圖像編輯模型——SeedEdit。這款創新性的圖像編輯模型,為用戶
    的頭像 發表于 11-12 10:43 ?668次閱讀

    實驗室數據管理與LIMS平臺的關系

    生成。有效的實驗室數據管理對于確保數據的準確性、完整性和可追溯性至關重要。 LIMS(Laboratory Information Management System)平臺是種專門設計用于
    的頭像 發表于 10-28 18:10 ?850次閱讀

    如何選擇合適的LIMS實驗室管理軟件

    和未來擴展的可能性。 功能和模塊 : 選擇具有所需功能的LIMS,如樣品管理、結果管理、庫存管理、報告生成、審計追蹤等。 確保LIMS支持實驗室特有的測試方法和分析流程。 用戶友好性 : 界面應該直觀易用,減少員工培訓時間。 支
    的頭像 發表于 10-28 16:56 ?868次閱讀

    AI模型圖像識別中的優勢

    AI模型圖像識別中展現出了顯著的優勢,這些優勢主要源于其強大的計算能力、深度學習算法以及大規模的數據處理能力。以下是對AI模型
    的頭像 發表于 10-23 15:01 ?2283次閱讀

    圖像采集組件有哪些?

    機器視覺模型的準確性是幫助您的產品在市場上取得成功和可靠的最重要因素之。為此,您必須擁有能夠提供高質量圖像的強大圖像采集組件。組織制造流程
    的頭像 發表于 09-14 10:23 ?606次閱讀
    <b class='flag-5'>圖像</b>采集組件有哪些?

    榮耀與智譜攜手共建AI模型聯合實驗室

    近日,榮耀終端有限公司與北京智譜華章科技有限公司正式攜手,共同宣布成立AI模型技術聯合實驗室,并簽署了戰略合作協議。此次合作標志著雙方在人工智能領域的深度合作邁入新階段,共同致力于為用戶帶來前所未有的智能體驗。
    的頭像 發表于 09-03 18:15 ?1263次閱讀

    Freepik攜手Magnific AI推出AI圖像生成

    近日,設計資源巨頭Freepik攜手Magnific AI,共同推出了革命性的AI圖像生成器——Freepik Mystic,這里程碑式的
    的頭像 發表于 08-30 16:23 ?1504次閱讀

    Meta發布Imagine Yourself AI模型,重塑個性化圖像生成未來

    Meta公司近日在人工智能領域邁出了重要步,隆重推出了其創新之作——“Imagine Yourself”AI模型,這突破性技術為個性化圖像
    的頭像 發表于 08-26 10:59 ?938次閱讀
    主站蜘蛛池模板: 超黄视频在线观看 | 三级电影在线观看视频 | 久久婷婷人人澡人人爱91 | 日产国产精品亚洲系列 | 色婷婷狠狠| 天天爽天天操 | 国产精品久久久久影院免费 | 精品美女在线观看 | 日女人免费视频 | 经典三级第一页 | 理论片人人51| 国产大片免费观看中文字幕 | 黄色网毛片 | 性感美女毛片 | avbobo官网在线入口 | 伊人久久大香线蕉综合高清 | 国产午夜精品一区二区理论影院 | 色婷婷视频 | 欧美爽爽爽爽爽爽视频 | 免费一级特黄特色大片在线观看 | 色婷婷视频在线观看 | 中文字幕在线播放一区 | 美女操网站 | 国产片在线观看狂喷潮bt天堂 | 加勒比综合 | 日本不卡视频在线 | 成人观看网站a | 字幕网中文aⅴ资源站 | 最新毛片网 | 经典三级影院 | 911国产自产精选 | 起碰成人免费公开网视频 | 特级毛片免费看 | 天天操夜夜爽 | 成人免费淫片95视频观看网站 | 日韩欧美在线第一页 | 男女交性视频播放视频视频 | 夜夜夜爽 | 888米奇色狠狠俺去啦 | 91夫妻视频| 久久综合亚洲 |