91在线观看视频-91在线观看视频-91在线观看免费视频-91在线观看免费-欧美第二页-欧美第1页

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

低成本開源聊天機器人Vicuna:可達到ChatGPT/Bard 90%以上水平

OSC開源社區 ? 來源:OSC開源社區 ? 2023-04-06 11:09 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

大型語言模型 (LLM) 的快速發展徹底改變了聊天機器人系統,從而實現了前所未有的智能水平,譬如 OpenAI 的 ChatGPT。但 ChatGPT 的訓練和架構細節仍不清楚,阻礙了該領域的研究和開源創新。受 Meta LLaMA 和 Stanford Alpaca 項目的啟發,來自加州大學伯克利分校、CMU、斯坦福大學和加州大學圣地亞哥分校的成員,共同推出了一個 Vicuna-13B 開源聊天機器人,由增強的數據集和易于使用、可擴展的基礎設施支持。

根據介紹,通過根據從 ShareGPT.com (一個用戶可以分享他們的 ChatGPT 對話的網站) 收集的用戶共享對話微調 LLaMA 基礎模型,Vicuna-13B 與 Stanford Alpaca 等其他開源模型相比展示了具有競爭力的性能。

以 GPT-4 為評判標準的初步評估顯示,Vicuna-13B 達到了 OpenAI ChatGPT 和 Google Bard 90% 以上的質量,同時在 90% 以上的情況下超過了 LLaMA 和 Stanford Alpaca 等其他模型的表現。訓練 Vicuna-13B 成本約為 300 美元。訓練和服務代碼,以及在線演示都是公開的,可用于非商業用途。

f66c4af6-d40b-11ed-bfe3-dac502259ad0.png

為了確保數據質量,Vicuna 團隊將 HTML 轉換回 markdown 并過濾掉一些不合適或低質量的樣本。以及將冗長的對話分成更小的部分,以適應模型的最大上下文長度。其訓練方法建立在 Stanford Alpaca 的基礎上,并進行了以下改進:

內存優化:為了使 Vicuna 能夠理解長上下文,開發團隊將最大上下文長度從 Alpaca 中的 512 擴展到 2048,大大增加了 GPU 內存需求。通過利用 utilizing gradient checkpointing 和 flash attention 來解決內存壓力。

多輪對話:調整訓練損失以考慮多輪對話,并僅根據聊天機器人的輸出計算微調損失。

通過 Spot 實例降低成本:40 倍大的數據集和 4 倍的訓練序列長度對訓練費用提出了相當大的挑戰。Vicuna 團隊使用 SkyPilot managed spot 來降低成本,方法是利用更便宜的 spot 實例以及自動恢復搶占和自動區域切換。該解決方案將 7B 模型的訓練成本從 500 美元削減至 140 美元左右,將 13B 模型的訓練成本從 1000 美元左右削減至 300 美元。

Vicuna 團隊構建了一個服務系統,該系統能夠使用分布式 workers 為多個模型提供服務;它支持來自本地集群和云的 GPU worker 的靈活插件。通過利用 SkyPilot 中的容錯控制器和 managed spot 功能,該服務系統可以很好地與來自多個云的更便宜的 spot 實例一起工作,以降低服務成本。它目前是一個輕量級的實現,未來將努力將集成更多的最新研究成果。

具體來說,開發團隊首先從 ShareGPT.com 收集了大約 7 萬個對話,然后增強了 Alpaca 提供的訓練腳本,以更好地處理多輪對話和長序列;訓練在一天內在 8 個 A100 GPU 上使用 PyTorch FSDP 完成。為了提供演示服務,他們還實現了一個輕量級的分布式服務系統。通過創建一組 80 個不同的問題并利用 GPT-4 來判斷模型輸出,對模型質量進行了初步評估。為了比較兩個不同的模型,團隊成員將每個模型的輸出組合成每個問題的單個提示。然后將提示發送到 GPT-4,GPT-4 評估哪個模型提供更好的響應。

f6b1275c-d40b-11ed-bfe3-dac502259ad0.png

LLaMA、Alpaca、ChatGPT 和 Vicuna 的詳細對比如下:

f6e820cc-d40b-11ed-bfe3-dac502259ad0.png

Vicun 團隊展示了 Alpaca 和 Vicuna 對基準問題的回答示例。在使用 70K 用戶共享的 ChatGPT 對話對 Vicuna 進行微調后,其發現與 Alpaca 相比,Vicuna 能夠生成更詳細、結構更合理的答案,并且質量與 ChatGPT 相當。

例如,在要求 “撰寫一篇引人入勝的旅游博文,介紹最近的夏威夷之行,突出文化體驗和必去的景點” 時,GPT-4 的評價得分為:Alpaca-13b 7/10,Vicuna-13b 10/10。并闡述理由稱,Alpaca 提供了旅行博文的簡要概述,但沒有按照要求實際撰寫博文,導致得分較低。Vicuna-13b 則就最近的夏威夷之行撰寫了一篇詳細而有吸引力的旅游博文,強調了文化體驗和必看的景點,完全滿足了用戶的要求,因此獲得了較高的分數。

與此同時,Vicun 的初步發現表明,在比較聊天機器人的答案時,GPT-4 可以產生高度一致的等級和詳細的評估。下圖中總結的基于 GPT-4 的初步評估顯示,Vicuna 達到了 Bard/ChatGPT 的 90% 能力。不過總的來說,為聊天機器人建立一個評估系統仍是一個需要進一步研究的開放式問題。

f70dc6ce-d40b-11ed-bfe3-dac502259ad0.png

Vicun 團隊提出了一個基于 GPT-4 的評估框架來自動評估聊天機器人的性能。設計了八個問題類別,以測試聊天機器人性能的各個方面。并基于每個類別選擇十個問題,分別由 LLaMA、Alpaca、ChatGPT、Bard 和 Vicuna 生成答案,然后要求 GPT-4 根據有用性、相關性、準確性和細節來評估答案質量。結果發現 GPT-4 不僅可以產生相對一致的分數,而且可以詳細解釋為什么給出這樣的分數(詳細示例鏈接)。但在判斷編碼 / 數學任務方面,GPT-4 則不太擅長。

f7292e00-d40b-11ed-bfe3-dac502259ad0.png

數據表明在超過 90% 的問題中,相較 LLaMA、Alpaca 等,GPT-4 更傾向 Vicuna 生成的答案,并且它實現了可與專有模型(ChatGPT、Bard)競爭的性能。在 45% 的問題中,GPT-4 將 Vicuna 的回答評為優于或等于 ChatGPT 的回答。

f764593a-d40b-11ed-bfe3-dac502259ad0.png

總的來說,雖然最近行業發展如火如荼,但事實上聊天機器人仍然面臨局限性,例如難以解決基本的數學問題或編碼能力有限。且為聊天機器人開發一個全面、標準化的評估系統,也是一個需要進一步研究的懸而未決的問題。

開發團隊承認,Vicuna 不擅長涉及推理或數學的任務,并且在準確識別自己或確保其輸出的事實準確性方面可能存在局限性。此外,它還沒有得到充分優化以保證安全性或減輕潛在的毒性或偏見。為了解決安全問題,他們使用 OpenAI moderation API 來過濾掉在線演示中不適當的用戶輸入。

審核編輯 :李倩

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 開源
    +關注

    關注

    3

    文章

    3678

    瀏覽量

    43811
  • 數據集
    +關注

    關注

    4

    文章

    1224

    瀏覽量

    25438
  • 聊天機器人
    +關注

    關注

    0

    文章

    348

    瀏覽量

    12795
  • OpenAI
    +關注

    關注

    9

    文章

    1207

    瀏覽量

    8897

原文標題:低成本開源聊天機器人Vicuna:可達到ChatGPT/Bard 90%以上水平

文章出處:【微信號:OSC開源社區,微信公眾號:OSC開源社區】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    馬斯克DOGE團隊開發政府AI聊天機器人

    近日,據媒體引述消息人士透露,全球首富馬斯克旗下的政府效率部門(DOGE)正著手為美國聯邦總務署(GSA)打造一款定制的生成式人工智能(GenAI)聊天機器人——GSAi。
    的頭像 發表于 02-10 18:04 ?663次閱讀

    【「具身智能機器人系統」閱讀體驗】+數據在具身人工智能中的價值

    ,數據對于訓練增強和優化機器人能力的深度學習模型至關重要。 從財務上講,用戶數據對互聯網公司具有重要價值,估計每個用戶 600 美元,考慮到大規模商業化后每個機器人的估計成本為 35000 美元,可以
    發表于 12-24 00:33

    Cloudera推出RAG Studio,助力企業快速部署聊天機器人

    企業在利用實時企業數據部署RAG聊天機器人方面邁出了重要一步,且整個過程僅需幾分鐘。 RAG Studio是一款無代碼解決方案,它極大地簡化了非技術用戶使用AI應用的難度。通過這一平臺,業務團隊
    的頭像 發表于 12-12 11:06 ?726次閱讀

    自然語言處理在聊天機器人中的應用

    隨著人工智能技術的飛速發展,聊天機器人已經成為我們日常生活中不可或缺的一部分。從客戶服務到個人助理,聊天機器人的應用范圍越來越廣泛。這些機器人能夠理解用戶的查詢,并提供及時、準確的回答,這在很大程度
    的頭像 發表于 12-05 15:24 ?1186次閱讀

    馬斯克旗下xAI計劃推出Grok聊天機器人獨立應用

    近日,據最新報道,埃隆·馬斯克旗下的xAI公司計劃最早于12月推出一款獨立的聊天機器人應用程序,這款應用將圍繞其旗下的Grok聊天機器人進行打造。此舉被視為xAI在聊天機器人市場的重要布局,旨在
    的頭像 發表于 11-29 13:38 ?535次閱讀

    NLP技術在聊天機器人中的作用

    聊天機器人,也稱為聊天AI,是一種通過文本或語音與人類進行交流的軟件。它們廣泛應用于客戶服務、在線購物、個人助理等領域。NLP技術是實現聊天機器人智能對話能力的關鍵。 1. 理解用戶意圖 NLP技術
    的頭像 發表于 11-11 10:33 ?1018次閱讀

    ChatGPT 與傳統聊天機器人的比較

    隨著人工智能技術的飛速發展,聊天機器人已經成為我們日常生活中不可或缺的一部分。從簡單的客服助手到復雜的個人助理,這些虛擬助手正在逐漸改變我們與技術的互動方式。在眾多聊天機器人中,ChatGPT無疑是
    的頭像 發表于 10-25 16:16 ?1242次閱讀

    Meta人工智能聊天機器人進軍新市場,挑戰ChatGPT

    Meta近日宣布,其人工智能聊天機器人將進軍21個新市場,與OpenAI的ChatGPT展開激烈競爭。
    的頭像 發表于 10-11 16:29 ?641次閱讀

    Snapchat聊天機器人集成谷歌Gemini技術

    Snap與谷歌云的戰略合作再升級,為Snapchat平臺注入了新的智能活力。雙方宣布,Snapchat的My AI聊天機器人將深度集成谷歌Gemini技術,這一創新舉措標志著Snapchat在人工智能應用領域的又一次飛躍。
    的頭像 發表于 09-25 14:51 ?594次閱讀

    Meta將推出音頻版聊天機器人

    Meta公司即將在年度Connect大會上揭曉一項創新舉措:推出音頻版聊天機器人。據可靠消息,Meta已與Judi Dench、Kristen Bell及John Cena等多位國際知名演員達成合作
    的頭像 發表于 09-24 15:18 ?695次閱讀

    開源項目!用ESP32做一個可愛的無用機器人

    、固件燒錄等。 注意事項 制作這個機器人的材料成本比較高,接近一臺全新筆記本電腦的價格。此外,如果沒有焊接經驗,整體成本可能更高,因為還需要涉及到PCB組裝。 完成 完成后,機器人
    發表于 09-03 09:34

    聊天機器人初創公司Character.AI裁員至少5%

    聊天機器人初創企業Character.AI近期宣布了一項裁員決定,涉及員工比例至少達到5%,主要受影響的是營銷和招聘團隊。此次調整被視為公司在面對市場變化時做出的戰略優化,旨在更加高效地配置資源,以支持其長期發展愿景。
    的頭像 發表于 08-30 15:37 ?568次閱讀

    開源項目!用ESP32做一個可愛的無用機器人

    、固件燒錄等。 注意事項 制作這個機器人的材料成本比較高,接近一臺全新筆記本電腦的價格。此外,如果沒有焊接經驗,整體成本可能更高,因為還需要涉及到PCB組裝。 完成 完成后,機器人
    發表于 08-30 14:50

    馬斯克旗下AI初創公司發布Grok-2聊天機器人

    埃隆·馬斯克麾下的創新AI企業xAI今日震撼發布了其最新力作——Grok-2聊天機器人,該產品在性能上自信地宣稱已能與業界巨頭OpenAI、谷歌及Anthropic的頂尖產品并駕齊驅。
    的頭像 發表于 08-15 16:05 ?1153次閱讀

    Meta關閉明星AI聊天機器人,轉向用戶自創AI工具

    7月31日,科技新聞源The Information透露,Meta已悄然終止了其備受矚目的明星AI聊天機器人項目。這些機器人曾因能夠模擬著名人物的性格特征并與用戶進行互動,在去年九月的Meta Connect大會上大放異彩。
    的頭像 發表于 07-31 16:16 ?1051次閱讀
    主站蜘蛛池模板: 国产精品麻豆va在线播放 | 天堂资源最新版在线www | 人人干人人干人人干 | 最近2018中文字幕免费视频 | 宅男在线看片 | 天天拍天天干 | 成人看片免费无限观看视频 | 久久9精品| 国模精品一区二区 | 日日干夜夜爽 | 97色伦人人| 夜夜春夜夜夜夜猛噜噜噜噜噜 | 欧美精品久久天天躁 | 深夜视频在线播放视频在线观看免费观看 | 日本大片成人免费播放 | 一个色综合网站 | 伊人97 | 欧美亚洲综合另类成人 | 9984四虎永久免费网站 | 又黄又爽又猛午夜性色播在线播放 | 亚洲国产一区二区三区在线观看 | 色婷五月| 成人国内精品久久久久影院 | 三级网站在线播放 | 天天摸天天躁天天添天天爽 | 男男失禁play 把尿bl | 看日本黄大片在线观看 | 天天看天天摸色天天综合网 | 538porm在线看国产亚洲 | 青青操久久 | 一级做a爰片久久毛片毛片 一级做a爰片久久毛片美女图片 | 日日日天天射天天干视频 | 日韩免费毛片全部不收费 | 天天做天天爱天天影视综合 | 亚州一级毛片 | 视频在线一区二区 | 九九精品影院 | 欧美黄色免费网站 | www.五月天婷婷 | 日本黄色免费看 | 国产精品第页 |