手机推荐排行榜,盗墓笔记,玄幻小说排行榜

1. 騰訊云宣布全面支持Llama2等主流開(kāi)源模型

原文：https://t.cj.sina.com.cn/articles/view/1654203637/629924f5020010xw1?from=tech

騰訊云方面16日宣布，騰訊云TI平臺(tái)已經(jīng)全面接入Llama 2、Falcon、Dolly、Vicuna、Bloom、Alpaca等20多個(gè)主流模型，這些主流模型支持直接部署調(diào)用、應(yīng)用流程簡(jiǎn)單、可全程低代碼操作。企業(yè)、開(kāi)發(fā)者可以根據(jù)不同細(xì)分場(chǎng)景的業(yè)務(wù)需求，靈活選擇各類大模型，降低大模型使用成本。

據(jù)騰訊云公眾號(hào)透露，騰訊云是國(guó)內(nèi)第一批上架和支持開(kāi)源模型的大模型廠商，騰訊云持續(xù)推動(dòng)MaaS（Model-as-a-Service）建設(shè)，讓大模型更懂行業(yè)、更易落地。

在具體執(zhí)行方面，騰訊云發(fā)布了行業(yè)大模型解決方案，依托騰訊云TI平臺(tái)打造行業(yè)大模型精選商店，提供涵蓋模型預(yù)訓(xùn)練、模型精調(diào)、智能應(yīng)用開(kāi)發(fā)等一站式行業(yè)大模型服務(wù)，已為10大行業(yè)提供了超50個(gè)大模型解決方案。騰訊云還推動(dòng)大模型時(shí)代底層基礎(chǔ)設(shè)施建設(shè)，發(fā)力算力、網(wǎng)絡(luò)、數(shù)據(jù)“鐵三角”，為客戶提供HCC高性能計(jì)算集群、星脈高性能計(jì)算網(wǎng)絡(luò)以及向量數(shù)據(jù)庫(kù)等基礎(chǔ)設(shè)施服務(wù)，加速大模型落地。與此同時(shí)，騰訊云積極參與、推動(dòng)行業(yè)大模型標(biāo)準(zhǔn)建設(shè)。早在2020年，騰訊就被選舉為全國(guó)信標(biāo)委人工智能分委會(huì)委員兼副秘書(shū)長(zhǎng)。前不久，騰訊云聯(lián)合信通院牽頭開(kāi)展國(guó)內(nèi)首個(gè)金融行業(yè)大模型標(biāo)準(zhǔn)，助力金融行業(yè)智能化的高質(zhì)量規(guī)范化發(fā)展。

2. 稚暉君人形機(jī)器人問(wèn)世：大模型加持，會(huì)自己換胳膊，要上生產(chǎn)線造車

原文：https://mp.weixin.qq.com/s/cgfbJgl9enzGXGTb6q6FGA

大模型技術(shù)的新一波浪潮：具身智能，已經(jīng)有了重要進(jìn)展。剛剛，稚暉君的創(chuàng)業(yè)公司「智元機(jī)器人」開(kāi)了自己的第一場(chǎng)發(fā)布會(huì)。

以「天才少年」身份加入華為的稚暉君（彭志輝）于去年底宣布離職創(chuàng)業(yè)，人們都在關(guān)注他在機(jī)器人與大模型方向探索的新實(shí)踐。今天在上海，他成立的智元機(jī)器人終于發(fā)布了首款產(chǎn)品「遠(yuǎn)征 A1」。在現(xiàn)場(chǎng)，機(jī)器人走上了講臺(tái)，這是稚暉君創(chuàng)業(yè)以來(lái)交出的第一份答卷。

遠(yuǎn)征 A1 不僅長(zhǎng)得像人，也有著近似人類的一系列數(shù)據(jù)：它身高 175cm，重 53kg，最高步速達(dá)到 7km/h，全身有 49 個(gè)自由度，可以承重 80kg，單臂最大負(fù)載 5kg。這款機(jī)器人在雙足行走、智能任務(wù)、人機(jī)互動(dòng)等領(lǐng)域展現(xiàn)了業(yè)界領(lǐng)先的能力。

稚暉君表示：「遠(yuǎn)征 A1 是我們的第一臺(tái)通用型智具身智能機(jī)器人，它融合了各種先進(jìn)的本體控制、感知、認(rèn)知和決策的智能技術(shù)，基于當(dāng)前 AI 領(lǐng)域前沿的大語(yǔ)言模型，以及我們自研的視覺(jué)控制模型，完成了一系列創(chuàng)新。」此前，很多機(jī)器人產(chǎn)品大多具備 20 余個(gè)自由度。據(jù)介紹，遠(yuǎn)征 A1 的 49 個(gè)自由度是考慮到實(shí)際應(yīng)用場(chǎng)景，如汽車生產(chǎn)過(guò)程中整理線束、擰螺絲、總裝等任務(wù)來(lái)確定的。它雖然是個(gè)人形機(jī)器人，但從一開(kāi)始就面向工業(yè)制造：

未來(lái)也可以成為人們?nèi)粘Ｉ畹闹郑?/span>

「遠(yuǎn)征 A1」是模塊化的，可以面向不同任務(wù)，自己給自己換組件：

稚暉君表示，把機(jī)器人做得像人，是因?yàn)楝F(xiàn)在的世界一直是為人形態(tài)而設(shè)計(jì)的，人形機(jī)器人可以在大量工作中直接應(yīng)用現(xiàn)有工具、任務(wù)和場(chǎng)景，同時(shí)更具有親和力。但想讓機(jī)器人模仿人類，需要在機(jī)械設(shè)計(jì)、運(yùn)動(dòng)和感知等方面解決很多挑戰(zhàn)。

自研電機(jī)，模塊化設(shè)計(jì)

用兩條腿來(lái)走路，又能夠擁有生產(chǎn)力，這意味著硬件設(shè)計(jì)要有強(qiáng)大的能力。智元機(jī)器人構(gòu)建了一套自研的硬件系統(tǒng)，包括關(guān)節(jié)電機(jī)、靈巧手等。如果從零部件算，整個(gè)機(jī)器人的國(guó)產(chǎn)化率在 80% 以上。

自研核心關(guān)節(jié)電機(jī) PowerFlow

如果想讓人形機(jī)器人行動(dòng)靈敏、準(zhǔn)確，它的關(guān)節(jié)需要滿足很多條件，比如體積小、重量輕、功率密度高、能量利用效率高、響應(yīng)帶寬高、耐沖擊等等。其中，核心關(guān)節(jié)不僅是讓人形機(jī)器人更加靈活、更加自由的關(guān)鍵，也是未來(lái)實(shí)現(xiàn)規(guī)模量產(chǎn)、低成本制造的重要門(mén)檻之一，稚暉君在現(xiàn)場(chǎng)解釋說(shuō)。為了實(shí)現(xiàn)這些目標(biāo)，智元團(tuán)隊(duì)自研、設(shè)計(jì)了一款專用關(guān)節(jié) ——PowerFlow。這個(gè)關(guān)節(jié)采用了準(zhǔn)直驅(qū)的方案，它的優(yōu)點(diǎn)是功率高、不需要傳感器（可以用電機(jī)電流判斷力矩），通過(guò)電流直接做力矩控制，價(jià)格低。為了增加功率密度，遠(yuǎn)征 A1 的關(guān)節(jié)模組還集成了液冷循環(huán)散熱系統(tǒng)。搭配上自研的一體化矢量驅(qū)動(dòng)控制器，整個(gè)關(guān)節(jié)的峰值扭矩可以達(dá)到 350Nm。不過(guò)，稚暉君表示，他們還沒(méi)有測(cè)到扭矩的真正上限，估計(jì)潛力比想象中高。而且，由于水冷散熱的加持，它可以保持更長(zhǎng)時(shí)間的峰值扭距輸出，而重量?jī)H為 1.6 公斤。

這個(gè)關(guān)節(jié)還有個(gè)非常有意思的設(shè)計(jì)，它讓機(jī)器人的膝關(guān)節(jié)向后彎曲，而不是和人一樣向前。稚暉君解釋說(shuō)，這是為了讓機(jī)器人干活更加方便，畢竟再好的人造關(guān)節(jié)也不可能讓機(jī)器人像人一樣那么靈活，反屈膝關(guān)節(jié)的設(shè)計(jì)可以讓它擁有更大的操作空間。

自研靈巧手 SkillHand

要想讓機(jī)器人更好地干活，手是另外一個(gè)關(guān)鍵部件，因此智元研發(fā)了靈巧手 SkillHand。這個(gè)靈巧手有 12 個(gè)主動(dòng)自由度、5 個(gè)被動(dòng)自由度，而且所有驅(qū)動(dòng)都是內(nèi)置的。考慮到這個(gè)靈巧手未來(lái)將面對(duì)精密制造場(chǎng)景，智元在它的指尖安裝了一些傳感器。其中，視覺(jué)傳感器可以分辨操作物的顏色、材質(zhì)。基于各種算法的數(shù)據(jù)融合，指尖還可以做到近似的觸覺(jué)壓力傳感器效果。由于這些傳感器可以幫助機(jī)器人實(shí)現(xiàn)末端的視覺(jué)閉環(huán)，整機(jī)的電機(jī)精度需求得以降低。有意思的是，如果場(chǎng)景需要，這個(gè)機(jī)器人其實(shí)可以自主更換靈巧手，比如把手換成螺絲刀。稚暉君說(shuō)，這是模塊化設(shè)計(jì)思想在他們機(jī)器人中的體現(xiàn)。類似的模塊化設(shè)計(jì)還可以讓機(jī)器人由腿式變成輪式，「這是它通用性的一個(gè)體現(xiàn)」。

全套 AI 框架

如何讓通用機(jī)器人實(shí)現(xiàn)低成本量產(chǎn)，產(chǎn)生實(shí)際應(yīng)用價(jià)值？稚暉君表示，硬件只是前提條件之一，更重要的其實(shí)是背后的機(jī)器人大腦。在當(dāng)前的具身智能領(lǐng)域，很多研究都在嘗試將大模型作為機(jī)器人的大腦，稚暉君也不例外，他也想用多模態(tài)大模型的能力賦能智元機(jī)器人的行為動(dòng)作編排。在智元機(jī)器人上個(gè)月發(fā)布的一個(gè)視頻中，我們已經(jīng)看到了這個(gè)想法的初步實(shí)現(xiàn)，比如給出自然語(yǔ)言指令「把離你最近的木塊放到紫色的方塊右邊 3 厘米」，機(jī)器人就會(huì)按照指示行動(dòng)。

稚暉君把這個(gè)機(jī)器人背后的大模型叫做 WorkGPT，這是一個(gè)百億級(jí)參數(shù)的大模型。

在稚暉君看來(lái)，語(yǔ)言和圖像大模型對(duì)于機(jī)器人領(lǐng)域應(yīng)用最大的價(jià)值在于兩個(gè)方面，一是龐大的先驗(yàn)知識(shí)庫(kù)和強(qiáng)大的通識(shí)理解能力，比如你不用告訴它什么是垃圾，它就能自己分辨出來(lái)；二是復(fù)雜的語(yǔ)義多級(jí)推理能力，即所謂的「思維鏈」，這體現(xiàn)在它可以把復(fù)雜的指令分成一個(gè)一個(gè)的步驟。「在大模型時(shí)代到來(lái)之前，機(jī)器人都是專用設(shè)備，我們需要針對(duì)性地對(duì)每一個(gè)任務(wù)進(jìn)行調(diào)試和部署。現(xiàn)在利用大模型的各種通識(shí)能力和舉一反三的推理能力，我們可以看到解決這些問(wèn)題，然后最終走向通用機(jī)器人的一道曙光。」稚暉君說(shuō)。所以，在智元，他們打造了一個(gè)名為 EI-Brain 的具身智腦框架。在框架中，機(jī)器人系統(tǒng)被分為不同層級(jí)，包括部署在云端的超腦，部署在端側(cè)的大腦、小腦以及腦干，分別對(duì)應(yīng)機(jī)器人任務(wù)不同級(jí)別的技能，包括技能級(jí)、指令級(jí)、伺服級(jí)等。具體來(lái)說(shuō)，「大腦」負(fù)責(zé)跟我們?nèi)祟愐粯舆M(jìn)行抽象思考、多級(jí)推理，「小腦」負(fù)責(zé)運(yùn)動(dòng)控制方面的一些指令生成，「腦干」負(fù)責(zé)電機(jī)控制、伺服等硬件底層任務(wù)。

如果端側(cè)模型泛化能力不夠，系統(tǒng)可以去連接云端，實(shí)現(xiàn)更復(fù)雜的任務(wù)調(diào)度；另一方面，偏向于硬件底層的電機(jī)控制等工作都在本地甚至模塊中完成。「這類似于自動(dòng)駕駛上 L1 到 L5 的不同分級(jí) —— 想要構(gòu)建全場(chǎng)景通用的智能機(jī)器人，存在不同的發(fā)展階段，」稚暉君表示。「我們定義了一系列 Meta skill，在語(yǔ)言操作庫(kù)范圍限定的有限泛化的場(chǎng)景內(nèi)，機(jī)器人可以實(shí)現(xiàn)自主的推理決策，然后完成端到端的任務(wù)編排。隨著能力庫(kù)不斷擴(kuò)充，機(jī)器人能夠勝任的任務(wù)空間也將指數(shù)級(jí)增長(zhǎng)，最終可以實(shí)現(xiàn)全場(chǎng)景的覆蓋，切入千行百業(yè)。這體現(xiàn)了具身智能在交互和學(xué)習(xí)中進(jìn)化成長(zhǎng)的邏輯。」為了讓這些層級(jí)起作用，智元不止在大模型方面展開(kāi)了探索，還迭代了其他方面的算法。比如，在運(yùn)動(dòng)控制算法方面，他們?cè)趲讉€(gè)月的時(shí)間里進(jìn)行了多次迭代，一直迭代到最近使用的非線性的 NMPC，以及目前正在開(kāi)發(fā)中的基于各種 learning （比如強(qiáng)化學(xué)習(xí)）的方法。

同時(shí)，他們也在搭建一個(gè)用于離線軌跡優(yōu)化的動(dòng)作庫(kù)平臺(tái)。

未來(lái)，他們還將建立一個(gè)開(kāi)放平臺(tái)，為開(kāi)發(fā)者提供持續(xù)的技術(shù)支持、資金獎(jiǎng)勵(lì)以及合作的機(jī)會(huì)，而且鼓勵(lì)開(kāi)發(fā)者基于智元的機(jī)器人平臺(tái)去開(kāi)發(fā)各種創(chuàng)新的應(yīng)用功能和解決方案。未來(lái)，這個(gè)開(kāi)放平臺(tái)會(huì)包含整個(gè)機(jī)器人的開(kāi)發(fā)套件，包括 HDK、SDK、基于中間件 AGi ROS 的仿真平臺(tái)，以及一些基礎(chǔ)的預(yù)訓(xùn)練大模型等等。同時(shí)他們也會(huì)去考慮推出一個(gè)低成本的教育版的硬件，供大家去進(jìn)行二次開(kāi)發(fā)。

未來(lái)要賣 20 萬(wàn)以內(nèi)

公司成立半年不到就發(fā)布第一款樣機(jī)，還具備完整的體系，讓人們不由得感嘆現(xiàn)在 AI 領(lǐng)域創(chuàng)業(yè)公司速度之快。更重要的是，智元機(jī)器人并不是一味在追求前沿技術(shù)探索，而是「所有產(chǎn)品都在為商業(yè)落地服務(wù)」。發(fā)布會(huì)上稚暉君表示，希望能把整機(jī)成本控制在 20 萬(wàn)元以內(nèi)，使其具備落地的條件，并計(jì)劃在遠(yuǎn)征 A1 發(fā)布后，以此為基礎(chǔ)馬上推出第一代商用產(chǎn)品。商業(yè)化也已經(jīng)有了相對(duì)具體的方向：基于當(dāng)前的人形機(jī)器人技術(shù)，公司已在與國(guó)內(nèi)新能源頭部車企商討合作。希望在汽車制造總裝線、分裝線等場(chǎng)景上進(jìn)行商用化落地的嘗試，另外也在和 3C 制造的大廠研究合作。智元機(jī)器人還計(jì)劃在未來(lái)幾年里把人形機(jī)器人推廣到更多領(lǐng)域。在消費(fèi)級(jí)市場(chǎng)，人形機(jī)器人預(yù)計(jì)可適用的方式包含烹飪、家政、家庭護(hù)理、康復(fù)訓(xùn)練等。智元機(jī)器人（AGIBOT）成立于 2023 年 2 月，目前融資已經(jīng)完成了四輪，投資方包括高領(lǐng)、百度等風(fēng)投機(jī)構(gòu)。說(shuō)到公司未來(lái)的發(fā)展，智元計(jì)劃逐步開(kāi)放開(kāi)發(fā)平臺(tái)，在未來(lái)以每年一代的速度迭代新的樣機(jī)產(chǎn)品，并不斷進(jìn)行商用驗(yàn)證。稚暉君也表示，為了支持計(jì)劃，公司即將開(kāi)啟秋招。

智元機(jī)器人投身的具身智能當(dāng)前是一個(gè)熱門(mén)領(lǐng)域。谷歌、斯坦福、英偉達(dá)等國(guó)際科技機(jī)構(gòu)都在這方面展開(kāi)了研究，并在近期展示了他們的具身智能機(jī)器人成果。今年 3 月份，一家名為 1X 的具身智能機(jī)器人公司還拿到了 OpenAI 的投資。隨著稚暉君等國(guó)內(nèi)外優(yōu)秀人才的快速進(jìn)場(chǎng)，或許我們很快就能看到行業(yè)內(nèi)出現(xiàn)顛覆性的應(yīng)用。「我的夢(mèng)想是有一天能夠真正造出科幻電影中的智能機(jī)器人，它不再是簡(jiǎn)單的機(jī)械裝置，而是擁有自主思考和學(xué)習(xí)能力的智能伙伴，能夠感知、理解我們的世界，并與我們深入溝通，」稚暉君說(shuō)道。「遠(yuǎn)征 A1 的發(fā)布，只是我們追求的起點(diǎn)。」

3. 釘釘個(gè)人版開(kāi)放內(nèi)測(cè)：無(wú)打卡、無(wú)已讀提供一站式AI服務(wù)

原文：https://news.mydrivers.com/1/929/929366.htm

快科技8月16日消息，根據(jù)釘釘官網(wǎng)顯示，全新的釘釘個(gè)人版已經(jīng)正式啟動(dòng)內(nèi)測(cè)，所有用戶都可在官網(wǎng)申請(qǐng)加入內(nèi)測(cè)。據(jù)了解，釘釘個(gè)人版，主要面向小團(tuán)隊(duì)、個(gè)人用戶、高校大學(xué)生等人群，旨在探索每個(gè)個(gè)體、每個(gè)團(tuán)隊(duì)的數(shù)字生產(chǎn)力工具，讓智能化變革普惠每一個(gè)個(gè)體，AI人人可用。

加入內(nèi)測(cè)后，用戶可搶先體驗(yàn)各類AI服務(wù)，目前文生文、文生圖、角色化對(duì)話以及AI創(chuàng)作等服務(wù)均限時(shí)免費(fèi)。值得一提的是，釘釘個(gè)人版并沒(méi)有常規(guī)的打卡和消息已讀顯示功能，對(duì)個(gè)人用戶來(lái)說(shuō)更加友好。

內(nèi)測(cè)版本僅有空間、AI、云盤(pán)、會(huì)議4項(xiàng)功能，產(chǎn)品將以AI為核心，用戶可一站獲取類似ChatGPT、Midjourney、Notion AI等各類大模型能力，并提供“賈維斯”文生文 AI 和“繆斯”文生圖 AI。釘釘個(gè)人版負(fù)責(zé)人表示，除了支持升級(jí)會(huì)員版本提高功能權(quán)益外，釘釘個(gè)人版在商業(yè)化設(shè)計(jì)方面，也將率先推出“算粒”這一AI服務(wù)的計(jì)量單位，用戶使用 AI 問(wèn)答、AI 圖片將會(huì)消耗不同數(shù)量的算粒，消耗完之后將只能使用免費(fèi)的限額次數(shù)，或者增購(gòu)算粒。

4. GPT-4數(shù)學(xué)再提30分，代碼解析器任督二脈被打開(kāi)，網(wǎng)友：像大腦的工作方式

原文：https://www.thepaper.cn/newsDetail_forward_24270135

GPT-4數(shù)學(xué)能力還能更強(qiáng)！新研究發(fā)現(xiàn)GPT-4代碼解釋器做題準(zhǔn)確率與其使用代碼的頻率有關(guān)。為此，研究人員提出新方法對(duì)癥下藥，直接將其數(shù)學(xué)能力拔至新SOTA：在MATH數(shù)據(jù)集上，做題準(zhǔn)確率從53.9%增加到了84.3%。

你沒(méi)聽(tīng)錯(cuò)，就是前段時(shí)間被稱為ChatGPT推出后最強(qiáng)模式的那個(gè)代碼解析器（Code Interpreter）。研究人員窺探了其代碼生成和執(zhí)行機(jī)制，使用自我驗(yàn)證、驗(yàn)證引導(dǎo)加權(quán)多數(shù)投票的方法，直接打開(kāi)其做數(shù)學(xué)題的任督二脈。好奇網(wǎng)友隨即而來(lái)：還想看他們做高數(shù)。

還有網(wǎng)友認(rèn)為：這也就是大腦的工作方式，人類在解決數(shù)學(xué)問(wèn)題時(shí)也會(huì)自我驗(yàn)證。

一起來(lái)康康這項(xiàng)研究的細(xì)節(jié)～兩步提升數(shù)學(xué)能力GPT-4代碼解析器的代碼生成和執(zhí)行機(jī)制究竟是怎樣的？來(lái)自港中文MMLab、南京大學(xué)、中科大、清華、城大、長(zhǎng)沙理工等多個(gè)機(jī)構(gòu)的學(xué)者為解開(kāi)這一問(wèn)題，使用特定代碼約束提示進(jìn)行了一項(xiàng)試驗(yàn)。

他們?cè)O(shè)計(jì)了3種不同的提示方法，限制GPT-4代碼解析器使用代碼的頻率：Prompt 1：完全不允許使用代碼，輸出完全依賴自然語(yǔ)言推理，禁止將代碼合并到解決方案中。Prompt 2：只允許使用1次代碼，也就是在生成解決方案時(shí)，只能在單個(gè)代碼塊內(nèi)使用代碼。Basic Prompt：沒(méi)有限制，GPT-4代碼解析器可以進(jìn)行一系列推理步驟，每個(gè)步驟都可由文字+Python代碼組成。

△（a）不同提示回答準(zhǔn)確率比較（b）代碼使用頻率與五個(gè)難度級(jí)別準(zhǔn)確率都成比例，這種現(xiàn)象在數(shù)學(xué)問(wèn)題相對(duì)復(fù)雜時(shí)尤為明顯。結(jié)果發(fā)現(xiàn)，允許GPT-4代碼解析器多次生成和執(zhí)行代碼，其解題正確度明顯高于僅用自然語(yǔ)言推理或只用1次代碼的情況。經(jīng)分析，研究人員認(rèn)為代碼的多次生成和執(zhí)行可以讓GPT-4代碼解析器逐步完善解決方案，當(dāng)代碼執(zhí)行產(chǎn)生錯(cuò)誤時(shí)，GPT-4代碼解析器可以自我調(diào)試修改方案。繼而引入“代碼使用頻率”概念，量化不同提示方法下代碼的使用次數(shù)。基于前面的分析結(jié)果，研究人員希望能加強(qiáng)GPT-4代碼解析器生成準(zhǔn)確代碼、評(píng)估代碼執(zhí)行結(jié)果以及自動(dòng)調(diào)整解決方案的能力。所以提出了CSV（自我驗(yàn)證）提示的方法，也就是為解決方案C引入了一個(gè)額外的驗(yàn)證階段，稱為V。加入自我驗(yàn)證提示效果對(duì)應(yīng)上圖綠色Verification Prompt。如此一來(lái)，GPT-4代碼解析器需額外生成代碼來(lái)驗(yàn)證答案，如果結(jié)果是False則重新推理得到正確答案。

CSV提示不僅對(duì)驗(yàn)證到邏輯推理每一步都進(jìn)行了擴(kuò)展，而且可以自動(dòng)更正錯(cuò)誤，無(wú)需外部模型或人工參與。

△MATH數(shù)據(jù)集中第712個(gè)中級(jí)代數(shù)問(wèn)題。CSV prompt：To solve the problem using code interpreter step by step, and please verify your answer using code interpreter.通過(guò)上圖這個(gè)例子可看出，在沒(méi)有自我驗(yàn)證的情況下，模型生成了一個(gè)錯(cuò)誤的答案。通過(guò)自我驗(yàn)證，模型糾正了錯(cuò)誤并生成了正確的答案。此外，鑒于CSV可以有效地驗(yàn)證問(wèn)題的答案，研究人員又提出了驗(yàn)證引導(dǎo)加權(quán)多數(shù)投票（VW-voting）的方法，將自我驗(yàn)證結(jié)果集成到多數(shù)表決中，給予不同驗(yàn)證狀態(tài)不同權(quán)重，使表決更可靠。

在實(shí)際操作中，一旦一個(gè)答案被確認(rèn)為錯(cuò)誤，那就不會(huì)進(jìn)行額外的驗(yàn)證，從而得到一個(gè)錯(cuò)誤的驗(yàn)證狀態(tài)。研究人員分配相應(yīng)的權(quán)重給這些狀態(tài)：真實(shí)（wT）、不確定（wU）和錯(cuò)誤（wF）。

最后從候選答案中擇取得分最高的那一個(gè)：

比此前最高水平提高30%用上了上述方法，GPT-4代碼解析器做數(shù)學(xué)題的能力up up。在MATH數(shù)據(jù)集上，原始GPT-4代碼解析器的準(zhǔn)確率為69.69%，使用CSV提示后提高到73.54%，再結(jié)合加權(quán)多數(shù)表決后進(jìn)一步提高到84.32%，相比之前SOTA提高了30%以上。

△在MATH數(shù)據(jù)集上的準(zhǔn)確率（%）在MATH數(shù)據(jù)集的各個(gè)子任務(wù)中，提出方法均取得顯著提高，尤其是在高難度級(jí)別的題目中效果更明顯。例如在中級(jí)代數(shù)（Intermediate Algebra）題目中，原來(lái)的GPT-4代碼解析器準(zhǔn)確率為50.1%，使用新方法后提高到74.4%。除此之外，研究人員還在GSM8K、MMLU-Math、MMLU-STEM等數(shù)據(jù)集上進(jìn)行了驗(yàn)證。

△在GSM8K數(shù)據(jù)集上的表現(xiàn)上表可以看出，使用驗(yàn)證引導(dǎo)加權(quán)多數(shù)投票的方法還可以顯著減少需要采樣的解路徑數(shù)量（Sampled paths），在GSM8K數(shù)據(jù)集上只需要5個(gè)路徑就達(dá)到97%的準(zhǔn)確率。

△在MMLU數(shù)據(jù)集上的表現(xiàn)針對(duì)不同難度的題目（下圖a）以及不同類型題目（下圖b）的測(cè)試中，使用新方法后準(zhǔn)確率都有了提升。

△每條曲線上的四個(gè)點(diǎn)分別對(duì)應(yīng)于使用Prompt 1、Prompt 2、BasicPrompt、CSV Prompt得到的結(jié)果。研究人員還發(fā)現(xiàn)GPT-4代碼解析器的代碼使用頻率提高與準(zhǔn)確率提高正相關(guān)。隨著題目難度的增加，代碼使用頻率穩(wěn)步上升。這說(shuō)明在較難的數(shù)學(xué)問(wèn)題上，更頻繁地使用代碼很重要。此外，值得注意的是，盡管添加基于代碼的自我驗(yàn)證可以提高每個(gè)單獨(dú)題目類型的性能，但改進(jìn)的程度也因題目類型而異，從7.6%到僅0.6%不等。研究人員指出：特別是幾何問(wèn)題的準(zhǔn)確性僅提高了0.6%，原本GPT-4代碼解析器的準(zhǔn)確性也只有54.0%，在各個(gè)題目類型中屬于較低的。這種差異可能是因?yàn)榻鉀Q幾何問(wèn)題通常需要多模態(tài)，超出了本文研究范圍。論文傳送門(mén)：https://arxiv.org/abs/2308.07921參考鏈接：[1]https://twitter.com/_akhaliq/status/1691734872329699813?s=20[2]https://x.com/justfannet/status/1691983780498600376?s=46&t=iTysI4vQLQqCNJjSmBODPw

5. 數(shù)學(xué)能力超ChatGPT，70B開(kāi)源大模型火了：用AI微調(diào)AI，微軟全華班出品

原文：https://www.thepaper.cn/newsDetail_forward_24224649

用AI生成的指令微調(diào)羊駝大模型，數(shù)學(xué)能力超ChatGPT——微軟最新開(kāi)源大模型WizardMath來(lái)了。

如下圖所示，經(jīng)過(guò)GSM8k數(shù)據(jù)集測(cè)試，WizardMath數(shù)學(xué)能力直接擊敗了ChatGPT、Claude Instant 1、PaLM 2-540B等一眾大模型——并且是在參數(shù)只有700億，遠(yuǎn)不及后三者的情況之下。

HuggingFace已上線3個(gè)在線可玩版本（分別為7B、13B和70B參數(shù)），各種數(shù)學(xué)題可以直接丟進(jìn)去試一試。比如解決下面這道四次多項(xiàng)式方程：

或者是一道簡(jiǎn)單的微積分：

亦或者是稍微修改過(guò)的拉格朗日方程推導(dǎo)：

它都全部正確（過(guò)程也不需要等太久）。有網(wǎng)友向作者表示：效果真的很驚人，感謝你們對(duì)開(kāi)源LLM的貢獻(xiàn)。

目前，相關(guān)代碼、復(fù)現(xiàn)方式以及論文也都開(kāi)源或上線，GitHub短短幾天已攬獲4.8k標(biāo)星。

那么，WizardMath究竟是如何做到的？用AI生成的指令增強(qiáng)大模型能力OpenAI的大模型（InstructGPT、GPT-4等）能夠取得巨大成功、去執(zhí)行各種復(fù)雜和多樣化的任務(wù)，一部分原因是使用了真實(shí)人類用戶生成的開(kāi)放域指令數(shù)據(jù)進(jìn)行了微調(diào)。然而，不是誰(shuí)都能像這家公司一樣獲得這樣的指令數(shù)據(jù)集。一是因?yàn)檎麄€(gè)注釋過(guò)程極其昂貴且耗時(shí)，二是人工難以創(chuàng)建出足夠比例的高難度指令。因此，開(kāi)發(fā)出一種成本相對(duì)較低的、大規(guī)模開(kāi)放域指令自動(dòng)生產(chǎn)方法，成為當(dāng)下指令調(diào)優(yōu)語(yǔ)言模型的關(guān)鍵。在此，作者將他們的方法命名為Evol Instruction。它是一種利用AI來(lái)代替人類自動(dòng)生成涵蓋各種難度級(jí)別開(kāi)放域指令的新方法。具體而言，Evol Instruction分為指令進(jìn)化器和指令消除器。其中指令進(jìn)化器可通過(guò)深度進(jìn)化（藍(lán)線）或廣度進(jìn)化（紅線）兩種路徑，將簡(jiǎn)單指令升級(jí)為更復(fù)雜的指令或創(chuàng)建一條全新指令。具體執(zhí)行哪一條？隨機(jī)選擇就好。

其中，深度進(jìn)化的具體“進(jìn)化法”，則是通過(guò)五種類型的操作來(lái)完成，包括：添加約束（add constraints）、深化（deepening）、具體化（concretizing）、增加推理步驟（increase reasoning steps）和使輸入復(fù)雜化（complicate input）。由于所有指令均由AI完成，有時(shí)難免會(huì)出現(xiàn)錯(cuò)誤。因此，指令消除器就是用于過(guò)濾失敗指令的。以下是一個(gè)具體示例，該方法從“1+1=？”開(kāi)始，最終通過(guò)以上步驟自動(dòng)生成了相當(dāng)多的新指令。

通過(guò)重復(fù)這一生成過(guò)程，最終我們就能得到足夠多的指令，然后將它們合并并隨機(jī)打亂，組成一個(gè)難度級(jí)別均勻分布的指令集，就可以對(duì)基礎(chǔ)大模型進(jìn)行微調(diào)了。在此，作者選擇Alpaca的訓(xùn)練數(shù)據(jù)（僅由175條人工創(chuàng)建的種子指令生成）作為初始數(shù)據(jù)集，然后使用ChatGPT的API執(zhí)行了四個(gè)進(jìn)化周期，最終獲得25萬(wàn)條指令。為了與Vicuna的70k真實(shí)用戶數(shù)據(jù)（ShareGPT）進(jìn)行公平比較，作者從這25萬(wàn)條數(shù)據(jù)中抽取了等量的樣本，訓(xùn)練LLaMA 7B模型，最終得到WizardLM，結(jié)果WizardLM的性能明顯優(yōu)于Vicuna。（Alpaca：斯坦福在LLaMa-7B基礎(chǔ)上微調(diào)出來(lái)的模型；Vicuna，UC伯克利在LLaMa-13B的基礎(chǔ)上微調(diào)得來(lái)）此外，在更為復(fù)雜的測(cè)試指令下，人類更喜歡WizardLM的輸出，而非ChatGPT，這表明該方法可以顯著提高LLM處理復(fù)雜指令的能力。基于此，作者又利用Evol Instruction生成了很多數(shù)學(xué)領(lǐng)域相關(guān)的指令，然后微調(diào)羊駝大模型，得到了WizardMath。其效果如開(kāi)頭所示，在GSM8k數(shù)據(jù)集上測(cè)得其數(shù)學(xué)能力超越包括ChatGPT、Claude Instant 1、PaLM 2-540B等一眾大模型，位列第5名，僅次于GPT-4、Claud1.3和2.0，以及5400億參數(shù)的Flan-PaLM 2之后。以此類推，作者還在羊駝之上得到了專攻代碼能力的WizardCoder，效果超越Claude和Bard（詳情可戳文末地址）。

團(tuán)隊(duì)介紹本文共9位作者，全華人。一作有3位：Can Xu，微軟亞洲互聯(lián)網(wǎng)工程院S+D NLP組高級(jí)應(yīng)用科學(xué)家，之前曾在微軟小冰研究組和微軟亞研院從事聊天機(jī)器人系統(tǒng)工作；Qingfeng Sun， Microsoft Research科學(xué)家，研究方向?yàn)樽匀徽Z(yǔ)言處理和信息檢索，精通構(gòu)建高效搜索系統(tǒng)，為Microsoft Bing和Office 365貢獻(xiàn)了核心深度模型；Kai Zheng，Microsoft Research科學(xué)家，研究方向?yàn)樽匀徽Z(yǔ)言處理、搜索和推薦排名，同樣為Microsoft Bing和Office 365貢獻(xiàn)了核心深度模型。

通訊作者為姜大昕，微軟全球合伙人、副總裁、前微軟亞洲研究院首席科學(xué)家，在微軟工作16年有余、曾作為微軟必應(yīng)搜索引擎和Cortana智能助手自然語(yǔ)言理解負(fù)責(zé)人，。

另還有一位作者Jiazhan Feng，是北大學(xué)生，這篇合著論文是TA在微軟實(shí)習(xí)時(shí)產(chǎn)出的。項(xiàng)目主頁(yè)：https://github.com/nlpxucan/WizardLM/tree/main/WizardMath論文地址：https://arxiv.org/abs/2304.12244（WizardLM）https://arxiv.org/abs/2306.08568（WizardCoder） ———————End———————

聲明：本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題，請(qǐng)聯(lián)系本站處理。舉報(bào)投訴

RT-Thread

RT-Thread

+關(guān)注

關(guān)注
32

文章
1376

瀏覽量
41616

原文標(biāo)題：【AI簡(jiǎn)報(bào)20230818期】人形機(jī)器人問(wèn)世：大模型加持；用AI微調(diào)AI，微軟全華班出品！

文章出處：【微信號(hào)：RTThread，微信公眾號(hào)：RTThread物聯(lián)網(wǎng)操作系統(tǒng)】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

搜索歷史

【AI簡(jiǎn)報(bào)20230818期】人形機(jī)器人問(wèn)世：大模型加持；用AI微調(diào)AI，微軟全華班出品！

1. 騰訊云宣布全面支持Llama2等主流開(kāi)源模型