Stability AI 近日宣布了他們首個(gè)用于編程的生成式 LLM AI 產(chǎn)品 ——StableCode。該產(chǎn)品旨在幫助程序員完成日常工作，并為新手開(kāi)發(fā)者提供實(shí)用的學(xué)習(xí)工具。

官方介紹道，StableCode 提供了一種獨(dú)特的方式，通過(guò)使用三種不同的模型來(lái)幫助開(kāi)發(fā)者編寫(xiě)代碼，從而提示開(kāi)發(fā)效率。

基礎(chǔ)模型 (base model)首先使用來(lái)自 BigCodestack-dataset(v1.2) 的多種編程語(yǔ)言進(jìn)行訓(xùn)練，然后使用 Python、Go、Java、Javascript、C、markdown 和 C++ 等流行語(yǔ)言進(jìn)行進(jìn)一步訓(xùn)練。

總的來(lái)說(shuō)，他們?cè)?HPC 集群上使用 560B token 的代碼訓(xùn)練了模型。

建立好基礎(chǔ)模型后，Stability AI 針對(duì)特定用例調(diào)整指令模型 (instruction model)，以幫助解決復(fù)雜的編程任務(wù)。

為了實(shí)現(xiàn)這一結(jié)果，他們?cè)诨A(chǔ)模型上訓(xùn)練了約 120,000 個(gè) Alpaca 格式的代碼指令 / 響應(yīng)對(duì) (instruction/response)。



使用 StableCode Instruct 生成對(duì)給定指令的響應(yīng)的代碼 對(duì)于那些想要了解更多編碼知識(shí)的開(kāi)發(fā)者來(lái)說(shuō)，StableCode 是理想的構(gòu)建塊，而長(zhǎng)上下文窗口模型 (long-context window model)是確保用戶(hù)可以使用單行和多行自動(dòng)完成建議的完美助手。

該模型旨在一次處理更多代碼（比之前發(fā)布的具有 16,000 個(gè) token 的上下文窗口的開(kāi)放模型多 2-4 倍），允許用戶(hù)同時(shí)查看或編輯相當(dāng)于最多 5 個(gè)平均大小的 Python 文件。

使其成為初學(xué)者想要迎接更大挑戰(zhàn)的理想學(xué)習(xí)工具。



StableCode 利用 Pytorch 深度學(xué)習(xí)庫(kù)完成一個(gè)相對(duì)復(fù)雜的 python 文件（灰色文本為 StableCode 的預(yù)測(cè)） 最后看看關(guān)于 StableCode 的評(píng)測(cè)數(shù)據(jù)：

審核編輯：劉清