似乎每天都會有一個新的大型語言模型(LLM)誕生,其創造者和學術界也都會對其響應人類提示的非凡能力進行瘋狂般的評論。它可以修復代碼!它可以寫一封推薦信!它能快速總結一篇文章!
我是一名正在使用和教授此類模型的政治和數據科學家,從我的角度來看,學者們需要對 LLM 持謹慎態度。最廣受吹捧的 LLMs 是專有的和封閉的:由商業公司運營,不公開其基礎模型,無法供他人獨立檢查或驗證,研究人員和公眾不知道這些模型是在哪些文件上訓練的。
急于將此類人工智能(AI)模型納入研究是一個問題。它們的使用威脅著來之不易的研究倫理學進展和結果的可重復性。
相反,研究人員需要通力合作,開發透明的、不依賴公司的開源 LLM。
誠然,專有模型很方便,“開箱即用”。但是,當務之急是投資于開源的 LLM,既要幫助建立它們,又要將它們用于研究。我很樂觀地認為,它們將被廣泛采用,就像開源統計軟件一樣,專有的統計程序在最初會很受歡迎,但如今社區大多使用的是 R 或 Python 等開源平臺。
一個開源的 LLM,BLOOM,已于去年 7 月發布,其他建立開源 LLM 的努力也在進行中。這類項目很好,但我認為我們需要更多的合作,并匯集國際資源和專業知識。開源的 LLM 的資金通常不如大公司充足。而且,他們還需要在奔跑中站穩腳跟:這個領域的發展如此之快,以至于 LLM 的一個版本在幾周或幾個月內就變得過時了。加入這些努力的學者,越多越好。
而且,使用開源的 LLM 對可重復性至關重要。封閉式 LLM 的所有者可以在任何時候改變他們的產品或其訓練數據——這可以改變科學研究的結果。
例如,一個研究小組可能會發表一篇論文,測試一個專有的 LLM 給出的建議是否能夠幫助臨床醫生更有效地與病人溝通。如果另一個小組試圖復制這項研究,他們不知道模型的基礎訓練數據是否相同,甚至該技術是否仍然得到支持。OpenAI 的 GPT-3 已經被 GPT-4 所取代,支持早期版本的 LLM 將不再是該公司的主要優先事項。
相比之下,對于開源的 LLM,研究人員可以查看模型的很多細節,以了解它是如何工作的,定制它的代碼并標記錯誤。這些細節包括模型的可調整參數和它所訓練的數據。社區的參與和監督有助于使這些模型長期保持穩定。
此外,在科學研究中使用專有的 LLM 對研究倫理也有令人不安的影響。用于訓練這些模型的文本是未知的:它們可能包括社交媒體平臺上用戶之間的直接消息,或由在法律上無法同意共享其數據的兒童編寫的內容。盡管制作公開文本的人們可能已經同意了平臺的服務條款,但這也許不是研究人員希望看到的知情同意標準。
在我看來,科學家應盡可能在自己的工作中不再使用這些模型。我們應該轉而使用開放的 LLM,并盡力推廣它們。此外,學者們,尤其是那些擁有大量社交媒體粉絲的學者,不應該告訴他人使用專有模型。如果價格飆升,或者公司倒閉,研究人員可能會后悔推廣了那些讓同事被困在昂貴合同中的技術。
目前,研究人員可以求助于私人組織制作的開放式 LLM。例如,我和我的同事們正在使用 Meta 公司的開放式 LLM OPT-175B。LLaMA 和 OPT-175B 都是免費使用的。但從長遠來看,這樣做的壞處是使科學依賴于企業的 “仁慈”,這是一個充滿不穩定性的局面。
因此,應該有與 LLM 合作的學術行為準則,以及監管。但這些都需要時間。我預計,這種規定最初會很笨拙,而且生效緩慢。
同時,大規模的合作項目迫切需要支持,為研究訓練開源模型。政府應該通過撥款增加資金。該領域正在以閃電般的速度發展,現在需要開始協調國家和國際的努力。科學界最適合評估由此產生的模型的風險,且需要謹慎向公眾推薦這些模型。
但是很明顯,開放的環境才是正確的。
審核編輯 :李倩
-
人工智能
+關注
關注
1805文章
48843瀏覽量
247373 -
開源
+關注
關注
3文章
3634瀏覽量
43582 -
語言模型
+關注
關注
0文章
561瀏覽量
10709 -
生成式AI
+關注
關注
0文章
528瀏覽量
721
原文標題:Nature:為什么生成式AI要開源?紐約大學教授發文,“科學發展的道德之路”
文章出處:【微信號:信息與電子工程前沿FITEE,微信公眾號:信息與電子工程前沿FITEE】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
NPU是什么?為何它是開啟終端側生成式AI的關鍵?

關于生成式AI的關鍵技術
什么是生成式AI?生成式AI的四大優勢
虹軟圖像深度恢復技術與生成式AI的創新 生成式AI助力
利用 NVIDIA Jetson 實現生成式 AI

評論