短劇作為熱度最高、用戶最廣的內(nèi)容形態(tài)之一,近年來進入爆發(fā)階段。
不僅為影視創(chuàng)作者帶來豐厚的回報,也成為科普作者、品牌們競爭追逐的形式,以更有創(chuàng)意的手段來觸達用戶。而AI技術,對于短劇創(chuàng)作模式的改變,以意想不到的速度發(fā)生了。
此前,Sora、Runway等視頻生成模型的誕生,能夠制作出質(zhì)量不算太差的AIGC視頻,提高了短劇的生產(chǎn)效率。但其主要是少數(shù)創(chuàng)作者的工具,廣大普通人很難解鎖。
2月18日,昆侖萬維發(fā)布并開源SkyReels-V1視頻大模型,并同步開源了基于視頻基座模型的表情動作可控算法SkyReels-A1。
作為中國首個面向AI短劇生成的開源模型,SkyReels-V1讓每一個普通人都能披上“AI戰(zhàn)衣”,化身短劇創(chuàng)作的超級戰(zhàn)士。
當千千萬萬普通人向短劇市場奔赴而來,那么AI短劇的新世界,也就被SkyReels-V1打開了。
大模型和AIGC的視頻生成能力,賦予了短劇創(chuàng)作無限的生機。
理論上講,只要有創(chuàng)意,有靈感,其他如劇本、人物、鏡頭等,都可以通過生成來實現(xiàn),極大地提升短劇的生產(chǎn)效率。
但現(xiàn)實中,此前視頻生成模型在短劇領域也存在不少桎梏,導致AI短劇未能爆發(fā):
1.用不到。Sora閉源模型的技術壟斷,許多短劇創(chuàng)作者無法通過先進模型來進行創(chuàng)作,生產(chǎn)效率不高。
2.不好用。受限于模型能力,此前AI短劇的人物,大多都存在“恐怖谷效應”,即表情或肢體僵硬不自然,很接近人類又不夠逼真,讓觀眾無法代入。
比如我們希望某視頻生成模型讓林黛玉動起來,但表情從憂愁到笑容的過渡不夠細膩,細微的表情變化沒有體現(xiàn)出來,手部活動也顯得呆板,整體就不夠自然。
3.用不起。Sora等閉源模型的訂閱費昂貴,ChatGPT Pro版高達200美元/月,而且調(diào)整畫面需要反復生成,tokens消耗巨大,成本和經(jīng)濟負擔也很高。
不難看到,AI短劇要爆發(fā),第一步是國產(chǎn)化,在視頻生成模型打破Sora等海外模型的壟斷;第二步是擬人化,讓AI演員走出“恐怖谷”,表演更加生動自然、惟妙惟肖,才能確保AI短劇有比較好的內(nèi)容質(zhì)量;第三步則是開源,讓廣大普通人也能用得到、用得起。
中國首個面向AI短劇生成的開源模型SkyReels-V1,便完成了一次“走出恐怖谷”的技術跋涉。
很多觀眾吐槽內(nèi)娛演員的是“人機式演技”,一個主要問題就是演員的表情讓人出戲,要么缺乏變化,無論高興、害怕、憤怒,都只會面無表情地瞪大雙眼,看起來十分僵硬呆板,要么五官亂飛,在一些情緒激烈的表演中控制不好表情。
對于豎屏為主的短劇,人物一般是畫面的焦點與核心,情緒主要是由微表情和肢體動作來渲染的,因此更考驗演技。所以,模型生成的AI演員人物,必須像老戲骨一樣,能夠?qū)δ槻课⒈砬?,進行精準控制。
比如同樣是林黛玉,我們用SkyReels-V1生成的動態(tài)視頻,表情更為豐富,過渡也更加自然,細節(jié)特征拉滿。
相比傳統(tǒng)視頻生成模型,SkyReels-V1能夠生成影帝級微表情,極大增強了視頻生成的可控性。進一步深挖,會發(fā)現(xiàn)這得益于昆侖萬維自研的表情動作可控算法SkyReels-A1,讓AI演員的演技有了極大突破。
演好一個短劇角色,AI首先得有豐富的表達能力。SkyReels-A1可以實現(xiàn)11種人物表情理解,針對影視戲劇中的表情,如不屑、不耐煩、無助、厭惡等,能夠結合劇本情境做出各式各樣的表情。
接下來,算法還得驅(qū)動人物面部,高度還原出類似真人的微表情表演。相比runway act-one,SkyReels-A1實現(xiàn)了更大幅度的人物表情驅(qū)動,讓人物表演看起來更有感染力,完成電影級的表現(xiàn)。
下面這個片段中,男主角看到敵人的皺眉、戰(zhàn)斗時堅毅的眼神、最后奔跑時腎上腺素飆升的緊張感……這些細節(jié)都精細地體現(xiàn)了出來。
此外,好演員的“聲臺行表”缺一不可,表情、情緒與人物動作都要相得益彰。這種動態(tài)過程很容易丟失細節(jié)、前后不一致,導致觀眾出戲。SkyReels-A1能夠深度還原表情變化、皮膚肌理、身體動作跟隨等多維度細節(jié),并保持一致性。
下面女孩在手臂大幅度動作時,面部的表情沒有失真,另一側身體幾乎沒有任何運動,看起來更像真人。
目前,SkyReels-A1已經(jīng)成為開源生態(tài)中最佳的圖生視頻模型,生成效果超越了Runway等模型。
SkyReels-A1的算法突破,助力AI演員的演技實現(xiàn)突破,告別“人機式”演戲。
當AI走出“恐怖谷”,不但能傳遞喜怒哀樂等主要情緒,還能更精準地表達出困惑、嫉妒、艷羨、焦慮等更深層的情緒,無疑會讓AI短劇更具備感染力,內(nèi)容制作和消費都更上一層樓。
有了影帝級演員,是不是一部劇的質(zhì)量就有了保證呢?顯然不是。
要拍出一部高質(zhì)量AI短劇,創(chuàng)作者一個人要成為一支隊伍,從劇本創(chuàng)作、鏡頭調(diào)度、劇情銜接、演員站位等,樣樣手到擒來。聽起來很有挑戰(zhàn),昆侖萬維打造的中國首個面向短劇生成的模型SkyReels-V1,就像一件“全能戰(zhàn)衣”,可以賦予創(chuàng)作者強大的內(nèi)容戰(zhàn)力。具體來說:
首先,補齊了能力短板。
普通人缺少的專業(yè)影像能力,就被SkyReels-V1補齊了。基于好萊塢級的高質(zhì)量影視數(shù)據(jù)訓練而成,SkyReels-V1生成的每一幀畫面,在構圖、演員站位、相機角度等都具備電影級的質(zhì)感,并帶有14種工業(yè)化標準運鏡模板,覆蓋推拉搖移等專業(yè)拍攝技法,哪怕沒有編導經(jīng)驗,普通人也可以借助模型中內(nèi)置的模版,輕松完成空鏡、特寫、人物占位等畫面的生成與銜接,拍出爽感十足的劇情。
其次,拆除了制作門檻。
SkyReels-V1支持文生視頻、圖生視頻等多種模式,創(chuàng)作者只需要出創(chuàng)意,一些制作難度大的置景、服裝等,可以全由SkyReels-V1一鍵生成。
我們讓SkyReels生成了一個“絲綢朋克”風格的科幻世界,只需提示詞We travel through a cyberpunk world that interweaves retro and future……一鍵AI生成的畫面中,蒸汽竹械塔樓纏繞著蠶絲光纜,紅燈籠映照著青瓷動力爐,還自帶運鏡,科幻大片也是叫咱拿捏了。
如果擔心文字描述得不夠清楚,或者希望AI參考具體圖片來創(chuàng)作,可以直接把圖片交給SkyReels-V1。
另外值得一提的是,SkyReels-V1有效解決了困擾創(chuàng)作者的成本難題。
此次SkyReels-V1模型的成本優(yōu)勢進一步優(yōu)化,借助自研的推理優(yōu)化框架,SkyReels-V1可以在4090計算硬件上只用75秒,完成512P分辨率的推理,還支持分布式多卡并行,采取fp8 quantization以及parameter-level offload,可以滿足低顯存用戶級顯卡運行需求,進一步降低了對創(chuàng)作者的硬件要求。
實測下來,生成畫質(zhì)1080p視頻,常規(guī)配置的個人筆記本電腦就能輕松搞定。
目前,在同等分辨率下,SkyReels-V1的各項指標達到SOTA級別,可以支撐AI短劇的工業(yè)級生產(chǎn)。
總體來說,披上SkyReels-V1的AI戰(zhàn)衣,普通人的內(nèi)容戰(zhàn)力得到全方位加強,能夠打破AI短劇生產(chǎn)效率的桎梏,自由釋放創(chuàng)意,叱咤短劇宇宙。
AI短劇走出表演的“恐怖谷”,打破生產(chǎn)效率的桎梏,SkyReels-V1成為普通UGC用戶擁抱AI短劇的一條直達路。
更進一步,我們發(fā)現(xiàn)在智能晨曦中探索的創(chuàng)作者,既有充沛的機遇和需求,也面臨大量的挑戰(zhàn)、困難與麻煩。接入昆侖萬維的AI開源生態(tài),是距離最短、成本最低的選擇。
可以用三個詞,總結昆侖萬維的開源特點:
1.真開源。與“僅放出模型,不開源參數(shù)”等偽開源不同,昆侖萬維對底層模型、關鍵算法、工具包等,都進行了開源,切實普惠全球用戶和開發(fā)者。目前SkyReels-V1模型與SkyReels-A1的技術paper已經(jīng)在github開放。
2.最領先。昆侖萬維的開源模型生態(tài),覆蓋多個模態(tài)、多種模型,除了此次開源的面向AI短劇生成的SkyReels-V1模型,早在2022年12月,ChatGPT和LLM大模型尚未爆火,「昆侖天工」AIGC全系列算法與模型,就宣布了開源。可以說,昆侖萬維是目前國內(nèi)AIGC領域最全面、先進的開源生態(tài)體系之一,降低了AIGC技術在各行各業(yè)的使用和學習門檻。
3.可持續(xù)。昆侖萬維是國內(nèi)第一個全身心投入AIGC開源社區(qū)的公司。從2022年底開啟開源,至2023年10月,昆侖萬維宣布開源百億級大語言模型「天工」Skywork-13B系列,并配套開源了600GB、150B Tokens的超大高質(zhì)量開源中文數(shù)據(jù)集。2024年開始,公司陸續(xù)開源了數(shù)字智能體全流程研發(fā)工具包AgentStudio、「天工大模型3.0」4000億參數(shù)MoE超級模型、2千億稀疏大模型Skywork-MoE、Skywork-o1-Open等模型。開源策略可預期,產(chǎn)品迭代有保障,才能成為AI開發(fā)者信任的伙伴,也讓昆侖萬維的開源生態(tài)持續(xù)壯大。
開源精神的迷人之處,在于發(fā)揮“眾智”,這與昆侖萬維的使命——“實現(xiàn)通用人工智能,讓每個人更好地塑造和表達自我”是高度一致的。昆侖萬維董事長兼CEO方漢曾公開表示,堅信開源是推動AIGC生態(tài)發(fā)展的土壤和重要力量。
當大量開發(fā)者和普通人,都能在昆侖萬維的開源生態(tài)中,以低門檻甚至零門檻來獲取最新AI技術,充分釋放靈感與想象力,創(chuàng)新自然噴薄而出,內(nèi)容也將豐富多元。最終體現(xiàn)在基于開源的創(chuàng)新產(chǎn)品,在體量規(guī)模與質(zhì)量上,都遠遠超越了只能集中少數(shù)精英的閉源模式。同時,也推動了全球的技術平權和文化平權。
所以說,SkyReels-V1/SkyReels-V1-A1的開源,就像是一個超級英雄故事的開始,把強大的戰(zhàn)衣交給創(chuàng)作者,普通人也可以創(chuàng)造奇跡。
審核編輯 黃宇
-
AI
+關注
關注
87文章
32007瀏覽量
270845 -
Sora
+關注
關注
0文章
83瀏覽量
275
發(fā)布評論請先 登錄
相關推薦
OpenAI暫不推出Sora視頻生成模型API
OpenAI推出AI視頻生成模型Sora
商湯日日新大模型體系持續(xù)升級,為全行業(yè)創(chuàng)作者提供新質(zhì)生產(chǎn)力
西部數(shù)據(jù)推出針對內(nèi)容創(chuàng)作者的全新NVMe SSD,進一步擴展旗下WD Blue系列
索尼電影攝影機助力創(chuàng)作者實現(xiàn)影像夢想
NVIDIA CEO 黃仁勛對話 Meta CEO 馬克·扎克伯格:創(chuàng)作者將擁有個性化的 AI 助手

評論