短劇作為熱度最高、用戶最廣的內容形態之一,近年來進入爆發階段。
不僅為影視創作者帶來豐厚的回報,也成為科普作者、品牌們競爭追逐的形式,以更有創意的手段來觸達用戶。而AI技術,對于短劇創作模式的改變,以意想不到的速度發生了。
此前,Sora、Runway等視頻生成模型的誕生,能夠制作出質量不算太差的AIGC視頻,提高了短劇的生產效率。但其主要是少數創作者的工具,廣大普通人很難解鎖。
2月18日,昆侖萬維發布并開源SkyReels-V1視頻大模型,并同步開源了基于視頻基座模型的表情動作可控算法SkyReels-A1。
作為中國首個面向AI短劇生成的開源模型,SkyReels-V1讓每一個普通人都能披上“AI戰衣”,化身短劇創作的超級戰士。
當千千萬萬普通人向短劇市場奔赴而來,那么AI短劇的新世界,也就被SkyReels-V1打開了。
大模型和AIGC的視頻生成能力,賦予了短劇創作無限的生機。
理論上講,只要有創意,有靈感,其他如劇本、人物、鏡頭等,都可以通過生成來實現,極大地提升短劇的生產效率。
但現實中,此前視頻生成模型在短劇領域也存在不少桎梏,導致AI短劇未能爆發:
1.用不到。Sora閉源模型的技術壟斷,許多短劇創作者無法通過先進模型來進行創作,生產效率不高。
2.不好用。受限于模型能力,此前AI短劇的人物,大多都存在“恐怖谷效應”,即表情或肢體僵硬不自然,很接近人類又不夠逼真,讓觀眾無法代入。
比如我們希望某視頻生成模型讓林黛玉動起來,但表情從憂愁到笑容的過渡不夠細膩,細微的表情變化沒有體現出來,手部活動也顯得呆板,整體就不夠自然。
3.用不起。Sora等閉源模型的訂閱費昂貴,ChatGPT Pro版高達200美元/月,而且調整畫面需要反復生成,tokens消耗巨大,成本和經濟負擔也很高。
不難看到,AI短劇要爆發,第一步是國產化,在視頻生成模型打破Sora等海外模型的壟斷;第二步是擬人化,讓AI演員走出“恐怖谷”,表演更加生動自然、惟妙惟肖,才能確保AI短劇有比較好的內容質量;第三步則是開源,讓廣大普通人也能用得到、用得起。
中國首個面向AI短劇生成的開源模型SkyReels-V1,便完成了一次“走出恐怖谷”的技術跋涉。
很多觀眾吐槽內娛演員的是“人機式演技”,一個主要問題就是演員的表情讓人出戲,要么缺乏變化,無論高興、害怕、憤怒,都只會面無表情地瞪大雙眼,看起來十分僵硬呆板,要么五官亂飛,在一些情緒激烈的表演中控制不好表情。
對于豎屏為主的短劇,人物一般是畫面的焦點與核心,情緒主要是由微表情和肢體動作來渲染的,因此更考驗演技。所以,模型生成的AI演員人物,必須像老戲骨一樣,能夠對臉部微表情,進行精準控制。
比如同樣是林黛玉,我們用SkyReels-V1生成的動態視頻,表情更為豐富,過渡也更加自然,細節特征拉滿。
相比傳統視頻生成模型,SkyReels-V1能夠生成影帝級微表情,極大增強了視頻生成的可控性。進一步深挖,會發現這得益于昆侖萬維自研的表情動作可控算法SkyReels-A1,讓AI演員的演技有了極大突破。
演好一個短劇角色,AI首先得有豐富的表達能力。SkyReels-A1可以實現11種人物表情理解,針對影視戲劇中的表情,如不屑、不耐煩、無助、厭惡等,能夠結合劇本情境做出各式各樣的表情。
接下來,算法還得驅動人物面部,高度還原出類似真人的微表情表演。相比runway act-one,SkyReels-A1實現了更大幅度的人物表情驅動,讓人物表演看起來更有感染力,完成電影級的表現。
下面這個片段中,男主角看到敵人的皺眉、戰斗時堅毅的眼神、最后奔跑時腎上腺素飆升的緊張感……這些細節都精細地體現了出來。
此外,好演員的“聲臺行表”缺一不可,表情、情緒與人物動作都要相得益彰。這種動態過程很容易丟失細節、前后不一致,導致觀眾出戲。SkyReels-A1能夠深度還原表情變化、皮膚肌理、身體動作跟隨等多維度細節,并保持一致性。
下面女孩在手臂大幅度動作時,面部的表情沒有失真,另一側身體幾乎沒有任何運動,看起來更像真人。
目前,SkyReels-A1已經成為開源生態中最佳的圖生視頻模型,生成效果超越了Runway等模型。
SkyReels-A1的算法突破,助力AI演員的演技實現突破,告別“人機式”演戲。
當AI走出“恐怖谷”,不但能傳遞喜怒哀樂等主要情緒,還能更精準地表達出困惑、嫉妒、艷羨、焦慮等更深層的情緒,無疑會讓AI短劇更具備感染力,內容制作和消費都更上一層樓。
有了影帝級演員,是不是一部劇的質量就有了保證呢?顯然不是。
要拍出一部高質量AI短劇,創作者一個人要成為一支隊伍,從劇本創作、鏡頭調度、劇情銜接、演員站位等,樣樣手到擒來。聽起來很有挑戰,昆侖萬維打造的中國首個面向短劇生成的模型SkyReels-V1,就像一件“全能戰衣”,可以賦予創作者強大的內容戰力。具體來說:
首先,補齊了能力短板。
普通人缺少的專業影像能力,就被SkyReels-V1補齊了。基于好萊塢級的高質量影視數據訓練而成,SkyReels-V1生成的每一幀畫面,在構圖、演員站位、相機角度等都具備電影級的質感,并帶有14種工業化標準運鏡模板,覆蓋推拉搖移等專業拍攝技法,哪怕沒有編導經驗,普通人也可以借助模型中內置的模版,輕松完成空鏡、特寫、人物占位等畫面的生成與銜接,拍出爽感十足的劇情。
其次,拆除了制作門檻。
SkyReels-V1支持文生視頻、圖生視頻等多種模式,創作者只需要出創意,一些制作難度大的置景、服裝等,可以全由SkyReels-V1一鍵生成。
我們讓SkyReels生成了一個“絲綢朋克”風格的科幻世界,只需提示詞We travel through a cyberpunk world that interweaves retro and future……一鍵AI生成的畫面中,蒸汽竹械塔樓纏繞著蠶絲光纜,紅燈籠映照著青瓷動力爐,還自帶運鏡,科幻大片也是叫咱拿捏了。
如果擔心文字描述得不夠清楚,或者希望AI參考具體圖片來創作,可以直接把圖片交給SkyReels-V1。
另外值得一提的是,SkyReels-V1有效解決了困擾創作者的成本難題。
此次SkyReels-V1模型的成本優勢進一步優化,借助自研的推理優化框架,SkyReels-V1可以在4090計算硬件上只用75秒,完成512P分辨率的推理,還支持分布式多卡并行,采取fp8 quantization以及parameter-level offload,可以滿足低顯存用戶級顯卡運行需求,進一步降低了對創作者的硬件要求。
實測下來,生成畫質1080p視頻,常規配置的個人筆記本電腦就能輕松搞定。
目前,在同等分辨率下,SkyReels-V1的各項指標達到SOTA級別,可以支撐AI短劇的工業級生產。
總體來說,披上SkyReels-V1的AI戰衣,普通人的內容戰力得到全方位加強,能夠打破AI短劇生產效率的桎梏,自由釋放創意,叱咤短劇宇宙。
AI短劇走出表演的“恐怖谷”,打破生產效率的桎梏,SkyReels-V1成為普通UGC用戶擁抱AI短劇的一條直達路。
更進一步,我們發現在智能晨曦中探索的創作者,既有充沛的機遇和需求,也面臨大量的挑戰、困難與麻煩。接入昆侖萬維的AI開源生態,是距離最短、成本最低的選擇。
可以用三個詞,總結昆侖萬維的開源特點:
1.真開源。與“僅放出模型,不開源參數”等偽開源不同,昆侖萬維對底層模型、關鍵算法、工具包等,都進行了開源,切實普惠全球用戶和開發者。目前SkyReels-V1模型與SkyReels-A1的技術paper已經在github開放。
2.最領先。昆侖萬維的開源模型生態,覆蓋多個模態、多種模型,除了此次開源的面向AI短劇生成的SkyReels-V1模型,早在2022年12月,ChatGPT和LLM大模型尚未爆火,「昆侖天工」AIGC全系列算法與模型,就宣布了開源。可以說,昆侖萬維是目前國內AIGC領域最全面、先進的開源生態體系之一,降低了AIGC技術在各行各業的使用和學習門檻。
3.可持續。昆侖萬維是國內第一個全身心投入AIGC開源社區的公司。從2022年底開啟開源,至2023年10月,昆侖萬維宣布開源百億級大語言模型「天工」Skywork-13B系列,并配套開源了600GB、150B Tokens的超大高質量開源中文數據集。2024年開始,公司陸續開源了數字智能體全流程研發工具包AgentStudio、「天工大模型3.0」4000億參數MoE超級模型、2千億稀疏大模型Skywork-MoE、Skywork-o1-Open等模型。開源策略可預期,產品迭代有保障,才能成為AI開發者信任的伙伴,也讓昆侖萬維的開源生態持續壯大。
開源精神的迷人之處,在于發揮“眾智”,這與昆侖萬維的使命——“實現通用人工智能,讓每個人更好地塑造和表達自我”是高度一致的。昆侖萬維董事長兼CEO方漢曾公開表示,堅信開源是推動AIGC生態發展的土壤和重要力量。
當大量開發者和普通人,都能在昆侖萬維的開源生態中,以低門檻甚至零門檻來獲取最新AI技術,充分釋放靈感與想象力,創新自然噴薄而出,內容也將豐富多元。最終體現在基于開源的創新產品,在體量規模與質量上,都遠遠超越了只能集中少數精英的閉源模式。同時,也推動了全球的技術平權和文化平權。
所以說,SkyReels-V1/SkyReels-V1-A1的開源,就像是一個超級英雄故事的開始,把強大的戰衣交給創作者,普通人也可以創造奇跡。
審核編輯 黃宇
-
AI
+關注
關注
87文章
33183瀏覽量
273425 -
Sora
+關注
關注
0文章
83瀏覽量
369
發布評論請先 登錄
相關推薦
OpenAI暫不推出Sora視頻生成模型API
OpenAI推出AI視頻生成模型Sora
西部數據推出針對內容創作者的全新NVMe SSD,進一步擴展旗下WD Blue系列
索尼電影攝影機助力創作者實現影像夢想
即夢AI上線,字節跳動挑戰Sora等AI創作平臺
NVIDIA CEO 黃仁勛對話 Meta CEO 馬克·扎克伯格:創作者將擁有個性化的 AI 助手

評論