近年來，從作曲到寫故事、再到制作模因字幕，AI在各個(gè)方面都展現(xiàn)出了創(chuàng)作天賦。如今，AI又將步入舞池，開始AI模型在藝術(shù)表演上的全新嘗試。

在一部名為《離散人像》(discrete figures)的日本舞蹈表演作品中，一名 AI 舞者被投影到舞臺上，與一位真人舞者一起表演。這個(gè)節(jié)目還展示了一個(gè)部分訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，該神經(jīng)網(wǎng)絡(luò)利用觀眾跳舞的錄像作為輸入數(shù)據(jù)生成表演視頻。

該作品由日本數(shù)字藝術(shù)團(tuán)體 Rhizomatiks、多媒體舞團(tuán) Elevenplay 和媒體藝術(shù)家 Kyle McDonald 共同合作完成，曾于去年在加拿大、美國、日本和西班牙進(jìn)行演出。

幕后的 AI 編舞

McDonald 是一位具有技術(shù)背景的藝術(shù)家。自 2010 年以來，他一直與舞者們合作，致力于營造全新的視覺體驗(yàn)。用他的話說，他是在“現(xiàn)實(shí)與虛擬的界限間舞蹈”。McDonald曾是紐約大學(xué)帝勢藝術(shù)學(xué)院的客座教授，并擁有倫斯勒理工學(xué)院電子藝術(shù)碩士學(xué)位。

McDonald 為《離散人像》邀請到八名舞者，記錄了每位舞者時(shí)長2.5小時(shí)的即興舞蹈表演的動作捕捉數(shù)據(jù)。利用NVIDIA GPU，這些訓(xùn)練數(shù)據(jù)被輸入一個(gè)名為“dance2dance”的神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)生成的動作可被渲染成 3D 人物線條畫面。

如圖所示，投影的 AI 舞者與 Maruyama 共享舞臺。

在 AI 與舞蹈團(tuán)成員 Masako Maruyama 的雙人表演中，AI 被投影在舞臺上，生成一位3D的虛擬舞者，仿佛漂浮在 Maruyama 身邊。它開始時(shí)是一個(gè)銀色輪廓，然后逐漸具化成Maruyama的分身。

虛擬舞者首先表演了由神經(jīng)網(wǎng)絡(luò)預(yù)先生成的舞蹈動作，然后又表演了由舞蹈公司的編舞 Mikiko 編導(dǎo)的舞蹈。Maruyama 和 AI 舞者同步表演舞蹈動作直到她離開舞臺，之后投影逐漸恢復(fù)銀色輪廓，虛擬舞者重新跳起AI 生成的編舞。

人類創(chuàng)作的舞蹈動作和 AI 生成的舞蹈動作之間的互動，道出了《離散人像》的主題。

McDonald 說：“人類的意圖將終結(jié)于何處，自動化又將始于何處？我認(rèn)為，對于這樣的問題，觀眾將會開始產(chǎn)生更多的疑問。在一個(gè)由算法主宰一切的時(shí)代，提出這樣的問題似乎也很合理。”

舞力全開：觀眾縱情舞動

在這部作品的另一個(gè)場景中，還使用了由 NVIDIA 研究團(tuán)隊(duì)研發(fā)的算法pix2pixHD，鼓勵(lì)觀眾參與到舞蹈表演當(dāng)中。

在每場表演開始前，該團(tuán)隊(duì)都會首先邀請 16 名觀眾（不考慮年齡和舞蹈經(jīng)驗(yàn)）走上舞臺，在一塊黑色背景前錄制一段1分鐘的即興舞蹈。觀眾們的舞蹈視頻會被發(fā)送到云端的單個(gè)NVIDIA GPU進(jìn)行動作評估，并從頭開始訓(xùn)練 pix2pixHD 算法。

僅需要15分鐘的訓(xùn)練，該算法就能將每位觀眾的舞蹈生成一個(gè)輸出視頻。表演開始前，McDonald 將這16段AI制作的視頻剪輯成蒙太奇效果的舞蹈視頻，并配上音樂，在表演過程中在投影屏幕上展示。

這部作品以觀眾跳舞的錄像作為輸入數(shù)據(jù)，展示了由部分訓(xùn)練的神經(jīng)網(wǎng)絡(luò)生成的蒙太奇視頻。（圖片由 Kyle McDonald 提供）

正如 McDonald 在一篇描述該作品的媒體文章中所提到的，利用觀眾的錄像，參與者可以體驗(yàn)“動作被機(jī)器重新設(shè)計(jì)成動作數(shù)據(jù)”。“整部作品始終都遵循著一個(gè)反復(fù)出現(xiàn)的主題：通過機(jī)器我們可以看到我們的人性，反之亦然。”

該場景還包括使用 3D Point Cloud 對神經(jīng)網(wǎng)絡(luò)的原始數(shù)據(jù)進(jìn)行可視化處理，生成舞者的骨架模型。

McDonald 說：“當(dāng)我們看到 pix2pixHD 在經(jīng)過僅僅 15 分鐘的訓(xùn)練后所生成的視頻時(shí)，我們覺得這對舞臺表演來說將會是完美的。因?yàn)檫@15 分鐘的訓(xùn)練過程準(zhǔn)確地體現(xiàn)了表演所要表達(dá)的一些主題，比如 AI 的出現(xiàn)，以及數(shù)字世界和現(xiàn)實(shí)世界之間界限的混淆。”