Facebook AI將真實(shí)的人變成可控制的游戲角色

Facebook的人工智能研究團(tuán)隊(duì)已經(jīng)創(chuàng)建了一個(gè)名為Vid2Play的人工智能，可以從真實(shí)人物的視頻中提取可玩角色，創(chuàng)造出更高科技版本的80年代全動(dòng)態(tài)視頻(FMV)游戲，如夜間陷阱。神經(jīng)網(wǎng)絡(luò)可以分析執(zhí)行特定操作的人的隨機(jī)視頻，然后在任何環(huán)境中重新創(chuàng)建角色和動(dòng)作，并允許您使用操縱桿控制它們。

該團(tuán)隊(duì)使用了兩個(gè)名為Pose2Pose和Pose2Frame的神經(jīng)網(wǎng)絡(luò)。首先，視頻被輸入Pose2Pose神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)專為舞蹈，網(wǎng)球或擊劍等特定類型的動(dòng)作而設(shè)計(jì)。系統(tǒng)然后計(jì)算出人與背景進(jìn)行比較的位置，并隔離他們和他們的姿勢(shì)。然后，Pose2Frame將人，連同他們的陰影和他們所持有的任何物體，并將它們插入到具有最少偽影的新場(chǎng)景中。然后，您可以使用操縱桿或鍵盤根據(jù)視頻中的姿勢(shì)控制其移動(dòng)。

每次活動(dòng)只需幾個(gè)簡(jiǎn)短的視頻 - 擊劍，跳舞和網(wǎng)球 - 來(lái)訓(xùn)練系統(tǒng)。它能夠過(guò)濾掉其他人并補(bǔ)償不同的攝像機(jī)角度。該研究類似于Adobe的“內(nèi)容感知填充”，它也使用AI來(lái)移除視頻中的元素，如游客或垃圾桶。其他公司，如NVIDIA，也已經(jīng)建立了人工智能，可以將現(xiàn)實(shí)生活中的視頻轉(zhuǎn)換為適合游戲的虛擬環(huán)境。

動(dòng)作有點(diǎn)棘手，人物看起來(lái)像是在冰上玩，這是3D動(dòng)畫中的一個(gè)問(wèn)題，被稱為“腳滑”。最重要的是，運(yùn)動(dòng)范圍有限。然而，與先前在角色提取方面的努力相比，它們?cè)诒尘吧巷@得相當(dāng)逼真。現(xiàn)在還處于研究的早期階段，所以希望團(tuán)隊(duì)可以解決運(yùn)動(dòng)問(wèn)題。

Facebook的Vid2Game合成可以讓游戲更加個(gè)性化，讓你可以將自己的角色或喜愛(ài)的YouTube個(gè)性插入到游戲中。“[它]解決了之前未完全滿足的計(jì)算問(wèn)題，為生成具有逼真圖形的視頻游戲鋪平了道路，”該團(tuán)隊(duì)寫道。“此外，從類似YouTube的視頻中提取的可控角色可以在虛擬世界和增強(qiáng)現(xiàn)實(shí)中找到自己的位置。”