Meta 發佈了 audio2photoreal AI 框架,可以通過輸入配音檔生成角色對話場景

Bit News Meta 最近宣佈了一個名為 audio2photoreal 的 AI 框架,它能夠生成一系列逼真的 NPC 角色模型,並藉助現有的畫外音檔自動“對口型同步”和“擺姿勢”角色模型。

官方研報指出,Audio2寫實框架收到配音檔后,會先生成一系列NPC模型,然後利用量化技術和擴散演演演算法生成模型動作,其中量化技術為框架提供動作樣本參考,擴散演演演算法用於提升幀生成的人物動作效果。

對照實驗中有43%的評估者對幀生成的人物對話場景“非常滿意”,因此研究人員認為Audio2逼真框架能夠產生比業內競爭產品“更具活力和表現力”的動作。 據悉,研究團隊現已在 GitHub 上公開了相關代碼和數據集。

查看原文
本頁面內容僅供參考,非招攬或要約,也不提供投資、稅務或法律諮詢。詳見聲明了解更多風險披露。
  • 讚賞
  • 留言
  • 分享
留言
0/400
暫無留言
交易,隨時隨地
qrCode
掃碼下載 Gate.io APP
社群列表
繁體中文
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • ไทย
  • Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)