TaoAvatar：实时高清3D虛拟人，AI Agent on the Vison Pro

发布日期：2025/3/25 8:34:54      浏览量：

TaoAvatar：实时高清3D虛拟人，AI Agent on the Vison Pro，技术方案

项目地址：TaoAvatar (pixelai-team.github.io)

      逼真的 3D 全身会说话的头像在 AR 中具有巨大潜力，其应用范围从电子商务直播到全息通信。尽管 3D 高斯飞溅 （3DGS） 在创建逼真的头像方面取得了进步，但现有方法难以在全身交谈任务中对面部表情和身体运动进行精细控制。 此外，它们通常缺乏足够的细节，无法在移动设备上实时运行。我们推出了 TaoAvatar，这是一款由各种信号驱动的高保真、轻量级、基于 3DGS 的全身会说话虚拟形象。 我们的方法首先创建一个个性化的穿衣人体参数模板，该模板将高斯坐标绑定以表示外观。 然后，我们预先训练了一个基于 StyleUnet 的网络来处理复杂的姿势依赖性非刚性变形，这可以捕获高频外观细节，但对于移动设备来说太耗费资源了。 为了克服这个问题，我们使用蒸馏技术将非刚性变形“烘焙”到基于 MLP 的轻量级网络中，并开发混合形状来补偿细节。 大量实验表明，TaoAvatar 在各种设备上实时运行时实现了最先进的渲染质量，在 Apple Vision Pro 等高清立体声设备上保持 90 FPS。