解析谷歌全息视频聊天技术Project Starline

发布日期：2022/1/26 18:06:40      浏览量：

Starline是想解决超高清远程会议的三个问题与挑战并且尽量使用现有的技术和google自己现有技术，比如webrtc技术。

挑战

1. 可实用的代价不高的三维音视频采集和播放（呈现）。
2. 创建一个舒适的三维视觉感观。现在头戴式AV,RV太笨重，太不舒服。
3. 真正实现面对面的眼神沟通，表情沟通，打手势等非语言沟通。

从现有google大量的测试数据和评估结果看，以上三点基本达到。当然google也说了，现在的原型还有很多需要解决的问题。

starline系统中对于头发和眼镜的物体的采集和重建还有问题，并且对深凹和快速运动物体会有重建深度图的错误或图像空洞，还需要进一步的工作来克服这些伪影。

以下是google对starline的部分讲解。

Starline 展示了一种实时的双向交流系统，可以让两个人，即使在远距离交互，也能体验到面对面的对话体验。通过参与者打分(如呈现、注意力、交互必、参与感等方面)、会议参与感和观察到的非语言行为表达(如点头、眉毛运动)各方面进行测量，这是第一个明显优于2D视频会议的远程呈现系统。

Starline 是一个里程碑式的远程呈现系统，这系统所有设计元素都为了最大化实现音视频的保真度和真实感观体验来实现的，包括物理布局、照明、人脸跟踪、多摄像头采集、麦克风阵列、多媒体流压缩编码、扬声器输出和透镜显示。

Starline 系统可以实现关键的3D视听维度(立体视觉、运动视差和空间化音频)，并能实现全方位的交流体验(眼神接触、手势和肢体语言)，但使用者不需要佩戴特殊的眼镜或的麦克风/耳机。

Starline 系统系统由头部跟踪自动立体显示、高分辨率三维采集和播放系统以及使用对色彩空间和视频深度流进行压缩编解码并网络传输组成。其他的技术点包括一个新的基于图像的几何融合算法，自由空间去混响和发言人者定位。

Starline系统实现如下：

如上图系统由两个主要结构组成:一个显示单元（Display Unit）和一个背光单元(Backlight Unit)。显示单元里面有显示器、摄像机、扬声器、麦克风、照明设备和计算机; 背光单元，里面有一个红外背光设备同时也是一个长椅。

视频采集子系统由三个双目深度（景深）stereo cameras彩色摄像机组成，两个在显示屏上方，一个在显示屏下方的位置，这个下方位置的还有一个额外的彩色相机color camera，可以放大采集被摄对象的脸部细节。还有四个单色跟踪摄像头tracking camera，两个在显示屏左右两边，另外两个在显示屏上方位置。 高速广角摄像头，用于眼睛、耳朵和嘴巴的实时3D定位。上图说明采集和显示组件的排布。

在接收端，使用一种新的“基于图像的融合”光线投射算法，从观众的左眼和右眼位置渲染出三个深度流（stereo cameras），四路颜色的纹理流（color camera）被投射到融合的表面上，并使用从光滑的表面法线确定的权重进行混合。

上图是3D采集播放的设备参数。都是获得硬件设备。

系统时延，Starline 端到端的平均延迟为105.8 ms(标准偏差9.1 ms)。根据研究数据，人类对端到端的对话时延要在250 ms以内都是可以接受的。