目前的视频会议系统由于受到网络带宽的限制,图像的分辨率和帧刷新率都很低。另外,由于受普通摄像机视域的限制,图像的视域也很小。即使网络带宽提高了,使用这样的技术构造虚拟会议系统也是无法实现遥现和沉浸感的。
针对图像分辨率和视域问题,North Carolina大学计算机科学系的Aditi Majumder等人提出了一套解决方案,即
用高分辨率的全景视频构造虚拟空间。
1.拍摄系统
研究人员经常把所有摄像机放在一个点上,使它们具有相同的投影中心,但拍摄的方向相隔一定的角度。这样,不需要知道场景的深度信息,就可以把拍摄的图像无缝地拼接在一起,而拼接后的图像的分辨率不变。这种摄像机组称为广视域 (widefieldofview) 摄像机组。但事实上这是做不到的。为此,North Carolina大学提出一个新的方法,将12个摄像机分成两组,上下各6个,如下图所示。由于这6个摄像机并不是真正地在同一个位置上,所以,让每个摄像机对应一个反射镜。将反射镜中的图像进行校正就可以拼接成一个大的全景图像。这样就可以模拟虚拟摄像机360度视域。摄像机组的构造是比较困难的,需要十分小心地校正摄像机的位置。
2.显示系统
视频会议通常使用平面显示系统,如CRT设备。但这种系统存在两个问题,一是图像大小总是小于实际景物大小;二是如果使用广视域拍摄设备,则CRT无法显示广视域图像。North Carolina大学采用投影机显示大范围图像,只要调整好多个投影机的位置,就可以显示广视域图像。
North Carolina大学的Aditi majumder教授在1999年的 ACM Multimedia年会上发表了一系列论文,主要是介绍他们的全景视频采集系统与大视域虚拟会场显示系统,引起了与会者的广泛关注,为VST系统的研究开拓了一个新的空间。
VST-1系统
VST-1是国防科技大学管理科学与工程系多媒体技术室最近研制成功的VST原型系统。它可以构造一个三维虚拟会议空间,并可将所有与会者合成到同一个虚拟会场中,实现与会者视频、音频在虚拟会场中的空间合成;支持与会者之间自然的交互方式,如目光凝视、身体语言等;可为与会者提供多种三维输入设备(如数据手套、三维鼠标)与虚拟空间对象进行交互的能力。
1.系统运行环境
VST-1由多个虚拟会议终端与多点合成服务器(multiparty compositing server,MCS)组成,虚拟会议终端与MCS之间采用10M交换式以太网相连。虚拟会议终端又分为普通终端与主席终端。普通终端由单台高性能PC机担任;主席终端由四台高性能PC机担任,三台分别用于控制三个大屏幕投影机,一台用于控制其他三台机的同步显示。
2.虚拟会场显示系统
为实现虚拟会场的宽视域显示,我们设计了使用三个大屏幕投影机组成的显示系统。每个投影机屏幕宽2米,高1.5米,投影机之间组成160度的夹角。这样,用户在离投影机4米的位置上观察虚拟会场,具有80度的观察视角。
每台大屏幕投影机由一台高性能计算机控制显示,主控计算机控制每个显示计算机,使之在显示视线、显示速度上保持一致,以实现多台计算机的同步显示。VST-1的显示系统能够提供比较大的观察视角,支持多人共享,并能够将虚拟会场与实际的会场环境进行无缝融合,实现和谐的人机交互环境。
3.虚拟会场合成
虚拟会场合成需要完成视觉空间和听觉空间两个层次的合成。
视觉空间合成包括多屏虚拟会场绘制、与会者视频合成以及虚拟对象合成三个组成部分。VST-1采用Sense8公司的WorldToolKit虚拟现实软件平台实现视觉空间合成,系统在虚拟会议终端会场合成单元的每一台高性能PC机上,以单独的处理线程运行WTK仿真管理程序,完成虚拟会场的视觉空间合成。
听觉空间合成指当MCS不进行语音合成时,由虚拟会议终端完成各路与会者语音的合成。VST-1设计实现了基于DirectSound的终端语音合成。
虚拟会议终端为每一个与会者创建语音缓冲区,缓冲区的三维空间属性与与会者在虚拟会场中的空间位置和方向相对应,与会者的音频数据以流的形式动态填充到其语音缓冲区中,由DirectSound完成多路语音合成。