HereSphere是一种先进的VR视频播放器,可增强立体VR视频的身临其境的感觉。 HereSphere的综合投影系统可以对等矩形和鱼眼视频进行难以置信的精确投影。它可以使用其最新的自动聚焦深度算法来校正镜头畸变,相机立体声对准误差,视频拼接和生产误差,甚至可以调整图像以使其与观看者的IPD,头部方向和位置相匹配。
当前的VR视频技术使用两个带有广角鱼眼镜头的固定摄像机来捕获立体声视频。将录制的图像投影到VR头戴式显示器上会带来一些挑战,这是HereSphere试图克服的。
首先,鱼眼镜头产生光学畸变。通常在后期制作中通过将鱼眼图像转换为等矩形格式来处理这些失真。但是,在转换过程中可能会应用错误的镜头轮廓,从而导致最终图像中出现不必要的失真。 HereSphere通过其具有可调节FOV的多种镜头配置文件来解决此问题,可以在各种镜头配置文件之间转换。它甚至可以选择使用自定义镜头畸变曲线,从而可以处理任何原始鱼眼镜头或等角镜转换。
其次,在录制时,立体摄像机的位置被锁定。为了正确地感知深度和尺度,人的视觉系统取决于我们的眼睛的会聚度(我们的眼睛需要旋转以聚焦在物体上的角度)。如果立体相机之间的距离与观看者眼睛之间的距离不匹配,则聚焦在对象上所需的会聚角将与观看者的实际情况不匹配。另外,如果观看者旋转或移动其头部,则他们的眼睛将不再与固定摄像机的位置和方向对齐。这会导致双视,眼睛疲劳以及对深度和比例的不正确感知。 HereSphere通过使用带有实时深度检测的数学模型来调整投影以匹配不同IPD,头部方向,甚至跟踪观看者的位置以使用6DOF模仿运动来解决此问题。
第三,立体相机相对于彼此的对准和定向中将存在误差,以及相机光传感器的放置中的制造误差和生产后的缝合误差。我们的眼睛会令人难以置信的感知力,因此旋转对齐方式偏离一度的几分之一,位置对齐方式偏离一毫米的几分之一,或者在缝合过程中偏离几像素,都会导致眼睛疲劳,深度感知和缩放问题。 HereSphere使用了完整的拼接和对齐设置列表来纠正这些错误。深度检测算法可输出距离读数,并可与立体图查看模式一起使用,该模式可让观看者轻松查看并调整图像,使其与令人信服的深度完美对齐。
处理完所有这些问题后,得到的图像将变得非常清晰,没有眼睛疲劳,并且浸入感大大增强。
HereSphere还具有以下功能: -图像后处理工具,例如锐化,颜色调整和色调映射 -模拟的空间音频,可根据观看者的方向移动立体声音频信号 -来自实施受支持的网络流API的网站的在线视频流 -本地时间戳服务器以同步外围设备 -保存的设置和关键帧在播放期间的指定时间自动加载 -同时播放多个平面视频,音频会自动聚焦在观众面前的视频上 -支持运动控制器,游戏手柄,键盘和鼠标
HereSphere依靠Windows Media Foundation和硬件加速解码来进行视频播放。为了播放h265 / HEVC视频,必须安装Windows的HEVC扩展。由于h264视频的硬件加速解码的限制,h264视频的分辨率不得大于4k,并且只能具有8位色深。 |