《Arm 新型Mali-D77显示处理器让虚拟变得更加现实》

  • 来源专题:集成电路
  • 编译者: Lightfeng
  • 发布时间:2019-05-19
  • Arm推出的新型 Mali-D77显示处理器IP可以让头戴式显示器(HMD)的VR性能更加卓越,消除眩晕感,并针对3K120进行了优化。所有新的固定功能硬件均可节省40%以上的系统带宽,为VR工作负载节省12%的电力。相应的可以开发更小、更轻、更舒适的无线VR设备,从HMD扩展到标准的高级移动显示器。

    Mali-D77添加了全新VR加速功能,这与与市场上的其他显示处理器不同。例如,Mali-D77可以把特定的运算从GPU移至DPU上,从而实现更高质量的视觉效果并消除晕动,释放更多的GPU负载和相关的系统频宽。

    Mali-D77增强功能包括:

    镜头失真校正(LDC):预先扭曲图像以抵销镜头的效应,如此一来透过所有VR头戴装置透镜看到的图像,都能显示正确且没有扭曲失真。

    色差校正(CAC):在相反的方向预先分离色版,以抵抗VR头戴装置透镜所造成的模糊效果。

    异步时间扭曲(ATW):根据3D立体空间中,用户最新的头部与头戴装置的位置,进行虚拟场景的翻译与重新投射。

    正如我之前提到的,Mali-D77的系统频宽和功耗节省将实现更轻便、更小巧、更舒适的消费者友好型VR设备,即在传统VR使用案例中,在Mali-D77上面做VR处理与叠加的时候,可减少频宽高达40%。在性能水准不打折的前提下,达到12%的功耗节省,创造出更高质量的视觉效果,同时也能释出GPU负载。

    Mali-D77不仅也已用于VR头戴显示器,Mali-D77也适用在其他的装置、显示器与使用案例上。例如,Mali-D77可以与现有的开发者生态系统整合至共同的SoC平台,从驱动一个VR头戴显示器,切换到驱动另一个可显示4K HDR场景的LCD/OLED屏幕(不论屏幕大小),供移动装置或家庭环境使用。

相关报告
  • 《全息显示改进增强虚拟和增强现实》

    • 来源专题:光电情报网信息监测服务平台
    • 编译者:husisi
    • 发布时间:2021-02-01
    • 斯坦福大学的研究人员开发出一种提高全息显示器图像质量和对比度的方法。因此这项技术有助于改进虚拟和增强现实应用的近眼显示。这种方法称为Michelson全息照相术,将受Michelson干涉原理启发的光学设置与最新的软件开发相结合以生成数字全息图所需的干扰模式。在全息显示器中,被称为相位空间光调制器 (SLM) 的光学元件抑制了图像质量。SLM 功能用于创建衍射光,这可实现3D图像所必需的干扰模式。这种技术的问题是用于全息的SLMs 往往表现出较低的衍射效率,从而显著降低图像质量,尤其是对比度。 Michelson 全息显示,与其它常规方法(如 Naéve SGD)相比,它在图像质量、对比度和斑点减少方面有了显著改善 NVIDIA 和斯坦福的研究团队成员Jonghyun Kim 说:"尽管我们最近看到了机器学习驱动的计算机生成全息照相学的巨大进步,但是这些算法从根本上受到底层硬件的限制。我们共同设计了新的硬件配置和新的算法以克服其中一些限制,并展示最先进的结果。" 研究人员没有尝试提高SLMs的衍射效率,这是一项极其困难的任务,而是决定设计一个全新的光学架构。虽然大多数设置只使用一个相位 SLM,但研究人员的方法使用两个SLM。 " Michelson全息技术的核心思想是使用另一束未衍射光,相消性干扰一束SLM的衍射光,"Kim说。"增加未衍射光有助于形成图像,而不是创建斑点和其它伪影像。 研究人员将新设置与专为其特定设置而修改的摄像机环流(CITL)优化程序配对。CITL优化是一种计算方法,可用于直接优化全息图或基于神经网络训练计算机模型。该程序使研究人员能够使用相机捕捉一系列显示的图像,这意味着他们可以纠正光学系统的小型错位,而不需要使用精确的测量器件。 Kim 说:"一旦计算机模型经过训练,它就可以精确地计算出捕获的图像会是什么样子,而无需实际捕获它。这意味着可以在云计算中模拟整个光学设置,以实时推断并且并行计算复杂的问题。例如,这对于计算复杂的 3D 场景的计算机生成的全息图非常有用。" 该系统在实验室中进行了台式光学设置测试,用于显示研究人员用传统相机录制的多个2D 和3D全息图像。在测试中该显示器提供的图像质量明显优于现有的计算机生成的全息图像。但是这个设置对于许多应用来说并不太实用;它将需要从台式尺寸缩小到足够小才可用于可穿戴式增强和虚拟现实系统。研究人员指出,共同设计硬件和软件的方法可以有助于更广泛地改进其它计算显示和计算成像。
  • 《虚拟现实远程操作机器人》

    • 来源专题:可再生能源
    • 编译者:pengh
    • 发布时间:2017-10-13
    • 某些行业传统上没有远程办公的奢侈。例如,许多制造业工作需要有实体的存在来操作机器。 但是,如果这样的工作可以远程完成呢?上周,麻省理工学院计算机科学与人工智能实验室(CSAIL)的研究人员展示了一种虚拟现实(VR)系统,该系统可以让你用Oculus Rift头戴式耳机来遥控机器人。 该系统将用户嵌入一个虚拟现实控制室,里面有多个传感器,让人感觉就像是在机器人的头部。通过使用手动控制器,用户可以将他们的动作与机器人的动作相匹配来完成各种任务。 这样的系统最终可能会帮助人类从远处监督机器人,”CSAIL博士后Jeffrey Lipton说,他是一篇有关该系统的论文的主要作者。“通过远程操作机器人,蓝领工人将能够远程上下班,并从IT革命中获益,就像白领工人现在所做的那样。” 研究人员甚至认为,这样一个系统可以通过“游戏化”的制造岗位来帮助增加失业的视频游戏玩家。 该团队使用了百特人的人形机器人,重新思考机器人技术,但表示它可以在其他机器人平台上工作,而且与HTC Vive头戴设备兼容。 Aidan Fay与CSAIL的负责人丹尼尔和研究人员Aidan Fay共同撰写了这篇论文。他们在最近的ieee/rsj国际会议上发表了这篇论文,在温哥华的智能机器人和系统会议上。 传统上有两种主要的方法来使用VR进行远程操作。 在一个直接的模型中,用户的视觉直接与机器人的状态相连接。有了这些系统,延迟的信号可能会导致恶心和头痛,而用户的观点只能局限于一个角度。 在一个网络物理模型中,用户与机器人是分开的。用户与机器人和环境的虚拟副本进行交互。这需要更多的数据和专门的空间。 CSAIL团队的系统介于这两种方法之间。它解决了延迟问题,因为用户不断收到来自虚拟世界的视觉反馈。它还解决了与机器人截然不同的网络物理问题:一旦用户戴上耳机,登录系统,他们就会觉得自己在Baxter的脑袋里。 这个系统模仿了人脑的“人类大脑”模式——大脑中有一个小的人控制着我们的行为,查看我们看到的图像,并对我们进行理解。虽然这对人类来说是一种特殊的想法,但对于机器人来说却很合适:机器人内部是一个虚拟的控制室里的人,通过它的眼睛和控制它的动作。 通过使用Oculus的控制器,用户可以与虚拟空间中出现的控件进行交互,从而打开和关闭手抓手,来获取、移动和获取物品。用户可以根据胳膊的位置标记和手的距离来规划动作,同时查看手臂的实时显示。 为了使这些运动成为可能,人类的空间被映射到虚拟空间中,然后虚拟空间被映射到机器人空间中,以提供一种共点的感觉。 与之前需要很多资源的系统相比,系统也更加灵活。其他系统可能从每个摄像头中提取二维信息,构建一个完整的环境三维模型,然后处理和重新显示数据。相比之下,CSAIL团队的方法绕过了所有这一切,只需要将显示在每个眼睛上的2-d图像进行处理。(人脑通过自动推断3-d信息来完成剩下的工作。) 为了测试这个系统,团队首先让Baxter做了一些简单的任务,比如拿起螺丝或钉住电线。然后,测试用户通过远程操作机器人来获取和堆叠积木。 与直接模型相比,用户成功完成任务的速度要高得多。意料之中的是,拥有游戏体验的用户对这个系统更加轻松。 在当前最先进的系统测试中,CSAIL的系统在95%的时间内都能更好地掌握对象,而在完成任务时则要快57%。该研究小组还表明,该系统可以在数百英里以外的地方对机器人进行操控;测试包括在华盛顿的一家酒店的无线网络上对Baxter进行了控制。 “这一贡献代表了一个重要的里程碑,在努力将用户与机器人的空间联系起来,以一种直观、自然和有效的方式。Oussama Khatib说,他是斯坦福大学的一名计算机科学教授,他没有参与这篇论文。 该团队最终希望将重点放在使系统更具可扩展性上,有许多用户和不同类型的机器人可以与当前的自动化技术兼容。 该项目部分由波音公司和美国国家科学基金会资助。 ——文章发布于2017年10月11日