《Arm 新型Mali-D77显示处理器让虚拟变得更加现实》

  • 来源专题:集成电路
  • 编译者: Lightfeng
  • 发布时间:2019-05-19
  • Arm推出的新型 Mali-D77显示处理器IP可以让头戴式显示器(HMD)的VR性能更加卓越,消除眩晕感,并针对3K120进行了优化。所有新的固定功能硬件均可节省40%以上的系统带宽,为VR工作负载节省12%的电力。相应的可以开发更小、更轻、更舒适的无线VR设备,从HMD扩展到标准的高级移动显示器。

    Mali-D77添加了全新VR加速功能,这与与市场上的其他显示处理器不同。例如,Mali-D77可以把特定的运算从GPU移至DPU上,从而实现更高质量的视觉效果并消除晕动,释放更多的GPU负载和相关的系统频宽。

    Mali-D77增强功能包括:

    镜头失真校正(LDC):预先扭曲图像以抵销镜头的效应,如此一来透过所有VR头戴装置透镜看到的图像,都能显示正确且没有扭曲失真。

    色差校正(CAC):在相反的方向预先分离色版,以抵抗VR头戴装置透镜所造成的模糊效果。

    异步时间扭曲(ATW):根据3D立体空间中,用户最新的头部与头戴装置的位置,进行虚拟场景的翻译与重新投射。

    正如我之前提到的,Mali-D77的系统频宽和功耗节省将实现更轻便、更小巧、更舒适的消费者友好型VR设备,即在传统VR使用案例中,在Mali-D77上面做VR处理与叠加的时候,可减少频宽高达40%。在性能水准不打折的前提下,达到12%的功耗节省,创造出更高质量的视觉效果,同时也能释出GPU负载。

    Mali-D77不仅也已用于VR头戴显示器,Mali-D77也适用在其他的装置、显示器与使用案例上。例如,Mali-D77可以与现有的开发者生态系统整合至共同的SoC平台,从驱动一个VR头戴显示器,切换到驱动另一个可显示4K HDR场景的LCD/OLED屏幕(不论屏幕大小),供移动装置或家庭环境使用。

相关报告
  • 《全息显示改进增强虚拟和增强现实》

    • 来源专题:光电情报网信息监测服务平台
    • 编译者:husisi
    • 发布时间:2021-02-01
    • 斯坦福大学的研究人员开发出一种提高全息显示器图像质量和对比度的方法。因此这项技术有助于改进虚拟和增强现实应用的近眼显示。这种方法称为Michelson全息照相术,将受Michelson干涉原理启发的光学设置与最新的软件开发相结合以生成数字全息图所需的干扰模式。在全息显示器中,被称为相位空间光调制器 (SLM) 的光学元件抑制了图像质量。SLM 功能用于创建衍射光,这可实现3D图像所必需的干扰模式。这种技术的问题是用于全息的SLMs 往往表现出较低的衍射效率,从而显著降低图像质量,尤其是对比度。 Michelson 全息显示,与其它常规方法(如 Naéve SGD)相比,它在图像质量、对比度和斑点减少方面有了显著改善 NVIDIA 和斯坦福的研究团队成员Jonghyun Kim 说:"尽管我们最近看到了机器学习驱动的计算机生成全息照相学的巨大进步,但是这些算法从根本上受到底层硬件的限制。我们共同设计了新的硬件配置和新的算法以克服其中一些限制,并展示最先进的结果。" 研究人员没有尝试提高SLMs的衍射效率,这是一项极其困难的任务,而是决定设计一个全新的光学架构。虽然大多数设置只使用一个相位 SLM,但研究人员的方法使用两个SLM。 " Michelson全息技术的核心思想是使用另一束未衍射光,相消性干扰一束SLM的衍射光,"Kim说。"增加未衍射光有助于形成图像,而不是创建斑点和其它伪影像。 研究人员将新设置与专为其特定设置而修改的摄像机环流(CITL)优化程序配对。CITL优化是一种计算方法,可用于直接优化全息图或基于神经网络训练计算机模型。该程序使研究人员能够使用相机捕捉一系列显示的图像,这意味着他们可以纠正光学系统的小型错位,而不需要使用精确的测量器件。 Kim 说:"一旦计算机模型经过训练,它就可以精确地计算出捕获的图像会是什么样子,而无需实际捕获它。这意味着可以在云计算中模拟整个光学设置,以实时推断并且并行计算复杂的问题。例如,这对于计算复杂的 3D 场景的计算机生成的全息图非常有用。" 该系统在实验室中进行了台式光学设置测试,用于显示研究人员用传统相机录制的多个2D 和3D全息图像。在测试中该显示器提供的图像质量明显优于现有的计算机生成的全息图像。但是这个设置对于许多应用来说并不太实用;它将需要从台式尺寸缩小到足够小才可用于可穿戴式增强和虚拟现实系统。研究人员指出,共同设计硬件和软件的方法可以有助于更广泛地改进其它计算显示和计算成像。
  • 《新型“电子皮肤”让人与虚拟现实互动更真实》

    • 来源专题:中国科学院文献情报制造与材料知识资源中心 | 领域情报网
    • 编译者:冯瑞华
    • 发布时间:2019-11-05
    • 德国亥姆霍茨德累斯顿—罗森多夫研究中心(HZDR)和奥地利林茨大学合作,率先开发出一种可同时处理非接触和直接接触刺激的电子传感器。该传感器可轻松用于人体皮肤,让人与虚拟或增强现实环境更直观、自然地互动。   皮肤是人体最大的器官,功能丰富。它不仅可以在几秒钟内区分刺激,而且可以在很宽的范围内对信号强度进行分类。HZDR离子束物理和材料研究所的丹尼斯·马卡洛夫博士和林茨大学软电子实验室的马丁·卡滕布伦纳教授成功制成了具有类似特性的“电子皮肤”。   据介绍,新型传感器可以极大地简化人机之间的交互。马卡洛夫说:“虚拟现实应用正变得越来越复杂。所以我们需要结合不同交互方法的连接设备。”以前的系统只能通过实际触摸或非接触技术手段跟踪对象来运行。现在,这两个途径首次在传感器上结合在一起,称之为“磁性微机电系统”(m-MEMS)。   HZDR华人科学家葛进解释说:“我们的传感器处理不同区域中非接触和触觉相互作用的电信号”,可以实时区分刺激源,并隐藏其他来源的影响。   为制造这种“电子皮肤”传感器,研究人员进行了不寻常的设计:他们首先在晶圆聚合物膜上连接了一个巨磁电阻的磁传感器,该膜封闭了恰好位于第二硅基聚合物层中间的孔,在这个圆形凹槽中插入了一个永磁铁。   马卡洛夫说,这种结构能让传感器保持极高灵活性,即使在弯曲条件下,也可以正常工作。实验表明,传感器可以有针对性地控制物理和虚拟物体,研究人员将虚拟按钮投射到一块装有永磁体的玻璃板上,可以显示真实条件,例如室温、亮度或操控。通过与永磁体的相互作用,能够选择期望的虚拟功能。   研究人员说,以前需要多次交互的一项操作可能缩减为一次。卡滕布伦纳称:“这听起来似乎是很小的进步,但从长远来看,可以在此基础上建立更好的人机界面。”例如,除了虚拟现实外,“电子皮肤”也可以在无菌环境中使用。外科医生可以使用传感器来操作医疗设备,而在治疗过程中无需接触,这将降低污染的风险。