《Khronos KTX 2.0纹理支持紧凑、视觉丰富的glTF 3D资产》

  • 来源专题:集成电路
  • 编译者: Lightfeng
  • 发布时间:2021-04-26
  • 2021年4月20日,Khronos®集团宣布推出KTX™2.0版本,在此容器格式中增加了对Basis Universal超压缩的支持,以实现可靠的GPU纹理格式。Basis Universal是Binomial开发的一种压缩技术,可产生紧凑的纹理,在运行时可以有效地转码为各种GPU压缩纹理格式。此外,Khronos还发布了KHR_texture_basisu扩展,使glTF可以包含KTX 2.0纹理,从而产生了可普遍分配的glTF资产,并使用了本机支持的纹理格式来减小GPU内存大小,提高各种设备和平台上的渲染速度。最后,Khronos发布了开源工具和代码转换器,以支持在glTF生态系统中广泛使用KTX 2.0纹理。

    运行时3D资源通常使用JPG或PNG压缩图像,来传输压缩文件的纹理。但是,这些格式不能直接由GPU处理,必须在GPU内存中解压缩为完整大小的图像,这就需要消耗宝贵的内存空间和带宽,并导致较差的渲染性能和产生高功耗,这在移动设备上尤成问题。GPU压缩的纹理格式可实现紧凑的内存纹理,并具有优化的内存访问,可实现更快、更高效的渲染。但是,在分布广泛的glTF资产中使用GPU纹理格式是不切实际的,因为高度分散的GPU纹理格式格局会使它们无法在许多目标设备上使用。

    Binomial的Basis Universal压缩技术通过定义一种“通用”压缩纹理格式来解决此问题,该格式可以在运行时有效地转换为目标设备支持的GPU格式。 Basis Universal为开发人员提供了两种压缩选项,这些选项将Khronos定义的ETC1和ASTC GPU纹理格式的选定模式与RDO编码和基于LZ的超压缩相结合,以实现紧凑的纹理文件大小。与JPEG和PNG纹理相比,ETC1S模式可以实现更小的传输和占存。与ETC1S相比,UASTC模式可提供更高质量的纹理,特别适用于法线贴图,同时仍可实现较小文件和节省内存。

    为了快速推出KTX 2.0,Khronos创建了一套开源KTX工具,这些工具与业界的其他工具可以一起支持KTX文件的创建、验证和检查。Khronos还生产了一组开源优化的代码转换器,用于集成到处理KTX 2.0纹理的应用程序和引擎中。此外,glTF工作组提供了KTX资产创建工作流程,并详细说明了如何有效使用新的KHR_texture_basisu扩展。

    Khronos集团是一个开放、非营利的行业组织,由150多个行业领先的公司组成,为3D图形、增强和虚拟现实、并行编程、视觉加速和深度学习创建开放标准。Khronos标准包括3D Commerce™、ANAI™、glTF™、NNEF™、OpenCL™、OpenGL®、OpenGL®ES、OpenVG™、OpenVX™、OpenXR™、SPIR-V™、SYCL™、Vulkan®和WebGL™。Khronos的会员可以为Khronos规范的开发作出贡献,在标准公开发布之前的各阶段拥有投票权,并可以通过提前获得规范草本和一致性测试,更快地将其高端加速平台和应用产品推如市场。

相关报告
  • 《Khronos加速在SIGGRAPH开放标准3D生态系统的开发》

    • 来源专题:集成电路
    • 编译者:Lightfeng
    • 发布时间:2019-07-28
    • Khronos®集团是由领先的硬件和软件公司组成的开放联盟,旨在制定先进的加速标准,宣布新的3D Commerce™工作组以及旗舰标准WebGL™,glTF™和Vulkan®的关键更新。本着持续致力于SIGGRAPH交互式图形专业人员社区的精神,Khronos提供了许多发展和举措,包括: (1)3D Commerce Initiative成为Khronos工作组; 呼吁参与宣布 作为Khronos探索小组,3D Commerce于2019年4月成立,现在是Khronos治理下的官方工作组,旨在使行业与简化、一致的3D内容创建和消费保持一致。 (2)WebGL发布高影响力的扩展和生态系统发展 WebGL已经得到所有主流浏览器的支持,并在Web上的众多专业CAD和3D应用程序中得到应用,现在可以为开发人员社区提供的最多功能提供新的解决方案。作为这些更新的一部分,WebGL现在公开了KHR_parallel_shader_compile扩展,这使得长着色器编译时间完全异步,因此它们不再阻止WebGL应用程序。 (3)使用二项式基础通用纹理技术的glTF通用纹理扩展绘图正在进行中; 第一个原型支持出现在引擎中 Google和Binomial最近宣布他们合作以开源纹理压缩器和高性能转码器的形式发布Binomial的Basis Universal技术。Basis支持JPG大小的纹理,可以在运行中进行转码,以便原生支持压缩的GPU格式。 (4)glTF工具生态系统在Blender 2.80中扩展,包括通用纹理工具和glTF导入/导出 随着glTF生态系统的发展,3D格式工作组正致力于鼓励并支持每个广泛使用的创作工具上的原生glTF导入和导出。例如,Mozilla,Khronos和glTF社区已经合作在Blender 2.80中构建了glTF 2.0导入和导出功能。 (5)新的Vulkan扩展船; Vulkan认为CAD和专业创作工具的使用量增加 Adobe Premiere Rush是Adobe首款一体化跨设备在线视频编辑应用程序,使用Vulkan在Android上发布,为Android设备带来专业品质的视频编辑。渲染引擎包括由开源clspv编译器编译为SPIR-V的数十万行OpenCL™C代码,以便在Vulkan上运行。
  • 《2025年全球智能机器人3D视觉白皮书发布》

    • 来源专题:智能制造
    • 编译者:icad
    • 发布时间:2025-08-15
    • 机器人3D视觉系统,是基于三维视觉软硬件成像技术,在机器人系统中实时采集目标物体及环境的空间信息、构建和处理点云信息,生成用于引导机器人末端执行机构的路径规划、避障等控制指令的系统。工业机器人3D视觉应用主要有抓取和工艺两大类,其中抓取类技术的市场应用较成熟,工艺类仍不成熟但发展较快。 抓取类: 抓取类应用指3D视觉与机器人协同进行物体的取放,主要难点在于3D视觉识别抓取点和位姿估计、碰撞检测等。其中简单的上下料、拆码垛等精度要求相对较低,目前已经较为成熟,实现了批量应用。 工艺类: 工艺类应用指3D视觉结合工业机器人执行具有强工艺属性的操作,如开坡口、焊接、涂胶、喷涂等。此类系统除常规3D视觉与机器人外,还需包含工艺装备(如焊枪、胶枪)及专用工装夹具等。目前大多数工艺类3D视觉应用还不成熟,仍处于技术探索阶段。 智能机器人3D视觉目前应用类型主要有导航、避障、物体识别、机械臂引导四大类。在各类可移动的机器人系统中导航和避障都是基础功能,未来随着具身智能技术、人形机器人的发展,3D视觉作为“眼睛”还需承担物体识别、引导手臂轨迹的功能。 全球机器人3D视觉市场规模分析 从数据上来看全球工业机器人3D视觉市场在经历2020-2023年的高速增长后,已进入相对稳定的发展阶段。2024年,受全球汽车、电子、锂电池等行业投资不及预期影响,工业机器人出货量同比下滑3.6%。在这一严峻市场环境下,工业机器人3D视觉却逆势上扬,全球出货量超2.4万台,同比增长超过14%。 从行业分布来看2024年全球工业机器人3D视觉的主要应用集中在汽车零部件、金属制品、仓储物流及汽车整车四大领域,合计市场份额超过78%。 其中,仓储物流、金属制品及汽车零部件行业是工业机器人3D视觉的早期应用领域,技术相对成熟;汽车整车行业近两年受柔性制造需求驱动,发展势头迅猛。据MIR白皮书统计: ● 2024年全球汽车整车行业3D视觉渗透率近8%,相较于2023年的6%明显提升。近几年随着汽车整车行业全球化生产需求推动质量标准升级,工业机器人3D视觉的应用场景逐渐丰富。预计汽车行业应用将持续增长,2027年渗透率有望提升至13%。 ● 2022-2023年全球新能源汽车相关产业投资向好,是汽车零部件行业3D视觉在工业机器人中的渗透率快速提升的节点,2024年渗透率达近7%。 ● 仓储物流是工业机器人3D视觉最早实现批量化应用的行业之一,2020年渗透率已达15%。发展迅速的同时也造成了激烈的行业竞争和价格下行。2024年受行业投资不景气影响,市场呈现下滑态势。预计未来东南亚、南美、中东等新兴市场的仓储自动化升级将推动行业复苏。 ● 金属制品行业也是3D视觉早期落地行业之一。近两年应用已较为成熟,增长步调放缓,但2024年起免示教焊机技术的发展再次为行业带来新机遇。预计未来免示教焊接技术将大幅带动金属制品行业的3D视觉应用。此外,未来在较复杂的零部件切割、涂胶、打磨等领域的免示教技术中也将有应用前景,2027年渗透率有望突破12%。 除上述核心领域外,锂电池、半导体等高附加值产业对3D视觉的需求同样增长迅猛,预计其市场份额也将持续扩大。 ● 锂电池行业头部客户在完成对3D视觉系统精度及安全性的严格验证后,应用意愿显著增强,正处于规模化应用的初期阶段。 ● 半导体行业主要在后道封装测试环节采用复合机器人(AGV/AMR+机械臂)集成3D视觉的方案,实现高精密物料的自动化转运与上下料。 从供应商竞争格局来看2024年,全球工业机器人3D视觉供应商主要分为中国、日本、欧洲及北美四大阵营,其中,中国厂商占据超过65%的市场份额。 ① 中国厂商: 以梅卡曼德等专注于工业3D视觉的新兴专业企业为代表,近年来在深耕本土市场的同时,海外业务拓展迅速。同时,海康机器人、华睿科技等依托传统机器视觉业务的企业,也正在持续加码工业机器人3D视觉领域的投入力度。预计未来,中国厂商的全球市场份额将进一步扩大。 ② 日本厂商: 凭借发达的机器人产业基础,以FANUC为代表的工业机器人制造商多采用自研配套3D视觉技术,以提升其机器人产品的附加值,并依托其强大的全球品牌影响力实现配套销售,专注于工业机器人3D视觉的独立供应商相对较少,部分厂商(如MUJIN)主要以提供集成解决方案为主。 ③ 欧洲厂商: 欧洲厂商通常以提供3D视觉硬件产品为主,代表企业如Photoneo、Sick等。 ④ 北美厂商: 北美地区供应商数量相对较少,以传统机器视觉巨头Cognex为主。部分以质量检测见长的厂商(如LMI)也涉足工业机器人3D视觉领域。 从各地区市场规模来看亚洲地区是当前全球工业机器人3D视觉需求最为强劲的市场,出货量占全球总出货量的70%以上。其中,中国是全球最大的单一市场,占比接近60%。 自2020年起,中国已成为驱动全球工业机器人3D视觉市场增长的核心动力。2024年,尽管面临宏观投资环境挑战,中国工业机器人3D视觉市场仍表现出强劲韧性,实现超过22%同比增长。预计未来三年,中国工业机器人3D视觉市场将继续保持高速增长,复合年增长率预计接近28%。 中国工业机器人3D视觉的核心下游应用行业包括汽车零部件、金属制品、仓储物流及汽车整车。其中,汽车整车行业的应用导入近期呈现加速态势。 在中国工业机器人3D视觉市场,梅卡曼德以超过38%的市场份额居于首位。一方面,其产品线布局相对完善,并在汽车零部件、金属制品、仓储物流等行业积累了丰富的头部客户应用案例。另一方面,该公司的产品在精度和稳定性方面表现良好,尤其在结合AI技术处理高反光工件、深框抓取等复杂场景方面具备较强能力。 预计未来中国市场的竞争格局将趋于分化。少数头部供应商(如梅卡曼德、海康机器人)将聚焦于提供标准化程度较高的产品,其他厂商则更多专注于特定垂直细分领域的定制化解决方案开发,双方将在市场中形成互补格局。 机器人3D视觉技术发展趋势 由于工业视觉应用场景中存在许多不确定性、非标程度较高,如来料一致性差、工作环境复杂等,对工业3D视觉提出了更高的柔性化需求。随着AI技术的迅速发展,部分行业内主流视觉玩家开始研究AI与3D视觉技术的融合。AI技术与工业机器人3D视觉结合后,可使其在底层算法优化、提高开发效率、应用工艺沉淀等方面发挥价值。 1. AI与底层算法的结合: ①AI辅助点云分割:3D点云的特点是无序、数据量大,直接计算的难度大、效率很低。目前大多是用深度学习在2D纹理图上做分割,再用3D点云数据进行配准。未来将直接使用深度学习辅助3D点云数据进行分割,提高效率和优化分割效果。 ②AI辅助机械臂动态碰撞检测:机器人3D视觉碰撞检测时对数据的实时响应有很高的要求,AI可协助快速响应、提前预测碰撞点、奇异点,且优化对模糊物体的仿真。 2. AI与应用工艺的结合: 未来各应用工艺将进行数字化管理,形成预训练模型库,存储大量的行业应用模板,并不断进行行业和工艺知识的沉淀迭代。在使用时进行实时调用,可大大提升便捷性和处理效果。以以下应用为例: ① 无序抓取:AI协助点云分割、位姿估计,找到最佳抓取点和优化路径。 ② 高反件深框抓取:AI协助做深度估计,在2D纹理图基础上补全点云,即使是高反光、有油污等物体也能较准确识别。在识别的基础上进行位姿估计,找最佳抓取点和优化路径,AI协助碰撞检测,提高抓取成功率和清框率。 ③ 物流混码垛:通过AI计算提升容积率。 随着AI与机器人3D视觉的结合日益紧密,其应用场景将不断拓展,真正打破产品和应用的边界、视觉信息也将在任务级的理解、规划等方面发挥更大的作用,实现从“看得到”向“看得懂”跃迁。 机器人3D视觉市场未来发展 随着机器人市场的持续高速发展,其应用已从传统优势领域(汽车、电子)延伸到锂电池等新兴行业当中,3D视觉作为自动化系统的“眼睛”,正成为许多场景的核心需求。 据MIR睿工业白皮书统计,2024年搭载3D视觉的工业机器人在全球工业机器人市场中的渗透率仅为4.7%,尽管当前其在工业机器人中的渗透率尚处于较低水平,未来仍有巨大的发展空间。预计未来三年,该市场将保持20%以上的复合增长率,2027年渗透率将达近7%。 与此同时,尽管当前全球智能机器人产业整体仍处于发展期,3D视觉技术在其应用中的成熟度有待提升,但随着人形机器人、移动机器人、服务机器人等行业的快速发展,预计2025年,智能机器人领域对3D视觉的潜在需求总量将超过40万台,未来成长空间巨大。 总体来看,3D视觉技术在传统工业机器人和新兴行业领域中均展现出强劲的增长动力,并将在与AI技术的深度融合推动下,催生出更多的创新应用,在工业机器人领域发挥越来越重要的作用。 写在最后 基于机器人3D视觉庞大的市场潜力,MIR睿工业主编的《2025年全球智能机器人3D视觉白皮书》正式发布(以下简称“白皮书”)。白皮书立足全球视角,基于多国家、多地区、多维度展开数据追踪。研究范围覆盖亚洲、欧洲、北美、东南亚等多个地区市场,内容涵盖全球机器人3D视觉市场格局分析、产业链解析、技术现状及发展趋势分析等。