《Latent AI与风河公司合作开发关键任务系统的边缘人工智能技术》

  • 来源专题:新一代信息技术
  • 编译者: 张嘉璐
  • 发布时间:2025-09-15
  •   边缘人工智能解决方案开发商Latent AI与风河公司正展开合作,致力于为跨行业关键任务基础设施的实时边缘平台注入人工智能能力。此项战略合作将风河边缘计算平台VxWorks、Wind River Linux和eLxr Pro与Latent AI高效推理平台(LEIP)相结合,可在边缘端提供高性能、安全高效且可定制的人工智能推理解决方案,满足确定性、可靠性和能效要求严苛的应用场景。

      该集成式AI-RTOS解决方案将支持关键任务人工智能运营,涵盖从模型训练到部署的安全可认证工作流。Latent AI首席执行官兼联合创始人贾格斯·坎达萨米表示:"此次合作标志着边缘AI从试验阶段迈向赋能关键任务系统的转折点,应用领域从战斗机延伸至火星车。我们正在从根本上变革AI与关键基础设施核心的融合方式。"风河公司母公司安波福软件、先进安全及用户体验事业部总裁贾维德·汗强调:"智能系统的未来取决于边缘端数据处理与响应的效能。通过融合风河专业技术与Latent AI人工智能优化技术,我们正为各组织配备具备实时、安全、自适应决策能力的人工智能系统,以应对最严苛的应用环境。"

      LEIP平台通过将AI模型压缩至原体积的十分之一同时保持精度,实现实时决策。其安全MLOps流水线支持快速模型更新与重新部署,在传统云解决方案表现不足的动态操作场景中提供显著更强的适应性。本次合作首次实现了企业级AI优化技术与成熟RTOS技术的全面集成。借助风河边缘平台与Latent AI模型压缩及MLOps能力的结合,开发者将能够以符合关键任务行业要求的可靠性及认证标准部署人工智能应用。

      此次合作基于风河公司扩展边缘AI生态系统的既有规划,此前已与设备端AI半导体公司DEEPX合作提供新一代边缘AI软硬件联合解决方案;与软件中心型嵌入式边缘MLSoC企业SiMa.ai合作开发边缘AI软硬件集成解决方案;并与设备端AI优化技术开发商Nota AI合作推进智能边缘的设备端生成式AI应用。

  • 原文来源:https://www.newelectronics.co.uk/content/news/latent-ai-and-wind-river-develop-edge-ai-for-mission-critical-systems
相关报告
  • 《瑞萨合作开发边缘人工智能编译器》

    • 来源专题:宽带移动通信
    • 编译者:张卓然
    • 发布时间:2022-10-25
    •   瑞萨电子(Renesas Electronics)已与EdgeCortix合作,为其边缘人工智能加速器开发新的编译器。  日本的EdgeCortix开发了一种基于异构平台的编译器框架,称为MERA,同时还开发了一种人工智能芯片设计。MERA用来为瑞萨的DRP-AI加速器开发新的编译器DRP-AI TVM。新编译器可与相关软件和工具一起使用,并与瑞萨的DRP-AI工具配合使用。  DRP-AI由AI-MAC(乘积累加处理器)和可重构处理器(DRP)组成。通过为卷积层和完全连接层上的操作分配AI-MAC,并为预处理和池化层等其他复杂处理分配DRP,可以高速执行人工智能处理。  DRP-AI作为独立芯片RZ/V2M实现,具有4K兼容的图像信号处理器(ISP)和视觉AI ASSP,用于实时人和物体识别,也在RZ/V2L中,并配有1.2GHz双核Arm Cortex-A55 CPU、3D图形和视频编解码器引擎。
  • 《应对边缘人工智能推理带来的挑战》

    • 来源专题:新一代信息技术
    • 编译者:isticzz2022
    • 发布时间:2024-03-13
    •       GPU无处不在的图形处理单元,可以说是当今最重要的计算技术。它使人工智能处理成为可能,但代价不可持续,巨大的功耗加剧了这种情况。最初构想的统治软件工程的范式是由在传统计算架构上执行的一系列指令组成的,该架构被称为冯·诺伊曼体系结构CPU。这种持久的处理架构只能执行严格可编码的工作。它不能处理任务,如识别物体或乐谱,或写一篇文章。这些任务被称为预测性人工智能和生成性人工智能,可以通过大型语言模型(LLM)处理,这些模型需要在时钟周期内处理数千亿(如果不是数万亿)个参数,远远超出了CPU的领域。       今天,大模型学习和推理是在配备有尖端GPU阵列的数据中心进行的。虽然这种方法有效,但它会导致收购/运营成本飙升和电力消耗螺旋式上升,从而可能使电网不堪重负。边缘推理则不同,它有望服务于工业、商业、医疗、教育和娱乐等不同领域中最大的AI应用市场。       在边缘执行推理时,功耗、成本和延迟不容忽视。高性能、低延迟、低成本和低功耗是边缘推理的关键属性。GPU最初是用于图形并行处理的,在执行AI算法时,可提供的计算能力会下降。在ChatGPT-3的使用情况下,效率下降到个位数。GPU供应商通过增加大量设备来解决这一限制,但代价是数据中心AI处理的能耗呈指数级增长。瓶颈在于内存和处理单元之间的数据传输。从历史上看,内存技术的进步并没有跟上处理逻辑的进步。随着时间的推移,由于内存无法以处理器所需的速率提供数据,这种差距导致了可用处理能力的下降。大多数时候,计算单元会等待数据可用,并且随着处理能力的增加而恶化。处理单元的计算能力越高,为它们提供数据的瓶颈就越大,这就是 20 世纪 90 年代中期出现的内存墙。为了缓解这个问题,创建了一个存储器层次结构。底层是速度较慢的主存储器,顶部是处理单元旁边的寄存器。在两者之间,是一系列容量较小、速度较快的存储器层,用于加速数据传输。虽然寄存器能够以所需的速率向计算单元提供数据,但它们的数量通常限制在数百个或最多几千个,而如今需要数百万个。       现在就需要一种打破内存墙的创新架构。一种建议是将所有分层缓存折叠成紧密耦合内存(TCM),其外观和行为类似于寄存器。从处理单元的角度来看,可以在时钟周期内的任何时间访问任何位置的数据。192兆字节的TCM大约相当于15亿个单比特寄存器。通过寄存器传输级 (RTL) 设计流程实现 192 兆字节的寄存器将是艰巨的,构成了重大的挑战。相反,高抽象级别上的设计实现流程将大大缩短并加速加速器的部署。如果结合 192 千兆字节的板载高带宽内存 (HBM),单个设备可以在单个芯片上完全运行 GPT-3,使其成为高效的实现。在处理 LLM 时,它将达到 50% 到 55% 的效率,比 GPU 大一个数量级以上。外部存储器和计算单元之间的数据传输急剧减少可能导致功耗大幅下降,每千兆次浮点运算约50瓦。同时,与GPU相比,它将使执行延迟减少10倍以上。更为关键的是,架构不应该被硬编码。相反,它应该是完全可编程和高度可扩展的。人工智能应用算法几乎每周都在发展。更频繁的变化仅限于对算法的性能、延迟、功耗等属性的微调,这些属性对成本有影响。定期地,全新的算法结构会淘汰旧版本。新的加速器架构应该能够适应上述所有方面,并允许在该领域进行更新和升级。这种完全可编程的方法还应该支持在逐层的基础上自动进行从4位到64位的整数或浮点数可配置计算量化,以适应广泛的应用。权值和数据的稀疏性也应该得到即时支持。从部署的角度来看,加速器可以作为主处理器的配套芯片,在用户可见的方案中运行。算法工程师可以像在主处理器上运行一样编写他们的算法,让编译器将加速器上运行的代码与主处理器上运行的代码分开。这种方法将简化和简化加速器的部署和使用模型。与在低级别运行的GPU驱动的数据流不同,这种想象中的架构中的数据流将在算法级别工作,通过使用MATLAB代码和图形进行读取,并在本地执行。这可能吗?可能像这样的设备比最先进的基于GPU的加速器快5到10倍,同时消耗其功率的一小部分,并具有显着较低的延迟,满足边缘AI推理的需求。毫无疑问,这将简化部署和使用,吸引大量科学家和工程师。