《事件驱动型人工智能视觉开源库》

  • 来源专题:宽带移动通信
  • 编译者: 张卓然
  • 发布时间:2021-05-21
  • Prophesee公司的事件驱动型开发环境增加了关键的开放源模块和一个训练数据的数据库。

    法国人工智能开发商Prophesee发布了一套关键的开源软件模块和一套事件驱动型机器学习工具,例如光流和物体检测。

    这家总部位于巴黎的公司正在向开发人员提供业界最大的基于高清事件的数据集,名为OpenEB,将这作为Metavision智能套件的一部分,供开发人员免费下载。这有助于开发人员使用事件驱动型的机器学习方法,机器学习是变化触发的,而不是神经网络框架触发的。

    • 第一批神经形态的人工智能摄影船只

    最新版本增加了一套扩展的开发工具和软件,用于设计带有事件驱动型机器学习的工业视觉系统。该套件现在包括近100种算法、67个代码示例和11个用于加速开发过程的用例专用应用程序模块。OpenEB的开源模块可通过Github(面向开源及私有软件项目的托管平台)获得,将使设计师能够构建自定义插件,并且确保与Metavision智能套件的兼容性,用于开发基于事件的系统。这为开发人员提供了一个分享机器视觉生态系统软件组件的平台。

    “我们希望制定机器视觉生态系统的开放技术标准,使可访问性和互操作性达到新的水平,”Prophesee公司的首席执行官和联合创始人卢卡·维尔说道。“我们的方法为以基于事件的技术为中心的朝阳生态系统提供了一个丰富的开放基础和一个强大的开发框架。这包括我们多年来收集的既广泛又可靠的数据,以及利用我们在各种特定用途方面的专业技术知识来加速客户专用系统开发的应用程序模块。”

    OpenEB数据库为摄像机制造商及其客户提供了一种标准的基于事件的数据格式。Metavision智能套件的开源模型使摄像机制造商及其客户的生态系统实现兼容。根据开源许可证发布一些关键模块可以加速定制插件的创建,同时确保与摄像机制造商底层硬件的兼容性。

    从Prophesee在过去四年中创建的实序列数据集开始,这个开发环境为提供了一个完整的平台来快速开发机器学习应用程序。然后,开发人员使用各种工具来指导神经网络模型的开发,不仅对物体检测的监督训练任务进行基于事件的推理,而且还对光流自监督训练进行基于事件的推理,所有这些都针对基于事件的视觉进行了优化。此外,开发人员还可以使用提供的基于事件的模拟器轻松创建自己的模型或利用其现有的基于框架的数据集和模型,并且用基于事件的视觉对它们进行改进。

    • 为了测试无人驾驶汽车,推出了全球最大的公共数据库

    对于能用基于事件的视觉进行加强的关键工艺,Metavision智能套件添加了即时可用的新应用程序。这些包括:

    • 颗粒大小监测:为了确保更好地控制工艺流程,在生产线上以高达99.9%的统计精度统计和测量以极高速度(高达5万像素/秒)通过视场的。
    • 喷头监测。实时监控液体分配的速度和质量。检测和统计高速喷头,支持高达500赫兹的喷头分配,并且在分配器上发生错误时自动生成警报。
    • 小边特征跟踪。通过利用基于事件的传感器提供的低数据速率和稀疏信息,以较低的计算能力实现超强健的3D物体的实时跟踪。
相关报告
  • 《机器视觉和人工智能在现代制造中的关键作用》

    • 来源专题:智能制造
    • 编译者:icad
    • 发布时间:2024-02-28
    •   在竞争日益激烈和监管日益严格的环境中,机器视觉(MV)解决方案对于制造商来说变得至关重要。在严格的监管要求、创新的制造技术和严重的劳动力短缺的推动下,该行业正在转向技术解决方案。   人工智能在MV中的重要性与日俱增   将人工智能集成到机器视觉解决方案中代表着制造业的重大转变。预测质量控制机器视觉市场将出现显着增长,预计将从2023年的23亿美元增长到2028年的72亿美元。这种增长轨迹强调了人工智能在现代制造业中的关键作用,其驱动力是其增强和增强的能力传统的中压系统。   人工智能在机器视觉领域的优势   将人工智能(AI)集成到制造业的机器视觉(MV)中可带来一系列变革性优势,重塑工业质量控制的格局。最大的优势之一是提高了识别缺陷的准确性和精确度。人工智能算法擅长处理视觉数据,大大减少错误并确保高精度。这种准确性对于保持产品质量标准的一致性至关重要。   另一个关键优势是检查速度的显着提高。AI驱动的MV系统可以实时分析视觉数据,从而在不影响质量的情况下实现更快的检测速度。这种高速处理对于维持高效的生产线和支持高吞吐量的制造环境至关重要。   人工智能还提供了卓越的适应性和灵活性。它可以从新数据中学习,使其适应不同的产品或制造环境。这种学习能力允许根据特定的制造需求和要求进行定制,使人工智能成为制造武器库中令人难以置信的多功能工具。   此外,从长远来看,人工智能在MV中的集成可以带来显着的成本效益。通过减少材料浪费并最大限度地减少手动检查的需要,MV中的人工智能可以节省大量劳动力成本。此外,它还通过减少潜在危险环境中的人为干预需求并减轻工人重复性任务的压力来增强安全性和人体工程学。   运营的可扩展性是另一个重要优势。AI驱动的MV系统可以轻松扩展或适应不同的生产线,从而灵活地响应产品设计或制造方法的变化。人工智能提供的丰富的数据驱动见解补充了这种可扩展性。通过分析大量数据,人工智能可以识别趋势和模式,帮助进行预测性维护并提高制造效率。   最后,在MV中采用人工智能可以为制造商提供竞争优势。它将他们定位为创新和技术的领导者,从而能够更快地适应市场需求和变化。环境效益进一步增强了这种竞争优势,因为人工智能优化的流程通过资源优化和能源效率有助于实现更可持续的制造实践。   要点:   ● 提高缺陷检测的准确性和精确度。   ● 提高检测速度以实现高效生产。   ● 对不同制造环境的适应性和灵活性。   ● 长期节省成本并提高安全性。   ● 可扩展性和丰富的数据驱动见解。   ● 竞争优势和环境效益。   人工智能与机器视觉集成的挑战和限制   尽管有这些优势,但在制造中将人工智能与机器视觉相结合也并非没有挑战。最令人畏惧的问题之一是高昂的初始成本和投资回报率(ROI)的不确定性。AI-MV系统的部署需要对先进硬件和软件进行大量资本投资。此外,制造商经常面临投资回报率的不确定性,尤其是当生产力提高或缺陷减少等效益可能需要一段时间才能显现出来时。   另一个重大挑战是将这些先进系统与现有制造基础设施集成。旧设备和软件的兼容性问题可能会造成相当大的障碍,而重新配置现有工作流程以适应AI-MV系统可能会扰乱生产流程。   对技术专业知识的需求是另一个障碍。通常缺乏能够操作和维护这些复杂系统的熟练人员。此外,人工智能技术的快速发展需要对劳动力进行持续培训和提高技能,从而加剧了资源紧张。   数据隐私和安全问题也很突出。AI-MV系统对数据的依赖日益增加,引发了数据漏洞问题以及遵守严格数据保护法规的需要。此外,维持系统可靠性和诊断人工智能驱动系统中的问题的复杂性可能会导致生产延迟和质量问题。   可扩展性和灵活性问题也带来了挑战。人工智能模型可能难以快速适应产品设计或制造流程的变化,需要额外的投资和再培训。人工智能和机器视觉技术缺乏标准化可能会导致互操作性问题和对特定供应商的依赖,从而限制制造商的灵活性。   人工智能的“黑匣子”性质是另一个严峻的挑战。人工智能决策过程缺乏透明度可能会导致信任问题,尤其是在质量控制和监管合规性至关重要的行业。由于训练人工智能模型对质量数据的依赖,这一问题变得更加复杂。数据不充分或有偏差可能会导致人工智能预测不准确,从而破坏系统的有效性。   要点:   ● 初始成本高,投资回报率不确定。   ● 与现有系统的复杂集成。   ● 需要技术专业知识和持续培训。   ● 数据隐私、安全问题和系统可靠性问题。   ● 可扩展性和灵活性的挑战。   ● 人工智能决策缺乏标准化和透明度。   未来展望与创新   展望未来,持续的创新有望进一步增强这些技术,使它们更具适应性、更高效,并且更能融入制造流程。随着人工智能在质量控制方面的优势变得更加明显,其在制造业的采用将继续增长。这种增长不仅仅是市场的扩大,更是技术本身的演进和完善。制造商越来越多地寻求人工智能增强的MV解决方案来应对现代生产环境的挑战。   将人工智能集成到机器视觉中正迅速成为制造业的关键组成部分。这项技术正在改变现有流程并为质量和效率设定新标准。随着市场不断扩大和发展,人工智能在机器视觉中的作用变得越来越重要,有望解决当前的挑战并塑造制造业的未来。 
  • 《Nature | 医学人工智能的未来》

    • 来源专题:战略生物资源
    • 编译者:李康音
    • 发布时间:2023-10-29
    • 本文内容转载自“ChemBioAI”微信公众号。原文链接: https://mp.weixin.qq.com/s/hlwb9sc0rugxZ_ThiOy7gQ 2023年10月24日,《自然》新闻(Nature News)在线发表了一篇题为An AI revolution is brewing in medicine. What will it look like?的特别报道。 Jordan Perchik于2018年开始在亚拉巴马大学伯明翰分校进行放射科住院医生培训,那时正值他所谓的放射科学领域的“AI恐慌”高峰期。在计算机科学家Geoffrey Hinton宣称人们应停止培训成为放射科医生的仅仅两年后,这一时期开始。Hinton被称为人工智能之父,他预测这些系统很快将能够比人类更好地阅读和解释医学扫描图像和X光片。此后,放射科医学项目的申请数量大幅下降。 基于人工智能的工具越来越多地成为医疗保健的一部分,美国食品和药品监督管理局(FDA)已经授权使用超过500种这类工具。其中大多数与医学影像有关,用于改进图像质量、测量异常或标记检测结果以供后续跟踪。 调查显示,虽然许多医生知道临床AI工具的存在,但实际上只有很小一部分 (大约在10%到30%之间) 使用过它们,他们的态度从谨慎乐观到彻底不信任不等。荷兰乌得勒支大学医疗中心的医学创新实施专家Charisma Hehakaya说:“一些放射科医生对AI应用的质量和安全性存在疑虑。”即使AI工具能够完成它们的目标任务,仍不清楚这是否会转化为患者更好的医疗护理。但有一种被称为综合医学AI的方法似乎正在兴起。这些模型受到庞大数据集的训练,就像驱动ChatGPT和其他AI聊天机器人的模型一样。在吸收大量医学图像和文本数据后,这些模型可以适用于许多任务。尽管目前获得批准的工具执行特定功能,比如在计算机断层扫描(CT)中检测肺结节,但这些综合模型将更像医生,评估扫描中的每一种异常情况,并将其整合为一种诊断。 尽管现在的AI爱好者趋向避免大胆宣称机器将取代医生,但许多人认为,这些模型可以克服目前医学AI的某些限制,有朝一日可能在某些情况下超越医生。然而,这些新工具能够在实际临床护理中使用之前,还有漫长的道路需要走。 目前存在的限制 医学领域的人工智能工具充当从业者的辅助角色,例如通过快速浏览扫描图像并标记医生可能立即查看的潜在问题,这些工具有时表现很出色。Jordan Perchik记得有一次,在他值夜班的时候,一种AI分诊工具在凌晨3点为一名出现呼吸急促症状的患者标记了一张胸部CT扫描。他将这张扫描图像提上优先级,并同意AI的评估结果,该结果显示患者存在肺栓塞,这是一种可能致命且需要立即治疗的情况。如果没有被标记出来,这张扫描图像可能要等到当天晚些时候才会被评估。 但如果AI犯了错误,它也会产生相反的效果。Jordan Perchik说,最近他发现了一例AI没有标记出来的肺栓塞病例,他决定采取额外的审查步骤,最终证实了他的评估,但这减缓了他的工作进度。如果他决定相信AI并继续前进,那么这种情况可能会被漏诊。”许多已获批准的设备并不一定符合医生的需求,早期的AI医学工具是根据影像数据的可用性来开发的,因此一些应用程序是为常见且容易识别的疾病而建立的。 另一个问题是,这些AI工具倾向专注于特定任务,而不是全面解释医学检查——观察图像中可能相关的一切,考虑以前的结果和患者的临床病史。尽管专注于检测一些疾病具有一定价值,但它并不反映放射科医生真正的认知工作。 解决方案通常是增加更多基于AI的工具,但这也对医疗护理构成挑战,伦敦Google Health的临床研究科学家Alan Karthikesalingam表示。假如一个人接受常规乳腺X光检查,技术员可能会采用一种用于乳腺癌筛查的AI工具的辅助。如果发现异常,同一患者可能需要进行磁共振成像(MRI)扫描以确认诊断,而这可能需要另一个AI设备。如果诊断结果得到确认,那么病变将会通过手术移除,可能需要另一种AI系统来协助进行病理学分析。 许多医院并不了解监测AI性能和安全性所涉及的挑战,英国伯明翰大学研究医疗AI负责创新的临床研究员Xiaoxuan Liu表示。她和她的同事们确定了数千份医学成像研究,比较了深度学习模型的诊断性能与医疗保健专业人员的性能。对于该团队评估的69项诊断准确性研究,一个主要发现是,大多数模型未经真正独立于用于训练模型的信息的数据集进行测试。这意味着这些研究可能高估了模型的性能。 坚实的基础 为了解决医学领域AI工具的一些限制,研究人员一直在探索具备更广泛能力的医学人工智能。他们受到了像ChatGPT这样的革命性大型语言模型的启发。这个术语是由斯坦福大学的科学家们在2021年创造的,它描述了在广泛的数据集上进行训练的模型,这些数据集可以包括图像、文本和其他数据,使用一种称为自监督学习的方法。这些基础模型,也被称为基本模型或预训练模型,构成了后续可以适应执行不同任务的基础。 目前大多数医学AI设备是通过监督学习方法开发的。例如,使用这种方法训练一个模型来识别肺炎,需要专家分析大量的胸部X光片并将它们标记为“肺炎”或“非肺炎”,以教导系统识别与该疾病相关的模式。在基础模型中不需要大量图像的注释。例如,对于ChatGPT,使用大量文本进行训练,以训练一个通过预测句子中的下一个单词来学习的语言模型。同样,伦敦摩尔菲尔德眼科医院的眼科医生Pearse Keane及其同事开发的医学基础模型使用了160万张视网膜照片和扫描图像,以学习如何预测这些图像缺失部分应该是什么样子。在进行了这一预训练后,研究人员引入了几百张标记图像,使其能够学习特定的与视觉相关的疾病,如糖尿病性视网膜病变和青光眼。该系统在检测这些眼部疾病以及通过眼底血管微小变化检测出的心脏病和帕金森病等系统性疾病方面优于以前的模型,但该模型尚未在临床环境中进行测试。 Keane表示,基础模型对眼科学领域特别合适,因为几乎可以对眼部的每个部位进行高分辨率成像。而且有大量的这些图像数据可用于训练这种模型。人工智能将彻底改变医疗保健,而眼科学可以成为其他医学专业的示范。大型科技公司已经在投资使用多种图像类型的医学成像基础模型,包括皮肤照片、视网膜扫描、X光片和病理学切片,并整合电子健康记录和基因组数据。 今年6月,Google Research科学家们发表了一篇论文,介绍了他们称之为REMEDIS(具有自监督的强大和高效医学成像)的方法,与使用监督学习训练的AI工具相比,该方法能够将诊断准确性提高高达11.5%。研究发现,在对未标记图像的大型数据集进行预训练后,只需要少量标记图像就能达到这些结果。这项研究的共同作者之一,Karthikesalingam说:“我们的主要发现是,REMEDIS能够以非常高效的方式,只需很少的示例,学会如何在许多不同的医学图像中对许多不同的事物进行分类,包括胸部X光片、数字病理学扫描和乳腺X光检查。”次月,Google的研究人员在一篇预印本中描述了他们如何将这一方法与该公司的医学大型语言模型Med-PaLM相结合,该模型几乎可以像医生一样回答一些开放性的医学问题。结果表明,Med-PaLM Multimodal不仅可以解释胸部X光图像,还可以以自然语言起草医疗报告。 微软也在努力将语言和视觉整合到一个单一的医学AI工具中。今年6月,公司的科学家们推出了LLaVA-Med(生物医学大型语言和视觉助手),该模型在与从PubMed Central(一个公开可访问的生物医学文章数据库)提取的文本配对的图像上进行训练。微软Health Futures的生物医学AI研究负责人Hoifung Poon表示:“一旦你这样做,你就可以开始与图像进行对话,就像你在与ChatGPT交谈一样。” 这种方法的一个挑战是它需要大量的文本-图像对。 随着这些模型在越来越多的数据上进行训练,一些科学家乐观地认为它们可能能够识别人类无法识别的模式。AI工具可能在某些领域超越人类能力,比如使用数字病理学来预测免疫疗法对肿瘤的反应。 Karthikesalingam还指出,即使Google的医学成像AI取得了最佳结果,它仍然无法与人类相媲美。人类放射科医生的X光报告仍然被认为明显优于最先进的多模式综合医学系统。尽管基础模型似乎特别适合扩大医学AI工具的应用,但要展示它们可以安全用于临床护理还有很长的路要走。 毫无疑问,AI在放射科领域的作用将继续增长,与其说取代放射科医生,不如培训他们如何使用AI。