登录
 机构网站
  1. 首页
  2. 情报产品
  3. 快讯详情

《百度谷歌等联合推出机器学习基准 加速AI软硬件发展》

  • 来源专题：中国科学院文献情报制造与材料知识资源中心 | 领域情报网
  • 编译者： 冯瑞华
  • 发布时间：2018-05-07

  • 5月2日，由包括百度、谷歌、斯坦福大学、哈佛大学在内的多家企业和高校联合发布了一套用于测量和提高机器学习软硬件性能的国际基准MLPerf。其巨大的学术和产业价值获业界肯定，被认为不仅将加速推进机器学习硬件+软件相关技术创新，更将对整个AI领域的研发思路、投资布局带来长期影响。

    近几年AI在全球范围内备受关注，机器学习呈现爆发性发展，软硬件系统也需要快速发展演变以满足其要求。随着研究人员不断推出用来处理机器学习任务的硬件设备和软件框架，业界对新一代基准的需求应运而生。

    此次发布的MLPerf基准将主要用来测量训练不同深度神经网络所需要的时间，这些神经网络所执行的任务包括物体识别、语言翻译以及经典的下围棋等。基准所统计的相关数据将为AI基础研究和行业应用提供重要参考，例如帮助算法工程师优化模型，协助硬件厂商提高产品性能等，从而促进AI的长期突破和创新。作为MLPerf基准的发起方之一，百度公司副总裁王海峰也评论称大型公司也可以凭借该基准来优化资源配置。“AI正在赋能百度的一系列产品和服务。MLperf这样的基准使我们能够对不同平台进行比较，从而做出更好的技术选择。”

    MLPerf 目前已获包括AMD、英特尔、微软、SambaNova、Wave Computing、加州大学伯克利分校、多伦多大学、明尼苏达大学等多家企业和高等院校的联合支持与参与。

    关于MLPerf对人工智能产业的历史价值，业界将其与SPEC(The Standard Performance Evaluation Corporation)标准性能评测机构进行类比。SPEC是国际上对系统应用性能进行标准评测的权威组织，旨在确立、修改以及认定一系列服务器应用性能评估的标准，于1988年由全球几十所知名大学、研究机构、IT企业共同成立，其测试标准被全球用户广泛认可。数据显示，SPEC推出后15年里，CPU性能以每年1.6倍的速度提高，对传统IT业产生了巨大的推动作用。

    《计算机体系结构：量化研究方法》一书作者，新晋图灵奖得主David Patterson就MLPerf的发布评论称：“良好的基准测试能让研究人员迅速比较不同思路，降低创新难度。通过调整研发工作、引导投资决策，MLPerf对于全球范围内机器学习技术进步和整个AI领域的创新意义深远。”

    因为机器学习是一个迅速发展的领域，MLPerf将根据用户反馈迅速迭代。“MLPerf是一个关键的基准，它展示了我们的数据流处理器技术是如何让机器学习工作负载性能达到最优的。”AI初创公司Wave Computing的首席技术官Chris Nicol这样评价。

140浏览量
原文链接
相关报告

  • 《2018年以后的人工智能软硬件和应用将如何发展？》
    • 来源专题：中国科学院文献情报制造与材料知识资源中心 | 领域情报网
    • 编译者：冯瑞华
    • 发布时间：2018-01-16
    • 在2018年及其以后，深层神经网络和机器学习在更大的人工智能（AI）领域会如何发展？我们如何能开发出越来越复杂的机器以在日常生活中帮助人类？这些都是普渡大学机器学习硬件教授尤金尼奥·库鲁尔塞罗(Eugenio Culurciello)关注的问题。请注意，本文的重点并非有关AI的预测，而是对该领域发展轨迹、趋势以及技术需求的详细分析，以帮助创造更有用的AI。当然，并非所有的机器学习都是针对AI的，还有些其他容易实现的目标，下面我们就仔细审视下。 目标 AI领域的目标是通过机器上实现人类和超人的能力，以便让它们在日常生活中帮助我们。自动驾驶车辆、智能家居、智能助理以及安全摄像头将是植入AI技术的首批目标，家庭烹饪和清洁机器人、无人侦察机和机器人则是第二批目标。其他目标还有移动设备上的助理，全职陪伴助理（可以听到和看到我们的生活经历）。而AI领域的终极目标是打造完全自主的合成实体，它可以在日常工作中以相当于人类或超越人类的水平行事。 软件 在这里，软件被定义为通过优化算法训练的神经网络构架以解决特定的任务。今天，神经网络是用来学习解决问题的实际工具，其中涉及通过大数据集进行分类学习。但这并不是全部AI，它要求在现实世界中，在没有监督的情况下学习，也要吸取以前从未见过的经验，常常需要把以前学到的知识结合起来以解决当前的挑战。 如何让目前的神经网络演变成AI？ 神经网络架构：几年前，当神经网络架构发展起来的时候，我们经常认为从数据中自动学习算法的参数拥有巨大优势，而且这比手工编写的算法功能更强大。但我们忘了提到一个小细节，那就是作为“训练解决特定任务基础”的神经网络架构并未从数据中学习。事实上，它仍然是开发人员手工设计的。有鉴于此，目前它成为AI领域的主要限制之一。 然而，神经网络架构是学习算法的基本核心。即使我们的学习算法能够掌握新的技能，如果神经网络不正确，它们也无法得出正确结果。从数据中学习的神经网络架构存在的问题是，目前在一个大数据集上进行多架构实验花费的时间太长。我们必须尝试从头开始训练多个架构，并看看哪一个最有效。这就是我们今天使用的、非常耗时的试错过程!我们应该克服这一限制，并在这个非常重要的问题上多加思考。 无监督学习：我们不能总是干预神经网络，引导它们的每一次体验。我们不能在每个实例中都纠正它们，并提供它们的性能反馈。我们的生活也要持续下去!但这正是我们今天利用受监督神经网络所做的：我们为每个实例提供帮助，使它们能够正确执行。相反，人类只需从少数几个例子中学习，并且能够以连续的方式自我校正和学习更复杂的数据。 预测神经网络：目前神经网络的一个主要局限是它们没有人类大脑最重要的特征之一，即预测能力。关于人脑如何工作的一个主要理论是它能不断地预测，即拥有预测代码。如果你仔细想想，就会发现我们每天都在使用它。你提起一个自认为很轻的物体，但结果它却很重。这会让你感到惊讶，因为当你接近它的时候，你已经预测它将如何影响你和你的身体，或者你的整体环境。 预测不仅能让我们了解世界，还能知道我们什么时候不了解它，什么时候该学习。事实上，我们保存那些我们不知道并让我们感到吃惊的事情的信息，以便下次不会再犯同样的错误！认知能力绝对与我们大脑中的注意力机制有明显的联系：我们天生就有能力放弃99.9%的感官输入，只专注于对我们生存至关重要的数据，包括哪里存在威胁，哪里是我们逃避它的地方。或者，在现代世界里，当我们匆忙出门时，我的手机落在哪里。?构建预测神经网络是我们与现实世界互动的核心，并能在复杂的环境中发挥作用。因此，这是任何强化学习的核心网络。 当前神经网络的局限性：无法预测，无法解释理由，以及暂时的不稳定性，因此我们需要一种新的神经网络。神经网络胶囊（Neural Network Capsules）就是解决当前神经网络局限性的一种方法，但我们认为它必须有些额外的特点： 1）视频帧操作：这很简单，因为我们需要做的就是让胶囊路由查看最近时间的多个数据点。这相当于在最近的重要数据点上建立起关联内存。请注意，这些不是最近帧的最新表达，而是它们最新的不同表达。可以通过仅保存与预定义值不同的表达来获得不同内容的不同表达。这个重要的细节只允许保存最近历史上的相关信息，而不是一系列无用的相关数据点。 2）预测神经网络能力：这已经是动态路由的一部分，它迫使各层预测下一层表达。这是一种非常强大的自我学习技巧，在我们看来，它胜过了我们在社区中发展的所有其他非监督表现学习。胶囊现在需要能够预测长期的时空关系，但目前还没有实现。 持续学习：这是很重要的，因为神经网络需要不断地学习新的数据点来维持生存。目前的神经网络不能学习新的数据，而每次都需要从头开始重新训练。神经网络需要能够自我评估接受重新训练的必要性，以及它们确实知道某些事情的事实。这也需要在现实生活和强化学习任务中表现出来，我们想让机器在不忘记旧任务的情况下完成新任务。 转移学习：或者称我们如何让这些算法通过观看视频自学，就像我们学习如何烹饪新的东西一样。这是一种能力，需要我们上面列出的所有因素，而且对于加强学习也很重要。现在你可以通过举例子的方式来训练你的机器去做你想让它做的事情，就像我们人类一样。 强化学习：这是深神经网络研究的“圣杯”，即教机器如何在真实的世界环境中学习！这需要自学、持续学习、预测能力，还有很多我们不知道的东西。在强化学习领域有很多东西需要了解，但对作者们来说，这只触及到问题的表面。 强化学习通常被称为“蛋糕上的樱桃”，意思是它只是塑料合成大脑上微不足道的训练。但是，我们如何才能得到一个“通用”大脑轻松地解决所有的问题呢？这是个“先有鸡还是先有蛋”的问题！今天，要想一个个地解决强化学习的问题，我们需要使用标准神经网络：一个深度的神经网络，它接收大量的数据输入，如视频或音频，并将其压缩成表示；一个序列学习神经网络，如RNN，以便了解任务。 这两个部分都是问题的明显解决方案，目前显然是错误的，但这是每个人都在使用的，因为它们是当前可用的构建块。这样的结果并不令人印象深刻：我们可以从头开始学习玩视频游戏，并且掌握像国际象棋和围棋这样完全可观察的游戏，但无需多言，与在复杂的世界中解决问题相比，这些都是微不足道的。想象下，AI可以比人类更好地玩转《Horizon Zero Dawn》，对此我拭目以待！ 但这恰是我们想要看到的，即能像我们人类这样运作的机器。我们对强化学习的建议是，使用可以连续操作的预测神经网络和联想存储器来存储最近的经验。 不要更多的递归神经网络(RNN)：因为它们在并行化方面表现特别糟糕，甚至在特殊的定制机器上也很慢，因为它们的内存带宽使用率很高，内存带宽存在限制。基于注意力的神经网络更高效，可更快速地进行训练和部署，并且在训练和部署方面的可伸缩性更少。在神经网络中，注意力有可能使许多架构发生真正的改变，但它并没有得到应有的认可。联想记忆和注意力的结合是下一波神经网络发展的核心。我们认识到，基于注意力的神经网络将逐渐取代基于RNN的语音识别，并在强化学习构架和通用人工智能中找到它们的方法。 分类神经网络中信息的定位：实际上这是一个已经解决的问题，将被嵌入到未来的神经网络架构中。 硬件 深度学习硬件才是进步的核心。现在让我们忘记2008-2012年深度学习的快速扩展，近年的进步主要取决于硬件：在社交媒体的帮助下，每部手机上的廉价图像传感器都可以收集巨大的数据集，但其只处于次级重要程度。GPU允许加速深层神经网络的训练。在过去2年里，机器学习硬件蓬勃发展，尤其是针对深度神经网络的硬件。 有几家公司正在这个领域努力，包括英伟达、英特尔、Nervana、Movidius、Bitmain、Cambricon、Cerebras、DeePhi、谷歌、Graphcore、Groq、华为、ARM以及Wave Computing等，他们都在开发定制的高性能微型芯片，能够训练和运行深层神经网络。关键是提供最低功耗和最高的可测量性能，同时计算最近有用的神经网络操作，而不是每秒钟的原始理论操作。但是在这个领域很少有人了解硬件是如何真正改变机器学习、神经网络和AI的，很少有人知道微型芯片的重要性以及如何开发它们。 训练或推理：许多公司都在制造能提供神经网络训练的微型芯片。这是为了获得英伟达市场的一部分，它是迄今为止事实上的培训硬件。但这种训练只占深层神经网络应用的很小部分。对于每个训练步骤，实际应用程序中都有上百万个部署。例如，你现在可以在云端使用的一个目标检测神经网络，它曾经被训练过一次，并且在很多图像上都是可以使用的。但是一旦经过训练，它就可以被数以百万计的计算机用于数十亿的数据。 我们在这里想说的是，训练硬件的重要性和你所使用的次数相比是微不足道的，而制作用于训练的芯片组需要额外的硬件和额外的技巧。这将导致相同性能却消耗更高的功率，因此不是当前部署的最佳状态。训练硬件是很重要的，而对推理硬件进行修改却很简单，但它并不像许多人认为的那样重要。 应用程序：能够更快、更低功率地提供培训的硬件在这个领域非常重要，因为它将允许更快地创建和测试新的模型和应用程序。但真正重要的一步是应用所需的硬件，主要是推理硬件。今天有许多应用之所以无法使用，主要是因为硬件而不是软件。例如，我们的手机可以是基于语音的助手，目前是次优的，因为它们不能一直运行。就连我们的家庭助理也离不开电源，除非我们在周围安装更多麦克风或设备，否则就不能跟着我们。但也许最大的应用是将手机屏幕从我们的生活中移除，并将其嵌入到我们的视觉系统中。如果没有超级高效的硬件，所有这些和更多的应用将是不可能的。 赢家和输家：在硬件方面，赢家将是那些能够以最低功耗发挥更高性能、并能将设备迅速投入市场的公司。想象用手机代替SoC，这种情况每年都会发生。现在想象下将神经网络加速器嵌入到内存中。这可能会更快地征服市场，并快速渗透，这就是我们所说的赢家。 应用程序 我们在上面的“目标”部分简要地讨论了应用程序，但是我们需要详细讨论一下。AI和神经网络将如何进入我们的日常生活？这是我们的名单： 分类图像和视频：已经存在于许多云服务中。下一步就是在智能摄像头领域做同样的事情，今天在这里也有许多供应商。神经网络硬件将允许移除云并在本地处理越来越多的数据，保护隐私和节省网络带宽将成为赢家。 语音助理：它们正在成为我们生活中的一部分，可以在我们的智能设备中播放音乐和控制基本设备。但是对话是一种基本的人类活动，我们常常认为它是理所当然的。你可以对话的小型设备是一场正在发生的革命。语音助理正变得越来越好，可以更好地服务于我们。但它们仍然与电网相连，我们想要的真正助理应该能随时伴在我们身侧。 手机怎么样？硬件在这里再次胜出，因为它将使上述期望成为可能。Alexa、Cortana以及Siri可以始终陪伴着你。手机很快就会成为你的智能家居设备，这又是智能手机的又一次胜利。但我们也希望它在我们的车里，并伴随我们在城市中移动。我们需要本地处理语音，减少云端支持。更多的隐私和更少的带宽成本。硬件有望在1-2年内提供给我们。 真正的智能助理：语音助理已经很棒，但我们真正想要的是能看到我们所看到东西的助理。当我们四处走动时，它能分析我们的环境。而神经网络硬件将会再次满足你的愿望，因为分析视频是非常昂贵的，而且目前在理论上限制了当前的硅硬件。换句话说，要做的事情比做语音助理要难得多。但这并不是不可能的，像AiPoly这样的许多智能初创公司已经拥有了类似软件，但是缺少强大的硬件来运行它。还要注意的是，用可穿戴的玻璃设备代替手机屏幕真的会让我们的助手成为我们的一部分! 烹饪机器人：下一个最大的设备将是烹饪和清洁机器人。在这里，我们可能很快就有硬件，但我们显然缺乏软件。我们需要转移学习、持续学习和强化学习。一切都像魔法那样，因为你知道：每个食谱都是不同的，每种烹饪成分看起来都不一样。我们不能硬编码所有这些选项。我们真的需要一个可以学习和推广的合成实体来做这个。我们离它还很远，但并非遥不可及。以目前的速度前进，可能只需要几年就能实现。正如我在过去几年所做的那样，我感肯定这些都能实现。
    79浏览量
    原文链接

  • 《百度发布首个量子领域大模型》
    • 来源专题：数智化图书情报
    • 编译者：闫亚飞
    • 发布时间：2023-09-27
    • 9月23-24日，以“协同创新 量点未来”为主题，2023量子产业大会在安徽合肥召开。量子领域院士专家、智库机构、产业界嘉宾汇聚一堂，探讨量子产业化之路。 作为主旨报告嘉宾，百度量子计算研究所所长段润尧带来百度量子软硬件和解决方案等方面的最新成果，重磅发布首个量子领域大模型，及百度量子助手和量子写作助手两大AI原生应用，加速量子技术与大模型深度融合。他还发布了量子领域大模型白皮书，展望量子领域大模型的未来发展趋势和技术潜力。 当前，量子计算带来后摩尔时代算力革命，广阔市场空间随之打开。有数据显示，2031年69%的全球大型企业计划将采用量子计算。 依托百度量子平台和文心大模型的双重底座优势，百度发布首个量子领域大模型，旨在芯片层、框架层、模型层及应用层等全栈技术上加速量子技术与大模型深度融合，充分激发两大技术各自的潜力。 据段润尧介绍，该量子领域大模型是在文心一言基础上，使用量子领域高质量数据进行更有针对性的训练和优化而构建的量子领域大模型，能更好地理解量子知识，专业执行量子任务。百度量子领域大模型将充分发挥技术协同效应，在数据、算法和算力等各方面取长补短，实现双向赋能，将在训练速度、模型性能、训练成本、交互效率和数据隐私等各个维度全面加持现有大模型的技术能力。 百度量子助手是依托百度量子知识库与产业级知识增强文心大模型，基于7800万原始数据、22万精调数据训练打造。作为百度量子平台的统一入口，百度量子助手打通了百度量子平台量子硬件、量子软件、量子应用的技术全链条，持续降低百度量子平台的使用门槛。 量子写作助手实现了量子领域知识和技术准确且高效的输出，让量子知识触手可及，降低量子计算学习门槛，提高量子计算科研效率。只需输入6个变量，量子写作助手可在5分钟内撰写一篇13000字符合格式要求的专利文档，高效帮助企业将量子领域的研究成果与知识产权沉淀为企业资产。 段润尧进一步分享，量子领域大模型的未来发展将会呈现出多个代表性阶段。从近期以适配量子领域的行业大模型开始，大幅降低量子教育行业门槛；逐渐过渡为经典和量子混合大模型，再发展到通用量子领域大模型，有望实现大模型技术在数据、算法、算力等各维度的全面量子化；最终，量子领域大模型将会成为新时代的操作系统，在量子互联网的基础上互联互通，成为社会发展的基础设施。 现场，段润尧重磅发布量子领域大模型白皮书。报告指出，量子科技与大模型成为技术变革主引擎，量子计算是有效模拟大规模量子系统的利器，量子领域大模型或将成为量子人工智能的最终形式。交互式机制建立起“能力”传递的纽带，而量子纠缠有望将这种机制发挥至极致。 此外，段润尧公布了百度在量子芯片、软硬一体化解决方案等核心领域的最新进展。 百度量子平台近一年进行了持续大规模更新，在金融科技、光量子和量子芯片三大领域均有新功能发布。在金融科技领域，百度量子计算研究所推出量子金融工具集QFinance，提供全面且多功能的量子期权定价工具，整合众多前沿量子算法，包括量子蒙特卡洛、量子傅里叶变换和量子相位估计算法，既确保了计算的高度准确性，也显著缩短了算法运行时间，为资产配置带来了新的高效解决方案。 在光量子领域，百度推出光量子计算模拟器PQS（Photonic Quantum Simulator），为光量子芯片设计和算法研发提供了宝贵的工具和资源。该模拟器支持基于Gaussian态和Fock态的光量子线路模拟，并包含了近20种量子门和测量操作，可模拟多种光量子计算算法，是国内首款可以自由搭建光量子计算线路的模拟工具。 百度量子瞄准超导量子芯片研发“设计、流片、测控” 闭环中的核心技术，旨在研发具有业界核心竞争力的高性能量子芯片。目前，百度量子已完成一款 2D 含耦合器量子芯片的“流片验证”，以及一款 3D flipchip 含耦合器量子芯片的版图设计和仿真验证。近期，“高性能量子芯片的设计、流片与测控全栈技术” 项目荣获「2023 百度十大科技前沿发明」。高性能量子芯片研发将对人工智能、材料科学、药物研发、金融科技等领域带来高潜价值。 去年8月，百度推出全球首个全平台量子软硬一体化解决方案“量羲”，打造出量子计算产业落地的可行路径。量羲平台与百度云计算进行深度融合，并采纳了"四算合一"的战略布局，实现了量子计算、高性能计算、云计算及人工智能计算的有机融合。这使得平台能够根据不同业务需求，灵活调配算力资源。近期“量羲”已完成首个商业化合同的PoC部署。 在量子生态与知识产权方面，百度已申请高质量专利超过280项，已授权120项，覆盖量子算法与应用、量子通信与网络等热门研究方向。今年3月，百度牵头成立国内首个量子计算产业知识产权联盟，并设立国内首个量子计算专利池，在关键量子专利领域进行布局，以推动量子产业高效发展。 “量子产业化和产业量子化已成为未来发展的必然趋势，量子领域大模型有望进一步加速这些目标的实现。百度将持续为用户开放量子资源，为客户提供量子升级培训，与伙伴一起共创量子生态，期待携手用户、客户、伙伴，一同迈向量子计算产业化之路，实现人人皆可量子的时代。”段润尧表示。
    295浏览量
    原文链接