《联发科技将现在提供的移动基准测试作弊作为一种服务》

  • 来源专题:宽带移动通信
  • 编译者: 张卓然
  • 发布时间:2020-05-21
  • 在PC和移动行业中,基准测试中出现的作弊情况是一个棘手的问题,但到目前为止,作弊服务通常也仅限于能在不同公司片上系统的代工厂中实施。联发科技显然已决定简化这一过程,并一直在销售固件中内置基准测试作弊功能的设备。

    这是Anandtech的说法,该公司一直在对这个问题进行调查。该站点的调查发现了来自多个不同制造商的设备,每个设备都有一个类似的Power_Whitelist_CFG.xml文件,其中装载了相同的应用程序。Anandtech提供的证据表明,这些文件来自联发科技,并合并到片上系统BSP(板支持包)中,片上系统BSP被定义为“软件层包含硬件特定的驱动程序和其他例程。”

    这种作弊服务有很多令人不安的方面,从2016年开始,作弊服务就开始运行,它也出现在包括索尼等公司的许多设备上,它影响了各种测试,包括最近的人工智能测试,并且包括了我们以前没见过作弊的公司的应用程序。因为这种类型的作弊服务是通过排除热量和功率限制,让片上系统失效来实现的,所以也存在让电池更快退化和过热的风险,而不会带来实际的性能提升。记住——这不是一家公司为提高你正使用的应用程序的性能而内置的功能。它的目的是欺骗您,让您认为应用程序中的性能收益大于实际情况。

    作弊服务的问题

    联发科技对Anandtech的回应不过是自相矛盾地半承认自己有罪,该公司声称其设备“符合公认的行业标准”,测试在最大时钟和功率消耗下运行,没有在其他任何情况下也能适用的热限制,目的是为了能“展示芯片组的全部功能”。

    这个事实是,现代移动设备受到热量的限制,它们通常只能在短时间以升压时钟来运行。但是,对智能手机进行基准测试的目的不仅仅是测试底层组件(如CPU、GPU或AI协处理器)的个体性能。进行这些比较的目的是为了能让终端用户整体了解手机的使用体验。

    这也适用于PC组件,大多数时候,人们认为评论是基于基准测试结果编写的。评审员在各种测试中评估性能,然后根据不同硬件在各种指标中的比较情况编写评审。这基本上是正确的,但事情还有另外一面:审阅者还试图找到基准,以记录使用该设备的体会。

    例如,想象一下,在运行流行的基准测试时,一个GPU被设计成需要使用一组散热和功率规程,而在运行最流行的游戏时需要使用另一套规程,这是为了能使它在性能上更接近竞争对手。这打破了基准测试的全部宗旨和目的:实际上,它不会再告诉您有关使用手机的丰富体验的任何有价值的信息。

    联发科技的回应是:“我们认为,在基准测试中展示芯片组的全部能力与其他公司的做法一直,并为消费者提供了准确的设备性能图。”

    第一句话可能是真的,但第二句肯定不是。这种欺骗的目的是让客户对设备性能有不准确的认识。

    这种作弊的主要问题之一是,一旦你开始作弊服务,就很难停止。举个例子,看看我们最近对Surface Laptop 3的回顾。7700HQ(TDP为45W法人2016年四核Kaby Lake)与Core i7-1065G7(TDP为15W的2020年四核Ice Lake)之间的相对CPU性能是7700HQ在多线程方面始终保持更快的速度的原因。这要归功于更高的TDP,但在单线程测试中它们仍然落后于其他较新的芯片。

    现在,想象一下英特尔和微软允许Surface Laptop 3在与其他芯片进行测试时暂时将TDP的最大功耗提高到45W,而在正常使用时强制实施了15W的限制,那我的测试结果会完全不同。实际上,在多线程代码中,45W TDP Kaby Lake CPU通常仍然比15W Ice Lake CPU快。然而,在这个假设中,暂时将功能消耗提高到45W会让LCE LAKE把Kaby搞得一团糟,而且会让Surface Laptop 3好像看起来CPU效率提高了很多。

    但如果英特尔和微软早在2016年就开始以这种方式操纵基准测试结果,那么到2020年它们改变这种方法,将会使ICE LAKE比实际情况看上去要弱得多。一旦你开始对客户撒谎,一般情况下,你要么继续这样做下去,要么随着时间的推移慢慢放松限制,以一种足够循序渐进的方式,让人们意识不到发生了什么。

    像这样操纵测试结果总是适得其反,联发科技唯一能证明的是,它的工程团队无法如实地达到其他制造商的水平,因此必须通过作弊来弥补差距。如果一家公司在业绩上对你撒谎,那么它在其他任何事情上也会对你撒谎。

相关报告
  • 《联发科技试图在基准作弊指控尚未发布之前就予以反驳》

    • 来源专题:宽带移动通信
    • 编译者:张卓然
    • 发布时间:2020-05-23
    • 本周早些时候,我们报道了联发科技在其产品上所推出的令人震惊的新“基准作弊服务”(BCaaS)操作模式。今天,我们发现在Anandtech公布调查结果之前,联发科技就已经试图用自己的文章来反驳这一说法。 专家提示:如果一家公司在一本著名的刊物上在一篇文章产生影响之前对其发表了回应,那么他们一定是在试图用自己的方式抢占话语权以摆脱困境。 让我们仔细研究一下联发科技的声明,我将各种不诚实的陈述,虚假陈述和一些毫无根据的谎言都用斜体来标注。 “几乎每一款现代智能手机都被设计成在不同的环境下以不同的方式运行,这意味着设备已经过优化,可以根据正在运行的应用程序来调整电源和性能。联发科技以其智能节能创新而闻名,它涵盖了多种技术,用于动态管理设备的计算资源,以便提供一个持续的用户体验。这意味着,只有在必须获得良好的用户体验时,设备才会全速运转(这会消耗电池寿命)。” 这是一个谎言,Andrei Frumusanu一开始发现问题是因为他注意到了PCMark得分存在巨大差异(下图是在Oppo Reno3 Pro P95上运行的作弊和不作弊的结果): 非作弊得分是6781,而作弊得分是9048,或者在一个与任何人的“良好用户体验”毫无关系的应用程序中性能提高了1.33倍。实际上,对像PCMark这样的应用程序进行超频处理是非常糟糕的,因为PCM的全部目的是创建一个更逼真的测试环境,在这个环境中,延迟、加载时间等都将被记入结果。这并不意味着它像一些移动基准测试那样是一个严格的综合测试或单一功能测试。 “当运行最严格的应用程序时,我们的芯片组提供大功率,使人们可以享受更流畅的游戏体验,并从最新的AI应用程序中获得最大收益。另一方面,当你在做如查看电子邮件之类的轻任务时,我们的芯片组将在一个超省电模式下运行。” 联发科技可能指的是目前某些手机上所提供的“高功率”模式选项,但这与该公司正在超频的白名单是完全不同的功能。“高性能”模式是您在Android中能启用的一种功能,通常在单击后可能会一个对手机的电池寿命和SoC寿命产生影响的警告。此外,除非您的目标是依靠SoC的性能,否则所有列入白名单的应用程序都不是游戏或用户能“充分利用”的首选应用程序。 我加上了最后一句话,因为这句话不是谎言。在这种写作风格中,常见的公关策略是将公然的虚假陈述和明显真实的陈述混合在一起,半真半假。 “有趣的是,当在行业中广泛使用这些类型的配置时,我们确实发现AnandTech对联发科技电力设备的基准测试优化提出了质疑。如果他们审查其他设备,他们会像我们一样,看到我们的主要竞争对手的芯片组是以完全相同的方式运行——AnandTech会认为这是在设备基准测试中作弊。” 这段话的全部暗示言论都是谎话,在过去的7年里,Anandtech调查了华硕、荣耀、HTC、华为、谷歌、LG、摩托罗拉、Nvidia、三星和小米制造的设备上的移动基准作弊行为(不是每家公司都有自己的报道,也不是每家公司都作弊,但上面的链接涵盖了所有存在问题的公司的报告)。 有些公司比其他公司作弊更多,有些根本就没有被发现作弊。自从被发现作弊以来,三星和华为都已改正了自己的做法。 公司试图掩盖自己不当行为的最常见方式之一,就是声称调查人员有偏见、不称职,或两者兼而有之。在此,联发科技断然宣称Anandtech未能尽职调查,并暗示这是该网站发表了这篇烂文章的原因。他们不是坏人,确切地说——他们只是不了解移动行业的来龙去脉,或者公司实际上是如何开发产品的。“我们确实觉得这很有趣”这样的短语最好的地方在于,联发科技无法提出任何可以反驳的具体指控。“我们确实觉得这很有趣”的意思是“我们希望你相信我们的暗示,即Anandtech针对我们的理由是无效的,但你必须自己解释为什么会这样。”也许你会选择种族主义、沙文主义或专业无能,问题是,联发科技希望你能考虑一下。 我意识到很多人对公司沟通的细节不是特别感兴趣,这也是问题的一部分。联发科技知道,大多数人永远不会去进行一个调查,以查明它的反诉是否正确。它知道有许多人倾向于认为媒体即是错误的,并将站在公司的一边。它知道,提出歧视的想法将会引起自己客户群的共鸣,从而强调在中美关系日益紧张之际,美国网站是如何对中国公司挑刺的。 我认为很重要的一点是,我们要展示公司是如何通过真假参半的陈述来操纵围绕其产品的谈话的。在这种情况下,联发科技预先发表了对一篇它甚至没有读过的文章的回应,再加上对文章本身的仔细阅读,说明这篇博客文章中有多少是由虚假的声明所构成的。
  • 《Nat Biotechnol:开发出一种新的DNA合成方法》

    • 来源专题:生物安全知识资源中心 | 领域情报网
    • 编译者:hujm
    • 发布时间:2018-07-02
    • 在一项新的研究中,来自美国加州大学伯克利分校、劳伦斯伯克利国家实验室和联合生物能源研究所的研究人员发明了一种合成DNA的新方法。这种方法有望更容易地更快速地合成DNA,并不需要使用毒性化学物,而且可能是更准确的。鉴于具有更高的准确性,这种技术能够产生比当前的方法长10倍的DNA链。这些研究人员说,这种易用性可能会导致研究实验室中普遍存在的“DNA打印机”,类似于如今许多车间中的三维打印机。相关研究结果于2018年6月18日在线发表在Nature Biotechnology期刊上,论文标题为“De novo DNA synthesis using polymerase-nucleotide conjugates”。加州大学伯克利分校研究生Dan Arlow和德国达姆施塔特工业大学博士生Sebastian Palluk在这项研究中详细描述了这种方法。 Arlow说,“如果你是一名机械工程师,在你的商店里有一台3D打印机真的很棒,它可以在一夜之间打印出零件,这样你就可以在第二天早上测试它。如果你是一名研究人员或生物工程师,而且你有一种简化DNA合成的仪器,即'DNA打印机',那么你就能够更快地测试你的想法并尝试更多的新想法。我认为这将带来很多创新。” 联合生物能源研究所首席执行官、劳伦斯伯克利国家实验室资深科学家和加州大学伯克利分校化学与生物分子工程教授Jay Keasling说,“我个人认为Arlow和Palluk开发出的这种新方法可能会引发我们制造DNA方法的变革。” Palluk在Keithling实验室与Arlow一起研究DNA合成问题。作为合成生物学领域的先驱,Keasling和联合生物能源研究所的科学家们致力于将基因导入到微生物(主要是酵母和细菌)中来可持续地产生产品---药物、燃料,工业化学品,同时产生最少的毒性副产物和消耗最少的能源。 合成DNA是一项不断发展的业务,这是因为公司订购定制的基因,这样它们就能够在培养微生物的大缸中产生生物药物、工业酶或有用的化学物质。科学家们购买合成基因,并将它们导入到植物或动物体内或者尝试着开展新的基于CRISPR的疾病治疗方法。 一些科学家甚至提出将信息存储在DNA中,就像如今将数字数据存储在计算机硬盘中一样,这是因为一克DNA在理论上的存储容量相当于5000万张DVD,并且应当会在数百年内保持稳定。然而,这意味着要合成的DNA链数量比目前在生物技术行业中使用的DNA链数量大得多。 所有这些应用都要求这种DNA合成过程在数百万甚至数十亿个DNA分子拷贝中忠实地产生所需的核苷酸或碱基---DNA的构成单元(building block)---序列。 目前的DNA合成方法可追溯到1981年并使用来自有机化学实验室的技术,仅限于直接产生大约长200个碱基的寡核苷酸,这是因为随着合成长度的增加,这个过程中出现的不可避免的错误导致正确序列的产率非常低。为了组装一个小的基因,科学家们必须逐段合成它,每段大约长200个碱基,然后将这些片段拼接在一起。这很费时,通常需要多次尝试,而且有时完全失败。 此外,如果从Twist Biosciences公司和Integrated DNA Technologies(IDT)公司等合成公司订购,那么合成一个大约长1500个碱基的小基因的周转时间可能为两周,需要花费300美元,这就限制了科学家们能够承担得起的尝试进行基因调整的数量和他们开始能够开展实验的速度。 Keasling、Arlow和Palluk等合成生物学家经常需要一次性地将十几种不同的基因插入一种微生物中,使其产生所需的化学物质,然而每个基因都存在它自己的合成问题。 Palluk说,“作为一名德国学生,我参加了国际合成生物学竞赛iGEM,在那里我们试图让大肠杆菌降解塑料废物。但是我很快就意识到大部分研究时间都用于合成DNA,而不是开展实验来观察所获得的工程细胞是否能够降解塑料。这真地促使我研究DNA合成过程。” 化学DNA合成还需要使用特定类型的有毒性的活化DNA构成单元,并重复使用石油衍生溶剂进行清洗。Arlow说,如今,废物处理的问题和这种合成过程对湿度非常敏感使得它非常挑剔的事实都成为科学家们抛弃他们的个人寡核苷酸合成仪并将他们的DNA交给专业公司进行合成的理由。 借鉴免疫系统 这项新的技术依赖于在免疫系统细胞中发现的一种DNA合成酶,这种DNA合成酶天然地能够将核苷酸添加到水中的现有DNA分子上。这种技术有望提高精确度,并可能让DNA链的合成时间延长10倍,从而能够合成出长数千个碱基的DNA分子---一个中等基因的大小。 Palluk说,“我们已想出一种合成DNA的新方法,它利用了大自然用来制造DNA的机器。这种方法很有前途,因为酶已进化了数百万年才能完成这种精确的化学反应。” 细胞通常不会从头开始合成DNA;它们主要都是在已存在于它们中的DNA模板的基础上,利用大量不同的聚合酶进行DNA复制。然而,在20世纪60年代,科学家们发现了一种不寻常的聚合酶,它不依赖于现有的DNA模板,而是随机地将核苷酸添加到制造用于免疫系统中的抗体的基因上。这种被称作末端脱氧核苷酸转移酶(terminal deoxynucleotidyl transferase, TdT)的酶在这些基因中产生随机变异,从而使得产生的抗体蛋白能更好地靶向前所未见的入侵者。 Paldk说,TdT同等地很好地添加所有四种DNA核苷酸,不会发生能够破坏所形成的DNA分子的副产物,并且它的添加速度是非常快的,如果让它随心所欲地发挥作用的话,它每分钟可将DNA延长大约200个碱基。 多年来,许多实验室都已尝试着利用这种酶来合成所需的DNA序列,但这种酶是很难控制的。一个关键要求就是弄清楚如何让这种酶在添加一个核苷酸后停下来,这样就能够一次添加一个碱基从而合成出所需的序列。所有之前的方案都是试图通过使用携带着阻止多次添加的特殊阻断基团的修饰核苷酸来实现这种控制。在给DNA分子添加一个受到阻断的核苷酸后,这些阻断基团就被移除,从而使得接下来的添加成为可能。 Palluk说,“这些方法与下一代测序(Next-Generation Sequencing, NGS)技术有很多共同之处”,他指的是用于读取基因序列的最先进技术,其工作原理是通过使用模板依赖性聚合酶依次地添加发出不同颜色荧光的阻断核苷酸,从而指出添加了这四种可能的碱基中的哪一种。尽管这些用于测序的DNA复制酶能够容纳添加到DNA分子上的核苷酸携带的阻断基团,但是TdT却不能做到这一点。当一个核苷酸正确地定位用于DNA合成反应时,TdT的活性位点太紧而不适合容纳它携带的阻断基团。 Arlow的想法是将一个未携带阻断基团的核苷酸牢固地连接到TdT上,这样在将这个核苷酸添加到延伸中的DNA分子后,这种酶仍然保持连接并且保护DNA链的末端免受进一步的核苷酸添加。在DNA分子延伸后,他们切断TdT与这个添加到DNA链上的核苷酸之间的连接物,将这种酶释放出来,并让DNA链的末端重新暴露出来以便接受进一步的核苷酸添加。 在他们的第一次试验---使用经过改造的TdT酶在10个循环中产生长10个碱基的寡核苷酸---中,这些研究人员证实他们的更快更简单的技术在每一步合成中几乎与当前的技术一样准确。 Arlow说,“当我们利用NGS技术分析合成产物时,我们能够确定大约80%的分子具有所需的长10个碱基的序列。这意味着,平均每个步骤的产率大约为98%,这对解决这个存在了50多年的问题的第一次尝试来说并不算太坏。我们希望达到99.9%的保真度,以便合成出全长DNA。” Palluk说,一旦达到99.9%的保真度,他们就能够一次性合成一种长1000个碱基的分子,产率在35%以上,对目前的化学合成技术来说,这是完全不可能实现的。 他说,“通过直接合成更长的DNA分子,将寡核苷酸拼接在一起的必要性以及由这个繁琐的过程产生的限制可能就会减少。我们的梦想是直接合成基因长度的序列,并在几天内将它们提供给科学家们。” Arlow说“我们希望这种技术将使得生物工程师更容易更快地弄清楚如何通过生物手段制造出有用的产品,这可能导致以一种需要更少石油的方式更可持续地生产我们在世界上所依赖的东西,包括服装、燃料和食品。”