《联发科技将现在提供的移动基准测试作弊作为一种服务》

  • 来源专题:宽带移动通信
  • 编译者: 张卓然
  • 发布时间:2020-05-21
  • 在PC和移动行业中,基准测试中出现的作弊情况是一个棘手的问题,但到目前为止,作弊服务通常也仅限于能在不同公司片上系统的代工厂中实施。联发科技显然已决定简化这一过程,并一直在销售固件中内置基准测试作弊功能的设备。

    这是Anandtech的说法,该公司一直在对这个问题进行调查。该站点的调查发现了来自多个不同制造商的设备,每个设备都有一个类似的Power_Whitelist_CFG.xml文件,其中装载了相同的应用程序。Anandtech提供的证据表明,这些文件来自联发科技,并合并到片上系统BSP(板支持包)中,片上系统BSP被定义为“软件层包含硬件特定的驱动程序和其他例程。”

    这种作弊服务有很多令人不安的方面,从2016年开始,作弊服务就开始运行,它也出现在包括索尼等公司的许多设备上,它影响了各种测试,包括最近的人工智能测试,并且包括了我们以前没见过作弊的公司的应用程序。因为这种类型的作弊服务是通过排除热量和功率限制,让片上系统失效来实现的,所以也存在让电池更快退化和过热的风险,而不会带来实际的性能提升。记住——这不是一家公司为提高你正使用的应用程序的性能而内置的功能。它的目的是欺骗您,让您认为应用程序中的性能收益大于实际情况。

    作弊服务的问题

    联发科技对Anandtech的回应不过是自相矛盾地半承认自己有罪,该公司声称其设备“符合公认的行业标准”,测试在最大时钟和功率消耗下运行,没有在其他任何情况下也能适用的热限制,目的是为了能“展示芯片组的全部功能”。

    这个事实是,现代移动设备受到热量的限制,它们通常只能在短时间以升压时钟来运行。但是,对智能手机进行基准测试的目的不仅仅是测试底层组件(如CPU、GPU或AI协处理器)的个体性能。进行这些比较的目的是为了能让终端用户整体了解手机的使用体验。

    这也适用于PC组件,大多数时候,人们认为评论是基于基准测试结果编写的。评审员在各种测试中评估性能,然后根据不同硬件在各种指标中的比较情况编写评审。这基本上是正确的,但事情还有另外一面:审阅者还试图找到基准,以记录使用该设备的体会。

    例如,想象一下,在运行流行的基准测试时,一个GPU被设计成需要使用一组散热和功率规程,而在运行最流行的游戏时需要使用另一套规程,这是为了能使它在性能上更接近竞争对手。这打破了基准测试的全部宗旨和目的:实际上,它不会再告诉您有关使用手机的丰富体验的任何有价值的信息。

    联发科技的回应是:“我们认为,在基准测试中展示芯片组的全部能力与其他公司的做法一直,并为消费者提供了准确的设备性能图。”

    第一句话可能是真的,但第二句肯定不是。这种欺骗的目的是让客户对设备性能有不准确的认识。

    这种作弊的主要问题之一是,一旦你开始作弊服务,就很难停止。举个例子,看看我们最近对Surface Laptop 3的回顾。7700HQ(TDP为45W法人2016年四核Kaby Lake)与Core i7-1065G7(TDP为15W的2020年四核Ice Lake)之间的相对CPU性能是7700HQ在多线程方面始终保持更快的速度的原因。这要归功于更高的TDP,但在单线程测试中它们仍然落后于其他较新的芯片。

    现在,想象一下英特尔和微软允许Surface Laptop 3在与其他芯片进行测试时暂时将TDP的最大功耗提高到45W,而在正常使用时强制实施了15W的限制,那我的测试结果会完全不同。实际上,在多线程代码中,45W TDP Kaby Lake CPU通常仍然比15W Ice Lake CPU快。然而,在这个假设中,暂时将功能消耗提高到45W会让LCE LAKE把Kaby搞得一团糟,而且会让Surface Laptop 3好像看起来CPU效率提高了很多。

    但如果英特尔和微软早在2016年就开始以这种方式操纵基准测试结果,那么到2020年它们改变这种方法,将会使ICE LAKE比实际情况看上去要弱得多。一旦你开始对客户撒谎,一般情况下,你要么继续这样做下去,要么随着时间的推移慢慢放松限制,以一种足够循序渐进的方式,让人们意识不到发生了什么。

    像这样操纵测试结果总是适得其反,联发科技唯一能证明的是,它的工程团队无法如实地达到其他制造商的水平,因此必须通过作弊来弥补差距。如果一家公司在业绩上对你撒谎,那么它在其他任何事情上也会对你撒谎。

相关报告
  • 《联发科技试图在基准作弊指控尚未发布之前就予以反驳》

    • 来源专题:宽带移动通信
    • 编译者:张卓然
    • 发布时间:2020-05-23
    • 本周早些时候,我们报道了联发科技在其产品上所推出的令人震惊的新“基准作弊服务”(BCaaS)操作模式。今天,我们发现在Anandtech公布调查结果之前,联发科技就已经试图用自己的文章来反驳这一说法。 专家提示:如果一家公司在一本著名的刊物上在一篇文章产生影响之前对其发表了回应,那么他们一定是在试图用自己的方式抢占话语权以摆脱困境。 让我们仔细研究一下联发科技的声明,我将各种不诚实的陈述,虚假陈述和一些毫无根据的谎言都用斜体来标注。 “几乎每一款现代智能手机都被设计成在不同的环境下以不同的方式运行,这意味着设备已经过优化,可以根据正在运行的应用程序来调整电源和性能。联发科技以其智能节能创新而闻名,它涵盖了多种技术,用于动态管理设备的计算资源,以便提供一个持续的用户体验。这意味着,只有在必须获得良好的用户体验时,设备才会全速运转(这会消耗电池寿命)。” 这是一个谎言,Andrei Frumusanu一开始发现问题是因为他注意到了PCMark得分存在巨大差异(下图是在Oppo Reno3 Pro P95上运行的作弊和不作弊的结果): 非作弊得分是6781,而作弊得分是9048,或者在一个与任何人的“良好用户体验”毫无关系的应用程序中性能提高了1.33倍。实际上,对像PCMark这样的应用程序进行超频处理是非常糟糕的,因为PCM的全部目的是创建一个更逼真的测试环境,在这个环境中,延迟、加载时间等都将被记入结果。这并不意味着它像一些移动基准测试那样是一个严格的综合测试或单一功能测试。 “当运行最严格的应用程序时,我们的芯片组提供大功率,使人们可以享受更流畅的游戏体验,并从最新的AI应用程序中获得最大收益。另一方面,当你在做如查看电子邮件之类的轻任务时,我们的芯片组将在一个超省电模式下运行。” 联发科技可能指的是目前某些手机上所提供的“高功率”模式选项,但这与该公司正在超频的白名单是完全不同的功能。“高性能”模式是您在Android中能启用的一种功能,通常在单击后可能会一个对手机的电池寿命和SoC寿命产生影响的警告。此外,除非您的目标是依靠SoC的性能,否则所有列入白名单的应用程序都不是游戏或用户能“充分利用”的首选应用程序。 我加上了最后一句话,因为这句话不是谎言。在这种写作风格中,常见的公关策略是将公然的虚假陈述和明显真实的陈述混合在一起,半真半假。 “有趣的是,当在行业中广泛使用这些类型的配置时,我们确实发现AnandTech对联发科技电力设备的基准测试优化提出了质疑。如果他们审查其他设备,他们会像我们一样,看到我们的主要竞争对手的芯片组是以完全相同的方式运行——AnandTech会认为这是在设备基准测试中作弊。” 这段话的全部暗示言论都是谎话,在过去的7年里,Anandtech调查了华硕、荣耀、HTC、华为、谷歌、LG、摩托罗拉、Nvidia、三星和小米制造的设备上的移动基准作弊行为(不是每家公司都有自己的报道,也不是每家公司都作弊,但上面的链接涵盖了所有存在问题的公司的报告)。 有些公司比其他公司作弊更多,有些根本就没有被发现作弊。自从被发现作弊以来,三星和华为都已改正了自己的做法。 公司试图掩盖自己不当行为的最常见方式之一,就是声称调查人员有偏见、不称职,或两者兼而有之。在此,联发科技断然宣称Anandtech未能尽职调查,并暗示这是该网站发表了这篇烂文章的原因。他们不是坏人,确切地说——他们只是不了解移动行业的来龙去脉,或者公司实际上是如何开发产品的。“我们确实觉得这很有趣”这样的短语最好的地方在于,联发科技无法提出任何可以反驳的具体指控。“我们确实觉得这很有趣”的意思是“我们希望你相信我们的暗示,即Anandtech针对我们的理由是无效的,但你必须自己解释为什么会这样。”也许你会选择种族主义、沙文主义或专业无能,问题是,联发科技希望你能考虑一下。 我意识到很多人对公司沟通的细节不是特别感兴趣,这也是问题的一部分。联发科技知道,大多数人永远不会去进行一个调查,以查明它的反诉是否正确。它知道有许多人倾向于认为媒体即是错误的,并将站在公司的一边。它知道,提出歧视的想法将会引起自己客户群的共鸣,从而强调在中美关系日益紧张之际,美国网站是如何对中国公司挑刺的。 我认为很重要的一点是,我们要展示公司是如何通过真假参半的陈述来操纵围绕其产品的谈话的。在这种情况下,联发科技预先发表了对一篇它甚至没有读过的文章的回应,再加上对文章本身的仔细阅读,说明这篇博客文章中有多少是由虚假的声明所构成的。
  • 《移动公司将ARMv9芯片贴在5nm上》

    • 来源专题:宽带移动通信
    • 编译者:张卓然
    • 发布时间:2021-06-02
    • ARM客户已经使用Cadence和Synopsys的工具,利用新的ARMv9架构进行5nm和3nm设计 ARM客户使用Cortex-X2、Cortex-A710和Cortex-A510 CPU、Mali-G710 GPU和DynamIQ Shared Unit-110成功实现了5nm移动系统芯片设计。 作为合作的一部分,Cadence 设计系统对5nm和7nm工艺技术上的数字和验证全流程进行了微调,以支持带有RTL到GDS数字流快速采用工具包(RAK)的ARMv9体系结构。这一举措意义重大,因为ARMv9的大部分重点都放在使用Neoverse架构的数据中心的大型芯片上。Synsopsys工具也将设计提升到3nm。 开发ARMv9移动SoC的Cadence数字流程和相应的5nm和7nm RAK包括Modus DFT软件解决方案、Genus合成解决方案、Innovus实现系统、Quantus提取解决方案、Tempus定时结束解决方案和ECO 选项、Voltus IC电源完整性解决方案,共形等价检验和共形低功耗。 Cadence iSpatial技术提供了一个集成的、可预测的实现流程,因此用户可以更快地实现设计收敛。该流程还采用了分层技术,以帮助减少大型高性能CPU的设计时间。Innovus实施系统的GigaOpt功率优化功能显著降低了大型5nm芯片的动态功耗,而Tempus ECO选项使用基于路径的优化提供了结束精确的最终设计收敛。 Cadence还优化了其系统级验证IP(系统VIP)和验证全流程,以支持ARMv9 IP最新的AMBA互连协议。系统VIP扩展包括新的检查程序、验证计划和流量生成器,以有效地验证ARM移动SoC一致性、性能和ARM SystemReady合规性。 验证全流程为最新的ARMv9 IP提供最佳验证吞吐量,包括Cadence Xcelium逻辑仿真平台、钯 Z1和Z2企业仿真平台、Protium X1和X2企业原型平台、JasperGold正式验证平台、vManager规划和度量,以及Perspec系统验证器和虚拟系统平台。 Cadence高级副总裁兼数字与结束组总经理Chin Chi Teng博士表示:“Cadence与ARM合作开发了多代CPU和GPU,用于移动IP开发,我们的最新工作扩展了我们对最近推出的Armv9体系结构的支持。ARM使用我们的Cadence数字和验证全流程创新来开发其移动IP,随着ARM新CPU的推出,我们使客户能够实现PPA目标,加快设计定案时间,并提供系统就绪验证和早期软件启动。” 同样的芯片设计人员也在使用Synopsys 融合设计平台,包括用于5nm 设计定案和早期3nm设计的ARMv9芯片上的RTL设计师和融合编译器。其中包括融合设计平台、验证连续体平台和DesignWare接口IP。 Synopsys数字设计集团总经理山卡尔·克里希那摩西表示:“在这个知识驱动的世界,数据正成为一种日益增长的重要货币,其及时、高效和安全的处理对于塑造一个安全、信息杠杆化的未来至关重要。我们广泛的优化设计、验证、IP、软件安全和软件质量解决方案组合已与Arm进行了积极的联合优化,以支持基于Armv9体系结构的新一轮高价值应用程序,为可靠的、以电源为中心的性能建立新的基准。” Arm新移动解决方案的早期采用者正在使用Synopsys针对Arm优化的验证连续体平台解决方案,包括虚拟机开发工具包(VDK),其中Arm快速模型用于Cortex-X2、Cortex-A710、Cortex-A510 CPU和Mali-G710 GPU、VCS 仿真、用于软件和硬件调试的Verdi、Synopsys ZeBu服务器上AMBA验证IP和HAPS硬件加速了软硬件协同开发。