在PC和移动行业中,基准测试中出现的作弊情况是一个棘手的问题,但到目前为止,作弊服务通常也仅限于能在不同公司片上系统的代工厂中实施。联发科技显然已决定简化这一过程,并一直在销售固件中内置基准测试作弊功能的设备。
这是Anandtech的说法,该公司一直在对这个问题进行调查。该站点的调查发现了来自多个不同制造商的设备,每个设备都有一个类似的Power_Whitelist_CFG.xml文件,其中装载了相同的应用程序。Anandtech提供的证据表明,这些文件来自联发科技,并合并到片上系统BSP(板支持包)中,片上系统BSP被定义为“软件层包含硬件特定的驱动程序和其他例程。”
这种作弊服务有很多令人不安的方面,从2016年开始,作弊服务就开始运行,它也出现在包括索尼等公司的许多设备上,它影响了各种测试,包括最近的人工智能测试,并且包括了我们以前没见过作弊的公司的应用程序。因为这种类型的作弊服务是通过排除热量和功率限制,让片上系统失效来实现的,所以也存在让电池更快退化和过热的风险,而不会带来实际的性能提升。记住——这不是一家公司为提高你正使用的应用程序的性能而内置的功能。它的目的是欺骗您,让您认为应用程序中的性能收益大于实际情况。
作弊服务的问题
联发科技对Anandtech的回应不过是自相矛盾地半承认自己有罪,该公司声称其设备“符合公认的行业标准”,测试在最大时钟和功率消耗下运行,没有在其他任何情况下也能适用的热限制,目的是为了能“展示芯片组的全部功能”。
这个事实是,现代移动设备受到热量的限制,它们通常只能在短时间以升压时钟来运行。但是,对智能手机进行基准测试的目的不仅仅是测试底层组件(如CPU、GPU或AI协处理器)的个体性能。进行这些比较的目的是为了能让终端用户整体了解手机的使用体验。
这也适用于PC组件,大多数时候,人们认为评论是基于基准测试结果编写的。评审员在各种测试中评估性能,然后根据不同硬件在各种指标中的比较情况编写评审。这基本上是正确的,但事情还有另外一面:审阅者还试图找到基准,以记录使用该设备的体会。
例如,想象一下,在运行流行的基准测试时,一个GPU被设计成需要使用一组散热和功率规程,而在运行最流行的游戏时需要使用另一套规程,这是为了能使它在性能上更接近竞争对手。这打破了基准测试的全部宗旨和目的:实际上,它不会再告诉您有关使用手机的丰富体验的任何有价值的信息。
联发科技的回应是:“我们认为,在基准测试中展示芯片组的全部能力与其他公司的做法一直,并为消费者提供了准确的设备性能图。”
第一句话可能是真的,但第二句肯定不是。这种欺骗的目的是让客户对设备性能有不准确的认识。
这种作弊的主要问题之一是,一旦你开始作弊服务,就很难停止。举个例子,看看我们最近对Surface Laptop 3的回顾。7700HQ(TDP为45W法人2016年四核Kaby Lake)与Core i7-1065G7(TDP为15W的2020年四核Ice Lake)之间的相对CPU性能是7700HQ在多线程方面始终保持更快的速度的原因。这要归功于更高的TDP,但在单线程测试中它们仍然落后于其他较新的芯片。
现在,想象一下英特尔和微软允许Surface Laptop 3在与其他芯片进行测试时暂时将TDP的最大功耗提高到45W,而在正常使用时强制实施了15W的限制,那我的测试结果会完全不同。实际上,在多线程代码中,45W TDP Kaby Lake CPU通常仍然比15W Ice Lake CPU快。然而,在这个假设中,暂时将功能消耗提高到45W会让LCE LAKE把Kaby搞得一团糟,而且会让Surface Laptop 3好像看起来CPU效率提高了很多。
但如果英特尔和微软早在2016年就开始以这种方式操纵基准测试结果,那么到2020年它们改变这种方法,将会使ICE LAKE比实际情况看上去要弱得多。一旦你开始对客户撒谎,一般情况下,你要么继续这样做下去,要么随着时间的推移慢慢放松限制,以一种足够循序渐进的方式,让人们意识不到发生了什么。
像这样操纵测试结果总是适得其反,联发科技唯一能证明的是,它的工程团队无法如实地达到其他制造商的水平,因此必须通过作弊来弥补差距。如果一家公司在业绩上对你撒谎,那么它在其他任何事情上也会对你撒谎。