近期，iPhone 6s 的 A9 芯片，因台积电以及三星版本差异，吵得不可开交。从现行的跑分软件来看，可以明确地发现两者在相同的情况下，有着明显的电池续航力差距。苹果也针对此事进行回应。但是网络上已经有相当多以 Geekbench 做电池续航力测试的影片，证据就在眼前，为何苹果会故我的如此说明？在本篇中，将不考虑换机所造成的成本负担，以工程的角度来看一下现行跑分软件的测试方式与问题。
跑分软件（Benchmarks），是用来衡量硬件效能的标准之一。目前手机上常见的软件有 Antutu、Geekbench 等软件，各自皆有其测量的方法以及依据。因此，不同厂牌的手机在使用不同的跑分软件时，会有不同的优劣差异。
Benchmarks 测试基准有别
Benchmarks 可以分成 4 种不同的类型，第一种是开发者内部测试用的，简单但大致只有 100 行左右的程式码。第二种是将部分程式的核心功能取出，做为测试的样本。第三种则是模拟真实的应用程序，借由统计应用程序会使用的功能，尽可能的逼近使用习惯。最后一种则是以实际程式做为测试。
目前，最准确的跑分方式是以使用者常用的软件做测试，因为这种机制可以最贴近使用者的使用行为，像是直接以播放 YouTube 和使用通讯软件做测试依据。然而，要逐项检测相当耗费时间，而且在背景执行的程式多寡也会影响实际结果。背景运行的程式主要有像 Line 这类需要定期确认新讯息的通讯软件等。此外，在使用者行为测试上也相当困难，毕竟目前没有一个公开的使用者习惯，缺乏测量依据。
因此，主流的测试软件是第二种以及第三种类型。以 Antutu 为例，Antutu 算是第二种 Benchmarks，因为它是评估几项会大幅影响效能的核心程式，在 Antutu 中主要有 5 个不同的测试，分别为使用者体验、CPU、RAM、GPU、IO 这 5 项测试，后面 4 项是个别测试，以检测不同元件间的效能差异，至于使用者体验则是总和检测，它会测试多工处理的能力以及应用程序运行的顺畅度。
然而，这几项检测组合起来，只是提供各类别效能上限的依据，无法完整的模拟使用者的使用情形，毕竟每一个应用程序对硬件的负担都不同，同时使用某几种程式，加起来有可能超出一些硬件的效能上限，形成瓶颈，但其他的单元却静止不动。因此，Antutu 跑分出来的结果只能说明个别硬件的效能，无法保证整体运作的流畅度。
至于本次出尽风头的 Geekbench 呢？在其官网上无法得知其相关细节，他们只说该测试可以模拟真实世界，并提供多平台的测试。而且，在测试时，我们只会看到一整面白的屏幕，没有其他画面。测试结束后，就直接得到一串数字，究竟以何做评量标准我们完全无法得知，整项测试都是黑箱作业。
然后测试结束后就给你数字，说 A>B，这也就是为何 Apple 会出来反驳这样的跑分测试，无法真实的反映手机效能，宣称他们用了错误的测试方法，单纯把 CPU 效能调到最高来量测电池使用时间，完全不符合现实状况，并声明两个处理器版本的 iPhone 在续航力的能力上只有 2~3% 的差异。
测试项目未能印证使用现实
在其他更新的测试中，也可以发现台积电版的 A9 芯片在续航力方面确实优于三星版，但是没有到 20% 那样巨大的差异。比较准确的测量，或许是以实际消费者的使用行为去模拟，像是以 YouTube 播放影片 2 小时左右，或其他使用行为，评估电量的消耗。
至于 Apple 的 2~3% 差异是如何获得的？合理推测是 Apple 以内部的使用者行为进行分析。在开始使用 Apple 商品时，都会有使用者条款中就有一项可寄送相关使讯息给 Apple，以供协助改善产品。借由这个方法就能合法获得使用者使用习惯。因此，Apple 所公布的差距有其可信性。但是这个差距只会符合普通使用者的行为，不考虑极端情况。
最后，整个事件下来，或许该不单讨论台积电和三星的制程的优劣，毕竟 Apple 也已经公布两者约有 2~3% 的差异，承认两者的差异。反而跑分软件的适用性才是最该讨论的却无人提及，Geekbench 和 YouTube 影片播放的结果落差，显现出目前跑分软件根本无法做公正性的评估，我们只能借由跑分软件知道硬件的使用极限而非实际情形。以现行的跑分软件测量软件，就像是以百米短跑筛选马拉松选手，和现实脱节。
▲ 在 Geekbench 的官网上，没有任何资讯，只有几行简单的描述，严重缺乏详细的工程细节。（Source: Geekbench）
至于这次事件会如何结束，就看 Apple 的危机处理能力如何了。做为一般的消费者，是该买杯珍奶、吃鸡排，看戏啦。
（首图来源：Flickr/TechStage CC BY 2.0）
延伸阅读：
- 只是个偶然，iPhone 6s 处理器侦测软件 CPU Identifier 开发历程
- iPhone 6s 芯片门持续延烧，新测试显示耗电差异仅 3% 内
- 苹果：台积电和三星代工的 A9 性能无差异
