硬是要學

觀點/談談跑分:單一指標造成的集體盲目現象

「跑分」是對手機性能評估非常傳統的方式,雖你我手上拿著的是號稱「智慧手機」,但在跑分這件事情上卻一點也不智慧,業界反而抱著傳統思維的大腿不放,是讓人覺得匪夷所思的地方。但或許是因為分數能獲得曝光,讓大家默認了這一條行規,直到最近的「華為跑分」事件,又讓這件事情被搬上檯面。

對於行動裝置有限的運算性能和電源,各家手機廠無不絞盡腦汁透過各種機制來判別關閉不必要的 APP,除了減少電源耗費外,也可以將效能集中在需要運算性能的 APP 上,讓使用者感覺續航更長、操作更順暢,因此華碩手機有「電池達人」、三星有「裝置維護」、Sony Mobile 有 STAMINA … 等這些內建於手機中的 APP,就是基於實現這個目的而產生的。

▲圖/Anantech

不過時間久了,有廠商發現只有「節流」是不夠的,必須想辦法「開源」才能讓使用者不只是感覺手機不卡頓,甚至要有「升級」的感覺,因此華為推出業界第一個「GPU Turbo」技術對需要大量使用 GPU 的遊戲進行動態超頻,讓玩家有感升級;而華碩也在近期推出的 ROG Phone 中使用與高通合作的特選版 Snapdragon 845,藉由較高時脈 (或稱體質較好) 的處理器來提升運算性能。而這兩個代表作也確實成功的把手機設計的邏輯推向另一個領域,性能競賽比的是 40 公里的馬拉松,而不只是 100 公尺的短跑。

再來談談跑分吧!

在第一段我就提到「跑分一點也不智慧」這件事,是因為傳統跑分為了要讓分數有一致的參考依據,通常不能接受手機對跑分軟體在運行期間做任何的最佳化,否則就會視為作弊而被移出排行榜。這對於喊得蠻天價響的「智慧手機」和「AI」是多麼諷刺的一件事情!?

當 Apple 導入 Core ML、Android 導入 TensorFlow 等機器學習框架 (Framework) 到行動端時,卻不允許機器基於學習或判斷結果去調配運算性能,一味地躲在「可控制環境」的背後尋求跑分最高潮,換來的又是什麼呢?還記得多年前 Intel 推出 Hyper-Theading 時有多少人在酸 Intel 作弊嗎?時間也證明 Intel 當初這個關鍵的決策是正確的。

十年風水輪流轉,轉的不只是風水,轉的也是使用者對「跑分」的觀感。以前因為應用少、運算效能有限,單一指標做為評鑑標準是可被接受的。但到了智慧型裝置的時代,使用情境、安裝的 APP、使用方式都對手機的使用體驗有重大影響,所以「跑分不等於體驗」的呼聲也日漸升高,消費者也可以感受到相近的硬體規格在不同廠商的調校下會有顯著的差異。

不只手機,家電行業也是如此

跑分的問題不只在手機上發生,如空氣清淨機產業常使用的 CADR (潔淨空氣輸出率) 也面臨同樣的問題,要拉高這個數字其實並不難:使用大功率馬達、選用更高等級的濾網,這些在供應鏈上都相當容易取得,且幾乎不需要太多成本就能達成,於是一些號稱大 CADR 的空氣清淨機橫空出世。

但從現實面來看,CADR 值是在一個完全無障礙、密閉無通風對流的環境下測得,相較於一般環境有裝潢、家具擺設、寵物、室外空汙等干擾因素的環境,CADR 值對於空氣品質甚至生活品質的改善並無法直接劃上等號。它的存在應該當作一般電器標示的 “額定功率” ,而不應做為空氣清淨機的評鑑標準。

雖然 UL 移除了華為三款手機在 3D Mark 的 SlingShot Extreme 測試項目的排行,但在華為和 UL 溝通後,UL 也並未反對華為動態調度手機資源的用意,並且承諾願意最佳化跑分測試標準,以滿足行業、媒體及消費者的需求。同時 UL 也承諾將在華為開放「性能模式」讓用戶自行選擇後即恢復華為相關裝置的跑分數據排行。

Exit mobile version