CPUやGPUが世代交代すると、さまざまなメディアがこぞってベンチマーク結果を公開します。
しかし、そこで示された数字が「使用感」とリンクしないのは、PCゲーマーの多くが理解していると思います。ではなぜ公開ベンチマークは信用できないのでしょうか。
比較環境が異なる
公開ベンチマークにおける最も大きな落とし穴は「環境の違い」です。
例えば、メモリの動作周波数や、ストレージ・GPUの性能などが異なる場合はこれに該当します。また、マザーボードに搭載されている特定の機能(メモリクロックをあげるXMPなど)をオンにしたり、オフにしたりして、環境を変えていることもあります。
PCの性能は単一のパーツではなく、周辺環境を含めた総合値で決定するため、ベンチマーク結果はこれらを十分に考慮しなくてはなりません。
特に汎用的なベンチマークソフトではなく、ゲームタイトル別のベンチマークソフトではこの傾向が強いでしょう。
マルチスレッドの対応状況が異なる
これは特にCPUのベンチマークにおいて言えることです。CPUは主に「シングルスレッド性能」と「マルチスレッド性能」で評価されます。
特に注意すべきなのが「マルチスレッド性能」で、ベンチマークソフト(もしくはゲームタイトル)がマルチスレッドに対応しているか否かで、結果が大きく変わってきます。
例えば「バイオハザード5」は最大8スレッドに対応している一方、「FF11」は2スレッドまでにしか対応していません。ゲームタイトルによってこれだけの差があるうえ、対応しているスレッド以上の性能は評価されにくいのです。
ベンチマーク特化チューニングの存在
簡単に言うと「ベンチマークソフトで良い結果がでるような仕様」のことですね。かつてインテルとAMDがCPU開発競争を繰り広げた時代には、「ベンチマーク特化仕様」が話題になりました。
明確なソースが無い噂レベルのものから、技術的な仕様に基づいた指摘まで、多くの議論が交わされたのを覚えています。
「インテル+nvidia」は常に「AMD(+Radeon)」を大きく引き離すものの、実際の使用感ではそこまでの差がないことから、ベンチマークに疑問を感じる人が増えたわけです。
ただし、本当にベンチマーク特化仕様があるのかは不明です。ベンチマーク結果はパーツの売上に大きく影響するため、各社ともできるだけ良い結果が出ることを望んでいます。
最近ではCore i9 9900KとRyzen 7 2700Xの比較において、テスト方法に不備があったことが明らかになりました。これを受けて再度ベンチマーク比較を行った結果、両者の性能差がかなり縮まった(50%から12%に減少)という報告があります。
ベンチマーク結果はもちろん重要な情報ですが。しかし実際の「使用感」は、数字と切り離して考えたほうが良いかもしれませんね。