中国のパフォーマンス計測で私たちが間違えた8通り——そしてなぜそのうち7つが自分たちを良く見せたのか

当社は中国配信インフラを構築・運用しているので、他人のものではなく自分たちの計測が必要でした。上海にヘッドレスブラウザを立てるのは半日で済みました。公表する気になれる数字を得るには、はるかに長くかかりました——パフォーマンス計測がネットワークについて前提とすることの大半が、中国の国境では成り立たなくなるからで、しかも分かりやすい形でではありません。誰もが遅延の高さは予想します。自分たちのツールの土台にある障害の算術が、そっと機能しなくなることは、ほとんど誰も予想しません。

これは、何が間違ったかのリストです。直し方ではなく失敗のほうを公表します。その理由は最後に戻ってきます。

まず全体像が見えるよう、リスト全体を先に示します。右端の列が重要な部分です——これらの誤りのほぼすべてが、結果を私たちの望んだ方向へ押しました。

#	何を間違えたか	誤りが結果をどちらへ押したか
1	ブラウザがキャンセルしたリクエストをネットワーク障害として数えた	当社に不利
2	一度も応答されなかったリクエストをまったく数えなかった	当社に有利
3	誤りが互いに独立だと仮定した	当社に有利
4	コンテナにエラーページを配信させたまま残したデプロイ	当社に有利
5	データセンターの場所をIP位置情報に頼った	中立、しかし信頼性には致命的
6	プローブを一方のエンドポイントと同じネットワークに置いた	当社に有利
7	「到達可能」を「使える」の意味であるかのように扱った	当社に有利
8	単一サンプルから結論を導いた	予測不能

1. キャンセルされたリクエストは失敗したリクエストではない

何が起きたか。 当社のリソース集計は、ブラウザが完了しなかったリクエストをすべて失敗として数えていました。最初に計測したサイトの一つは、0.4秒で完全なページを返し——そしてリソース損失率は100%でした。

なぜ間違いだったか。 net::ERR_ABORTEDは、ブラウザがリクエストをキャンセルしたという意味です。ナビゲーションがページを置き換えた、使われなかったプリロード、リダイレクトが発火した——ネットワークのイベントではまったくありません。ERR_BLOCKED_BY_ORBも同様で、これはブラウザのセキュリティポリシーです。これらを本物のネットワーク障害に混ぜると、公表するあらゆる損失の数字が水増しされます。

なぜ見逃しやすいか。 何もエラーになりません。数字が得られ、その数字は中国にとってもっともらしく、あとは確証バイアスが仕事をします。私たちが気づいたのは、0.4秒と100%損失が両方とも真であることはありえないからにすぎません。

どちらへ誤るか。 当社に不利——これはインターネットを実態より悪く見せました。8つのうち、そうしたのはこれだけです。

2. 壁はたいていパケットを落とす。拒否はしない。

何が起きたか。 （1）を直したあと、到達不能な第三者ホストの集計はゼロと出ました——同じページ読み込みで、埋め込み動画とフォームの検証ウィジェットが両方とも失敗しているのに。

なぜ間違いだったか。 ブロックされたリクエストは、しばしば何のイベントも生じません。接続のリセットもタイムアウトのエラーもloadingFailedもなし。リクエストはただ発行され、決して応答されません。エラーイベントを数えるものは何であれ——ブラウザの開発者ツールの障害カウンターを含め——何もブロックされていないと報告します。

なぜ見逃しやすいか。 これは中国を計測することとほかのどこかを計測することの、最も重要な違いであり、派手に失敗するネットワークしか計測したことがなければ見えません。ふつうのネットワークでは、配信できないホストはそう言ってくれます。

どちらへ誤るか。 当社に有利——最適化していないベースラインを実態よりずっと健全に見せます。

3.（1）を直したことが（2）を見えるようにした

これらはチェックリスト上の8つの独立した項目ではありません。誤りの分類を正したことが、沈黙の障害の問題を浮かび上がらせたのです。キャンセルされたリクエストのノイズが取り除かれるまで、そのゼロは目の前に隠れていました。

このパターンは繰り返されました。下の誤りのいくつかは、先の誤りを直して初めて見えるようになり、そのうちの一つは別の一つを能動的に覆い隠します。それがこの作業の実際の形です——半日で片づけられる落とし穴のリストではなく、相互に作用する一連の障害モードで、それらに出会う順番はほとんど運次第なのです。

4. 配信し続けた、削除済みのディレクトリ

何が起きたか。 再デプロイが美しい結果を生みました——3つの配信経路のうち2つが突如、約200ミリ秒で読み込みを完了し、3つ目はなお時間切れになりました。

なぜ間違いだったか。 それらは153バイトのエラーページを配信していました。デプロイスクリプトが、走っているコンテナがマウントしていたディレクトリを削除して作り直し、コンテナは削除された元のほうを指し続け、何も配信していませんでした。200ミリ秒の「ページ読み込み」はエラー文書でした。

なぜ見逃しやすいか。 計測は正常に完了しました。私たちが見ていた層ではステータスコードも問題なし。望んでいたとおりの結果を生みました——それこそ、最も疑うべきときです。気づいたのは、埋め込み動画を含むページが200ミリ秒で読み込まれることは、どこでも、決してありえないからです。

どちらへ誤るか。 当社に有利、劇的に。これは公表された嘘になっていたでしょう。

5. IP位置情報はデータセンターのある場所ではない

何が起きたか。 3つの独立したIP位置情報サービスが、当社のプローブ対象は北京にあると一致しました。クラウドプロバイダー自身のインスタンスメタデータは、張家口だと言っていました——別の都市で、およそ200km離れ、別の省です。

なぜ重要か。 公表するあらゆる数字は、その計測場所を背負います。「北京から計測」は事実の主張であり、読者が権威ある情報源と照合して間違っていれば、他に書いたすべても疑わしくなります。

どちらへ誤るか。 中立、しかし信頼性には致命的。

6. どこから計測するかが勝者を決める

何が起きたか。 ニアショアの配信経路を中国国内の経路と比較しました。中立な第三者ネットワークから計測すると、中国国内の経路は最初のバイトまでの時間で1.19倍速でした。中国国内の対象と同じクラウドプロバイダー上に座るプローブから計測すると、同じ比較は2.82倍になりました。

なぜ間違いだったか。 一つのプロバイダーのネットワーク上の2台のマシン間のトラフィックは、そのプロバイダーの内部バックボーンを通り、実際のユーザーが通る公衆の中国インターネットには一切触れません。当社の比較の両端はたまたま同じプロバイダー上にあったので、そのプロバイダー上のプローブは一方に自陣の優位を与え、同時に他方に不利を課したのです。

なぜ見逃しやすいか。 プローブに関して何も間違って見えません。正しい国にあり、実在のネットワーク上にあり、安定した数字を返します。歪みはまるごとルーティングの中に潜んでいます。

どちらへ誤るか。 当社に有利——自社の看板となる差を倍以上にしました。

7.「到達可能」と「速い」は別の問いである

何が起きたか。 さまざまな第三者ホストが中国の内側から到達可能かを、リクエストしてステータスコードを確認することでテストしました。いくつかはおよそ100ミリ秒で返ってきたので、利用可能と記録しました。

なぜ間違いだったか。 それらは小さな応答でした。同じホストの一つから実在のアセットをリクエストすると、それは14.9 KB/sで届きました——到達性チェックが示唆した値よりおよそ3桁低いスループットです。ホストは応答します。ただ配信しないのです。

なぜ見逃しやすいか。 当社のものを含め、あらゆる到達性ツールは二値を報告します。その二値は正しかった。同時に、無用でした。

どちらへ誤るか。 当社に有利——最適化していない経路が、そうでないのに機能しているように見えます。

8. 単一の計測は計測ではない

何が起きたか。 同じアセットを同じ経路で、10分間隔で2回計測しました。最初のサンプル：最初のバイトまで449ms、5.5 MB/s。2回目のサンプル：最初のバイトまで3,135ms、43 KB/s。同じファイル、同じ経路、同じプローブ、同じ午後。

なぜ間違いだったか。 中国の越境スループットは1日の中で2桁以上変動します。実務者は、劣化するのは夕方だと言うでしょう——断続的に到達可能になり、やがて遅くなる。単一サンプルの数字は、それが取られた瞬間の産物であり、日次の平均を報告することは、そこでサイトを運用する人にとって最も重要なまさにそのパターンを消してしまいます。

どちらへ誤るか。 たまたまサンプリングした方向へ。それが問題なのです。

---

このリストが本当に語っていること

これら8つの誤りのうち7つが、自社の配信製品を実態より良く見せました。直したのは、自分を良く見せる計測は、計測がないよりも価値が低いからです——「どう計測したのか」と最初に尋ねる調達チームは、私たちが見つけたものを見つけ、公表した他のすべてもろとも崩れます。

しかし、直し方ではなくリストを公表する理由はもう一つあります。

どれも奇抜なものではありません。どれも、同じ計測を十分な回数、十分な条件で走らせれば矛盾が現れ始める、その類のものです——0.4秒で読み込まれリソースの100%を失うページ、動画が再生されないのにブロックされたホストがゼロのページ、埋め込み動画を含むページの200ミリ秒の読み込み。誤りが自ら名乗り出るのは、数字がどう見えるべきかをすでに知っている場合だけです。

その知識は技法ではありません。繰り返し間違えてきたことの残滓であり、だからこそ障害モードを精密に描写でき、だからこそ最初の試みは、違う順番ではあれ、やはりその大半に当たるのです。

自社サイトを中国の内側から計測しているなら、このページで最も有用なのは項目2です——自分のツールが、失敗したリクエストとは区別して、一度も応答されなかったリクエストを数えているかを確認してください。 ほとんどのツールはそうしておらず、その2つの数字の差が、たいていは物語のすべてです。

次に計測すること

5つの第三者リソースのカテゴリにわたる24時間のサンプリング実行。直接と当社ネットワーク経由を比較し、平均ではなく中国現地時刻の時間帯ごとに分解します——項目8で述べた夕方の劣化を特徴づけるためです。その後、同じ参照サイトを、データセンターではなく中国のオフィスのブロードバンド回線から計測します。データセンターの国際トランジットは実在のユーザーが持つものよりも実質的に良く、これまで公表してきたすべての数字は、したがって最悪値ではなく下限だからです。

どちらの結果も、当社に有利でない部分も含めて、ここで公表します。

自社サイトが今まさに中国本土の内側から何をするかを見たければ、当社の中国ファイアウォールテスト（英語）と中国スピードテスト（英語）はどちらも本土の内側のプローブから走ります。そして中国の内側から配信されること自体が直し方かどうか気になるなら、それも計測しました：そうではありません。