測定方法の概要
コントローラー基板に電子回路を接続し、Aボタンを入力すると同時にLEDが点灯するように設計する。
ハイスピードカメラでLEDとゲーミングモニターを撮影し、LEDが光ってから画面に入力が反映されるまでのコマ数を数える。
この計測で測定されるのは、
-
コントローラーの処理時間
- ゲーム内部の処理時間
- モニター内部の処理時間
- モニター液晶パネルの応答時間
の合計である。
計測回数は100回以上を目安とし、それらの平均を取って測定結果とする。
データ解析には、手動・自動の2種類の方法がある。
実験の設計などで異なる部分については別々に解説する。
使った機材
回路設計
共通
コントローラー基板の各ボタンに対応する位置には、分断された電極がある。
ボタンが押下されて導電性ゴムが電極に接触すると、通電してボタンが入力されたと処理される。
この検証では2つの電極にそれぞれ導線を接着し、導線を通して通電させることでボタン入力する。
LEDとコントローラー基板を並列に繋いだ電気回路を設計する。
電気回路がONになると、LEDとコントローラー基板が同時に通電する。
コントローラー以外の回路の応答時間は考慮しない。
↑ GCコン・Switchプロコンの接続。導線はテープ+洗濯バサミで固定。導線の正極・負極の向きも適切に配線する必要がある。
回路：手動解析用
コントローラー側の抵抗R2はコントローラーに応じて調整が必要。
適切な抵抗を使わないと、スイッチを入れてもボタンが反応しなかったり、全く別のボタンが押された扱いになったりする。
なお、適切な抵抗値に幅があるコントローラーについて、抵抗値は応答速度に明白な影響を及ぼさないことを確認している。
回路：自動解析用
- 点灯時間：約0.069秒
- 消灯時間：約0.638秒
の周期で回路をオン/オフさせる。合計周期の精度は±0.02秒程度だった。
コントローラー側の抵抗は適宜調整する。
撮影
共通
LED点灯および画面応答をカメラの1つの画面に収めて動画撮影する。
＜ゲーム側の設定＞
- ピカチュウの弱攻撃
- 75m終点化
- トレモのカメラ「もっとアップ」設定
ピカチュウの弱攻撃は
- キャラの色が背景色（黒）と大きく違っていて見やすい
- 1F目から姿勢が大きく変わる
- 全体Fが短く、続けて測定しやすい
といった理由により、測定に適している。
無線コントローラーの測定時には、他の機器によるノイズを極力抑えるように努めた。
当方の測定環境でノイズになりそうなものは以下の通り。
- 近くに起動状態のPCがある（周辺機器は全て有線接続）
- 隣室から無線LANが飛んでいる
撮影：手動解析用
240fpsカメラで、画面全体+LEDを写す。
手動でスイッチを入/切し、10回×10セットを基本に撮影。
↑ 撮影の様子。
撮影：自動解析用
1000fpsカメラで、モニターの一部だけをアップで撮影する。
撮影する位置は毎回同じになるよう努める。
回路を自動で入/切させ、約1000回の測定を1~4セット録画する。
↑ 撮影の様子。
映像解析
カメラで撮影した映像を解析して、応答時間を算出する。
解析は、手動（目視）もしくは自動（プログラム）で行う。
手動解析
撮影した動画をAviutlで読み込み、コマ送りでLED点灯とモニター応答の時間差（コマ数）を数える。
LEDが光ったコマを基準とし、その何コマ後にモニター画面に変化が現れるかを記録する。
画面の変化は
全て目視
で判断する。
LEDは、少しでも色が変化したら「光った」とみなす。
モニター画面は、ピカチュウの体の黄色い部分に少しでも変化が見られたら「切り替わった」とみなす。
↑ 手動解析の手順。図の27コマ目の変化は分かりづらいが、コマ送りで見ると前コマとの差が識別できる。
映像解析補正について
自動解析の理論の方が正確であるという見解に基づき、
自動解析と結果が揃うように補正をかける。
揃える対象としたのはGCコンの数値。
その結果、通常の測定では0.36F, 携帯・テーブルモードでは0.39Fを測定結果から引くこととなった。
|
+
|
2019/8以前の補正方法 |
本検証では、計測結果の平均から0.15F (2.5ms)を引いた値を応答速度の推定値としている。
スマブラでは垂直同期が有効であるため、画面は必ず上方から、1Fかけて画面下部まで切り替わる。
理論上は画面一番上のピクセルが変化する瞬間を画面の切り替わりとするべきである。
しかし、ピカチュウの体の黄色い部分は、画面縦方向1080pxのうち上部の約150pxには映らない。
↑ 立ち状態のピカチュウ。
最も高い位置にある黄色い部位は耳の先端で、上から約150px。
したがって、本記事の方法では画面上部約1/7に起こる変化を観測することが不可能である。
これはすなわち、
画面の応答を約1/7F≒0.143Fだけ遅く見積もってしまう
ことを意味する。
さらに、実際の目視判定では1px単位の画面変化には気付けないため、実際の見積もり時間はもっと遅くなる。
ここでは読み取りに0.15Fの遅れがあるとみなし、これを測定結果から引くことにした。
また、携帯・テーブルモードの検証では、計測結果の平均から0.18F(3.0ms)を引いた値を応答速度の推定値としている。
TVモードでは画面は上方から変化するが、
携帯モード・テーブルモードでは画面右方から変化する。
映像処理で注目するのは、
左を向いたピカチュウのしっぽ
である。
変化を観測できないのは画面右部約1/6なので、見積もりの遅れは約1/6F≒0.167F。
目視判定の遅れを考慮し、補正は0.18Fとした。
|
自動解析
解析プログラム
↑ 撮影の様子（再掲）。
解析プログラムは、
- LEDがある領域（赤枠）の輝度が上がったらLED点灯
- ピカチュウ頭の領域（青枠）の輝度が下がったら画面応答
というように設計した。
画像読み込みにはPythonのcv2.VideoCaptureを使用した。
周期性の分析には、高速フーリエ変換（Pythonのscipy.fft）を使用した。
映像解析補正
青枠の上端は画面上方から約1/4の位置にある（上から約270px）。
したがってこの方法では、
画面の応答を約1/4Fだけ遅く読み取ってしまう
。
この影響を取り除くため、計測結果の平均から0.25Fを引いた値を応答速度の推定値とした。
手動解析と自動解析の関係性
順序的には、シンプルな手動解析でしばらく検証を進め、正確さと効率向上のために自動解析を開発したという経緯がある。
現状では手動・自動のデータが混在しているので、結果の提示にあたっては
両者の整合性
を第一に考える。
ここでは前述の通り、GCコンの測定結果が揃うように自動解析の数値に合わせる。
それぞれの理論に基づいて解析・データ補正を行うと、自動は手動よりも約0.2F早い結果を出す。
主要因は、プログラムによる画像解析で目視では気付けなかった輝度変化を拾えていること。
とはいえ少々差が大きすぎるように思われるので、今後も議論が必要である。
また手動→自動の移行に伴い、カメラを替えてフレームレートを上げたことで、測定間のバラつきが目に見えて小さくなった。
理論的には、バラつきは240fpsでも十分小さいはずなのだが…。
カメラのフレームレートの安定性に差があるのかもしれない。
データ処理
計測したN個のデータから、平均・標準偏差・標準誤差を次のように計算した。
平均(mean) = sum(data) / N
標準偏差(stdev) = sum((data-mean)^2) / N
標準誤差(sterr) = stdev / sqrt(N)
その後、平均に対して上述の映像処理補正をかける。
周期性の分析
無線コントローラーの応答速度は、周期約500秒・変化幅約0.3Fで周期的に変化する。
この性質は、検証に用いた無線コントローラー全てに共通して見られる。原因は、
- SwitchもしくはBluetoothの通信規格
- 測定環境に固有のノイズ
にあると考えられる。
測定環境を変えた
遅延検証＠オフ会場
でも同様の周期変化が確認できたので、可能性が高いのは前者。
この応答速度の周期性は、以前に原因不明と判定した測定のずれを説明可能である。
|
+
|
参考：以前の考察 |
2019/1/2
以下のコントローラーは、
複数回の計測結果が標準誤差の範囲で一致しなかった。
- TNS-1724
- CYBER無線
- SN30Pro
- 携帯モード
これらについては2~3回の計測を平均した結果を掲載した。
2019/2/8
GCコンやSwitchプロコン有線でも、複数回の検証結果が95%信頼区間（2σ）を超えて乖離するケースが確認された。
一番差が開いている結果の差（50or100回の平均）は、GCコンで0.1F程度、Switchプロコン有線では0.2F程度である。
ちなみに上述の無線コントローラーでは、0.2~0.3F程度の差が認められる。
いずれも測定方法は特に変更していない。
本章で列挙した要素で説明できる範囲をはるかに超える誤差であるため、未知の誤差要因があるのではないかと思われる。
コントローラーの接続数・登録数も変えて検証してみたが、有意な差は見られなかった。
2019/7/25
映像自動解析によって試行回数Nを200~500回程度に増やせるようになったが、それでも異なる測定同士の大きな乖離が発生。
1000fpsカメラでもこのずれが発生するかどうかを検証すべきか。
参考
ストリートファイターⅤでは「50秒の周期で入力遅延が4~7Fの間を変化する」という仕様が指摘されたことがある。（
参考記事
現在はアップデートで改善）
本検証で確認された差はここまでの幅ではないが、ソフトまたはハードの処理時間にゆらぎが存在する可能性はある。
|
↑ 無線接続したSwitchプロコンのデータ。
左：応答速度の時系列データ（平均との差を描画）。右：フーリエ変換による周期成分抽出。
一方、測定結果によっては、500秒周期に匹敵する強度を持つ周期成分（数秒～数十秒）が存在する。
しかし今のところ測定間・コントローラー間の共通性が見出せないため、詳しい議論は避けている。
周期性を有する場合に正確な応答時間を得るためには、計測時間を周期の定数倍にするのが望ましい。
しかしながら数十分程度の検証では、500秒前後の周期の長さを正確に求めるにはデータ長が不足している。
不正確な周期に基づいて下手にデータを切り取ると、別の長周期の変化を見落としてしまう可能性がある。
そのため今回は暫定的に、最低でも500秒×3周期分の測定時間を確保した上で、データを加工せずに平均を取った。
また有線コントローラーでも、異様にはっきりした周期性や異常な推移をする測定区間が突発的に見られることがあった。
原因はコントローラーと回路の一時的な相性不良、電気回路の点滅周期の不定性などが考えられる。
再現性が無く、結果の正確性を損なう可能性が高いため、これらの異常があった場合には回路を調整して再測定した。
↑ 左：TNS-901, 右：GCコン。いずれもデータは破棄。
誤差の議論
この節では計測結果に誤差・バラつきを与える原因を取り上げる。
240fpsカメラで10回×10セット=100回の測定を行ない、映像を手動解析する場合を考える。
コントローラー・ゲーム機の特性
ハードウェアの処理・通信速度自体のバラつき。
他の外的要因を全て除いたときに残るのがこの誤差である。
とりわけ標準偏差が他と大きく異なる場合は、コントローラーの特性由来のばらつきだと考えてよい。
標準偏差が大きいコントローラーは接続や処理が不安定な傾向にあると言える。
今回はAボタンのみの検証だが、同時押しやスティックを併用した場合、処理時間にばらつきが出るかもしれない。
カメラのフレームレート
実験装置によって生じる誤差。理論的には、平均値に与える影響は±0。
カメラのフレームレートを上げるか、測定回数を増やすことで誤差の振れ幅を小さくできる。
しかし結論から言うと、240fpsどころか
60fpsのカメラでも有意義な結果を出すことは可能
である。
240fpsのカメラでは、発生した現象をカメラが捉えるまでに0 ~ 0.25 Fのラグが発生する（一様分布。平均0.125F）。
LED（開始時刻）とモニター（終了時刻）の両方をカメラで計測するため、両者のラグは全体としてキャンセルされる。
カメラのフレームレートに依存する誤差の大きさを推定する。
LEDは、100回の点灯のたびにラグの値が一様ランダムに決まり、それらを均したものが誤差の振れ幅となる。
モニターについては、撮影1セットごと、計10回分の一様ランダムなラグを均す。
一様分布は 1/12*(b-a)^2 の分散を持つ。
本項の誤差幅は、一様分布100個/10個の和の標準誤差と考えることができる。
分布和に対し中心極限定理が適用できると仮定すれば、誤差幅は
LED撮影：± sqrt(0.25^2 /12 /100) ~ 0.0072 F
モニター撮影：± sqrt(0.25^2 /12 /10) ~ 0.023 F
撮影合計： ~ ± 0.024 F （誤差伝播則）
と求まる。これは他の要因による誤差に比べて小さい。
ゲーム・モニターのフレームレート
ゲーム及びモニターの画面更新周期で生じる誤差。
影響は平均で+0.5Fで、測定回数を増やせばその振れ幅を小さくできる。
ボタン入力などの情報は、ゲームのフレームレートである1フレームの周期でしか画面に反映されない。
例えば、1.00~1.99フレームの間に届いた入力は全て2フレーム目の画面に表示される。
このように任意のタイミングのボタン入力は、ゲーム機に届いてから画面に反映されるまで+0~1Fのラグが必ず発生する。
そのため、ゲーム画面を撮影orキャプチャして計る場合、応答速度は系統的に+0.5フレーム遅く計測される。
本計測では、この0.5フレームの遅れは補正せず、結果に含めて表示している。
どんな機器を使っても、60fpsのゲームを遊ぶ以上必ず発生するラグだからである。
この誤差幅については、+0~1Fの一様分布が100回観測されることから、カメラのフレームレートと同様の議論で
モニター：± sqrt(1^2 /12 /100) ~ ± 0.029 F
となる。
コントローラーのサンプリングレート
コントローラーがボタン入力信号を受け付ける周期。
遅延の性質としてはゲーム・モニターのフレームレートと同種で、見かけ上はゲーム・モニターのフレームレートと区別できない。
サンプリングレートがゲームのフレームレートの整数倍である限り、ゲーム・モニターのフレームレートと一括りで考えてよい。
例えばGCコンのサンプリングレートは120fpsで、ゲームのフレームレートのちょうど2倍である。
参考：
スマブラDX対戦攻略指南 コントローラ入力のサンプリングレート
映像記録のミス
＜手動解析の場合＞
映像の変化を目視で読み取る際の人為的なミス。
240fpsでは、LEDの点灯を見落とすことはまずない。
一方モニターは映像の小さな変化を見落とす可能性がそれなりにあり、100回中1~3回ミスが発生してもおかしくない。
モニターの見落としは、応答速度が遅くなる方に働く。
1コマ分（0.25F）のミスが多めに見積もって5回あるとすると、平均ではおよそ+0.0125Fのエラーが出ることになる。
＜自動解析の場合＞
画面や周囲の明るさなど、明度に関する検証環境の違いがアルゴリズムの検出精度に影響を及ぼす可能性がある。
検定について
コントローラー遅延検証のページにおける「統計的に」や「有意な」などという表現は、統計学的な分析に基づいている。
分析には標準誤差のほか、
コルモゴロフ–スミルノフ検定（KS検定）を用いた。
KS検定は、「2つのデータがどのくらい似ているか」を"p値"として出力する。
p値は0以上1以下の値を取る。通常、p値が0.05を下回れば、2つは十分に異なる（＝性能に差がある）とみなされる。
※ここでは大雑把な説明にとどめています。
参考までに、いくつかの測定結果の組に対してKS検定を適用した結果を以下に掲載する。
下に行くほどp値が小さく、分布の異なり具合が大きい。
| 項目1 |
項目2 |
p値 |
| GCコン1月 |
GCコン6月 |
0.8756 |
| GCコン |
SwPro無線 |
0.8020 |
| GC4台黒端子 |
GC4台黒灰端子 |
0.6766 |
| CYBER無線 |
CYBER無線USB |
0.3439 |
| GCコン |
HORIコン |
0.1703 |
| SwPro無線 |
Joy-Con |
0.0356 |
| SwPro無線1月 |
SwPro無線6月 |
10^(-21) |
コメント
最終更新：2019年08月16日 03:42
