2016年4月19日火曜日

第78夜 1に検証、2に検証

▼検証以前の話
高尚な理論でも、当たらなければ役に立たない。
巷間では、そのように一蹴する傾向がある。
競馬予想では、プロセスより結果を求められていることは間違いない。
占いだろうが、出目理論だろうが、勝てば官軍負ければ賊軍なのである。
ただ、なぜ当たらないのかを調べることは、価値があるように思う。
足りない点を見つける過程で思わぬ発見をすることもあるのだ。
しかし、競馬予想の「誤った」理論の多くは、検証不足であるように思う。
検証不足と思われる話では、予想理論構築に用いたサンプル数が小さい、検証期間が短い、といった共通点がある。
平地競走を年間3400競走、平均出走数13頭と仮定すれば、年間延べ44200頭が出走していることになる。
アンケートなどでは、仮に総数を1万件として、400件ほどのサンプル数があれば、許容誤差5%、信頼レベル95%を達成できる、つまり全数検査をしなくてもおおよそのことはわかるそうだ。
これらの数字をみていると、アンケートよりも正確を期したい予想理論にしては、あまりにも理論構築の算出根拠のサンプル数が少なくないか、と感じられるものが多いように思うのである。
また、こうした話では、検証期間も数日や長くて数か月程度であることが多い。
運良く期間中良績を残しても、長期的に成績を維持できるかどうかはわからない。
こう考えると「全数検査」が良いように思うのだが、検証の問題が残る。
何年も検証に費やす時間はないのだ。
そこで、標準的で手早く十分な検証を行なう方法を次項に示したい。
この種の統計を取り扱う人には当たり前らしいが、わたしたち素人にはよく知らないことである。
▼検証の方法
例えば、前走の着順が2着で上がり3ハロンが速かった馬は、次走で1着になるという理論を思いついたとしよう。
仮に、過去5年間のデータベースがあるとする。
まずは、データをABと半分に分割する。
分割はランダムに行なう。
データベースAを用いて、前走の着順と上がり3ハロンが速かった馬の勝率を求めると25%くらいの数字が得られたとする。
まずは上手くいった。
今度は、これをデータベースBでどのような結果になるか検証する。
同じような結果であれば、検証は成功したと言える。
反対に著しく乖離しているようなら、例えデータベースBの方が良績であっても、検証は失敗となる。
たったこれだけの作業である。

▼オーバーフィッティングを越えて
検証して上手くいかなかった場合には、「オーバーフィッティング」となっている可能性がある。
オーバーフィッティングとは、過剰適合と訳されるもので、サンプルデータの特徴を過度に取り入れているということだ。
この場合、データベースAのデータの特徴を生かし過ぎた理論になっていて、データベースBには通用しなかったのである。
オーバーフィッティングは、要因の数が多い時や、要因を複雑にしているときに起こりやすい。
1勝以上の牡馬で、武豊騎手が連続して騎乗し、京都か阪神の芝1600メートル」なんて複雑な設定をしていると起こりやすいということである。

1に検証、2に検証
実践している人はよくご存知だが、良い結果はなかなか出ない。
投げ出したくなるかもしれない。
しかし、検証作業は意外に手軽である。
そして、検証に耐えてこその理論である。
面倒でも、検証を疎かにせず、必勝理論を探そう。
まずは、オーバーフィッティングを乗り越えていきたい。
(SiriusA+B)

ブログ アーカイブ