自分で作ったものは、自分では疑いにくい
半年で約40台のEAを作り、約200回のバックテストを回しました。
実弾まで残ったのは1本です。残り全部を捨てました。
捨てる過程で、いちばん手こずったのは計算でも実装でもありません。
自分が作ったものを、自分で疑うことでした。
具体的には、こういうことが4回ありました。
PF 3.06 が出た → 原因はデータの出どころ（日足の区切り時刻）だった → PF 0.89
PF 2.02 が出た → ロット計算が未来の価格を使っていた → PF 0.84
p 0.0001 が出た → 儲けの89〜100%が1つの時間帯から出ていた → −0.01R
p 0.0001 が出た → 自分が書いた「見送り」ルールが負ける足を消していた → −0.03〜−0.04R4件とも、先に良い数字が出て、原因は後から見つかりました。 順番が逆だったことは一度もありません。
そして4件を並べると、ひとつ気づくことがあります。
バグが全部、こちらに有利な方向に倒れていました。
偶然ではないと思います。不利な方向に倒れたバグは「成績が悪い」ので、
その時点で捨てられます。バグに気づかないまま捨てている。
生き残って「採用候補」まで上がってくるのは、有利な方向に倒れたバグだけです。
つまり、自分が見ている「出来すぎた数字」は、
バグの中から有利なものだけが選抜された結果ということになります。
だから「まずバグを疑う」は、心構えではなく確率の話でした。
では、何を見れば疑えるのか
自分の検証で使っている観点を6つに固定しました。
どのEAにも同じ基準を使います。EAごとに基準を変えないことが大事です。
1. 大きい勝ちを数件除いたとき、合計がマイナスに転じないか
利益の多くが少数の大勝ちから出ているなら、それは「再現する性質」ではなく
「その期間にたまたま大きく動いた」かもしれません。上位の数件を抜いて、残りを見ます。
2. 最適化で試した設定の数を踏まえても、偶然と区別できるか
100通り試して一番良いものを選べば、何も予測していなくても良い数字は出ます。
試した回数を申告しないと、この補正ができません。
3. 前半と後半、どちらの期間でも成り立っているか
全期間で最適化した設定が全期間で良いのは当然です。
期間を割って、片側だけで成り立っていないかを見ます。
4. 買いと売りの片側だけで稼いでいないか
片側だけが稼いでいる場合、ルールの力ではなく
相場全体の上げ（下げ）を測っていただけのことがあります。
5. 取引の順番しだいで、ドローダウンがどこまで膨らみうるか
同じ取引でも、並ぶ順番が変われば最大の落ち込みは変わります。
「実際に起きた順番」だけを見ると、運が良かった分を見落とします。
6. 実際の口座のコストで、利益が残るか
私の口座では、30分足の値幅に対する往復コストが
FX で24〜65%、金・米国指数・日経で9〜11% でした。
回数の多い戦術ほど1回の値幅が小さく、コストの比率が上がります。
他人に点検してもらう意味
この6つは、自分でもできます。やり方は解説書にまとめました。
ただ、自分でやると「この条件は例外にしていい気がする」が必ず出てきます。
私自身、4回やりました。結果を見たあとで基準を動かしたくなるのは、悪意ではなく普通のことです。
第三者に出す意味は、技術ではなく基準を動かせなくすることにあります。
点検サービスをやっています
MT5のストラテジーテスターのレポートをお預かりして、上の6つで点検し、
所見書にまとめてお返しします。
- EAバックテストの頑健性を第三者が点検します ／ ¥14,800（税込） https://skijan.com/ja/skill/4344 レポート最大3本・所見書PDF（4〜6ページ）・3営業日以内に納品
EAのプログラム本体（ex5 / mq5）は不要です。レポートだけで点検します。
自分で点検したい方向けに、点検ツールと解説書のセット（¥4,980）も
GogoJungle で用意しています。
🔴 判定の基準は固定で、どのご依頼にも同じ基準を使います。
結果が良くなかった場合に、結果を変えることはできません。
それが第三者に出す意味だと考えているためです。
※ 本記事は特定の金融商品の売買を勧誘するものではありません。
数字はすべて筆者の口座・筆者の検証条件での実測です。
点検は過去のバックテストの統計的な性質を調べるもので、
将来の運用成績を保証するものではありません。
コメント(0)