バックテストはカーブフィットの影響を受けている為、そのまま評価するのは危険であり、
カーブフィットをできるだけ除去した厳しいリスク評価を提案しました。（リスク評価を参照）
この記事では、『バックテスト』と『厳しいリスク評価』の比較を行います。
Contents
比較条件
バックテストは、単一通貨ペアでしか評価する事ができない為、比較は単一通貨ペアとしました。
比較条件を以下としました。
EA ： Light - α
通貨ペア ： GBPJPY（成績がよい通貨ペア）
期間 ： 2007年 ～ 2017年（10年間に統一）
運用 ： ①単利、②複利の2ケース
初期資金 ： 10,000ドル（100万円）
損切 ： ①単利（200ドル）、②複利（2％）
（両者のリスクを比較するだけなので、条件設定に特に拘りなし）
バックテスト結果
単利
複利
厳しいリスク評価
厳しいリスク評価
±20％の範囲でパラメータをランダムに変化させた50ケースから推測
50ケースのトレードを時系列にランダムに組み替えた10000ケースから確率を算出
上記のランダム化の目的は、以下の通りです。
・パラメータのランダム化 ： リスク評価を厳しくする
・時系列のランダム化 ： リスクを確率で表現する
それぞれのランダム化の影響/効果を確認する為、以下の4つで比較を行います。
単利
それぞれの結果を以下に示します。
理解しやすくする為、以下は円表記（1ドル＝100円換算）とします。
結果を以下に示します。
① バックテスト結果
＊利益： バックテストの純益に対応します。
＊DD ： バックテストの最大ドローダウンに対応します。
② パラメータの組換え（パラメータのみランダム）
③ 時系列組み替え（時系列のみランダム）
④ 厳しいリスク評価（パラメータ、時系列ともにランダム）
平均値を比較すると
①バックテスト、②パラメータランダム、③時系列ランダム、④パラメータ/時系列ランダム
利益： ①120万円、②91万円、③142万円、④107万円
DD ： ①23万円 、②31万円、③18万円 、④22万円
簡単にまとめると、以下の通りです。
・パラメータのランダム化（①⇒②）で、バックテストよりもドローダウンが大きくなる（23万円⇒31万円）。
・時系列をランダム化（①⇒③）で、バックテストよりもドローダウンが小さくなる（23万円⇒18万円）。
・最終的なリスク評価（①⇒④）で、②と③により中和される（23万円⇒22万円）
時系列のランダムにより、リスクが緩和されてしまっています。
複利
複利も同様に、３つの条件で比較を行いました。
① バックテスト結果
＊利益： バックテストの純益に対応します。
＊DD ％ ： バックテストの相対ドローダウンに対応します。
② パラメータの組換え（パラメータのみランダム）
③ 時系列組み替え（時系列のみランダム）
④ 厳しいリスク評価（パラメータ、時系列ともにランダム）
平均値を比較すると
①バックテスト、②パラメータランダム、③時系列ランダム、④パラメータ/時系列ランダム
利益： ①209万円、②135万円、③306万円、④185万円
DD ： ①21％ 、②27％、③17％ 、④20％
簡単にまとめると、以下の通りです。
・パラメータのランダム化（①⇒②）で、バックテストよりもドローダウンが大きくなる（21％⇒27％）。
・時系列をランダム化（①⇒③）で、バックテストよりもドローダウンが小さくなる（21％⇒17％）。
・最終的なリスク評価（①⇒④）で、②と③により中和される（21％⇒20％）
単利の場合と同様、時系列のランダムにより、リスクが緩和されてしまっています。
時系列のランダム化について、もう少し検討する必要がありそうです。
問題点の整理
『バックテスト』と『カーブフィットの影響を除去する厳しいリスク評価』の比較を行いました。
バックテストは単一通貨ペアでしか評価できない為、単一通貨ペアでの比較を行いました。
評価結果
・ パラメータのランダム化により、バックテストより厳しいリスク評価が可能
・ 時系列のランダム化により、バックテストよりリスクが緩和されてしまう
『時系列のランダム化』の過程で、リスクが緩和される事が問題となります。
『時系列のランダム化』を廃止すると、厳しい評価は可能ですが、確率的な評価の精度が甘くなります。
確率的な評価を諦め、『時系列のランダム化』を抜くべきか、さらなる検討が必要となりました。
なぜ、時系列のランダム化により、リスクが緩和されるのか？
なぜ、時系列のランダム化により、リスクが緩和されるのでしょうか？
2つの仮説を立てました。
①バックテスト結果は、時系列を並べた1例に過ぎない。時系列ランダム化により緩和される場合もあれば、厳しくなる場合もある。
②バックテスト結果は、時系列も重要であり、悪い傾向は続くもの。時系列ランダム化すると緩和される場合が多い。
いずれの仮説（①、②）にしても、単一通貨ペアで検証を行ったために、平均値との乖離が生じた可能性が考えられます。
そこで、単一通貨ぺでではなく、通貨ペアを分散した場合やシステムを分散した場合は、時系列ランダム化の影響が小さくなる事が考えられます。
次回、分散化したシステムで、時系列ランダム化の影響について検討します。
まとめ
『バックテスト』と『カーブフィットの影響を除去する厳しいリスク評価』の比較を行いました。
バックテストは単一通貨ペアでしか評価できない為、単一通貨ペアでの比較を行いました。
評価結果
・ パラメータのランダム化により、バックテストより厳しいリスク評価が可能
・ 時系列のランダム化により、バックテストよりリスクが緩和されてしまう
『時系列のランダム化』の過程で、リスクが緩和される事が問題となります。
仮説として、単一通貨ペアで検証を行った為に、バックテストと時系列ランダム化（平均値）に差が生じた可能性が考えられます。
そこで、次回、分散化したシステムで、時系列ランダム化の影響について評価する事としました。
ちなみに次回の結論は、以下の通りです。
『分散化しているLightシリーズでは、時系列ランダム化による影響はなく、本手法で厳しいリスク評価が可能』
