Backtest/Forward test ?

[djmanu]

Salut à vous,
Je suis actuellement dans la phase backtest de mes ea, le problème est que je ne sais pas comment organiser correctement mes backtests/forward test.
En effet, quand un backtest fonctionne bien sur 20 semaines par exemple, le foward test sur les 20 semaines suivantes foire généralement 9x sur 10.
Quelle période utiliser pour le backtest afin d'augmenter les chances en forward ? Combien de trades minimum ? Quel profit factor ? Quelle période de foward ? etc
Merci à vous,
Manu

[djmanu]

Sur 100 stratégies dont le backtest est profitable durant les 20 premières semaines de 2009, je n'en ai que 26/100 qui seront profitable durant les 20 semaines suivantes, je pense que ca en dit long sur l'utilité d'un forward testing ...
Mon soucis est de savoir comment faire des séquences BT,FT efficacement, dans mon cas, je pourrais par exemple prendre les 26 restantes et les forward tester sur 2008 mais je suis quasi certain qu'il me restera peut etre 6-7 stratégies profitables certainement du au hasard ... Cela ne m'aide aucunement pour savoir la probabilité qu'elle soit profitable dans le futur ...

[louprebel]

Te voilà donc en face de cette réalité.

Quelles conclusion vas-tu tirer de tes constatations ?

[djmanu]

Te voilà donc en face de cette réalité.

Quelles conclusion vas-tu tirer de tes constatations ?

Pour l'instant, que le fait qu'elles aient fonctionné durant une certaine période est du en large partie au hasard ...
Je vais tenter en augmentant la période de BT afin de voir dans quelle mesure le % de déchets en forward diminue, mon but étant de dépasser 50% ...

[gajelo]

Bonsoir,

Si je peux me permettre... tes périodes sont trop courtes pour juger sur des backtests. Pour bien faire il faut un recul de plusieurs années (à mon avis 3 ou 4 minimum), ça permet de voir le système traverser différentes évolutions de la paire.
une vingtaine de semaine ce n'est pas représentatif, tu peux tomber sur une bonne tendance qui te fera croire que ton système est superbe alors qu'ilsera incapable de gérer toutes les autres situations... ou inversement tu tomberas sur une phase de trading range te faisant rejeter un système que tu jugeras décevant alors qu'il serait capable de faire exploser le compteur de pips en dehors de cette période négative et être donc très rentable sur la durée avec un bon moneymanagement...


Ensuite tout dépend du type de système que tu testes... si c'est du scalp ou du très court terme (1 ou 5 min par exemple) et/ou que tu positionne des stop loss ou des take profit très petits (5 à 10 points par exemple) tu n'arriveras pas à répliquer ça dans la réalité...

Il faut bien avoir en tête plusieurs choses:
1/ Métatrader n'est pas vraiment réputé pour la fiabilité de ses backtests
2/ Les backtests ne tiennent pas compte des spreads, ce qui peux considérablement modifier les résultats dans le réel...

Et puis sur quelles données réalise tu tes backtests ? ... directement sur les données récupérées par le serveur de ta plateforme... souvent pas très fiable...

Quel est ton taux de modélisation ? ... inférieur à 90% ... pas réaliste...

En tout cas bienvenue dans les nuits blanches de la mise au point d' experts !...

[gregart]

Salut,

Gajelo bien répondu, maintenant une question: si tes backtests passent effctivement plusieurs années mais avec des réglages légérement différents comment t'y prend tu ? je me pose également la question, car si un EA passent plusieurs années, c'est rassurant, mais ça ne présage pas de l'avenir, je serais tenté d'optimiser quand même sur les 6 derniers mois. un avis ?

Bonsoir,

Si je peux me permettre... tes périodes sont trop courtes pour juger sur des backtests. Pour bien faire il faut un recul de plusieurs années (à mon avis 3 ou 4 minimum), ça permet de voir le système traverser différentes évolutions de la paire.
une vingtaine de semaine ce n'est pas représentatif, tu peux tomber sur une bonne tendance qui te fera croire que ton système est superbe alors qu'ilsera incapable de gérer toutes les autres situations... ou inversement tu tomberas sur une phase de trading range te faisant rejeter un système que tu jugeras décevant alors qu'il serait capable de faire exploser le compteur de pips en dehors de cette période négative et être donc très rentable sur la durée avec un bon moneymanagement...


Ensuite tout dépend du type de système que tu testes... si c'est du scalp ou du très court terme (1 ou 5 min par exemple) et/ou que tu positionne des stop loss ou des take profit très petits (5 à 10 points par exemple) tu n'arriveras pas à répliquer ça dans la réalité...

Il faut bien avoir en tête plusieurs choses:
1/ Métatrader n'est pas vraiment réputé pour la fiabilité de ses backtests
2/ Les backtests ne tiennent pas compte des spreads, ce qui peux considérablement modifier les résultats dans le réel...

Et puis sur quelles données réalise tu tes backtests ? ... directement sur les données récupérées par le serveur de ta plateforme... souvent pas très fiable...

Quel est ton taux de modélisation ? ... inférieur à 90% ... pas réaliste...

En tout cas bienvenue dans les nuits blanches de la mise au point d' experts !...

[djmanu]

Merci gajelo, je ne backtest pas avec MT4 & je compte le spread réel sur des données ticks + un slippage moyen.
Je pense que le danger c'est de réoptimiser un forward test mais dans ce cas, quelles périodes utiliser pour ses BT/FT ?
Est-ce que la solution est de prendre une période tendance & une range au hazard pour optimiser & de forward tester ensuite sur plusieurs années ?

[gajelo]

Bonjour,

D'abord quelques explications sur ma manière d'aborder le forex et les experts pour bien comprendre mes réflexions, d'autres pouvant bien entendu avoir des idées forts divergentes, tout dépend de ce que l'on cherche...

Pour ma part, je trade à horizon moyen terme, c'est à dire que je cherche à développer régulièrement et sur la durée un capital... donc:
=> Pas de recherche de performances extraordinaires du type 50 ou 100% rapides...
=> Des positions basées sur du Daily et/ou du weekly et pas de scalp ou d'intraday.

En ce qui concerne ma perception d'un EA ce n'est pas pour moi un robot qui va trouver par magie la manière de me faire riche en quelques jours... en réalité je commence par mettre au point une méthode de trading à la main.
Toujours basée sur des règles simples... et même parfois simplistes... généralement breakout et prise de tendance. (parfois une petite touche de volatilité)
Une fois que je suis capable de gagner de l'argent en tradant à la main (d'ou la nécessité d'avoir des règles simples et pas des usines à gaz impossibles à gérer manuellement), je travaille avec des experts qui vont simplement me permettre d'automatiser mes calculs manuels, et de backtester sur plus longue durée la méthode.

Donc pas d'optimisation, je fixe dès le départ des points qui me vont psychologiquement: assez larges pour laisser respirer la paire et pas trop éloignés pour ne pas prendre trop de risque...
Par exemple je vais fixer un Stop Loss vers 40 ou 50 pips sur de l'EURUSD.
Puis comme je veux toujours prendre un take profit avec un niveau plus large que le stop loss (ainsi même avec un taux de réussite un peu inférieur à 50% je peux rester gagnant à terme... pas besoin de chercher une méthode qui ne perd jamais !... ce qui n'existe pas...), je vais fixer par exemple le TP à 50 ou 60 pips (en général je prens 1.25 / 1.5 fois le niveau de SL pour fixer le TP)

C'est alors que je fais un premier backtest sur les 2 premières années de ma base de données (2005 et 2006)
En fonction des résultats je vais affiner les SL et TP mais de manière empirique (par exemple si j'avais un SL à 40 et un TP à 60, je vais essayer un Sl à 50 et un TP à 75, soit un TP à 1.5 fois le SL...) et je regarde à nouveau...
si ça me semble relativement correct je confirme en passant au backtest sur les 2 années suivantes (2007/2008) pour voir si ça continue à marcher avec ces réglages.
Je "navigue" un peu comme ça... si je tourne trop en rond et que ça ne me va pas... j'abandonne et je reprend ma méthode de trading pour voir comment l'améliorer... si ça me convient sur les 4 ans, je valide les choix.

Vient ensuite la partie la plus importante: le réglage du money mangement...
Grace aux backtests j'ai pu vérifier que le système tient à peu prés la route sur la durée... mais ce qui va m'intéresser maintenant le plus n'est pas combien il aurait gagné... mais combien il aurait pu perdre !...
En fonction de ça je vais établir mon plan de gestion du capital et déterminer le % de risque que je vais accepter de prendre sur chaque position pour pouvoir passer sans encombre les pires périodes rencontrées...

Je refais alors les backtests avec le moneymangement activé pour voir enfin ce que pourrait être capable de faire le système sur plusieurs années...

Dans la mesure du possible je cherche d'autres paires avec lesquelles le système conviendrait, l'idéal étant de pouvoir travailler sur plusieurs paires en même temps (ne pas oublier bien sûr d'adapter le moneymangement...)
il est plus simple d'arriver à gagner 10% par an et par paire sur 4 paires que 40% par an sur une seule paire...

Une fois que tout me convient, je passe en forward test en lançant sur plusieurs mois des comptes démos chez des brokers différents...

Enfin si ça tient la distance je passe en réel...

Sachant que le forward test est régulièrement moins bon que les backtests et que le réel est à son tour moins brillant que la démo...

Déjà un système qui a passé tous ces tests, qui est capable de gagner de l'argent sur plusieurs années de backtests avec des réglages basiques non-optimisés, sur des paires différentes, et chez divers brokers... est déjà bien armé pour traverser pas mal d'aléas du marché... il ne reste plus aprés qu'à lui faire confiance, y aller doucement et laisser le temps faire son travail.

Ne pas être trop gourmand... et surtout bien protéger son capital...
Commencer à éviter de perdre avant de penser à gagner...
Ne pas oublier non plus que l'overtrading est un des (nombreux) facteurs de perte du trader...

Je tourne actuellement avec principalement 2 systèmes:
1 weekly sur 4 paires sur lequel j'ai entre 0 et 4 signaux par semaine ...
1 daily sur 2 paires sur lequel j'ai souvent des jours sans aucun point de pris...
mais les 2 systèmes me font gagner de l'argent progressivement...

Bons trades à tous !...