Metatrader, backtest ou comment perdre son temps !

[Guonzo]

Bonjour à tous,

ce post va être un coup d'épée dans l'eau dans le sens ou beaucoup connaissent déjà le phénomène mais je suis tombé sur un cas d'école qui illustre bien ce dernier.

Ci joint vous avez deux résultats d'une même stratégie (cf. screenshot).

Cette dernière est assez simple et est basée sur le concept de contraction de range (appelée selon certains auteurs mode ressort ou zone vide). On détecte une zone de range ou le marché s’essouffle et on prend position lorsque le marché reprend de sa vigueur. La position doit ensuite être suivi pour profiter au maximum du mouvement (ou sortir rapidement). Il n'y a aucun money management.

Mais bon, ce n'est pas la stratégie qui est intéressante mais le résultat des backtest. C'est la même stratégie testée avec les mêmes conditions initiales en termes de base de données, broker et de période. Et l'on voit des résultats totalement différents.

Cet écart ? Le test gagnant est réalisé en semaine, alors que le test perdant pendant le week end. La différence: à mon sens le spread... Voilà qui a le mérite de faire réfléchir tout ceux qui font leurs backtests le week end.

@+, Guonzo.

[abrikabrac]

Salut Guonzo,
Ben oui, c'est évident vu que le WE le spread peut augmenter de 20 ou 30 pips(4 digits) sur les paires.
Dans ton cas, le spread était de 5 pips environ de plus lors du WE...

Par contre, il y a deux choses que je ne comprends pas:

- Il n'y aucune position short.
- le nombre de trade n'est pas le même.


Une seule solution pour les backtests de WE, se déconnecter avant de lancer la plateforme pour garder en mémoire le spread de semaine

A+

[Guonzo]

Salut Abrikabrac,

Il n'y aucune position short.

A des fins de debug je désactive les prises de positions short (ou réciproquement). C'est plus facile pour détecter les problèmes. Par ailleurs pour certains signaux les statistiques ne sont pas les même en fonction des biais haussiers ou baissiers du marché. J'ai donc pris l'habitude de faire deux études (long et short) pour une même stratégie.

Et dans l'absolue il n'y a aucune règle qui dit qu'un système doit systématiquement intervenir dans les deux sens .

le nombre de trade n'est pas le même.

Là tu es attentif. C'est normal car le système ne prend jamais plusieurs positions en même temps. En période de range il peut y avoir plusieurs fois le même signal d'entrée pour la même période détectée.

Si le système prend position, il ne reprendra plus position pendant toute la durée du trade. Si, à cause du spread plus élevé, on est sorti de la position alors que la période de range n'est pas encore fini (exemple d'un mauvais timing) il n'est pas impossible que le système reprenne encore position .

Donc on peut se retrouver avec un seul signal d'entrée qui est suivi correctement jusqu'au bout. Ou si les conditions sont dégradées avoir plusieurs signaux perdants sur la même période. (C'est typiquement ce qui se passe.)

Une seule solution pour les backtests de WE, se déconnecter avant de lancer la plateforme pour garder en mémoire le spread de semaine

Très bonne idée.

Cordialement, Guonzo.

[vamm972]

il existe aussi un script qui fixe le spread ( très pratique pour les bt )

spread generator

avant de dire que les bt ne servent à rien il faut apprendre à les faire et à les comprendre

[Guonzo]

Salut,

il existe aussi un script qui fixe le spread ( très pratique pour les bt )

spread generator

avant de dire que les bt ne servent à rien il faut apprendre à les faire et à les comprendre

je prends la remarque directement pour moi en tant qu'auteur du post : cela fais près de 4 ans que je backtest des systèmes (mes propres systèmes) et un peu moins de 2 ans que j'en fais fonctionner en réel : jamais je n'ai prétendu que backtester ne servait à rien. Je voulais juste attirer l'attention (parce que je suis tombé par hasard sur un cas flagrant) au débutant (et je l'ai dis dès la première phrase de mon post que le phénomène est connu) que l'on peut perdre du temps à mal interpréter un résultat parce que les conditions d'exécution du système ne sont pas normés (enfin, je ne l'ai pas dit clairement, mais c'était sous entendu).

Autrement Vamm, merci pour spread generator, je ne connaissais pas.

Cordialement, Guonzo.

[cajuncailloux]

Maintenant, est ce qu 'une qualité de modelage de 90 pourcent, est assez fiable pour se baser dessus? On m 'as tjs dit qu 'il fallait 99 pourcent, avec des historiques importée, et que les données inclues dans MT4 à l 'origine faussaient complètement les résultats. C 'est d'ailleurs une des raison pour laquelle je pense à une autre plateforme, plus orientée backtest. Corrigez moi si je me trompe. Et aussi, si quelqu 'un sait comment importer ses données correctes dans mt4, merci de l 'expliquer clairement.Pour info, lors d'un séminaire à bxl, organisé par un brokerdont je tairai le nom , un' spécialiste ' mt4 de chez eux a voulu m 'en importer , et il n 'as meme pas réussi. Pas très clair tout çà....

[Guonzo]

Maintenant, est ce qu 'une qualité de modelage de 90 pourcent, est assez fiable pour se baser dessus? On m 'as tjs dit qu 'il fallait 99 pourcent, avec des historiques importée, et que les données inclues dans mt4 à l 'origine faussaient complètement les résultats.

Bah, il n'y a pas de généralités (pas plus que l'inversion d'un système perdant est lui aussi perdant. Ce sont des généralités attives affirmées par des gens qui ont essayé et qui se sont arrêtés aux premiers résultats mais qui n'ont pas cherché à étudier en tant que tel le phénomène. J'ai travaillé le sujet pendant un mois ou deux et je me suis rend compte que les choses ne sont pas aussi simples).

Concernant la qualité de la modélisation voilà mon expérience. Je travaille avec 2 brokers, Alpari UK et FXCM. J'ai vu des systèmes tenir 6 à 8 ans en backtest sur Alpari et s'effondrer lamentablement sur FXCM en moins de 3 ans. Une analyse fréquentielle des deux cours sur la même période montre que sur FXCM il y a beaucoup plus de bruit en raison de la très forte liquidité du broker (que n'a pas Alpari)(Se référer également à l'expérience de Pierre Orphelin décrite dans son livre à ce sujet). J'ai déjà vu aussi des systèmes qui tiennent sur Alpari et FXCM (en backtest toujours). Pour l'instant je n'ai jamais vu de système qui tiennent sur FXCM et qui ne tiennent pas sur Alpari. Dans tous les cas bien sûr on est à 90% de qualité.

Et en fait en réfléchissant un peu on se rend compte que le résultat dépend de la qualité et de la robustesse de la stratégie plus que de la qualité de modélisation du cours. Une bonne stratégie est robuste par nature. Une bonne stratégie de suivi de tendance sera peu sensible à la modélisation alors qu'une mauvaise stratégie de scalping au pips prêt sera forcement dépendante du modelage. C'est toi qui construit la stratégie c'est donc à toi de faire ce qu'il faut. Il n'est pas la peine de défausser son incompétence sur la qualité du modelage.

Et en pratique les profils de performance des systèmes que j'ai moi même mis au point ont toujours été identiques en mode réel à ce que j'ai pu obtenir en mode démo. Mais voilà, les profils de performances ne me conviennent pas, mais ça c'est une autre histoire !

Cordialement, Guonzo.

[vamm972]

Salut,



je prends la remarque directement pour moi en tant qu'auteur du post : cela fais près de 4 ans que je backtest des systèmes (mes propres systèmes) et un peu moins de 2 ans que j'en fais fonctionner en réel : jamais je n'ai prétendu que backtester ne servait à rien. Je voulais juste attirer l'attention (parce que je suis tombé par hasard sur un cas flagrant) au débutant (et je l'ai dis dès la première phrase de mon post que le phénomène est connu) que l'on peut perdre du temps à mal interpréter un résultat parce que les conditions d'exécution du système ne sont pas normés (enfin, je ne l'ai pas dit clairement, mais c'était sous entendu).

Autrement Vamm, merci pour spread generator, je ne connaissais pas.

Cordialement, Guonzo.

autant pour moi désolé

[vamm972]

Maintenant, est ce qu 'une qualité de modelage de 90 pourcent, est assez fiable pour se baser dessus? On m 'as tjs dit qu 'il fallait 99 pourcent, avec des historiques importée, et que les données inclues dans mt4 à l 'origine faussaient complètement les résultats. C 'est d'ailleurs une des raison pour laquelle je pense à une autre plateforme, plus orientée backtest. Corrigez moi si je me trompe. Et aussi, si quelqu 'un sait comment importer ses données correctes dans mt4, merci de l 'expliquer clairement.Pour info, lors d'un séminaire à bxl, organisé par un brokerdont je tairai le nom , un' spécialiste ' mt4 de chez eux a voulu m 'en importer , et il n 'as meme pas réussi. Pas très clair tout çà....

la meilleure plate forme pour les bt c'est sans conteste amibroker , mais c'est ultra complexe et pas beaucoup de doc

[vamm972]

Bah, il n'y a pas de généralités (pas plus que l'inversion d'un système perdant est lui aussi perdant. Ce sont des généralités attives affirmées par des gens qui ont essayé et qui se sont arrêtés aux premiers résultats mais qui n'ont pas cherché à étudier en tant que tel le phénomène. J'ai travaillé le sujet pendant un mois ou deux et je me suis rend compte que les choses ne sont pas aussi simples).

Concernant la qualité de la modélisation voilà mon expérience. Je travaille avec 2 brokers, Alpari UK et FXCM. J'ai vu des systèmes tenir 6 à 8 ans en backtest sur Alpari et s'effondrer lamentablement sur FXCM en moins de 3 ans. Une analyse fréquentielle des deux cours sur la même période montre que sur FXCM il y a beaucoup plus de bruit en raison de la très forte liquidité du broker (que n'a pas Alpari)(Se référer également à l'expérience de Pierre Orphelin décrite dans son livre à ce sujet). J'ai déjà vu aussi des systèmes qui tiennent sur Alpari et FXCM (en backtest toujours). Pour l'instant je n'ai jamais vu de système qui tiennent sur FXCM et qui ne tiennent pas sur Alpari. Dans tous les cas bien sûr on est à 90% de qualité.

Et en fait en réfléchissant un peu on se rend compte que le résultat dépend de la qualité et de la robustesse de la stratégie plus que de la qualité de modélisation du cours. Une bonne stratégie est robuste par nature. Une bonne stratégie de suivi de tendance sera peu sensible à la modélisation alors qu'une mauvaise stratégie de scalping au pips prêt sera forcement dépendante du modelage. C'est toi qui construit la stratégie c'est donc à toi de faire ce qu'il faut. Il n'est pas la peine de défausser son incompétence sur la qualité du modelage.

Et en pratique les profils de performance des systèmes que j'ai moi même mis au point ont toujours été identiques en mode réel à ce que j'ai pu obtenir en mode démo. Mais voilà, les profils de performances ne me conviennent pas, mais ça c'est une autre histoire !

Cordialement, Guonzo.

du même avis
mes bt je les fais sur fxpro, fxopen , lite forex , et quand la stratégie est bonne les bt ne sont pas très différents , ensuite la confirmation en live est indispensable et dans mon cas aussi conforme aux bt , mais bien sur je ne fais pas de scalping , c'est du suivi de tendance