Optimisation des backtests

[TAAD]

Bonjour,

Je lance actuellement des backtest avec optimisation de 2 paramètres.
MT4 calcule qu'il y a 1280 possibilités mais ne lance que quelques backtests (moins de 200) a priori de façon aléatoire.

Quand faire pour le forcer à tester toutes les possibilités sélectionnées ?

Merci pour votre aide.

TAAD

[ericbully]

Salut Taad,

As tu essayé clic droit sur "optimisation des résultats", et décocher les résultat inutiles ?

Sinon essaye aussi de décocher "algorithme génétique" (tu auras alors peut être plus que 1280 possibilités et ce sera plus long)

[Guonzo]

Salut TAAD,

je ne sais pas trop ce que tu fais, mais ton résultat me semble normal. C'est tout l'intérêt de passer par de l'IA (et pour metatrader plus particulierement par les algorithmes génétiques) : l'idée c'est que l'IA va te permettre d'aller vers les optimums en moins de coups qu'avec une approche brute (200 coups au lieu de 1280...).

Ce qui te semble aléatoire ne l'est pas. Ce sont les générations "portant les chromosomes à tester" qui sont sélectionnées par la fonction de fitness (voir théorie des algorithmes génétiques).

Maintenant quant à savoir si l'on peut bypasser l'optimisation à base d'IA pour une recherche brute, je ne sais pas si c'est possible avec MT4. Mais sache que si tu le fais, c'est un non-sens en terme de recherche opérationnelle (et c'est un spécialiste avec tous les diplômes qui vont bien qui te le dis, mes chevilles enflent, désolé ).

Pour les curieux concernant l'utilisation des algos. génétiques en trading il existe "Encyclopedia of Trading Strategy" d'Owen, chapitre 12 "Genetic Algorithms".

Cordialement, Guonzo.

[TAAD]

merci pour vos retours.

@Guonzo:
Ce qui est bizarre c'est qu'en lancant 2 backtests consécutifs les choix fait par MT4 sont très différents et les résultats aussi !

Je n'ai pas très confiance en l'IA de MT4 ! l'autre intérêt de lancer tous les backtests c'est de repérer les zones de performances des différents paramètres.

[Guonzo]

Salut TAAD,

Ce qui est bizarre c'est qu'en lancant 2 backtests consécutifs les choix fait par MT4 sont très différents et les résultats aussi !

là encore c'est normale. Ce que tu veux faire c'est obtenir des valeurs optimisées de deux critères. Pour y arriver il y a plusieurs façon de faire.

La première, celle que tu souhaites, c'est de faire un test exhaustif. Tu laisses l'ordinateur calculer toutes les possibilités. Comme c'est un système discret, c'est de la combinatoire et c'est (en théorie) possible. Dans ce cadre l'avantage c'est que tu auras effectivement au final un résultat exact. L'inconvénient c'est que tu peux avoir ce que l'on appelle une explosion combinatoire : il y a tellement de possibilités que l'ordinateur pourra mettre des heures, des jours, des mois voire des années pour trouver les solutions.

La deuxième façon c'est d'utiliser des méthodes approchantes. Ces dernières possèderont l'avantage de converger vers une solution optimale rapidement. Mais elles auront l'inconvénient de ne donner que des résultats approchés. Et souvent comme les processus étudiés sont complexes il y a plusieurs optimaux possibles, et selon le réglage de l'algorithme derrière il ne donnera pas les mêmes optimaux (mais si les choses sont faites correctement se seront toujours des optimaux). L'avantage c'est donc d'obtenir différents optimaux sans que l'ordinateur mette des années à calculer. C'est un moindre mal et très souvent cela suffit.

Plus particulièrement les algorithmes génétiques évoluent selon un processus stochastique (i.e. aléatoire) sous la forme de croisement et de mutation des chromosomes codant la solution. A chaque fois que tu lanceras le processus il n'est donc pas anormal d'avoir des résultats différents. Cela signifie juste que chaque génération évolue de façon différente à chaque fois. Si tu comprends bien ce que tu fais et si tu utilises l'outil correctement tu devrais te rendre compte que certaines solutions convergent toujours vers les mêmes zones. Là cela commence à être intéressant.

Je n'aborderais pas le problème de la sur-optimisation : fais attention à ça. Idéalement l'optimisation ne devrait servir qu'à rechercher les zones de plateau des résultats. Cela sera un critère de robustesse de ta stratégie en cas de problèmes (alors qu'un paramètre sur-optimisé risque de ruiner les résultats future de ta stratégie si le marché se comporte différemment).

Si cela intéresse certaines personnes, je pourrais essayer de faire une synthèse abordable de ce que sont les approches des algorithmes génétiques, un résumé du chapitre du livre d'Owen et de donner un code MT4 qui me permet d'utiliser l'optimisation de MT4 pour rechercher des logiques de systèmes (un peu à l'image de Sirtrade de Pierre Orphelin) mais sur la base des algo. génétiques. Sachez juste que concernant ce dernier point ce n'est qu'un essai que je n'ai jamais vraiment exploité étant donné que j'arrive à obtenir des résultats qui me conviennent avec des approches bien plus classiques (et moins prise de tête).

Ci-joint mon avis concernant l'IA en trading (post : les EA sont pour les réveurs, page 16)

En réalité c'est juste un problème de modélisation informatique des données à traiter et de programmation de l'apprentissage. Ayant la compétence je m'y suis intéressé et j'ai vite abandonné. Non pas parce que c'est une impasse (cela me semble être une voie confidentielle, mais réellement explorée) mais parce que l'énergie à dépenser pour y arriver est tel pour des résultats qui ne me semble (à ce que j'ai pu en lire) pas forcément meilleurs de ceux obtenus avec une stratégie bien ficelée utilisant uniquement des indicateurs. Et l'on en revient au point de départ : avoir une bonne stratégie.

Aussi utiliser l'IA pour mettre au point une stratégie ressemble plus à un travail d'universitaire qui étudie la mise une place d'une stratégie pour la stratégie (et il en faut) que pour gagner. J'ai donc très vite fait mon choix, je ne veux pas perdre mon temps...

Merci à ceux qui auront pris le temps de me lire complétement.

Cordialement, Guonzo.

[jcledoc]

Salut TAAD,

Si cela intéresse certaines personnes, je pourrais essayer de faire une synthèse abordable de ce que sont les approches des algorithmes génétiques, un résumé du chapitre du livre d'Owen et de donner un code MT4 qui me permet d'utiliser l'optimisation de MT4 pour rechercher des logiques de systèmes

une telle proposition ne se refuse pas !!! Je prends bien sûr !!

[TAAD]

merci Guonzo pour ta réponse, c'est très intéressant.

En fait, mon idée est de backtester ma stratégie sur les 6 paires majeures sur la période 2000-2009. A partir des résultats, je choisirai les paramètres qui sont communs au 6 paires et qui limite au maximum le drawdown.
Puis backtest sur la période 2010 avec ces paramètres pour voir si les résultats se confirment.

Sur cette stratégie je peux agir sur 2 paramètres + le stop loss
Pour l'instant tous les backtests que j'ai effectué sur EURUSD et GBPUSD sont positifs mais les résultats et le drawdown sont très différents. Je suis donc à la recherche du meilleur compromis possible...

Que penses tu de cette approche ?

Sachez juste que concernant ce dernier point ce n'est qu'un essai que je n'ai jamais vraiment exploité étant donné que j'arrive à obtenir des résultats qui me conviennent avec des approches bien plus classiques (et moins prise de tête).

Peux tu m'en dire plus sur ces approches bien plus classiques ?

[TAAD]

Salut Taad,

As tu essayé clic droit sur "optimisation des résultats", et décocher les résultat inutiles ?

Salut Eric,
Je n'arrive pas à trouver cette option
Peux tu me dire dans quel menu je peux la trouver?

[ericbully]

Salut Taad,
2 images valent mieux qu'un long discours
( cette option permet de ne pas afficher les résultats <0 )

Salut Eric,
Je n'arrive pas à trouver cette option
Peux tu me dire dans quel menu je peux la trouver?

.

[TAAD]

merci eric