8 erreurs de backtesting qui ruinent une stratégie quant

La plupart des stratégies qui échouent en réel n'ont pas été mal conçues : elles ont été mal testées. Le backtest a mesuré quelque chose qui n'existait pas — un prix auquel on ne pouvait pas acheter, une information qu'on ne pouvait pas connaître, un avantage qui n'était que le meilleur tirage d'une loterie. Voici les huit erreurs qui reviennent le plus souvent, classées de la plus sournoise à la plus visible.

1. Le biais d'anticipation (look-ahead bias)

C'est l'erreur la plus destructrice parce qu'elle produit des résultats spectaculaires et parfaitement crédibles. Elle apparaît dès qu'une décision simulée utilise une donnée qui n'était pas encore disponible à ce moment-là.

Les formes les plus courantes

• Exécuter au prix qui a généré le signal : le signal utilise la clôture du jour, l'achat aussi.
• Normaliser sur tout l'historique : un z-score calculé avec la moyenne et l'écart-type de 2005-2025 injecte le futur dans chaque point de 2005.
• Fondamentaux datés de la fin de période : le bénéfice du T4 est connu fin février, pas le 31 décembre.
• Composition d'indice actuelle : utiliser la liste d'aujourd'hui pour décider des achats d'il y a quinze ans.

Test rapide : décalez tous vos signaux d'une barre supplémentaire. Si la performance chute brutalement, le résultat initial dépendait probablement d'une information du futur.

2. Le biais du survivant

Un univers constitué uniquement des titres encore cotés aujourd'hui exclut toutes les faillites, rachats à la casse et radiations. Sur une stratégie qui achète des actions « bon marché » ou en forte baisse, ce biais est énorme : ce sont précisément ces titres qui disparaissent le plus. La correction exige une base de données point-in-time. Détails dans le biais du survivant en backtesting.

3. Les tests multiples non comptabilisés

Testez 100 stratégies aléatoires sans aucun pouvoir prédictif sur 10 ans de données : la meilleure affichera, en moyenne, un ratio de Sharpe proche de 0,8. Aucun code n'est faux, aucune donnée n'est biaisée — c'est la simple statistique du maximum.

Harvey, Liu et Zhu (2016) ont montré qu'au vu du nombre de facteurs testés par la recherche académique, le seuil habituel d'un t-stat de 2 est trop permissif ; ils recommandent un seuil d'environ 3 pour un nouveau facteur. Or le t-stat d'un Sharpe annualisé vaut à peu près Sharpe × √années :

Autrement dit, une stratégie à Sharpe 0,5 ne peut quasiment jamais être distinguée du hasard sur un historique réaliste. La correction : tenir un journal de tous les essais et appliquer une correction comme le Deflated Sharpe Ratio (data snooping et ratio de Sharpe).

4. Des coûts de transaction sous-estimés

Beaucoup de backtests supposent un coût fixe minuscule, ou pas de coût du tout. Le problème grandit avec la rotation : à 2 points de base aller-retour, une stratégie qui retourne 100 % du portefeuille chaque jour perd environ 5 % par an avant même d'avoir gagné quoi que ce soit.

Trois éléments sont systématiquement oubliés :

• le spread, qui s'élargit précisément pendant les phases de stress où la stratégie trade le plus ;
• l'impact de marché, qui croît avec la taille de l'ordre rapportée au volume ;
• le coût d'emprunt des titres vendus à découvert, qui peut dépasser 10 % par an sur les valeurs très shortées.

5. Des ordres exécutés dans un monde idéal

Le moteur de backtest remplit vos ordres ; le marché, lui, choisit s'il les remplit.

Le biais est asymétrique : les ordres limites non remplis sont souvent ceux qui auraient été gagnants, car le prix repart dans votre sens sans revenir vous chercher.

6. Trop de paramètres pour trop peu de transactions

Chaque paramètre ajouté donne au modèle un degré de liberté supplémentaire pour épouser le bruit du passé. Une stratégie à huit paramètres optimisés et 60 transactions ne mesure presque rien. Une règle pratique utile : visez au moins 10 à 20 transactions indépendantes par paramètre libre, et vérifiez que les performances forment un plateau autour des valeurs retenues plutôt qu'un pic isolé. Nous détaillons ce calcul dans combien de paramètres pour une stratégie.

7. Un seul régime de marché

Une stratégie de momentum testée sur 2010-2021 a connu une décennie de taux bas et de tendance haussière quasi continue. Elle n'a jamais vu une inflation à 8 %, ni une année où actions et obligations baissent ensemble. Le backtest est « long » en années mais court en situations distinctes.

Découpez systématiquement les résultats par régime : volatilité haute/basse, taux montants/descendants, marché haussier/baissier. Une stratégie saine n'a pas besoin de gagner partout, mais vous devez savoir où elle perd et combien. L'analyse walk-forward aide à révéler ces dépendances.

8. Ignorer la capacité

Un backtest sur des small caps illiquides peut afficher un Sharpe de 3 avec 10 000 €. Avec 1 million, la stratégie devient impossible : vous représenteriez une part énorme du volume quotidien et votre propre exécution effacerait l'avantage. Calculez pour chaque transaction la part du volume moyen journalier qu'elle représente, et plafonnez-la (1 à 5 % selon les marchés).

Récapitulatif : symptôme, erreur probable, test

Aucune de ces erreurs n'est exotique ; toutes se glissent dans des backtests écrits par des gens compétents. La défense n'est pas le talent mais la procédure : une checklist appliquée systématiquement, avant d'être séduit par la courbe. Pour la méthode complète, lisez notre guide du backtesting, ou soumettez vos résultats à l'analyseur TrueVerdikt.