Data Snooping & Ratio de Sharpe : Détecter le Faux Alpha

Un ratio de Sharpe de 2,0 obtenu après avoir testé 200 variations d'un même indicateur n'a, dans la grande majorité des cas, rigoureusement rien à voir avec un avantage informationnel réel. C'est une statistique d'ordre extrême : le maximum d'une distribution de bruit, pas l'estimation d'une rentabilité future. Tant que ce chiffre n'est pas corrigé pour le nombre d'essais qui l'ont produit, il doit être traité comme un artefact de surapprentissage — pas comme un signal exploitable en production.

La mécanique statistique de l'illusion

L'inévitabilité du biais et la sélection du bruit aléatoire

Le point de départ est le taux d'erreur global par famille (Family-Wise Error Rate). Si K hypothèses indépendantes sont testées à un seuil nominal α, la probabilité d'obtenir au moins un faux positif est :

P(au moins un faux positif) = 1 - (1 - α)^K

À α = 0,05, il suffit de tester 20 variantes indépendantes pour que cette probabilité dépasse 64 %. À K = 100, elle atteint 99,4 %. Autrement dit : sur un univers de recherche de cette taille, trouver "une stratégie significative" n'est plus une découverte, c'est une certitude statistique — même si le marché sous-jacent est un pur bruit blanc sans dérive.

C'est exactement ce que documente Capital Fund Management : en soumettant des marches aléatoires sans dérive (μ = 0) à un simple filtre de rentabilité minimale, on obtient des courbes d'équité ascendantes spectaculaires, alors que le processus générateur ne contient par construction aucune capacité d'anticipation.

L'espérance mathématique du Sharpe maximal sous hypothèse nulle

Sous l'hypothèse nulle H0 (les K stratégies testées ont une espérance de rendement nulle), la valeur maximale observée ne se concentre pas autour de zéro : elle migre mécaniquement vers le positif à mesure que l'espace de recherche grandit. L'approximation classique de cette espérance est :

E[max(SR_1, ..., SR_K)] ≈ √(2 ln K) + γ / √(2 ln K)

où γ ≈ 0,5772 est la constante d'Euler-Mascheroni. Le tableau ci-dessous rend cette inflation mécanique concrète :

Un ratio de Sharpe non ajusté n'a donc aucune valeur informative isolément : il faut toujours le rapporter à la taille de l'espace de recherche qui l'a produit.

Photo : Hanna Pad (Pexels)

Les défaillances structurelles du ratio de Sharpe conventionnel

L'erreur-type sur échantillon fini

Le Sharpe empirique n'est pas une constante : c'est un estimateur avec une incertitude propre. D'après les travaux d'Andrew Lo (2002), pour des rendements i.i.d., l'erreur-type asymptotique de l'estimateur est :

σ(SR estimé) ≈ √((1 + SR²/2) / T)

Un Sharpe de 1,5 mesuré sur seulement 24 observations mensuelles (T = 2 ans) a une erreur-type d'environ 0,7 — soit un intervalle de confiance à 95 % allant grossièrement de 0,1 à 2,9. Traiter ce chiffre avec la même confiance qu'un Sharpe de 1,5 établi sur 10 ans est une erreur d'évaluation majeure, indépendante de tout problème de data-snooping.

L'impact des distributions leptokurtiques et de l'asymétrie

L'hypothèse de normalité des rendements ne tient dans quasiment aucune classe d'actifs. En intégrant l'asymétrie (γ₃) et l'aplatissement (γ₄) empiriques, l'erreur-type devient :

σ(SR estimé) ≈ √((1/T) × (1 - γ₃·SR + ((γ₄-1)/4)·SR²))

C'est ce qui explique pourquoi des stratégies à asymétrie fortement négative — vente d'options hors de la monnaie, arbitrage de convergence sur spreads de crédit — affichent des Sharpe artificiellement élevés en période calme : le dénominateur de volatilité standard sous-estime la fréquence des pertes extrêmes, avant le débouclage brutal de la position.

Évaluer les procédures de correction statistique

Bonferroni et l'ajustement de Holm

La correction de Bonferroni ajuste le seuil de décision à α/K. Pour garder une erreur globale de 5 % sur 100 tests, chaque essai doit satisfaire p < 0,0005 — soit un Sharpe annuel supérieur à environ 3,3 sur des données journalières. Le problème : cette méthode suppose l'indépendance stricte des tests. Or dans le développement systématique, les variantes testées (fenêtres de moyennes mobiles, bandes de volatilité) sont fortement corrélées entre elles. Bonferroni devient alors excessivement punitif et rejette des stratégies ayant un avantage réel. La procédure séquentielle de Holm améliore marginalement la puissance sans résoudre le problème de corrélation.

Le rééchantillonnage par blocs de White et Hansen

Pour préserver la structure de dépendance temporelle, Halbert White (2000) a proposé le Reality Check, fondé sur le bootstrap stationnaire de Politis et Romano, qui teste si la meilleure stratégie observée surpasse réellement un indice de référence. Peter Hansen (2005) a montré que ce test devient conservateur quand l'univers testé contient beaucoup de modèles médiocres — ceux-ci gonflent artificiellement la variance sous H0. Son test Superior Predictive Ability (SPA) recentre la distribution empirique sur les modèles performants, réduisant les faux négatifs.

Les pénalités non linéaires de Harvey et Liu

Campbell Harvey et Yan Liu réfutent la pratique courante d'une décote forfaitaire de 50 % sur le Sharpe historique. Leur cadre statistique (basé sur la procédure Benjamini-Hochberg-Yekutieli) montre que la pénalité est non linéaire :

• Pour un Sharpe brut faible (SR < 0,4), la décote nécessaire dépasse souvent 50 % — la stratégie doit être abandonnée.
• Pour un Sharpe élevé (SR > 1,0), la pénalité pour un volume d'essais modéré reste généralement sous 25 %.

Un abattement uniforme de 50 % est donc doublement faux : il sous-estime le risque sur les stratégies médiocres et surpénalise les anomalies robustes.

Mettre en œuvre le Deflated Sharpe Ratio

La formalisation de Bailey et López de Prado

Le Deflated Sharpe Ratio (DSR), formalisé par David Bailey et Marcos López de Prado (2014), recalibre le Sharpe observé en soustrayant l'espérance maximale attendue sous H0, normalisée par l'erreur-type sous conditions non gaussiennes :

DSR = Φ( (SR_estimé - SR_0) × √(T-1) / √(1 - γ₃·SR_estimé + ((γ₄-1)/4)·SR_estimé²) )

où Φ est la fonction de répartition de la loi normale centrée réduite, et SR₀ le Sharpe maximal attendu par pur hasard compte tenu de l'intensité de la recherche :

SR_0 = √V × [(1-γ)·Φ⁻¹(1 - 1/K) + γ·Φ⁻¹(1 - 1/(K·e))]

V est la variance de l'ensemble des Sharpe testés pendant la recherche, K le nombre de variantes explorées, γ la constante d'Euler-Mascheroni.

Calibrer les moments et la dépendance inter-modèles

Trois étapes pratiques :

1. Extraction des moments : volatilité périodique, skewness γ₃ et kurtosis γ₄ sur les rendements réels de la stratégie retenue.
2. Estimation de la variance transversale V : si les stratégies testées sont fortement corrélées, V est faible, ce qui modère l'élévation de SR₀ par rapport à un univers d'essais orthogonaux.
3. Décision : le DSR produit une valeur entre 0 et 1. En dessous de 0,95, le résultat observé n'est pas statistiquement distinguable du bruit — le modèle doit être abandonné.

Protocole de détection du surapprentissage en production

Tenir un registre d'essais

Le premier vecteur de data-snooping est l'omission des tests infructueux (p-hacking). L'infrastructure de recherche doit enregistrer toutes les simulations exécutées — balayage d'hyperparamètres, variations de filtres d'exécution, changements d'univers — pour alimenter honnêtement le paramètre K de tout audit statistique ultérieur.

La validation croisée combinatoire (CSCV) et la métrique PBO

La méthode CSCV fragmente la série en N blocs temporels et génère toutes les combinaisons possibles d'échantillons d'apprentissage et de test. Elle permet de calculer la Probability of Backtest Overfitting (PBO) : la fréquence à laquelle la meilleure stratégie in-sample se classe sous la médiane hors-échantillon. Une PBO supérieure à 20-30 % doit disqualifier le modèle pour instabilité structurelle.

Walk-forward avec gel strict des hyperparamètres

La validation se termine par une simulation walk-forward séquentielle : fenêtres d'apprentissage et de test rigoureusement séparées, hyperparamètres gelés dès leur validation sur la fenêtre d'apprentissage. Cette étape doit intégrer les frictions réelles — coût d'emprunt sur positions courtes, structure de commissions, impact de marché, glissement d'exécution — sans lesquelles aucune conclusion sur le Sharpe hors-échantillon n'est fiable.

Matrice comparative des méthodes de débiaisage

Questions fréquentes

Qu'est-ce que le data-snooping bias exactement ?

Il apparaît dès qu'un même historique est réutilisé de façon répétée pour tester, affiner ou sélectionner des modèles. Tester un croisement de moyennes mobiles, constater son échec, puis tester un RSI sur le même échantillon : le second test est déjà contaminé par l'information tirée du premier. Ce processus sélectionne les singularités résiduelles de l'échantillon plutôt qu'une structure économique pérenne.

Pourquoi le Sharpe d'une stratégie optimisée s'effondre-t-il hors-échantillon ?

Parce qu'en choisissant la meilleure paramétrisation parmi un grand nombre d'essais, on isole le maximum empirique d'une distribution — qui combine la vraie valeur espérée et la plus forte déviation aléatoire positive observée. Une fois en production, cette composante de chance disparaît par retour à la moyenne, pendant que les frictions réelles (frais, spread, glissement) amputent immédiatement la performance nette.

Comment le DSR compense-t-il l'inflation des performances ?

Il convertit un Sharpe ponctuel en probabilité que ce résultat dépasse le niveau atteignable par pur hasard, compte tenu du nombre d'essais K, de la variance transversale des Sharpe testés, de la durée T et des moments d'ordre supérieur (skewness, kurtosis) de la distribution des rendements.

Quel seuil de significativité faut-il exiger ?

Le t-stat traditionnel de 2,0 (p ≈ 0,05) est structurellement dépassé face à la puissance de calcul actuelle. Campbell Harvey, Yan Liu et Heqing Zhu recommandent un t-stat minimal de 3,0 (p ≈ 0,0027) pour valider un nouveau facteur ou une stratégie systématique.

Quelle est la différence entre surapprentissage et data-snooping ?

Le surapprentissage est l'état final d'un modèle qui mémorise le bruit d'un échantillon au détriment de son pouvoir prédictif. Le data-snooping est le mécanisme de recherche défaillant qui le produit — l'inspection répétée des performances passées sans isoler les échantillons de décision. Le data-snooping est la cause ; le surapprentissage, la conséquence mesurable.

Aucun ratio de Sharpe ne devrait quitter une phase de recherche sans être accompagné du nombre d'essais qui l'a produit et de sa probabilité de surapprentissage (PBO). C'est la seule façon de distinguer un avantage statistique réel d'un artefact de sélection.