Recherche quantitative
Construire un signal,
puis essayer de le casser
La partie facile est de trouver quelque chose qui marche sur l'historique. Le vrai travail commence quand il faut établir que ce quelque chose n'est pas un accident.
python pandas statsmodels données de marché
De l'intuition à l'hypothèse
Une idée de recherche arrive rarement sous forme testable. Elle ressemble plutôt à « les titres délaissés après une mauvaise publication rebondissent trop tard ». Le premier travail consiste à en faire un énoncé qui peut être faux : sur quel univers, sur quel horizon, mesuré comment, et comparé à quoi.
Cette étape décide de tout le reste. Un énoncé trop souple finira toujours par trouver une fenêtre où il fonctionne, et cette fenêtre ne prouvera rien.
Le protocole avant les résultats
Le découpage des échantillons, l'horizon de détention, les coûts retenus et le critère d'arrêt sont fixés avant de lancer le premier test. Écrire le protocole d'abord coûte une heure et évite le biais le plus coûteux du métier : ajuster les règles jusqu'à ce que la courbe soit belle.
- Une partie de l'historique reste intouchée jusqu'à la fin, et ne sert qu'une fois.
- Les coûts de transaction sont intégrés dès le premier chiffre, pas ajoutés en fin de parcours.
- Le résultat est comparé à une référence naïve, pas au vide.
Les pièges qui font passer du bruit pour un signal
Le surapprentissage arrive par la porte des paramètres : plus on en essaie, plus on est certain d'en trouver un qui brille par hasard. Le nombre d'essais compte autant que le résultat du meilleur d'entre eux.
Le biais de survivance vient de l'univers : tester sur les sociétés encore cotées aujourd'hui revient à ne garder que celles qui ont survécu, ce qui embellit mécaniquement tout ce qui touche au risque.
Le biais d'anticipation se glisse dans les dates : une donnée comptable utilisée à sa date de clôture, et non à sa date de publication, donne un pouvoir de prédiction que personne n'avait à l'époque.
Un backtest ne prouve quelque chose que si on a sérieusement cherché à le casser. Tant que la seule chose testée est la performance, on n'a mesuré que sa propre persévérance.
De la recherche à la production
Un signal qui survit change de nature : il faut le recalculer sur des données fraîches, surveiller sa dérive, et savoir reconnaître le moment où il cesse de fonctionner. Cette surveillance vaut souvent plus que le gain d'un point de performance en recherche, parce qu'elle est ce qui évite de rester investi dans une idée morte.