Juger un prédicteur : taux de réussite ou ROI ?

Un ami vous annonce fièrement qu'il a trouvé le bon résultat sur sept des dix derniers matchs. Un autre avoue ne l'avoir trouvé que quatre fois sur dix, mais prétend être gagnant au final. Lequel des deux est le meilleur prédicteur ? Tout dépend du chiffre que vous regardez, et beaucoup de supporters choisissent le mauvais.

Deux indicateurs dominent ce débat : le taux de réussite et le retour sur investissement (ROI). Bien les distinguer vous permet d'évaluer n'importe quel prédicteur, humain ou modèle statistique, avec plus de recul.

Ce que mesure le taux de réussite

Le taux de réussite est la part des prédictions qui se sont révélées justes. Si un prédicteur annonce le résultat le plus probable sur 100 matchs et que 52 d'entre eux se produisent, son taux de réussite est de 52 %.

C'est simple, facile à vérifier et facile à expliquer. Mais il ignore la difficulté. Miser sur un grand favori à domicile face à un club menacé de relégation est bien plus facile que de trancher un derby serré. Un prédicteur qui ne choisit que des favoris évidents peut afficher un beau taux de réussite sans apporter grand-chose.

• Point fort : facile à contrôler et à comparer.
• Limite : il ne tient pas compte de la difficulté de chaque match.
• Limite : il ne dit rien sur la comparaison avec les cotes proposées par les bookmakers.
• Limite : il peut être gonflé en ne retenant que les matchs faciles.

Il faut aussi connaître le point de départ. Dans la plupart des grands championnats, les victoires à domicile représentent environ 40 à 46 % des matchs, les nuls environ un quart, et les victoires à l'extérieur le reste (ordres de grandeur approximatifs sur le long terme). Avec trois issues possibles, un taux de réussite proche de 50 % sur l'ensemble des matchs est déjà honorable.

Ce que mesure le ROI

Le ROI est le bénéfice divisé par le total des sommes engagées, exprimé en pourcentage. Il n'a de sens que si l'on compare les prédictions aux cotes du marché. Un prédicteur juste 40 % du temps sur des outsiders à de belles cotes peut faire mieux sur cet indicateur qu'un autre juste 60 % du temps sur des favoris à petites cotes.

Le ROI révèle ce que le taux de réussite ne montre pas : la capacité à repérer des cotes trop généreuses par rapport aux vraies chances. Son défaut est d'être sévère et très instable. Les cotes intègrent une marge du bookmaker, si bien qu'un prédicteur précis termine souvent sous zéro. Un ROI positif durable est rare et très difficile à démontrer.

Un exemple chiffré avec deux prédicteurs

Les chiffres ci-dessous sont un exemple illustratif, pas des résultats réels. Chaque prédicteur a fait 100 choix.

Le prédicteur A paraît bien meilleur sur le taux de réussite, pourtant il est perdant dans cet exemple, car 55 % est inférieur aux 58,8 % nécessaires à ces cotes. Le prédicteur B se trompe le plus souvent, mais dépasse son seuil d'équilibre d'environ 31,3 %.

La règle à retenir : un taux de réussite n'a de sens qu'au regard des cotes. Le taux d'équilibre est simplement 1 divisé par la cote moyenne.

Pourquoi la taille de l'échantillon change tout

Le football est un sport où l'on marque peu et où le hasard pèse lourd. Un tir dévié, un carton rouge ou un penalty manqué peuvent renverser un résultat que le jeu ne méritait pas.

Voilà pourquoi les séries courtes trompent. Sur 100 prédictions avec un vrai taux proche de 50 %, la chance seule peut déplacer le chiffre observé d'environ 5 points dans un sens ou dans l'autre. Sur 1 000 prédictions, cet écart tombe à environ 1,5 point. Le ROI est encore plus instable, car quelques succès à grosse cote suffisent à transformer un petit échantillon.

• Méfiez-vous des historiques de moins de quelques centaines de prédictions.
• Méfiez-vous des captures d'écran, des séries chaudes et des bilans qui démarrent à une date opportune.
• Demandez si toutes les prédictions ont été publiées avant les matchs, y compris les perdantes.

Aller plus loin : la calibration

La meilleure question à poser à un modèle statistique n'est pas « a-t-il eu raison ? » mais « ses probabilités sont-elles honnêtes ? ». C'est ce qu'on appelle la calibration. Si un modèle attribue 60 % à un ensemble de matchs, environ 60 % d'entre eux doivent se terminer ainsi à la longue.

Cela corrige aussi un malentendu courant. Un seul résultat ne prouve jamais qu'une probabilité était fausse. Une issue estimée à 30 % se produit tout de même environ trois fois sur dix, et il n'y a pas de quoi s'en étonner.

Les statisticiens vérifient la calibration avec des outils comme le score de Brier ou la log-vraisemblance, qui récompensent les prédictions confiantes et justes et pénalisent celles qui sont confiantes et fausses. Plus le score est bas, mieux c'est, et on le compare à une référence simple, comme les probabilités moyennes du championnat.

Une grille pratique pour évaluer un prédicteur

• Vérifiez l'échantillon : des centaines de prédictions vérifiables valent mieux qu'une dizaine de coups de chance.
• Comparez à une référence : fait-il mieux que « toujours choisir l'équipe à domicile » ou que les probabilités implicites du marché ?
• Regardez les deux indicateurs : le taux de réussite montre la précision, le ROI la valeur face aux cotes, et aucun ne suffit seul.
• Contrôlez la calibration : les probabilités annoncées correspondent-elles aux fréquences réelles ?
• Exigez de la transparence : méthode claire, prédictions datées, aucune perdante effacée.
• Distinguez talent et chance : attendez-vous à de la variance et jugez sur des saisons, pas sur un week-end.

Utiliser les probabilités avec discernement

Les probabilités de résultat et les buts attendus (xG) sont des outils pour comprendre un match, pas des promesses. AI Football Predictor publie ces chiffres pour chaque rencontre, afin que vous puissiez les confronter à votre propre avis et suivre leur fiabilité dans la durée.

Gardez à l'esprit que les statistiques ne sont jamais des garanties. Même un modèle bien calibré sera souvent surpris, car le football est imprévisible par nature. Si vous choisissez de parier, rappelez-vous que les jeux d'argent sont réservés aux adultes et comportent de vrais risques financiers et personnels.

L'essentiel à retenir

Le taux de réussite indique la fréquence des bonnes réponses. Le ROI indique si cette précision avait une valeur face aux cotes. La calibration indique si les probabilités sont dignes de confiance. Jugez un prédicteur sur ces trois critères, sur un grand échantillon, et vous écarterez l'essentiel du bruit.