FAQ Scores

Vous trouverez ci-dessous les questions fréquemment posées (et leurs réponses !) concernant les scores. La FAQ générale est ici, et la FAQ des médailles est ici.

Scores

Qu'est-ce qu'une règle de scoring ?

Une règle de scoring est une fonction mathématique qui, étant donné une prédiction et un résultat, attribue un score sous forme de nombre.

Une règle de scoring naïve pourrait être : "votre score est égal à la probabilité que vous avez attribuée au résultat correct". Ainsi, par exemple, si vous prédisez 80 % et que la question se résout par Oui, votre score serait de 0,8 (et de 0,2 si la question se résolvait par Non). À première vue, cela semble être une bonne règle de scoring : les prévisionnistes qui ont donné des prédictions plus proches de la réalité obtiennent des scores plus élevés.

Malheureusement, cette règle de scoring n'est pas "propre", comme nous le verrons dans la section suivante.

Qu'est-ce qu'une règle de scoring propre ?

Les règles de scoring propres ont une propriété très spéciale : la seule façon d'optimiser votre score en moyenne est de prédire vos convictions sincères.

Comment savons-nous que la règle de scoring naïve de la section précédente n'est pas propre ? Un exemple devrait être éclairant : considérons la question "Vais-je obtenir un 6 en lançant ce dé équilibré ?". Comme le dé est équilibré, votre conviction est "1/6" soit environ 17 %. Considérons maintenant trois possibilités : vous pouvez soit prédire votre conviction réelle (17 %), prédire quelque chose de plus extrême, comme 5 %, ou prédire quelque chose de moins extrême, comme 30 %. Voici un tableau des scores attendus pour chaque résultat possible du dé :

Ce qui signifie que vous obtenez un meilleur score en moyenne si vous prédisez 5 % plutôt que 17 %. En d'autres termes, ce score naïf vous incite à prédire autre chose que la vraie probabilité. C'est très mauvais !

Les règles de scoring propres n'ont pas ce problème : votre score est meilleur lorsque vous prédisez la vraie probabilité. Le score logarithmique, qui sous-tend tous les scores Pregauss, est un score propre (voir Qu'est-ce que le score logarithmique ?). Nous pouvons comparer les scores que vous obtenez dans l'exemple précédent :

Avec le score logarithmique, vous obtenez bien un score plus élevé (meilleur) si vous prédisez la vraie probabilité de 17 %.

Qu'est-ce que le score logarithmique ?

La règle de scoring logarithmique, ou "score log" en abrégé, est définie comme :

Où est le logarithme naturel et est la probabilité prédite pour le résultat qui s'est effectivement produit. Ce score logarithmique s'applique aux prédictions catégorielles, où l'un d'un ensemble (généralement) restreint de résultats peut se produire. Sur Pregauss, il s'agit des questions binaires et à choix multiple. Voir la section suivante pour les scores logarithmiques des questions continues.

Des scores plus élevés sont meilleurs :

• Si vous avez prédit 0 % sur le résultat correct, votre score sera (moins l'infini).
• Si vous prédisez 100 % sur le résultat correct, votre score sera 0.

Cela signifie que le score logarithmique est toujours négatif (pour les questions binaires et à choix multiple). Cela s'est avéré peu intuitif, ce qui est l'une des raisons pour lesquelles Pregauss utilise les scores de référence et relatif, qui sont basés sur le score logarithmique mais peuvent être positifs.

Le score logarithmique est propre (voir Qu'est-ce qu'une règle de scoring propre ?). Cela signifie que pour maximiser votre score vous devez prédire vos convictions réelles (voir Puis-je obtenir de meilleurs scores en prédisant des valeurs extrêmes ?).

Une propriété intéressante du score logarithmique : il pénalise beaucoup plus les prédictions extrêmes erronées qu'il ne récompense les prédictions extrêmes correctes. Considérez les scores obtenus en prédisant 99 % ou 99,9 % :

Passer de 99 % à 99,9 % ne vous donne qu'un minuscule avantage si vous avez raison (+0,009), mais une pénalité énorme si vous avez tort (-2,3). Soyez donc prudent, et n'utilisez des probabilités extrêmes que lorsque vous êtes sûr qu'elles sont appropriées !

Qu'est-ce que le score logarithmique pour les questions continues ?

Puisque le domaine des résultats possibles pour les questions continues numériques et de date est (roulement de tambour) continu, tout résultat a mathématiquement 0 chance de se produire. Heureusement, nous pouvons adapter le score logarithmique sous la forme :

Où est le logarithme naturel et est la valeur de la fonction de densité de probabilité prédite au point du résultat. Notez que sur Pregauss, toutes les densités ont une distribution uniforme de hauteur 0,01 ajoutée. Cela empêche les scores logarithmiques extrêmes.

Pour les questions continues discrètes, la pmf est utilisée à la place de la pdf, et la valeur minimale attribuée à tout résultat ne peut pas descendre en dessous de 0,01 / nombre de résultats possibles dans les bornes. C'est effectivement la même opération que la distribution uniforme de 0,01 ajoutée aux pdfs.

C'est également une règle de scoring propre, et elle se comporte de manière similaire au score logarithmique décrit ci-dessus. Une différence est que, contrairement aux probabilités qui sont toujours entre 0 et 1, les valeurs de peuvent être supérieures à 1. Cela signifie que le score logarithmique continu peut être supérieur à 0 : en théorie il n'a pas de valeur maximale, mais en pratique Pregauss restreint la finesse des pdfs (voir les scores maximaux tabulés ci-dessous).

Lorsqu'une question continue se résout au-dessus de la borne supérieure ou en dessous de la borne inférieure, elle est scorée comme une question binaire. Nous ne définissons ni ne collectons de valeurs de pdf en dehors de la plage de la question, donc la formule ci-dessus ne s'applique pas. Mais nous avons la masse de probabilité totale au-delà de la borne, et celle-ci peut être scorée comme pour la question "La valeur sera-t-elle en dessous de la borne inférieure ?" ou "La valeur sera-t-elle au-dessus de la borne supérieure ?".

Qu'est-ce qu'un score instantané ?

Un score "instantané" est une version spécifique du type de score donné (par ex. "score relatif instantané") où l'évaluation ne prend pas en compte la durée de la prédiction. Pour un score instantané, seule la prédiction à un moment précis est considérée. Sauf indication contraire, les scores instantanés sont évalués au moment où la Prédiction Communautaire est révélée. La couverture est de 100 % s'il y a une prédiction active à ce moment, et de 0 % dans le cas contraire. Le calcul est le même que pour le type de score donné.

Qu'est-ce que le score de référence ?

Le score de référence compare une prédiction à une référence fixe de "hasard". S'il est positif, la prédiction était meilleure que le hasard. S'il est négatif, elle était moins bonne que le hasard.

Cette référence de "hasard" attribue la même probabilité à tous les résultats. Pour les questions binaires, c'est une prédiction de 50 %. Pour une question à choix multiple à N options, c'est une prédiction de 1/N pour chaque option. Pour les questions continues, c'est une distribution uniforme (plate).

Le score de référence est dérivé du score logarithmique, recalibré de sorte que :

• Prédire la même probabilité pour tous les résultats donne un score de 0.
• Prédire parfaitement sur une question binaire ou à choix multiple donne un score de +100.
• Les scores moyens des questions binaires et continues correspondent approximativement.

Voici quelques valeurs remarquables pour le score de référence :

Théoriquement, les scores binaires peuvent être infiniment négatifs, et les scores continus peuvent être à la fois infiniment positifs et infiniment négatifs. En pratique, Pregauss restreint les prédictions binaires entre 0,1 % et 99,9 %, et les pdfs continues entre 0,01 et ~35, ce qui donne les scores ci-dessus. Les scores empiriques sont basés sur tous les scores observés sur toutes les questions résolues de Pregauss, en date de novembre 2023.

Notez que ce qui précède décrit le score de référence à un instant donné. Les scores Pregauss sont pondérés dans le temps sur la durée de vie de la question, voir Est-ce que toutes mes prédictions sur une question comptent pour mon score ?.

Vous pouvez développer la section ci-dessous pour plus de détails et de formules mathématiques.

Qu'est-ce que le score relatif ?

Le score relatif compare une prédiction à toutes les autres prédictions faites sur la même question. S'il est positif, la prédiction était (en moyenne) meilleure que les autres. S'il est négatif, elle était moins bonne que les autres.

Le score relatif est dérivé du score logarithmique : c'est la différence moyenne entre le score logarithmique d'une prédiction et les scores logarithmiques de toutes les autres prédictions sur cette question. Comme le score de référence, le score relatif est multiplié par 100.

Une propriété intéressante du score relatif est que, sur une question donnée, la somme des scores relatifs de tous les participants est toujours 0. En effet, le score de chaque prévisionniste est sa différence moyenne avec tous les autres : quand on additionne tous les scores, toutes les différences s'annulent et le résultat est 0. Voici un exemple rapide : imaginez une question continue, avec trois prévisionnistes ayant prédit :

Voici quelques valeurs remarquables pour le score relatif :

*Le score relatif moyen est 0 par définition.

Théoriquement, les scores binaires peuvent être infiniment négatifs, et les scores continus peuvent être à la fois infiniment positifs et infiniment négatifs. En pratique, Pregauss restreint les prédictions binaires entre 0,1 % et 99,9 %, et les pdfs continues entre 0,01 et ~35, ce qui donne les scores ci-dessus.

Les "scores empiriques" sont basés sur tous les scores observés sur toutes les questions résolues de Pregauss, en date de novembre 2023.

Notez que ce qui précède décrit le score relatif à un instant donné. Les scores Pregauss sont pondérés dans le temps sur la durée de vie de la question, voir Est-ce que toutes mes prédictions sur une question comptent pour mon score ?.

Vous pouvez développer la section ci-dessous pour plus de détails et de formules mathématiques.

Pourquoi le score relatif de la Prédiction Communautaire est-il positif ?

Le score relatif mesure si un prévisionniste était en moyenne meilleur que les autres prévisionnistes. C'est la différence entre le score logarithmique du prévisionniste et la moyenne des scores logarithmiques de tous les autres prévisionnistes. Si vous avez un score relatif positif, cela signifie que votre score logarithmique était meilleur que la moyenne des scores logarithmiques de tous les autres prévisionnistes.

La Prédiction Communautaire est une médiane pondérée dans le temps de tous les prévisionnistes sur la question. Comme la plupart des agrégats, elle est meilleure que la plupart des prévisionnistes qui la composent : elle est moins bruitée, moins biaisée, et se met à jour plus souvent.

Puisque la Prédiction Communautaire est meilleure que la plupart des prévisionnistes, il s'ensuit que son score devrait être supérieur au score moyen de tous les prévisionnistes. Et donc son score relatif est positif.

Est-ce que toutes mes prédictions sur une question comptent pour mon score ?

Oui. Pregauss utilise des scores pondérés dans le temps, donc toutes vos prédictions comptent, proportionnellement à leur durée de maintien. Un exemple est parlant (nous utiliserons le score de référence par simplicité, mais la même logique s'applique à tout score) :

Une question binaire est ouverte pendant 5 jours, puis se ferme et se résout par Oui. Vous commencez à prédire le deuxième jour, faites ces prédictions et obtenez ces scores :

Quelques points à noter :

• Avant de prédire, votre score est considéré comme 0 (c'est vrai pour tous les scores basés sur le score logarithmique). Cela signifie que si vous pensez pouvoir faire mieux que 0, vous devriez prédire le plus tôt possible.
• Vous avez un score pour le Jour 4, bien que vous n'ayez pas prédit ce jour-là. C'est parce que vos prédictions restent en vigueur jusqu'à ce que vous les mettiez à jour, donc au Jour 4 vous avez été scoré sur votre prédiction du Jour 3. Au Jour 5 vous avez mis à jour à 80 %, donc vous avez été scoré là-dessus.
• Cet exemple utilise des jours, mais vos scores Pregauss sont basés sur des prédictions horodatées précises, donc une prédiction maintenue pendant 1 heure comptera pour 1/24e d'une prédiction maintenue pendant un jour, etc.

Enfin, notez que les scores sont toujours moyennés pour chaque instant entre la date d'ouverture et la date de fermeture (prévue) de la question. Si une question se résout en avance (c'est-à-dire avant la date de fermeture prévue), alors les scores sont fixés à 0 entre la date de résolution et la date de fermeture prévue, et comptent toujours dans la moyenne. Cela assure l'alignement des incitations, comme expliqué dans la section Pourquoi ai-je obtenu un score faible alors que j'avais raison ? ci-dessous.

Puis-je obtenir de meilleurs scores en prédisant des valeurs extrêmes ?

Pregauss utilise des scores propres (voir Qu'est-ce qu'une règle de scoring propre ?), donc vous ne pouvez pas obtenir un meilleur score (en moyenne) en faisant des prédictions plus extrêmes que vos convictions. Sur toute question, si vous voulez maximiser votre score attendu, vous devez prédire exactement ce que vous croyez.

Prenons un exemple simple avec le score de référence. Supposons que vous envisagiez de prédire une question binaire. Après réflexion, vous concluez que la question a 80 % de chances de se résoudre par Oui.

Si vous prédisez 80 %, vous obtiendrez un score de +68 si la question se résout par Oui, et de -132 si elle se résout par Non. Puisque vous pensez qu'il y a 80 % de chances qu'elle se résolve par Oui, vous attendez en moyenne un score de

Si vous prédisez 90 %, vous obtiendrez un score de +85 si la question se résout par Oui, et de -232 si elle se résout par Non. Puisque vous pensez qu'il y a 80 % de chances qu'elle se résolve par Oui, vous attendez en moyenne un score de

Donc en prédisant une valeur plus extrême, vous diminuez en fait le score que vous attendez obtenir (en moyenne !).

Voici quelques valeurs supplémentaires du même exemple, sous forme de tableau :

La prédiction de 99 % obtient le score le plus élevé quand la question se résout par Oui, mais elle obtient aussi le score le plus bas quand elle se résout par Non. C'est pourquoi, en moyenne, la stratégie qui maximise votre score est de prédire ce que vous croyez. C'est l'une des raisons pour lesquelles regarder les scores sur des questions individuelles n'est pas très informatif ; seuls les agrégats sur de nombreuses questions sont intéressants !

Pourquoi ai-je obtenu un score faible alors que j'avais raison ?

Pour s'assurer que les incitations sont alignées, Pregauss doit garantir que nos scores sont propres. Nous pondérons également les scores dans le temps.

Cela a une conséquence contre-intuitive : lorsqu'une question se résout avant sa date de fermeture prévue, la période entre la résolution et la date de fermeture doit compter dans la moyenne temporelle, avec des scores de 0. Nous appelons cela la "troncature des scores".

Un exemple est parlant : imaginez la question "Un nouvel humain marchera-t-il sur la Lune avant 2030 ?". Elle peut soit se résoudre par Oui avant 2030 (parce que quelqu'un a marché sur la Lune), soit se résoudre par Non en 2030. Si nous ne tronquions pas les scores, vous pourriez exploiter cette question en prédisant proche de 100 % au début (puisqu'elle ne peut se résoudre positivement qu'en avance), et plus bas ensuite (puisqu'elle ne peut se résoudre négativement qu'à la fin).

Une autre façon de voir les choses est que si une question dure un an, alors chaque jour (ou en fait chaque seconde) est scoré comme une question séparée. Pour préserver la propriété, il est impératif que chaque jour ait le même poids dans la moyenne finale (ou au moins que les poids soient décidés à l'avance). De ce point de vue, ne pas faire de troncature revient à donner rétroactivement beaucoup plus de poids aux jours avant la résolution de la question, ce qui n'est pas propre.

Vous pouvez lire un exemple détaillé avec des formules mathématiques en développant la section ci-dessous.

Quels sont les scores historiques ?

Qu'est-ce que le score Relatif ?

Le score Relatif compare une prédiction à la médiane de toutes les autres prédictions sur la même question. S'il est positif, la prédiction était (en moyenne) meilleure que la médiane. S'il est négatif, elle était moins bonne que la médiane.

Il est basé sur le score logarithmique, avec la formule :

Où est la prédiction évaluée et est la médiane de toutes les autres prédictions sur cette question.

Depuis fin 2023, le score Relatif est en cours de remplacement par le score relatif, mais il est encore utilisé pour de nombreux tournois en cours.

Qu'est-ce que la couverture ?

La couverture mesure pendant quelle proportion de la durée de vie d'une question vous aviez une prédiction en vigueur.

Si vous faites votre première prédiction dès l'ouverture de la question, votre couverture sera de 100 %. Si vous faites votre première prédiction une seconde avant la fermeture de la question, votre couverture sera très proche de 0 %.

La couverture est utilisée dans les tournois, pour inciter aux prédictions précoces.

Que sont les points Pregauss ?

Les points Pregauss étaient utilisés comme score principal sur Pregauss jusqu'à fin 2023.

Vous pouvez encore trouver les classements basés sur les points ici.

C'est un score propre, basé sur le score logarithmique. C'est un mélange d'un score de type référence et d'un score de type relatif, récompensant à la fois le fait de battre une référence impartiale et de battre les autres prévisionnistes.

Pour les détails mathématiques complets, développez la section ci-dessous.

Tournois

Comment sont calculés mon Score, ma Part, mon Prix et mon Classement de tournoi ?

Cette méthode de scoring a été introduite en mars 2024. Elle est basée sur les scores relatifs décrits ci-dessus.

Votre classement dans le tournoi est déterminé par la somme de vos scores relatifs sur toutes les questions, pondérée par le poids de la question dans le tournoi (vous obtenez 0 pour toute question sur laquelle vous n'avez pas prédit). Les questions dont le poids diffère de 1,0 sont indiquées dans la barre latérale de la page de détail de la question. En général, le poids d'une question est modifié s'il est déterminé qu'elle est fortement corrélée avec d'autres questions incluses dans le même tournoi, notamment les groupes de questions.

La part du prix que vous recevez est proportionnelle à cette même somme de scores relatifs, élevée au carré. Si la somme de vos scores relatifs est négative, vous ne recevez aucun prix.

Pour un tournoi avec un nombre suffisamment grand de questions indépendantes, cette méthode de scoring est essentiellement propre. En résumé, vous devriez prédire votre conviction réelle sur toute question.

Prendre le carré de vos scores relatifs incite à prédire sur chaque question et à prédire tôt. N'oubliez pas de Suivre un tournoi pour être notifié des nouvelles questions.

Note : pour limiter les coûts administratifs, les tournois qui se terminent après le 1er juin 2025 ne versent plus de prix inférieurs à 50 $, et l'argent restant est redistribué aux prévisionnistes ayant des scores plus élevés. Les tournois qui se terminent avant le 1er juin 2025 ne versent toujours pas de prix inférieurs à 10 $.

Comment sont calculés mon Score, ma Couverture, ma Part, mon Prix et mon Classement de tournoi (historique) ?

Cette méthode de scoring a été remplacée en mars 2024 par le nouveau Score de Tournoi décrit ci-dessus. Elle est encore utilisée pour les tournois conclus avant mars 2024 et pour certains tournois qui étaient en cours à cette date.

Votre Score de tournoi est la somme de vos scores Relatifs sur toutes les questions du tournoi. Si, en moyenne, vous étiez meilleur que la Prédiction Communautaire, il sera positif ; sinon, il sera négatif.

Votre Couverture de tournoi est la moyenne de votre couverture sur chaque question. Si vous avez prédit toutes les questions dès leur ouverture, votre Couverture sera de 100 %. Si vous avez prédit toutes les questions à mi-parcours, ou si vous avez prédit la moitié des questions dès leur ouverture, votre Couverture sera de 50 %.

Votre Part de tournoi est l'exponentielle de votre Score, multipliée par votre Couverture :

Votre Prix est le montant que vous avez gagné dans ce tournoi. Il est proportionnel à votre Part et est égal à votre Part divisée par la somme des Parts de tous les prévisionnistes concurrents.

Votre Classement est simplement votre position dans le classement, trié par Prix.

Plus votre Score et votre Couverture sont élevés, plus votre Part sera élevée. Plus votre Part est élevée, plus vous recevrez de Prix, et plus votre Classement sera élevé.

Qu'est-ce que la Période Cachée et les Poids de Couverture Cachée ?

La Prédiction Communautaire est en moyenne bien meilleure que la plupart des prévisionnistes. Cela signifie que vous pourriez obtenir des scores décents en copiant simplement la Prédiction Communautaire en permanence. Pour éviter cela, de nombreuses questions de tournoi ont une période significative au début pendant laquelle la Prédiction Communautaire est cachée. Nous appelons cette période la Période Cachée.

Pour inciter à prédire pendant la période cachée, les questions sont parfois aussi configurées de sorte que la couverture accumulée pendant la Période Cachée compte davantage. Par exemple, la Période Cachée pourrait compter pour 50 % de la couverture de la question, voire 100 %. Nous appelons ce pourcentage le Poids de Couverture de la Période Cachée.

Si le Poids de Couverture de la Période Cachée est de 50 %, alors si vous ne prédisez pas pendant la période cachée, votre couverture sera au maximum de 50 %, quelle que soit la durée de la période cachée.