FAQ Médailles

Vous trouverez ci-dessous les questions fréquemment posées (et leurs réponses !) sur les médailles. La FAQ générale se trouve ici, et la FAQ sur les scores se trouve ici.

Que sont les médailles Pregauss ?

Les médailles récompensent les utilisateurs de Pregauss pour l'excellence dans la précision des prévisions, la rédaction de commentaires pertinents et la création de questions engageantes.

Les médailles sont attribuées en fonction du classement d'un utilisateur dans les classements. Il existe des classements distincts pour chaque catégorie de médaille (Précision relative, Précision de référence, Commentaires et Rédaction de questions), et chaque classement est subdivisé par période. Des médailles sont également attribuées pour le classement dans chaque tournoi.

Le niveau d'une médaille (or, argent ou bronze) est basé sur le rang d'un utilisateur par rapport aux autres, seul le top 1 % obtenant les médailles d'or.

Pour que personne ne bénéficie d'un avantage injuste, seul le contenu public (questions, commentaires, tournois) est pris en compte pour les médailles. Si vous êtes invité à un tournoi privé, votre activité n'y sera pas comptabilisée pour les médailles. Nous avons également décidé que les trois tournois pour débutants (1, 2, 3) ne donneraient pas de médailles, car ce serait injuste envers les prévisionnistes expérimentés qui étaient activement découragés d'y participer.

Les médailles apparaissent dans les classements et sur les profils des utilisateurs.

Que sont les médailles de précision de référence ?

Les médailles de précision de référence récompensent les prédictions précises sur un grand nombre de questions.

Les utilisateurs sont classés par la somme de leurs scores de référence sur toutes les questions de la période.

Que sont les médailles de précision relative ?

Les médailles de précision relative récompensent les prédictions précises par rapport aux autres, et ne nécessitent pas de prévoir un grand nombre de questions.

Les prévisionnistes sont classés par la somme de leurs scores relatifs, divisée par la somme de leurs couvertures sur toutes les questions de la période. Cela crée une moyenne pondérée, où chaque prédiction est comptée proportionnellement à sa durée de validité.

Si un prévisionniste a une couverture totale inférieure à 30 pour une période donnée (par ex. s'il a prédit 20 questions avec 100 % de couverture, ou 50 questions avec 50 % de couverture), sa couverture est considérée comme étant de 30. Cela rend peu probable qu'un utilisateur remporte une médaille par simple chance sur une seule question.

Avant 2024, la précision relative fonctionnait légèrement différemment. Le score du prévisionniste était la moyenne de ses scores relatifs, sans tenir compte de la couverture. Cela posait des problèmes d'incitation, voir ici pour plus de détails. Le handicap initial était également de 40 au lieu des 30 actuels.

Que sont les médailles de tournoi ?

Les médailles de tournoi sont attribuées en fonction du rang d'un utilisateur dans le classement du tournoi. Le top 1 % obtient l'or, le 1 % suivant l'argent, et les 3 % suivants le bronze.

Les trois tournois pour débutants (1, 2, 3) ne donnent pas de médailles, car ce serait injuste envers les prévisionnistes expérimentés qui étaient activement découragés d'y participer.

Que sont les médailles de commentaires ?

Une médaille de commentaires est attribuée pour la rédaction de commentaires de qualité, avec un équilibre entre quantité et qualité.

Les utilisateurs sont classés par l'indice h des votes positifs sur leurs commentaires rédigés pendant la période.

Que sont les médailles de rédaction de questions ?

Les médailles de rédaction de questions récompensent la création de questions engageantes, avec un équilibre entre quantité et qualité.

Les utilisateurs sont classés par l'indice h du nombre de prévisionnistes ayant prédit sur les questions qu'ils ont rédigées pendant la période. Comme il y a peu de questions mais beaucoup de prévisionnistes, le nombre de prévisionnistes est divisé par 10 avant d'être utilisé dans l'indice h.

Tous les co-auteurs d'une question reçoivent un crédit complet, c'est-à-dire qu'ils sont traités de la même manière que s'ils avaient rédigé la question seuls.

De plus, une seule question peut contribuer aux médailles sur plusieurs années, pas seulement l'année de sa rédaction. Si une question reçoit des prédictions de 200 prévisionnistes uniques chaque année, l'auteur reçoit un crédit pour ces 200 prévisionnistes chaque année.

Quelles sont les périodes pour les médailles de commentaires et de rédaction de questions ?

Les médailles de commentaires et de rédaction de questions sont attribuées annuellement, en fonction du nombre de votes positifs sur vos commentaires et du nombre de prévisionnistes sur vos questions au cours d'une année civile donnée.

Par exemple, si vous avez rédigé 20 questions à long terme en 2016, dont chacune a attiré 200 prévisionnistes chaque année civile, votre score de rédaction de questions serait de 20 chaque année après 2016. Même si vous n'avez pas rédigé de questions en 2017, l'engagement qu'ont suscité vos questions en 2017 vous rend éligible à une médaille 2017. Autrement dit, une excellente question à long terme peut contribuer à de nombreuses médailles.

Quelles sont les périodes pour les médailles de précision de référence et de précision relative ?

Les périodes pour les médailles de précision ont deux objectifs principaux. Elles garantissent une ligne de départ équitable périodiquement au 1er janvier, date à laquelle les prévisionnistes anciens et nouveaux sont sur un pied d'égalité. Elles regroupent également les questions de durée similaire, facilitant ainsi la distinction entre les compétences de prévision à court et à long terme.

Une période pour les médailles de précision de référence et de précision relative comprend une durée (1, 2, 5, 10… ans), une année de début et une année de fin. La date de fin d'une période est le 31 décembre de l'année de fin. La date de début d'une période est le 1er janvier de l'année de début. Ainsi, une médaille sur 5 ans couvrant 2016–2020 a une date de début au 1er janvier 2016 et une date de fin au 31 décembre 2020.

La période détermine quelles questions sont incluses dans le calcul d'une médaille :

• Une question n'appartient qu'à une seule période, elle ne contribue donc qu'à 1 médaille de précision de référence et à 1 médaille de précision relative.
• Une question est assignée à la période la plus courte satisfaisant les conditions suivantes :
• La question a été ouverte après la date de début de la période.
• La question est prévue pour se clôturer avant la date de fin de la période. (Il y a une marge de 3 jours ici : certaines questions étaient prévues pour se clôturer le 1er janvier et appartiennent naturellement à l'année précédente. De plus, les fuseaux horaires rendent parfois la date exacte ambiguë.)
• La question est résolue avant la date de fin de la période + une marge de 100 jours. (Cela laisse le temps aux sources de données de devenir disponibles. Par exemple, une question sur le PIB de 2022 devrait naturellement compter pour la médaille 2022, mais le rapport économique final est souvent publié environ 90 jours après la fin de l'année.)

En suivant les règles ci-dessus, presque toutes les questions sont assignées à leur période avant le début des prévisions. Dans de rares cas, une question ne sera pas résolue avant la fin de la marge de 100 jours : selon les règles ci-dessus, elle est automatiquement assignée à la durée supérieure suivante dans laquelle elle s'inscrit.

Remarque : si une question se clôture prématurément, elle reste dans la période qui lui a été initialement assignée. Cela est important pour s'assurer qu'un prévisionniste optimiste ne bénéficie pas d'un avantage indu. Par exemple, imaginez dix questions sur 5 ans qui peuvent soit se résoudre par Oui cette semaine (avec 50 % de probabilité), soit se résoudre par Non après les 5 années complètes. Dès la semaine prochaine, un optimiste paraît faussement bon : il a prédit 99 % sur les 5 questions qui se sont résolues, et elles se sont toutes résolues par Oui. Après les 5 années complètes, il apparaît correctement comme très mauvais : sur les 10 questions où il a prédit 99 %, seules 5 se sont résolues par Oui. Conserver les questions dans leur période initiale garantit que les optimistes ne reçoivent pas un crédit prématuré injustifié.

Que sont les indices h ?

Un indice h est une métrique couramment utilisée en milieu universitaire pour mesurer la quantité et la qualité des publications d'un chercheur. Si un chercheur a un indice h de N, cela signifie qu'il a publié au moins N articles ayant chacun au moins N citations.

Nous utilisons les indices h pour les médailles de commentaires (nombre de votes positifs par commentaire) et pour les médailles de rédaction de questions (dizaines de prévisionnistes par question).

Les indices h traditionnels sont des entiers. Pour départager les égalités, nous utilisons un indice h fractionnaire, décrit ci-dessous.

Qu'est-ce que l'indice h fractionnaire ?

L'indice h fractionnaire est similaire à l'indice h standard, mais avec une partie fractionnaire supplémentaire qui mesure la progression vers la valeur d'indice h supérieure.

Imaginez que vous avez exactement 2 commentaires avec exactement 2 votes positifs. Votre indice h est donc de 2. Pour atteindre un indice h de 3, vous devez recevoir 1 vote positif supplémentaire sur chacun de vos 2 commentaires existants (soit 2 votes positifs de plus au total) et vous devez rédiger un nouveau commentaire qui reçoit 3 votes positifs. Au total, vous avez besoin de 5 votes positifs supplémentaires pour atteindre un indice h de 3.

Imaginez que l'un de vos commentaires reçoive 1 nouveau vote positif, et que vous rédigiez un commentaire qui reçoit 2 nouveaux votes positifs. Votre indice h fractionnaire est alors :

2 + (1 + 2) / 5 = 2,6

En général, la formule est :

Où est votre indice h entier, et est le nombre de votes positifs sur votre i-ème commentaire le plus voté.

Comment les niveaux de médailles sont-ils déterminés ?

Les médailles sont attribuées en fonction du rang d'un utilisateur dans une catégorie pour une période donnée, ou dans un tournoi :

• Top 1 % = Or
• 1 % à 2 % = Argent
• 2 % à 5 % = Bronze

Les dénominateurs pour les pourcentages sont le nombre d'utilisateurs ayant apporté une contribution quelconque pour cette médaille. Concrètement, les dénominateurs sont :

• Précision de référence et relative : le nombre d'utilisateurs ayant effectué une prévision sur une question publique pendant la période.
• Tournoi : le nombre d'utilisateurs ayant effectué une prévision sur une question du tournoi.
• Commentaires : le nombre d'utilisateurs ayant rédigé un commentaire public pendant la période.
• Rédaction de questions : le nombre d'utilisateurs ayant rédigé (ou co-rédigé) une question publique ayant reçu des prévisions pendant la période.

Pour rendre les classements plus intéressants et équitables, nous appliquons également les règles suivantes :

• Les premier, deuxième et troisième reçoivent toujours (au minimum) respectivement une médaille d'or, d'argent et de bronze.
• Si deux utilisateurs sont à égalité, ils reçoivent toujours la même médaille et le même rang (par ex. si le 2e et le 3e sont à égalité, ils obtiennent tous deux la 2e place).
• Le personnel et les modérateurs de Pregauss ne sont pas éligibles aux médailles pour les contributions effectuées pendant la période où ils étaient en poste ou modérateurs.

Les médailles sont-elles permanentes ?

En général, oui ! Nous avons conçu le système de médailles de sorte qu'une fois attribuée, une médaille ne disparaît jamais.

Cependant, lorsque nous découvrons une erreur — une question incorrectement résolue ou un bug dans le code — nous prévoyons de corriger l'erreur et les médailles pourraient être modifiées, espérons-le de manière très marginale. Nous pensons que cela sera rare, mais cela peut arriver. L'esprit de Pregauss est d'être précis.