Ressources de prévision

• Outils d'analyse
• Tutoriels, manuels et autres ressources
• Recherche sur la prévision
• Conseils pour devenir un meilleur prévisionniste
• Sources de données

Outils d'analyse

• Guesstimate

  Un outil web simple pour modéliser les incertitudes dans les calculs. L'interface de Guesstimate est similaire à d'autres tableurs, comme Excel ou Google Sheets. Chaque modèle est une grille de cellules, et chaque cellule peut contenir un nom et une valeur. Des fonctions peuvent être utilisées pour relier les cellules entre elles afin de représenter des quantités plus complexes.

  Par exemple, considérez la série de questions sur le paradoxe de Fermi. On peut utiliser l'équation de Drake (une estimation "au dos de l'enveloppe" pour déterminer s'il existe une vie intelligente dans la Voie lactée en dehors de nous, les humains) pour estimer le nombre de civilisations intelligentes dans notre galaxie en se basant sur 7 variables différentes (voir l'équation de Drake). Chaque estimation comporte ses propres incertitudes, et avec Guesstimate vous pouvez multiplier les estimations et leurs incertitudes ensemble pour obtenir une distribution de probabilité du nombre de civilisations intelligentes. Voir le modèle suivant par un utilisateur de Guesstimate sur cette probabilité. Consultez également les modèles publics.

  N'oubliez pas de publier vos modèles dans les commentaires des questions pour que les autres puissent les voir !

• Tableurs comme Excel ou Google Sheets

  Pour la modélisation théorique et l'analyse statistique de base. Les tableurs offrent des options similaires à Guesstimate, car vous pouvez créer des modèles théoriques pour décomposer les questions, produire des estimations pour les sous-questions, et exécuter des simulations de Monte Carlo de base (voir ici pour un exemple de ce type de simulation). Deuxièmement, l'analyse statistique de base (statistiques descriptives, corrélations, régressions, etc.) est pratique dans Excel (voir ici pour plus d'informations). Enfin, les tableurs créés sur Google Sheets peuvent également être partagés dans les commentaires, pour permettre aux autres de consulter votre travail.

• Logiciels statistiques

  Comme R, pour le calcul statistique avancé (modélisation linéaire et non linéaire, tests statistiques classiques, analyse de séries temporelles, classification, clustering) et les graphiques. Vous pouvez le télécharger ici gratuitement.

• Calculateurs de distributions de probabilité

  Comme le calculateur de distribution normale, le calculateur de distribution binomiale, et le calculateur de distribution de Poisson. Enfin, consultez ce calculateur de la règle de Bayes pour mettre à jour votre degré de croyance pour les questions oui/non en fonction de nouvelles informations.

• HASH

  Les logiciels de modélisation de systèmes peuvent générer et éclairer les prévisions de systèmes complexes. HASH peut être utilisé pour représenter des systèmes complexes et exécuter des scénarios "et si", afin d'affiner vos intuitions et d'améliorer vos prévisions.

Tutoriels, manuels et autres ressources

• Rejoignez la Social Science Prediction Platform, qui soutient la "collecte et l'évaluation systématiques des prévisions d'experts sur les effets de programmes sociaux non testés." Elle est conçue pour aider les décideurs politiques et les chercheurs en sciences sociales en améliorant la précision des prévisions, conduisant ainsi à une prise de décision plus efficace et à des améliorations de la conception et de l'analyse expérimentales.

• Jouez à Calibrate Your Judgment, un tutoriel interactif de calibration produit par le projet OpenPhilanthropy. C'est peut-être la formation de calibration gratuite en ligne la plus utile actuellement disponible. Notez que vous devez vous connecter avec un compte GuidedTrack, Facebook ou Google, afin que l'application puisse suivre vos performances au fil du temps.

• Le document d'AI Impact Evidence on good forecasting practices from the Good Judgment Project résume les conclusions du Good Judgment Project, l'équipe gagnante du tournoi de prévision de l'IARPA (2011-2015). L'article décrit les différents corrélats d'une prévision réussie ainsi que les heuristiques, les méthodologies de prévision, les perspectives philosophiques et les styles de pensée associés à de meilleures prévisions. De plus, il comprend une "recette" utile pour faire des prévisions qui décrit comment les superprévisionnistes (les 0,2 % meilleurs prévisionnistes) procèdent pour élaborer leurs prévisions.

• Forecasting: Principles and Practice offre une introduction complète aux méthodes de prévision et présente suffisamment d'informations sur chaque méthode pour que les lecteurs puissent les utiliser de manière judicieuse. Le livre est facile à lire, concis et ne nécessite que des connaissances de base en statistiques.

  Le livre présente les concepts clés de la prévision. De la prévision par jugement (qui peut être utile lorsque vous avez peu ou pas de données) à la régression simple/multiple, la décomposition de séries temporelles, le lissage exponentiel (ETS), et quelques sujets plus avancés comme les réseaux de neurones (le tout en R). Le livre est optimisé pour fournir des conseils pratiques sur la réalisation de prévisions, et ne cherche pas à donner une discussion approfondie des détails théoriques derrière chaque méthode.

• Open Textbooks on Forecasting and Related Courses by Francis Diebold, et en particulier son cours Time-Series Econometrics: Forecasting, qui offre une introduction de niveau licence avancée / master à la prévision, définie au sens large pour inclure tous les aspects de la modélisation prédictive, en économie et dans les domaines connexes. Ayant utilisé ce livre pour mon cours de macroéconométrie, je recommande vivement cet ouvrage, notamment pour la modélisation des processus autorégressifs permettant de réaliser des prévisions ponctuelles et de densité (particulièrement utiles pour les prévisions d'intervalles numériques sur Pregauss).

  Les sujets abordés comprennent : la régression d'un point de vue prédictif ; les espérances conditionnelles vs les projections linéaires ; l'environnement de décision et la fonction de perte ; l'objet de prévision, l'énoncé, l'horizon et l'ensemble d'informations ; le principe de parcimonie, les relations entre prévisions ponctuelles, par intervalles et de densité, et bien plus encore. Le livre est disponible ici, et les diapositives du cours couvrant le contenu du livre sont disponibles ici. Les ressources de Diebold sont sous licence Creative Commons.

Recherche sur la prévision

Voici une petite sélection de la vaste littérature de recherche sur la prévision.

• Developing expert political judgment: The impact of training and practice on judgmental accuracy in geopolitical forecasting tournaments
• Distilling the Wisdom of Crowds: Prediction Markets vs. Prediction Polls
• Identifying and Cultivating Superforecasters as a Method of Improving Probabilistic Predictions
• The Value of Precision in Probability Assessment: Evidence from a Large-Scale Geopolitical Forecasting Tournament
• Bringing probability judgments into policy debates via forecasting tournaments
• Forecasting Tournaments: Tools for Increasing Transparency and Improving the Quality of Debate
• Improving Intelligence Analysis With Decision Science
• Superforecasting: The Art and Science of Prediction
• Bias, Information, Noise: The BIN Model of Forecasting
• Forecasting tournaments, epistemic humility and attitude depolarization
• Are markets more accurate than polls? The surprising informational value of "just asking"

Conseils pour devenir un meilleur prévisionniste

• Évitez l'excès de confiance.

  L'excès de confiance est un constat récurrent dans la littérature de recherche sur la prévision, et a été observé dans une analyse de 2016 des prévisions Pregauss. L'excès de confiance se manifeste sous de nombreuses formes, comme la confiance excessive dans les jugements intuitifs, les modèles explicites, ou l'expertise spécifique à un domaine (la vôtre ou celle d'autrui).

  En général, l'excès de confiance amène les gens à :

  1. négliger les outils d'aide à la décision ou toute autre assistance, augmentant ainsi la probabilité d'une mauvaise décision. Dans des études expérimentales de postdiction où chacun disposait d'outils d'aide à la décision, l'expertise au niveau individuel (et donc la confiance) s'est avérée corrélée à une moindre utilisation d'outils d'aide à la décision fiables, et à de moins bonnes prévisions dans l'ensemble.
  2. faire des prévisions contraires au taux de base. Le taux de base est la prévalence d'une condition dans la population étudiée. Pour s'attendre à ce que l'avenir soit substantiellement différent du passé, il faut avoir de bonnes preuves que i) un processus crucial pour produire le résultat habituel échouera, et ii) le processus de remplacement produira un résultat différent. La règle de Bayes nous enseigne que pour prédire des événements peu probables, nous devons disposer d'informations hautement diagnostiques (des informations que l'on serait peu susceptible d'observer dans le cas habituel), alors que souvent les prévisionnistes se fient à leur confiance plutôt qu'à la valeur diagnostique des preuves pour aller à l'encontre du taux de base.

  Pour contrecarrer l'excès de confiance, les prévisionnistes devraient suivre cinq principes :(1) Envisagez des alternatives, en particulier dans les situations nouvelles ou sans précédent pour lesquelles les données manquent ;(2) Listez les raisons pour lesquelles la prévision pourrait être erronée ;(3) En interaction de groupe, désignez un avocat du diable (ou jouez l'avocat du diable dans la section commentaires !) ;(4) Obtenez des retours sur vos prévisions (en les publiant dans les commentaires par exemple) ;(5) Traitez les retours que vous recevez comme des informations précieuses.

• Décomposez les problèmes apparemment insolubles en sous-problèmes traitables.

  C'est la pensée à la Fermi. Enrico Fermi a conçu le premier réacteur atomique. Quand il ne faisait pas cela, il adorait s'attaquer à des questions complexes comme "Combien y a-t-il d'accordeurs de piano à Chicago ?" À première vue, cela semble très difficile. Fermi commençait par décomposer le problème en parties plus petites et les classait dans les catégories du connaissable et de l'inconnaissable. En travaillant sur un problème de cette manière, vous exposez ce que vous ne savez pas ou, comme le dit Tetlock (2016), vous "faites sortir l'ignorance au grand jour."

• Découvrez le taux de base pertinent.

  Un maître du temps Pregauss sait qu'il n'y a rien de véritablement nouveau sous le soleil. Ainsi, les meilleurs prévisionnistes effectuent souvent des recherches créatives de classes de comparaison, même pour des événements apparemment uniques, et posent la question : à quelle fréquence ce type de choses se produit-il dans ce type de situations ? Identifiez des classes de comparaison pour les événements, et laissez vos prévisions s'appuyer sur le taux de base d'occurrence dans cette classe d'événements. C'est souvent plus facile et plus efficace que de comprendre le fonctionnement de l'événement à partir des principes fondamentaux.

• Combinez une approche systématique de 'pensée par modèle' avec une approche basée sur l'intuition

  Bien qu'il soit souvent judicieux d'utiliser une approche systématique de 'pensée par modèle' qui emploie un raisonnement théorique ou statistique explicite, vous devriez généralement aussi utiliser une approche basée sur l'intuition pour prédire. Lorsque ces deux approches donnent des réponses différentes, réfléchissez bien pour déterminer si votre question est le type de question qui est mieux traité par des jugements intuitifs ou par une modélisation systématique, et combinez les deux réponses en conséquence pour éclairer votre prévision. Selon Kahneman, les jugements intuitifs sur un sujet sont susceptibles d'être précis uniquement lorsque les trois conditions suivantes sont réunies :

  • Le sujet concerné présente un degré élevé de régularité
  • On a eu suffisamment d'exposition à ce sujet pour avoir pu identifier les régularités pertinentes
  • On a reçu suffisamment de retours pour évaluer les jugements intuitifs précédents

• Cherchez les erreurs derrière vos échecs.

  Il est facile de justifier ou de rationaliser ses échecs. Ne le faites pas. Assumez-les et évaluez votre bilan (tant en résolution qu'en calibration) et comparez-le au bilan de la communauté. Vous voulez comprendre où vous vous êtes trompé et trouver des moyens de vous améliorer. Et ne regardez pas seulement les échecs. Évaluez aussi les succès pour déterminer si vous avez utilisé des techniques fiables pour produire vos prévisions ou si vous avez simplement eu de la chance. Par exemple, si vous avez un log-score moyen supérieur à 0,2, cela pourrait être un signe d'excès de confiance ; dans ce cas, vous devriez suivre les conseils pour contrecarrer l'excès de confiance présentés ci-dessus.

• Partagez votre travail dans la section commentaires de la question.

  Partager votre raisonnement théorique (comme la publication de votre modèle Guesstimate), votre raisonnement statistique, vos sources d'informations/données ou vos dépendances avec les autres est une bonne pratique, non seulement parce que vous fournissez un bien public précieux pour notre compréhension de l'avenir, mais aussi parce que d'autres peuvent compléter votre travail avec des perspectives supplémentaires.

Sources de données

Sources de données générales (sans ordre particulier)

Sources de données macroéconomiques et financières uniquement (sans ordre particulier)