Les sondages se trompent ils vraiment tout le temps ?

Brexit, Trump, François Fillon : les sondeurs n’avaient rien vu venir ! Il faut donc se débarrasser de tous ces experts et arrêter de croire les instituts de sondage, qui vivent dans une bulle, voir veulent nous manipuler.

Crédit photo: pandagen1234 sur flickr

On lit tellement souvent cette affirmation dans tous les médias conventionnels qu’elle apparaît aujourd’hui comme une vérité communément acquise. Dans tous les dîners en ville, toutes les petites réunions dans l’entre-soi de l’élite politico-médiatique, il convient de se lamenter sur l’incompétence des experts.

Sauf que nous, chez LPI, les vérités toutes faites, on aime les remettre en question. Et c’est ce que nous avons fait en revenant sur ces trois événements et en reprenant les données publiées par les différents instituts de sondages. Le constat est particulièrement surprenant: les sondeurs sont loin de s’être trompés, et ont même très correctement prédit des tendances pourtant inédites et inattendues.

La primaire « Les Républicains »

Commençons par la primaire de la droite et du centre en France. Un exercice particulièrement difficile à évaluer, puisque la différence entre par exemple un Nicolas Sarkozy et un François Fillon est beaucoup plus grande qu’entre un François Fillon et un Jean-Luc Mélenchon. Le soir du premier tour de cette pré-élection, les analystes s’égosillèrent des heures durant sur l’incapacité des sondeurs à prédire la surprenante victoire de François Fillon face aux deux “favoris du système médiatique”.

Pour en avoir le coeur net, nous avons repris les derniers sondages pour mesurer à quel point ils se trompaient. Le graphique ci-dessous reprend les 7 derniers sondages publiés.

Les derniers sondages de l’élection primaire de la droite et du centre

Le dernier sondage ayant eu lieu deux jours avant l’élection, il ne constitue qu’une photographie de l’opinion à ce moment précis. Comme on le voit sur le graphique, les quatre derniers sondages prédisaient une augmentation régulière et spectaculaire de François Fillon et un tassement des deux autres candidats. Pour rester les plus simples et transparents possible, nous faisons une rapide interpolation linéaire de la tendance pour François Fillon, ne modifions rien aux derniers sondages des deux autres, dont la variation était dans la marge d’erreur, et présentons cela comme une « huitième » période naturelle.

Le résultat est sans appel : les sondeurs avaient correctement prédit le trio de tête. Mieux, avec un score estimé de 35%, le véritable résultat obtenu par François Fillon se situe clairement dans une marge d’erreur raisonnable.

Crédit photo: European’s People Party sur flickr

Le vote du « Brexit »

Le 23 juin 2016, les anglais votent pour décider si ils souhaitent quitter l’Union Européenne. Ils voteront avec une courte majorité de 51,9% pour ce qu’on appelle couramment le « Brexit », bien que le Royaume Uni n’a toujours par entamé la procédure “article 50” permettant de quitter l’UE.

Crédit photo: Gideon sur flickr

Si on présente aujourd’hui ce résultat comme une surprise, ce n’en était pas une pour qui sait lire correctement les sondages. Un travail minutieux a été effectué à ce sujet par T.seppelt, collectant tous les sondages sur ce referendum, que nous reprenons ci-dessous. On y observe très clairement que les sondages convergeaient à la hausse pour le « Leave », et que le résultat final correspond exactement à la tendance. Qui, à la vue de ce graphique, pourrait sérieusement dire que “les sondeurs prédisaient une large victoire du remain” ?

Les sondages du Brexit. By T.seppelt – Own work, CC BY-SA 4.0, https://commons.wikimedia.org/w/index.php?curid=44583855

 

L’élection de Donald Trump

Finalement, l’élection de Donald Trump à la maison blanche est elle aussi souvent décrite comme une grossière erreur des sondeurs. Il faut pourtant rappeler que le célèbre site fivethirthyeight, compilant les données de diverses enquêtes d’opinion donnait une chance de victoire finale de 30% à Donald Trump la veille de l’élection, ce qui est loin d’être négligeable. Imaginez qu’un médecin vous dise que vous avez une chance sur trois de mourir si vous continuez à fumer, vous ne pourrez pas dire qu’il ne vous avait pas prévenu que le risque existait !

Crédit photo: truc_lit sur flickr

Mieux, le score final du vote populaire, de 48% pour Hilary Clinton contre 46% pour Donald Trump était parfaitement prédit par tous les instituts de sondage. Le même fivethirtyeight donnait précisément 48,5% à Hilary Clinton, à seulement 0,5% du véritable résultat !

Pourquoi donc nous faire croire que les sondages se trompent ?

Il est particulièrement étonnant de voir à quel point le discours dominant est donc éloigné des faits, pourtant rapidement vérifiables par tout un chacun.

Qui a donc à y gagner en tirant ainsi sur des experts, certes en général consciencieux, mais généralement très mauvais pour venir se défendre dans les médias ?

Une première hypothèse est qu’il est toujours plus tentant pour un journaliste de titrer sur une surprise que de raconter un fait attendu. Qui achèterait un journal qui vous annoncerait qu’il pleut en Belgique ? Ou que le Real de Madrid a battu le Stade de Reims ?

Mais cette explication est probablement un peu légère. Il est très probable en effet que les journalistes aient été vraiment surpris, simplement parce qu’ils n’ont pas pris le temps ni le recul nécessaire pour observer les tendances, où qu’ils ont oublié leurs cours de statistique et les notices explicatives des sondeurs indiquant ce qu’est une marge d’erreur et comment il faut l’interpréter.

Finalement, comme les élections ont beaucoup de perdants et souvent un seul gagnant, il est très probable que tous ceux qui ne sont pas ou moins gâtés par les sondages aient tout intérêt à les discréditer, pour entretenir un petit peu la flamme…

Crédit photo: Blandine Le Cain sur flickr

 

Comments

comments

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *