Envoyé Spécial et les « Secrets de sondages »

Envoyé spécial a souhaité « révéler » les secrets des instituts de sondages et quelques-uns des bricolages dont ils gardent le secret. On sait en effet que la France est l’un des plus gros consommateur au monde de sondages et que ceux-ci ne sont pas sans influences sur les campagnes électorales.

J’ai été contacté par le réalisateur du reportage après qu’il ait lu mon livre « La manipulation par les sondages ». Nous avons discuté par téléphone pendant plusieurs heures, il m’a demandé d’analyser plusieurs sondages récents et il est venu m’interroger pendant environ 4 heures.

La veille de la diffusion du reportage, j'ai appris qu’il avait du couper mon intervention du fait d’une durée du reportage trop longue.

J’ai donc découvert le reportage au moment de sa diffusion et j’ai malheureusement pu relever plusieurs bêtises, incompréhensions et abus.

1. Les aspects justement relevés du reportage

Tout d’abord le reportage relève bien plusieurs points sur lesquels les sondeurs sont bien incapables de donner des explications claires. Dans l’évolution des méthodes, celles-ci ont progressivement glissées d’une administration par téléphone vers une administration par Internet, entraînant plusieurs dérives qui aujourd’hui prospèrent.

A- La rémunération des personnes sondées et leur professionnalisation :
Dans les sondages par internet, les personnes répondantes se sont souvent inscrites sur des « panels », c’est à dire des fichiers de personnes ayant donné leur autorisation pour être contactées non seulement par des instituts de sondages mais aussi par des sociétés qui commercialisant des fichiers pour la réalisation de tests produits, d’études de marché... en échange de cadeaux. La motivation principale de ces personnes est financière comme le reconnait dans le reportage Evelyne retraitée. Elles sont par ailleurs souvent inscrites sur une multitude de ces panels (parfois une dizaine ou une vingtaine). Les « cadeaux » reçus constituant alors un véritable revenu de complément.

B- La conception de faux profils et les réponses délirantes : Mais au-delà de la motivation financière, le reportage relève également ce qui est connu mais beaucoup moins avoué par les instituts, l’existence de « faux profils » au sein des répondants. Dans ces panels, un certain nombre de répondants ont compris que certains profils sont particulièrement recherchés. Ainsi Quentin, étudiant de 19 ans a compris que (logiquement) les personnes les plus difficiles à interroger sont les actifs (30-50 ans) à haut pouvoir d’achat. Il s’est ainsi mitonné un profil avec les caractéristiques les plus rares ce qui lui permet d’être fréquemment sollicité. Cependant, il prend plaisir et par jeu à donner des réponses délirantes.

C- Le bidouillage des redressements et la correction des échantillons : Face à ce constat de faux profils et de réponses délirantes, les sondeurs ne peuvent que répondre avec prudence que cela n’a pas d’impact sur les résultats. Normalement, les redressements sont des corrections destinées à compenser les votes peu avoués. Classiquement, les votes extrémistes (Front national et extrême gauche) sont moins avoués que les votes des partis centristes. On applique donc une formule basée sur les déclarations des personnes à la précédente consultation électorale qu’on compare aux résultats qui ont été obtenus lors du scrutin. Mais ces corrections destinées originellement à compenser les votes peu avoués, sont de plus en plus utilisées par les instituts pour corriger les erreurs d’échantillonnage et les incohérences de résultats.

C’est ce que reconnaît avec franchise Bruno Jeanbar directeur d’Opinionway, un institut pionnier dans le domaine des sondages Internet.

Il n’est évidemment pas question dans le secret des redressements de protection des secrets de fabrication des sondeurs ; tout sondeur expérimenté en connait parfaitement les techniques. Mais ce que les instituts veulent cacher, c’est cette possibilité de correction de leurs échantillons et des « incohérence » de résultats.

En gros, cela revient à dire que si l’institut observe que ses résultats bruts sont trop éloignés des résultats auxquels on peut s’attendre, ils appliquent alors un coefficient permettant de les faire rentrer dans ce qui est plus admissible.

D- La marge d’erreur et l’intervalle de confiance : La marge d’erreur des sondages est un calcul statistique déterminant la précision du résultat annoncé. Cette précision est fonction de la taille de l’échantillon interrogé et du score obtenu. Sur ce sujet, le documentaire dérape un peu. Il annonce dans le cadre d’un sondage d’Opinionway sur les présidentielles une marge d’erreur à ±2,8% pour 1000 personnes interrogées, mais ce n’est pas totalement juste. Cette marge d’erreur est différente pour chaque candidat en fonction du résultat obtenu. Elle est de ± 2,7 % pour Marine le Pen à 26% et de ± 2,6% pour Emmanuel Macron à 22%. C’est du détail, mais le réalisateur ne sachant pas comment on calcule un intervalle de confiance (j’ai pu le vérifier), il a arrondi...

E- L’inutilité et l’ambivalence de « La commission des sondages » : Cette commission a pour but de vérifier que les sondages ont été réalisés dans les règles de l’art. Elle dispose notamment des informations sur les redressements appliqués par chaque institut. Mais les vérifications de la commission sont purement formelles et elle refuse de rentrer dans le détail du questionnaire et de la formulation des questions, rendant ce contrôle purement administratif et avec peu d’intérêt.

Le reportage à la bonne idée d’interroger le sénateur Jean Pierre Sueur rédacteur de la loi sur les sondages, dont la réponse est sans appel : rien dans la loi (dont il est l’auteur) n’autorise la commission des sondages à cacher les règles de redressements dont elle a communication et dont elle ne fait rien.

2. Les dérapages et les abus du reportage
 

Le réalisateur a pris acte (ce que l'universitaire Alain Garrigou comme et moi et d’autres dénonçons depuis des années) de la possibilité de modifier les résultats d’un sondage en posant des questions orientées. Le réalisateur a la bonne idée de faire poser par un institut belge « indépendant » [1] des questions proches sur 2 échantillons différents, avec dans un cas, une formulation neutre (c’est à dire sans utilisation de mots ou d’expression fortement connotés) et dans l’autre une formulation orientées.

Mais pris dans sa volonté de grossir les différences de formulation des questions, et voulant en faire un peu trop, le réalisateur dérape et tombe lui-même dans la manipulation.

Normalement, pour pouvoir être comparées, les questions doivent avoir des formulations différentes mais doivent porter rigoureusement sur le même thème.

Le réalisateur oublie un peu trop ce principe et propose des formulations qui ne sont pas comparables. Le sens des mots utilisés en font deux questions différentes.

A- L’utilisation de questions différentes en prétendant mesurer des différences de formulation

La 1ère question présentée par le reportage est censée porter sur l’accueil des migrants : 

Formulation 1 : « Etes-vous personnellement favorable ou pas favorable à l’accueil par la France de milliers de migrants en provenance du Moyen-Orient et d’Afrique ? »

Formulation 2 : « Etes vous personnellement favorable ou pas favorable à l’accueil par la France de familles de réfugiés (hommes, femmes, enfants) qui fuient la guerre et les massacres en cours dans leur pays d’origine ? »

- Dans la 1ère formulation il est question de migrants c’est à dire de population qui souhaitent s’installer en France. On rajoute d’ailleurs du Moyen-Orient ET d’Afrique.

- Dans la 2ème formulation, on parle de réfugiés qui fuient les guerres et les massacres. La Syrie et l’Irak sont implicitement évoqués.

Le mot migrant a peu de choses à voir avec le mot réfugié : Un migrant vient s’installer dans un pays (bien souvent pour des raisons économiques) ; un réfugié est censé n’être accueilli que pour une période transitoire et regagner son pays lorsque les conditions le permettent.

Ce n’est pas le même accueil, ce ne sont pas les mêmes migrations, cela ne dure pas le même temps. Les réfugiés ne sont pas des migrants. Les différences de résultats ne peuvent donc être imputés qu’à des différences de question et non de formulations :

Les résultats accusent un écart de 17% dans le désaccord. Mais la démonstration est biaisée.

La 2ème question présentée qui porte sur la sécurité sociale est plus légitime, mais que retenir de cette démonstration où le journaliste fait presque pire que ceux qu’il dénonce ? 

B. Le désintérêt pour le sens des questions et les globalisations abusives

Autre abus sur les questions orientées, le reportage cite un sondage réalisé récemment sur l’Euthanasie par l’IFOP à la demande de L’association pour le droit à mourir dans la dignité :

La question posée effectivement orientée est la suivante :

« Certaines personnes atteintes de maladies insupportables et incurables demandent parfois aux médecins une euthanasie, c’est à dire qu’on mette fin à leur vie sans souffrance.

Selon vous, la loi française devrait-elle autoriser les médecins à mettre fin, sans souffrance, à la vie de ces personnes atteintes de maladies insupportables et incurables si elles le demandent ? »

Le reportage relève très justement les mots à forts pouvoirs émotionnels : souffrance, insupportable et incurable. Mais il oublie de relever un autre biais : le fait d’avoir fait précéder la question, d’une information qui l’oriente.

Il oublie également de préciser que les possibilités de réponses à cette question sont :

Oui absolument : 54%

Oui dans certains cas : 42%

Non : 4%

Il n’échappe à personne que la réponse « oui dans certains cas » est à double sens et qu’elle veut dire « oui dans certains cas, mais non, dans d’autres ». C’est donc un oui très conditionnel.

Il aurait donc fallu contester la globalisation abusive du « Oui absolument » avec le « Oui, dans certains cas ».

Ainsi, au delà de l’utilisation de mots à fort pouvoir émotionnels, au delà, d’une phrase introductive qui oriente la question, c’est bien ce « dans certains cas » qui explique le score de 95% abusivement annoncé comme validant l’euthanasie.

Mais le reportage n’en dit rien et s’enfonce en opposant ce chiffre fantaisiste avec celui d’une autre question posée à la même période à la demande d’une association contre l’euthanasie « soulager mais pas tuer ». La question est la suivante :

« Quand vous pensez à votre propre fin de vie, quels sont parmi les points suivants les deux qui vous semblent prioritaires ? »

Les scores obtenus sur ce 2ème sondage sont les suivants :

- Ne pas faire l’objet d’un acharnement thérapeutique : 55%

- Ne pas subir de douleur : 50%

- Pouvoir obtenir l’euthanasie : 34%

- Etre accompagné : 27%

- Etre soulagé psychologiquement : 11%

- Etre soutenu spirituellement 6%

- Etre aidé socialement 5%

Il s’agit ici, d’une question à choix multiples (d’une autre sondage) centrée sur les préoccupations dans l’accompagnement en fin de vie et non comme pour la première centrée sur l’autorisation de l’euthanasie lorsqu’une personne le demande.

Le reportage ne souligne pas la différence de sens des deux questions, se contentant de comparer les chiffres. Il ne cherche pas non plus à comprendre la logique de cette 2ème question : les « peurs » en fin de vie.

S’il l’avait fait, il aurait compris que les français souhaitent plus éviter l’acharnement thérapeutique et les douleurs en fin de vie qu’ils ne souhaitent dans l’absolu valider l’euthanasie. La question du 2ème sondage n’est pas comparable avec celle du premier. Mais le reportage n’en est plus à une approximation près.

Non seulement les résultats des 2 questions ne sont comparables parce que leur sens est différent, mais aussi parce-qu’elles utilisent une méthode d’interrogation différente.

Connaissant mal la technique des sondages, le réalisateur « oublie » une autre différence fondamentale : il est impossible de comparer des proportions issues d’une alternative simple oui/non avec les proportions obtenues sur une question à choix multiples.

La comparaison entre les deux résultats est tout aussi manipulatoire que certains sondages.

C- Le silence pudique sur la responsabilité des médias

Pour finir le réalisateur poursuit les confusions en affirmant que les marges d’erreur, c’est-à-dire la précision des résultats des sondages réalisés sont passées sous silence. Mais de qui parle t-il alors que le sujet du reportage est les instituts de sondages ?

Les marges d’erreur (la précision des résultats fournis) sont toujours publiées par les instituts de sondage. En revanche, elles ne le sont presque jamais par les médias qui en rendent compte, qu’ils soient papier ou Internet.

Depuis 15 ans que j’observe les sondages publiés, je n’ai jamais observé un institut de sondage ne pas publier la marge d’erreur. Mais avez-vous déjà lu un article expliquant et insistant sur le manque de précision des sondages ?

L’absence de communication sur les marges d’erreur n’a jamais été le fait des instituts mais toujours celui des médias qui utilisent les sondages pour accroître leur audience et ne souhaitent pas qu’on affirme trop haut que les résultats publiés sont très approximatifs.

Sur la fin, le reportage aborde l’utilisation personnelle par les hommes politiques des sondages qu’ils soient commandés par l’Elysée (mais le président s’est bien gardé de les communiquer) ou du 1er ministre par le fameux Service d’Information du Gouvernement (SIG). Cependant on peut penser que c’est un tout autre sujet qui mériterait bien un autre reportage. Celui de l’utilisation des sondages par nos élus, à des fins personnelles et payés avec de l’argent public.

Les instituts de sondages quand à eux sont des entreprises commerciales et on peut difficilement leur reprocher de ne pas profiter de ces aubaines politiques.

Oui les sondages peuvent être orientés, oui leur précision est approximative, oui dans certains cas ils sont incapables de réaliser une évaluation fiable comme dans le cas des primaires, mais il n’est pas nécessaire d’utiliser des méthodes manipulatoires pour le démontrer.

[1] L’institut de Sondage Dedicated à Bruxelles, dirigé par Marc Dumoulin