Sondages IFOP : sur ces chiffres jamais dévoilés
La semaine précédente voyait fleurir un énième sondage consacrée à la primaire du PS selon un rituel où son partenaire le JDD se réservait le rôle de relayer les résultats sans l’ombre du recul nécessaire. A travers cet exemple, nous allons analyser quelques gros points qui causent des problèmes de méthode.
Sur la taille
Selon la fiche technique de l’enquête réalisée du 15 au 30 septembre 2011, nous sommes invités à comprendre que le sondage porte sur un échantillon initial de 2’878 individus volontaires dont on a extrait 1’434 sympathisants de gauche. Par contre, il faut se donner la peine de lire avec attention en page 8 qu’il n’y aurait que 392 sympathisants de gauche certains d’aller voter ce 9 octobre prochain.
Cette imprécision volontaire et manifeste est renforcée par la nature trompeuse des 1'000 sondés pris en exemple (dans la page 5) pour illustrer la marge de l’erreur de mesure. Dans le cas présent d’un échantillon de taille 392, l’erreur est presque le double !
Sur les sondés inscrits
Les instituts ont pour habitude d’indiquer la reconstitution des quotas de sondés inscrits sur les listes électorales. C’est une tromperie courante dont IFOP s’est d’ailleurs offert le luxe d’ignorer ! Quoi qu’il en soit, la Commission d'Accès aux Documents Administratifs (CADA) est la seule autorité compétente pour autoriser la communication des listes électorales aux groupes politiques à la seule condition qu'ils n’en fassent pas usage dans un but commercial [art. 28, alinéa 2 et art. R.16, alinéa 3 du code électoral]. De fait, les instituts de sondages (et sociétés de généalogie ou de recouvrement) n’y ont pas accès.
A partir de là, pour s’autoriser à présenter des quotas d’inscrits, deux solutions se présentent aux instituts ; soit les instituts utilisent frauduleusement un fichier national en totale violation de ladite loi, soit ils utilisent malhonnêtement celui de la population totale de l’INSEE. Mais cette dernière comportait 49'350'052 majeurs en 2007 alors que le fichier électoral affichait à son compteur 44'472'834 d’inscrits ; ce qui fait une différence de 4'877'218 non inscrits, soit 9,88% de la liste de l’INSEE. Mais nous ne nous sommes pas encore au bout de nos surprises.
Sur les taux de refus et exclus
Les sondages de ces instituts sont présentés comme reflétant l’avis de la population française. Mais la réalité en est très loin !
Nous savions déjà que les instituts refusent de se soumettre au rituel de transparence en communiquant la part de refus. Cela ne nous empêchera pas de le simuler en prenant pour référence la grande enquête par téléphone réalisée en décembre 2006 par IFOP pour le compte du CEVIPOF et du Ministère de l’Intérieur ; c’était la 3e vague du Baromètre Politique Français. Pour obtenir leurs 5’240 répondants, le total des appels se grimpait à 83'897. Mais si nous ignorons, les mauvais numéros, ruptures, fax, répondeurs, occupés, les sociétés, hors quotas,… il nous reste le récapitulatif d’appels utiles suivant :
Sur ce total de 39'844 contactés, il y en avait quelques 6'593 (=5'240+1'353), soit 16,55% qui avaient accepté initialement d’être sondés.
Mais, il nous faudrait encore être plus précis car cette population échantillonnée correspond aux abonnés par téléphone. Selon les chiffres de l’ACERP de mai 2009, le taux d’inscription aux annuaires pour ces abonnés du fixe était de 80%. Et selon les données l’INSEE en 2007, il y avait 87% de foyers bénéficiant d’un bien d’équipement en téléphone fixe. Donc l’enquête IFOP ciblait uniquement les 69,6% (soit 80%x87%) de la population totale Française et ignorait donc les 30,4% restants.
In fine, si 16,55% des détenteurs de téléphone inscrits avaient initialement accepté de participer à l’enquête, il ne reste que 13,15% qui répondent entièrement au sondage. De ce fait, nous pouvons dire que pour une enquête par téléphone, ces 13,15% disposant d’un numéro de téléphone inscrit correspondent à 9,15% de la population totale qui répondent à une enquête de ce type.
Sur la taille réelle de l’échantillon
Nous avions vu que pour un sondage par téléphone, il n’y a que 11,52% (soit 16,55%x69,6%) de la population totale qui accepte initialement de répondre. Si nous les faisons correspondre à l’échantillon d’IFOP s’élevant à 2'878, alors cela veut dire que le total de la population concerné par cette enquête est de 24'990 individus répartis comme suivant :
Cette colonne des pourcentages absolus offre une représentation plus fidèle du résultat de cette enquête que les pourcentages tronqués d’IFOP qui ignore les refus et les exclus de l’enquête. Autrement dit, pour obtenir 392 opinions de gauche certaines de voter, IFOP avait recueilli 2'878 volontaires et avait a essuyé quelques 14’515 refus de répondre tout en ayant ignoré en sus quelques 7’597 (au prorata) qui ne sont pas référencés dans l’annuaire (sans téléphone + refus de s’inscrire). Nous aurons compris que ces 88,48% manquants mettent en relief l’indice d’applicabilité des résultats observés sur l’échantillon de 2'878 correspondant à 11,52% de la population mère. Vu sous cet angle, il n’est plus certain que l’avantage d’un quelconque candidat fût déterminant pour autant que l’on admette que l’enquête IFOP ait été réalisé dans les bonnes conditions.
Ainsi, l’opinion des 88,48% manquants est totalement ignorée ou implicitement amalgamée en abstention. Ce qui est naturellement trompeur car cela cache souvent une réaction de rejet au système qui nous oblige à une certaine retenue pour l’extrapolation. Naturellement, cela va à l’encontre de l’intérêt commercial des sociétés de sondage si promptes à nous livrer des chiffres et dont nous comprenons le peu d’empressement à communiquer sur les parts de non-répondants réclamées par le projet de loi des sénateurs Jean-Paul Sueur et Hugues Portelli. Il est à préciser que le but de cette présentation ne consiste pas de décrédibiliser l’outil des sondages et encore moins la statistique qui est une branche exacte, mais à sensibiliser sur l’absurdité qu’engendre sa mauvaise manipulation ou interprétation de ses résultats.
Pascal CUXAC,
(Mathématicien, 26/09/11)
30 réactions à cet article
Ajouter une réaction
Pour réagir, identifiez-vous avec votre login / mot de passe, en haut à droite de cette page
Si vous n'avez pas de login / mot de passe, vous devez vous inscrire ici.
FAIRE UN DON