Sondages Primaire 2011 : Pourquoi ils ne sont pas fiables !

Ensemble des Français

Sympathisants socialistes

Détails de chaque sondage

- Viavoice (12/2008)

- Viavoice (03/2009)

- BVA (06/2009)

- IFOP (08/2009)

- TNS Sofres (11/2009)

- BVA (01/2010)

- IFOP (01/2010)

1) L’échantillon

Nous allons tout d’abord analyser les échantillons de chacun de ces sondages.

- Un élément qui attire notre attention, c’est le fait que dans l’ensemble de ces sondages, font partie de l’échantillon les sympathisants socialistes mais aussi l’ensemble des Français, autrement dis des sympathisants de gauche, droite, du centre, d’extrême-droite ... Bref des personnes qui, a priori ne participeront pas à la désignation du candidat socialiste pendant ces primaires, puisque seuls les sympathisants PS seront habilités à pouvoir désigner leur candidat. Cela a une importance très importante dans la fiabilité des résultats qui se dégageront de ces sondages notamment auprès des sympathisants PS.

- En effet l’ensemble des échantillons sont composés d’environ 950 à 1000 personnes, dits "représentatifs" de la population Française. Les sympathisants socialistes eux qui représentent un quart en moyenne de l’électorat de ces échantillons sont composés d’environ 240 personnes. Vous avez bien lu seulement 240 personnes dites proches des idées du PS sont interrogées et seront vendues comme étant représentatives du vote socialiste aux primaires. Cela nous amène directement à la question de la marge d’erreur des sondages. 

2) La marge d’erreur

Nous allons ici prendre appui sur la page questions-réponses du site de l’IPSOS qui contient beaucoup de détails à ce sujet.

- Pour 1000 personnes interrogées nous apprenons que la marge d’erreur de ces sondages est de plus ou moins 3,2%. Autrement dit par exemple sur les sondages concernant le second tour de la présidentielle de 2012 dont on nous dit que seul DSK sera vainqueur face à Nicolas Sarkozy avec 52%, en prenant en compte cette marge d’erreur les résultats pourraient être les suivants : DSK 48,8% et inversement il peut aller jusqu’à 55,2%, autant dire que nous avons autant de chances de tomber sur le bon résultat que de gagner à l’Euro Millions. Donc des sondages de second tour de la présidentielle 2 ans et demi avant une élection sa ne représente strictement aucun intérêt et c’est surtout à prendre avec plus que des pincettes, mais nous savons bien que le seul but de ces sondages est d’influencer les électeurs, mais encore faut-il que ça fonctionne...

- Revenons à la marge d’erreur, dans notre cas nous avons vu que dans ces sondages sur les primaires il est question d’environ 240 socialistes sur un échantillon total représentatif de la population française de 1000 individus. Toujours sur le site de l’IPSOS on apprend la chose suivante : "Attention : la marge d’erreur est la même quelle que soit la taille de la population dont on recherche à connaître l’opinion. Autrement dit, si l’on souhaite obtenir la même précision, il faut interroger autant de personnes pour connaître l’opinion des Français que celle des seuls Orléanais." Cela veut donc dire que si l’on souhaite interroger les sympathisants socialistes sur la question du meilleur candidat aux primaires il faudra un échantillon identique que l’ensemble des Français donc de 1000, et non pas se contenter des 240 personnes.

- Toujours sur ce site, une information capitale : "La marge d’erreur est d’un maximum de plus ou moins 4,5% pour 500 enquêtés, 3,2% pour 1000, 2,2% pour 2000 mais encore 1,6% pour 4000." Dans notre cas il est question de 240 personnes autrement dit on peut imaginer que la marge d’erreur sera aux alentours des 10%, rien que ça !

3) Incidence de la marge d’erreur sur les résultats

- Ces sondages ne portant que sur 240 socialistes comprennent donc une marge d’erreur très importante de près de 10%, un exemple concret :

Dans le dernier sondage IFOP du 29 janvier 2010, Martine Aubry est à 27% parmi les sympathisants socialistes, Dominique Strauss-Kahn 25% et Ségolène Royal 11%. L’incidence de la marge d’erreur due au faible échantillon est la suivante : Martine Aubry peut obtenir 37% comme elle peut descendre à 17%, DSK lui peut atteindre les 35% et inversement redescendre à 15%. Enfin Ségolène Royal peut aller jusqu’à 21% ou redescendre à 1% et oui rien que ça ! Alors la conséquence c’est qu’on peut très bien au final retrouver Ségolène Royal devant les autres candidats, ou encore DSK, bref tous seront en capacité de revendiquer la première place. Vous pouvez essayer de faire ce petit calcul pour tous les autres sondages et il y a toujours le même problème.

- Comparons ce sondage maintenant avec un autre qui lui a été réalisé seulement 3 jours auparavant donc logiquement les résultats devraient être relativement proches, et pourtant il y a de quoi se poser beaucoup de questions, les 10% de marge d’erreur dont je faisais allusion ont très certainement dû jouer un rôle là dedans !

Dans le sondage BVA du 26 janvier 2010 on retrouve en tête chez les sympathisants socialistes DSK avec près de 29%, 2ème Martine Aubry à 19%, 3ème Ségolène Royal à 14% et enfin 4ème Bertrand Delanoe avec 13%. Donc comparé à l’IFOP, ici ce n’est plus Aubry mais DSK qui la dépasse et qui gagne 4%, cette dernière se retrouvant seconde avec 19% (-8% !) , Ségolène Royal elle gagne 3% et reste 3ème. Mais le plus drôle c’est Bertrand Delanoë qui là explose son score, il passe de 1% selon l’IFOP à 13% pour BVA, 12% d’écart rien que ça, bon certains me diront que le sondage de l’IFOP lui contient plus de candidats, mais ces nouveaux candidats ne pèsent que 11% réunis et devraient prendre logiquement à l’ensemble des autres candidats, de plus le pourcentage de la partie "Autres candidats" diminue dans ce sondage de 2% par rapport à BVA, donc cela ne justifie pas la chute brutale de Bertrand Delanoë entre les deux sondages pas plus que la percée de Martine Aubry dans l’un par rapport à l’autre. Ce qui est hallucinant et surtout très inquiétant c’est que les médias ont publiés à 3 jours d’intervalles ces deux sondages sans que personne ne relève ces incohérences qui devraient nous sauter aux yeux !

- Alors pour réduire cette marge d’erreur il faudrait donc que les instituts interrogent uniquement les seuls sympathisants socialistes réduisant ainsi cette dernière à 3,2% on est loin des 10%, bien que ça reste toujours très important. L’idéal serait d’augmenter l’échantillon aux alentours des 2, 3 voire 4000 individus pour s’approcher des 1% de marge d’erreur mais quelque chose me dit que ça n’est pas près d’être le cas. A titre de comparaison bien que c’est un domaine radicalement différent, les sondages sur l’audience radio sont effectués en France auprès de 126 000 personnes, autant dire que la marge d’erreur est quasi inexistante !

- Pour terminer sur cette question de la marge d’erreur, j’ai pu remarquer en allant sur le dossier pdf de chaque sondage qu’il n’est jamais indiqué les 3,2% en question ou ni même fait mention de cette dernière, seul Viavoice nous dit la chose suivante "Comme tous résultats d’enquête quantitative, les résultats de ce sondage sont soumis à des marges d’erreur statistiques." C’est tout à leur honneur comparé aux autres mais c’est loin d’être suffisant ! C’est également seulement Viavoice qui nous précise le nombre de Sympathisants socialistes parmi l’ensemble de l’échantillon étudié, les autres n’ont pas trouvé utile de le mentionner !

4) Les sondages pendant la primaire de 2006

- Intéressons-nous aux derniers sondages publiés avant la primaire socialiste de 2006 bien que les résultats finaux n’ont pas été très fiables notamment pour DSK et Fabius. Le premier ayant été bien surestimé par les instituts de sondage et l’autre sous-estimé, la raison étant principalement dû au fait que ce n’était pas les sympathisants mais les militants qui votaient, donc les sondages sur cette élection étaient dès le départ à prendre avec beaucoup de recul.

- Mais le plus intéressant dans ces sondages c’est le nombre de sympathisants socialistes qui à l’époque étaient interrogés par certains instituts. En effet on constate que l’IPSOS et l’IFOP interrogeaient à cette époque respectivement 504 et 716 sympathisants socialistes, ce qui est déjà 2 à 3 fois plus que les sondages de la primaire 2011. Il faut noter aussi que l’IFOP justement a réduit en l’espace de 3 ans son échantillon socialistes, en effet il est passé de 716 personnes en 2006, à environ 240 aujourd’hui, ça pose pas mal de questions donc sur la fiabilité de ces derniers. Comment peut-on nous faire croire qu’un sondage de 716 sympathisants sera autant représentatif si on divise par 3 l’échantillon en question, c’est absurde. A noter aussi que l’IPSOS qui pourtant nous dit sur sa page de questions-réponses je (re)cite "Attention : la marge d’erreur est la même quelle que soit la taille de la population dont on recherche à connaître l’opinion. Autrement dit, si l’on souhaite obtenir la même précision, il faut interroger autant de personnes pour connaître l’opinion des Français que celle des seuls Orléanais." Et bien l’IPSOS n’a apparemment pendant les primaires de 2006 pas appliqué ses propres recommandations ...

5) En résumé 

Pour que ces sondages deviennent beaucoup plus fiables il faudrait :

- N’avoir qu’un seul échantillon, composé de sympathisants socialistes, puisque ce sont eux qui iront désigner le candidat, ou du moins avoir un échantillon socialiste d’au moins 1000 individus comme la plupart des sondages d’aujourd’hui bien qu’il est conseillé d’aller beaucoup plus loin pour réduire la marge d’erreur qui reste dans ce cas ci toujours aux alentours de 3,2%.

- Et pour ceux qui veulent continuer malgré tout à étudier l’ensemble des Français en plus des sympathisants socialistes, il convient de mettre en avant non pas comme c’est souvent le cas, les résultats de l’ensemble des Français mais bien celui qui nous intéresse celui des sympathisants, souvenez-vous d’ailleurs en mars 2009 avec Libération qui affichait en gros dans son journal pour son sondage Viavoice ses résultats avec DSK 28%, Royal 18% et en tout petit en dessous le résultat des sympathisants où là c’était très nettement Ségolène Royal qui l’emportait.

- De préciser la marge d’erreur de leur sondage, celle-ci doit figurer au moins dans le dossier pdf publié sur le site internet de chaque institut et dans le meilleur des cas les médias ayant commandé ce sondage doivent en plus de la fameuse phrase "Sondage réalisé par téléphone au près d’un échantillon représentatif" rajouter cette information plus que nécessaire.

- Enfin la question posée, puisque ce ne seront plus que les sympathisants socialistes, plus besoin de poser des questions du style : "A votre avis, quelle serait la personnalité la mieux placée pour être désignée candidate à l’élection présidentielle, lors de primaires ouvertes à l’ensemble des sympathisants socialistes" Allons vers l’essentiel en leur demandant enfin pour qui ils iront voter tout simplement plutôt que de poser des questions sur qui ils verraient être désigné candidat !

En attendant que ces recommandations soient prises en compte et ce n’est certainement pas demain la veille, je vous conseil de prendre beaucoup de distances vis-à-vis de ces sondages qu’ils soient d’ailleurs positifs ou négatifs pour tel ou tel candidat ou candidate.