Dimanche 21 avril 2002. 20h00. Les premières estimations pour le 1er tour des élections présidentielles, livrées sur les chaînes de télévisions par les grands instituts de sondage, s'affichent sur nos écrans.
L'exercice, désormais bien rodé, est suivi des premiers commentaires et analyses, qui stigmatisent immanquablement les erreurs des sondeurs, coupables d'avoir sous-estimé tel candidat, ou, d'avoir intoxiqué les électeurs avec des fausses prévisions.
La polémique peut ensuite enfler et se prolonger dans la presse, prompte à mettre les sondages au pilori après en avoir rempli ses colonnes pendant plusieurs mois, tenant en haleine les politiques de tout bord et l'opinion publique, jusqu'à éclipser parfois les programmes des candidats.
Ce rituel est installé à présent depuis plusieurs élections. Et il est vrai qu'il ne cesse d'être alimenté par les erreurs importantes commises par les sondages, à chaque échéance : municipales de 2001 avec la «vague rose», législatives de 1997 avec la droite donnée gagnante, présidentielles de 1995 avec Jacques Chirac considéré comme hors course.
Alors, que penser des sondages politiques ? Les méthodes utilisées sont-elles scientifiques ? Comment expliquer alors les erreurs dans l'estimation des intentions de vote ?

Un peu d’histoire
Avant d'aborder la méthode des sondages, intéressons-nous un peu à leur genèse.
Les sondages politiques naissent vraiment en 1936, à l'occasion de l'élection présidentielle américaine. Roosevelt, président depuis 1932, se présente pour un second mandat contre London.
La presse américaine affirme que London va gagner, après avoir eu recours, comme à l'habitude depuis le début du 19ème siècle, à ce que l'on appelle les «straw votes» (votes de paille). Cette technique consiste, pour les journaux, à demander à leurs lecteurs de renvoyer un coupon mentionnant leur choix.
Ainsi, le Literary Digest reçoit près de 2 millions de réponses qui pronostiquent la victoire de London. De son côté, Georges Gallup, qui vient de créer en 1935 l'un des premiers instituts de sondages, pronostique la victoire de Roosevelt, en interrogeant un échantillon représentatif de 4.000 personnes seulement. L'élection lui donne raison.
Dès 1938, Jean Stoetzel, créateur de l'IFOP (Institut Français de l'Opinion Publique) importe cette technique en France et la désigne par le mot «sondage», à consonance scientifique.
Mais c'est en 1965 seulement que les instituts de sondage réalisent pour la première fois une estimation de vote le soir de l'élection présidentielle. Les Français découvrent à 20 heures, que le Général de Gaulle est mis en ballottage par François Mitterand.
Cette date marque l'entrée en force des sondages dans le paysage politique français.
La nouveauté cette année est que ces sondages vont pouvoir être publiés, y compris dans la semaine précédent les élections (jusqu'au vendredi minuit). En effet, la loi de 1977 qui interdisait toute publication pendant la semaine précédant les élections a été mise à mal par les nouvelles technologies de la communication. On se rappelle tous du sondage sur le second tour des élections présidentielles de 1995 publié dans la semaine de l'élection sur le site internet de «La tribune de Genève». De même, les sites de la presse française ont placé, lors des législatives de 1997, des liens vers des sites étrangers présentant les derniers sondages pré-électoraux. Dans un arrêt de septembre 2001, la Cour de Cassation a jugé que la loi de 1977 était contraire à la Convention européenne des droits de l'Homme, au nom du droit à l'information. Le Parlement en a tiré les conclusions, en légalisant, le 7 février dernier la publication des sondages jusqu'au vendredi minuit précédant l'élection.

Comment sont-ils réalisés ?
La méthode d'échantillonnage
La théorie des sondages est basée sur la notion mathématique de probabilités. Elle part du postulat que l'on peut connaître l'opinion d'une population donnée en observant l'opinion d'un petit sous-ensemble de celle-ci, à condition que cet échantillon possède les mêmes caractéristiques que l'ensemble de la population.
Les sondages politiques s'appuient généralement, pour la constitution de l'échantillon à interroger, sur la méthode des quotas.
Cette méthode est moins fiable que la méthode théorique du tirage aléatoire. Elle est utilisée pour des impératifs de délais de réalisation et de coûts.
La méthode des quotas consiste à choisir un échantillon qui a la même répartition que la population française, sur plusieurs critères signalétiques.
La taille des échantillons utilisés pour ces sondages est, généralement, d’environ 1.000 personnes. Il est à noter que cette même taille d'échantillon est également utilisée très souvent aux Etats-Unis, qui ont pourtant une population de 270 Millions de personnes.

Cela s'explique par le fait que la fiabilité des chiffres obtenus dépend très peu de la taille de la population mère et beaucoup plus de la valeur absolue de la taille de l'échantillon. Ainsi, il faudrait également interroger 1.000 personnes en Belgique ou à Monaco, pour disposer du même niveau de fiabilité.
Notons qu'il existe un autre critère très important pour l'estimation de la fiabilité des résultats : la répartition des réponses. En effet, une répartition de 50-50 implique une marge d'erreur bien plus importante qu'une répartition 80-20, pour une taille d'échantillon donnée.
Notons qu'en théorie, l'utilisation de la méthode des quotas ne permet pas de calculer de manière scientifique une marge d'erreur pour le sondage effectué. Mais en pratique, on considère que cette marge d'erreur est comparable à celle des sondages réalisés avec un tirage aléatoire.
Les marges d'erreurs des valeurs obtenues sont calculées à un niveau de confiance donné (généralement 95%). Ainsi, pour 1.000 personnes interrogées, l'erreur est de +/-3,1%, au seuil de confiance de 95%, pour une réponse donnée par 50% des sondés.
Concrètement, cela signifie qu'il y a 95% de chances que si l'on interroge l'ensemble de la population, la proportion de personnes qui donneront cette réponse se situera entre 46,9% et 53,1% de la population.
La formule de calcul de la marge d'erreur à 95% est la suivante :



où p est le pourcentage de réponse et n l'échantillon.

Le tableau suivant fournit quelques marges d'erreurs au niveau de confiance de 95%.



Il montre notamment qu'il faut doubler un échantillon de 1.000 personnes pour affiner les résultats de moins de 1% seulement !

Le terrain d'enquête
Aujourd'hui, la plupart des sondages d'intention de vote sont réalisés par téléphone et non plus, comme c'était le cas il y a quelques années encore, en face à face. Sur les 6 grands instituts intervenant dans le domaine, un seul (BVA) continue à réaliser ses sondages politiques en face à face, au domicile des personnes interrogées.
L'utilisation du support téléphonique ne représente plus de biais étant donné que le taux d'équipement des ménages est suffisant pour assurer une bonne représentativité de la population globale.
De plus, il permet d'obtenir des résultats beaucoup plus rapides et évite de se heurter à des obstacles d'accès au domicile des personnes (digicodes, quartiers difficiles…)
L'enquête téléphonique permet également de contrôler plus facilement la qualité du recueil : en effet, il suffit d'écouter les enquêteurs et de surveiller leur travail, alors que les enquêtes sur le terrain sont plus difficiles à contrôler (certaines personnes refusant de communiquer leurs coordonnées pour être recontactées).
Enfin, les systèmes CATI (Computer Assisted Telephone Interviews) utilisés facilitent beaucoup l'administration du questionnaire en assurant la gestion automatique des cheminements dans les questions. Ils permettent également d'arriver plus facilement, en fin de campagne, à adresser rapidement un grand nombre d'individus pour ne retenir que ceux qui correspondent aux quotas à atteindre.

Le redressement des résultats
Avant de pouvoir être publiés, les intentions de vote recueillies doivent obligatoirement faire l'objet de redressements et de corrections.
En effet, dans ce domaine plus que dans d'autres, les répondants ont tendance à tricher avec la réalité et à ne pas exprimer avec franchise leurs choix. C'est le cas notamment des partisans des mouvements extrêmes et des abstentionnistes (dont une bonne partie n'avouera pas son intention de ne pas aller voter).
Pour pouvoir effectuer les rectifications nécessaires, les sondeurs demandent généralement aux personnes interrogées d'indiquer le vote qu'ils ont effectué lors de précédentes échéances. Certains candidats comme Jean-Marie Le Pen obtiennent un score déclaratif inférieur à leur score effectif : si 10% des personnes interrogées indiquent qu'elles ont voté pour lui aux précédentes élections alors que son score était de 15%, les intentions de vote pour l'élection à venir sont redressées dans ces proportions.
Mais comme on peut l'imaginer, ces redressements ont des limites, notamment en ce qui concerne les candidats atypiques, n’ayant pas un historique permettant de faire ce type d'extrapolations (J.P. Chevènement, par exemple).

Pourquoi leur arrive-t-il de se tromper ?
Les erreurs dans la communication des résultats
Avant d'aborder les erreurs liées à la technique même des sondages, commençons par pointer un élément qui renforce la méfiance vis-à-vis des sondages : la présentation inexacte des résultats par les hommes politiques qui les citent et les journalistes qui les présentent.
Ces derniers préfèrent d’ailleurs se charger de communiquer les résultats de manière claire et animée, plutôt que de confier cette tâche à des sondeurs souvent techniques, précautionneux et finalement ennuyeux.
Le manque de rigueur dans l'énoncé des résultats s'exprime de plusieurs
manières :

- les questions posées sont souvent mal retranscrites, alors que l'on sait très bien que les chiffres donnés ne valent que pour la question posée. Ainsi, lorsque l'on demande aux Français s'ils ont une bonne opinion d'une personnalité, cela ne signifie pas que ceux qui répondent positivement vont voter pour cette personnalité, son parti ou sa tendance politique.

- la mauvaise maîtrise de la notion même de pourcentage se traduit par des raccourcis surprenants : on additionne des pourcentages qui portent sur des bases différentes ; on compare également des évolutions sur des éléments non comparables. C'est ainsi qu'on arrive à dire que l'on a gagné des électeurs d'un suffrage à l'autre alors qu'en valeur absolue, le recul est très important. Inversement, lorsqu'il s'agit de mentionner un nombre d'électeurs, on applique le pourcentage de votants sur l'ensemble de la population, pour obtenir des valeurs marquantes (10% de votes ne représentent pas 6 millions de bulletins de vote).

-enfin, très peu de précautions sont prises dans l'énoncé des chiffres. Certains pourcentages sont donnés avec jusqu'à deux chiffres après la virgule, ce qui est complètement ridicule lorsque l'on sait que la marge d'erreur se situe au minimum à 2% sur un échantillon de 1000 personnes.

Les biais méthodologiques
Pour être valable, un sondage politique doit être mené avec beaucoup de rigueur, à tous les stades : définition de questions claires et précises, constitution de l'échantillon, formulation des questions, saisie des réponses, retraitements et redressements.
Or des erreurs peuvent s'insérer à chacune de ces étapes, d'autant plus que toutes ces opérations sont réalisées très souvent dans des délais extrêmement courts, sous la pression des évènements et des commanditaires.
En supposant que toutes les précautions ont été prises pour éviter les erreurs de base, il est des biais plus difficiles à éviter.
Les plus importants sont liés au choix de l'échantillon. En effet, la méthode des quotas qui est utilisée pour choisir l'échantillon peut être mise en œuvre avec plus ou moins de finesse.
Les critères utilisés sont nécessairement peu nombreux, notamment pour des raisons de coût et de simplification. Généralement, on utilise l'âge, le sexe, la catégorie socio-professionnelle, la catégorie d'agglomération et la région. Pourtant, d'autres critères tel le niveau d'études, le statut marital ou la présence d'enfants sont déterminants dans le comportement de vote.
Par ailleurs, les critères utilisés peuvent eux-mêmes se heurter à une réalité plus complexe.
Ainsi, la CSP «Inactifs» qui regroupe quasiment le tiers de la population française est souvent traitée en bloc. Or on retrouve dans cette catégorie des populations très diverses (femmes au foyer, jeunes sans emploi, retraités). Et même lorsque ces sous-catégories sont prises en compte séparément, il est difficile de gérer des paramètres encore plus fins mais très déterminants dans les intentions de votes, telle l'ancienne profession des retraités, par exemple.
Toujours concernant le respect de la représentativité de l'échantillon, on constate qu'un nombre croissant de personnes refusent de répondre aux enquêtes téléphoniques, surtout lorsqu'il s'agit de questions aussi engageantes que celles des sondages politiques. Les populations qui répondent le plus volontiers ont souvent un niveau d’étude supérieur et portent de l’intérêt à la vie politique.
Les abstentionnistes, jeunes et autres blasés de la politique se retrouvent donc sous-représentés.
Tout cela fait que les quotas sont plus difficiles à atteindre et que la tendance devient forte, d'utiliser la méthode du redressement d'échantillons pour effectuer les rattrapages nécessaires, (avec un risque d'erreur d'autant plus important que le redressement affecte des coefficients forts à certaines catégories peu interrogées).
A ces biais habituels s'ajoutent de nouvelles difficultés, auxquelles les instituts de sondages vont devoir répondre dans les années à venir pour assurer la fiabilité de leurs résultats. Ainsi, si le téléphone, média privilégié pour les sondages d'opinion, assure actuellement une représentativité satisfaisante, un phénomène nouveau suscite quelques interrogations : la multiplication des téléphones portables. En effet, de plus en plus de Français se désabonnent de leur ligne fixe au profit de numéros mobiles. Or il n'existe pas aujourd'hui un annuaire exhaustif des téléphones mobiles. En outre, il est plus difficile d'administrer une enquête sur mobile que sur une ligne fixe.

Des électeurs «mobiles»
Il est également une tendance qui inquiète beaucoup les sondeurs et qui pourrait, si elle se poursuivait dans les prochaines années, achever de dé-crédibiliser les sondages politiques.
Il s’agit de la volatilité de l’électorat et du nombre d’indécis qui atteignent des niveaux inquiétants. A deux semaines du premier tour, il y avait encore 40% d’indécis ou de personnes susceptibles de changer d’avis. Et on estime que plus de 20% des votants vont finalement se décider dans l’isoloir.
A cela s’ajoute le nombre record des candidats, et la disparition du clivage gauche-droite qui permettait des reports prévisibles entre les deux tours.
Comment arriver dans ces conditions à donner de manière fiable des estimations, surtout lorsque l’élection se joue à 1 ou 0,5 points d’écart ?
Même si l’on comprend bien cette difficulté, ni les hommes politiques, ni les journalistes, ni l’opinion publique ne pardonneront aux sondages de s’être trompés.
Car ces sondages sont devenus aujourd’hui les véritables oracles de notre société moderne et les sondeurs des sorciers capables par on ne sait quel pouvoir occulte, de prédire notre avenir.
Cette sur-confiance et les déceptions qui découlent des erreurs répétées dans le champ politique, risquent de provoquer la mise en question générale de la fiabilité des études et du travail quotidien des 350 instituts d’études hexagonaux.
C’est à se demander si les grands instituts qui utilisent ces sondages politiques comme un outil de notoriété, ne feraient pas mieux de s’organiser pour en limiter l’utilisation et mieux communiquer sur leurs objectifs et leurs limites.

Les sondages politiques, avant tout un outil de notoriété pour les instituts.

Les sondages politiques sont pratiqués en France principalement par six grands instituts : Bva, CSA-TMO, Ifop, Ipsos, Louis Harris et TN Sofres.
Cette activité représente avant tout un instrument de notoriété pour ces instituts, qui leur permet de se faire mieux connaître de leur cible d'entreprises, à l'occasion de la publication de leurs résultats et des partenariats nouées avec la presse et les stations de radio et de télévision pour les émissions politiques et les soirées électorales.
Ainsi, en 2000, les sondages politiques n'ont contribué qu'à environ 3% au chiffre d'affaires d'IPSOS France et à 9% à celui de BVA.