Une enquête
par questionnaires est un vrai projet : elle implique des objectifs
clairs, une méthodologie et une organisation rigoureuses,
une planification précise et, bien sûr, des investissements
parfois importants en temps et en argent.
Si l'enquête peut apporter des éclaircissements utiles
et servir de base à des choix, elle se traduit également
par une interaction avec les répondants (clients, collaborateurs...).
La démarche peut donc avoir certaines conséquences
en termes de communication et entraîner des réactions
de la part des personnes concernées par l'objet de l'enquête.
Ainsi, une enquête de satisfaction des clients peut être
perçue en interne comme une critique, une remise en question,
un signe de défiance vis à vis du personnel. A l'inverse,
cette même enquête peut être perçue de
manière très positive par les clients, contents de
voir que l'on s'intéresse à leurs opinions.
Une bonne conscience des enjeux et des conséquences possibles
est donc indispensable avant même d'aborder les phases techniques
du processus d'enquête.
LA PREPARATION
DE L'ENQUETE
La définition des objectifs
Gardez
à l'esprit, lorsque vous vous lancez dans un projet d'enquête,
que votre objectif est de répondre à une interrogation.
Si vous ne savez pas précisément de quelle interrogation
il s'agit, laissez-tomber l'enquête.
Votre objectif doit être clair pour tout le monde, bien ciblé
et opérationnel.
La clarté pour tous
Même lorsque vous avez identifié un objectif clair,
pensez à le formaliser et à le faire approuver par
toutes les personnes concernées par l'enquête. En effet,
il est très fréquent que différents services
ou intervenants aient des lectures différentes de la finalité
d'une même opération. Certains vont chercher un complément
d'informations, d'autres une explication d'un comportement ou une
hiérarchisation de différents choix. D'autres encore
vont surtout attendre que l'enquête leur fournisse de la matière
ou des alibis pour leur communication interne ou externe. Ces différents
niveaux d'objectifs impliquent des approches différentes.
Il est donc important que la finalité première et
le type de résultats attendus soient écrits et validés,
avant d'aller plus loin.
Le bon ciblage
Comme dans tout projet, il est tentant, lorsqu'on planifie une enquête,
de penser à différents objectifs complémentaires
qu'on pourrait atteindre “pendant qu'on y est” et parce
que “c'est dommage qu'on n'en profite pas pour également...”
C'est comme cela qu'on arrive ensuite à des questionnaires
complexes, qui dispersent l'attention de l'interlocuteur sur différents
sujets.
Nous vous conseillons de vous concentrer sur le sujet principal,
sans digressions et rattachements artificiels. Si un sujet complémentaire
ne vous semble pas mériter une autre enquête à
lui tout seul, c'est probablement qu'il n'est pas tellement important.
Le caractère opérationnel
L'objectif doit également être opérationnel
et susceptible de déboucher sur des actions concrètes.
Trop souvent, des enquêtes sont réalisées et
de nombreuses questions posées “parce que c'est intéressant”.
Il convient à chaque fois de se demander si cet intérêt
a un prolongement concret et peut se traduire ensuite par des décisions
et des améliorations effectives. Si tel n’est pas le
cas, le seul fait de soulever la question peut engendrer lui-même
des promesses et des insatisfactions supplémentaires.
Le choix
de l'échantillon
C'est là une source d'interrogations fréquente pour
les personnes chargées d’élaborer l’enquête
: combien de personnes dois-je interroger pour que mes résultats
soient fiables ? comment dois-je les choisir pour qu'ils soient
représentatifs ?
Méthode de sélection
Le pré-requis consiste déjà à bien identifier
la population-mère sur laquelle porte l'enquête : s'agit-il
d'une enquête sur vos clients actuels ou sur tous ceux qui
seraient susceptibles de vous acheter un produit un jour ? La question
posée se limite-t-elle à une zone géographique,
à un groupe particulier de personnes ? etc.
En théorie, vous devez sélectionner l'échantillon
par tirage aléatoire dans cette population-mère que
vous aurez identifié. Chaque individu statistique doit avoir
exactement la même chance que les autres de participer à
l'enquête.
En réalité, il est le plus souvent impossible de constituer
une base de données exhaustive et de tous les individus de
la population-mère. Vous aurez donc plus vraisemblablement
recours à la méthode plus empirique des quotas. Le
principe est d’identifier dans la population-mère, quelques
critères de répartition significatifs puis d'essayer
de respecter cette répartition dans l'échantillon
d’individus interrogés. Les individus qui n’entrent
pas dans les quotas sont écartés, soit au moment de
l’interview (par l’enquêteur ou le système
de gestion d’appels pour les enquêtes téléphoniques)
soit à posteriori (lors de la consolidation et du traitement
de données). Vous pourrez également avoir recours
par la suite, au moment de l’analyse des réponses, au
redressement d’échantillons. Cette opération
est effectuée automatiquement par les logiciels d’enquêtes.
Elle consiste à affecter des pondérations aux différents
individus pour respecter les répartitions connues dans la
population-mère (voir un précédent dossier
dans Survey-Magazine).
Taille de l'échantillon
L'enquête, menée sur un échantillon, doit vous
permettre de généraliser les résultats à
l'ensemble de la population ciblée. La taille de l’échantillon
est bien sûr déterminante : Plus votre échantillon
est important, plus la généralisation sera fiable.
Toutefois, les gains de fiabilité ne sont pas proportionnels
à l’augmentation de la taille de l’échantillon.
Ainsi, en interrogeant 2.000 personnes vous n’aurez pas des
résultats deux fois plus fiables qu’en n’en interrogeant
que 1.000. En revanche, il est probable que vous multiplierez par
2 les frais d’administration du questionnaire.
La notion de fiabilité d’échantillon est matérialisée
par un seuil de confiance et une marge d'erreur. Ainsi, un échantillon
défini à un seuil de confiance de 95% et avec une
marge d’erreur de 3% vous permettra d’extrapoler chaque
résultat issu de votre enquête, avec 5% de risques
de vous tromper de + ou - 3%. Ainsi, si vous obtenez un taux de
satisfaction de 67% sur un produit ou service, vous pourrez affirmer
que le taux de satisfaction réel sur l’ensemble de vos
clients a 95% de chances de se situer entre 64 et 70%.
Si la taille de l’échantillon est déterminante,
la taille de la population-mère a en revanche très
peu d’importance. En effet, il faut savoir qu’à
l'exception des populations très petites où le lien
est plus direct (voir encadré ci-contre), la marge d’erreur
d'un échantillon n’est que très faiblement liée
à la taille de la population-mère. Et ce lien est
quasi-inexistant lorsque vous avez affaire à de grandes populations.
C’est pour cela par exemple, que les sondages politiques réalisés
aux Etats-Unis sur un échantillon de 1.000 personnes ont
quasiment les mêmes marges d’erreur que celles réalisées
en France ou en Belgique sur des échantillons de même
taille.
Il faut
également savoir que la répartition des réponses
à une question donnée conditionne la marge d’erreur
de l’extrapolation, dans un même échantillon.
Ainsi, lorsque vous obtenez des réponses réparties
à 50-50, le niveau de précision de votre extrapolation
est inférieur à celui que vous auriez avec une répartition
80-20.
En pratique, pour calculer la marge d'erreur précise des
résultats d'une question, c'est à dire l'intervalle
de confiance dans lequel se situe réellement la réponse
au seuil de confiance de 95% , vous pouvez appliquer la formule
suivante :
Erreur = 1,96 * Racine (p*(1-p)/n) ,
où p est le pourcentage de réponse et n la taille
de l'échantillon.
Ainsi, au seuil de 95%, pour un échantillon de 1000 personnes
et un niveau de réponse de 50%, l'erreur est de +/- 3,1%
et la réponse sera en fait comprise entre 46,9% et 53.1%.
Ce qui peut changer bien des choses (notamment lors des pronostics
électoraux) et qui doit encourager à une certaine
vigilance dans la construction des échantillons et dans la
communication des résultats.
Le tableau récapitulatif
ci-dessous indique les marges d'erreurs pour quelques proportions
de réponses, au seuil de confiance de 95%, pour quelques
tailles d'échantillon :
En théorie, cette méthode de calcul scientifique de
la marge d'erreur ne s'applique que sur les échantillons
obtenus par tirage aléatoire. En pratique, vous pouvez également
l’utiliser pour les enquêtes par quotas.
Choix des
quotas
Les critères généralement utilisés comme
quotas sont le plus souvent des variables socio-démographiques
(sexe, CSP, âge). Mais vous pouvez également intégrer
des critères comportementaux ou d’opinion, dont vous
connaissez la proportion dans la population mère. Ainsi,
vous pourrez chercher à reconstituer dans l’échantillon
la part de marché de vos produits et des produits concurrents.
Au delà de l’objectif de représentativité
statistique de l’échantillon, les quotas peuvent également
être utilisés comme critères de sélection
des personnes à interroger en liaison avec l’objet de
l’étude. Ainsi, vous pouvez chercher à interroger
50% de clients et 50% de non clients, non pas parce que c’est
le reflet de la réalité mais simplement parce que
vous souhaitez comparer les opinions de vos clients avec ceux des
non-clients. Dans ce cas, vous êtes en présence de
deux échantillons distincts dont la représentativité
est à mesurer séparément.
Dans tous les cas, ne retenez qu’un nombre restreint de quotas.
Au delà de 2 ou 3 quotas, vous compliquerez la tâche
de vos enquêteurs, surtout pour la gestion des “queues
de quotas”.
De même optez pour des quotas simples où l’enquêteur
cherchera à remplir séparément les différents
critères plutôt que pour les quotas croisés,
même si ces derniers traduisent plus fidèlement la
structure de la population globale.
LA
CONCEPTION DU QUESTIONNAIRE
Un
mauvais questionnaire posé à 1000 personnes est certainement
moins instructif qu’un bon questionnaire posé à
200 personnes seulement. La phase de rédaction est donc essentielle
dans la réussite du projet d’enquête.
L’idée principale qui doit guider la conception du support
d’enquête est la suivante : un bon questionnaire doit
permettre un bon traitement. En effet, vous ne pourrez retirer de
votre questionnaire que ce que vous y aurez mis. Les objectifs d’analyse
doivent donc être pris en compte dès cette étape.
C’est d’autant plus important que de simples précautions
permettent d’obtenir un potentiel d’analyse décuplé.
Ainsi, certaines méthodes statistiques comme l'analyse automatique
de satisfaction qui calcule l’importance des critères
à partir des seuls niveaux de satisfaction, repose sur la
présence dans le questionnaire d'une question de satisfaction
générale et de différents items pour les critères
avec la même structure (d'au moins 3 réponses). Oubliez
cette question de satisfaction générale et vous ne
pourrez pas calculer automatiquement l’importance de chacun
de vos critères dans l’amélioration de la satisfaction
de vos clients.
Rappelons aussi ce qui a été déjà évoqué
plus haut concernant le contenu du questionnaire qui doit se concentrer
sur les seuls objectifs assignés à l'enquête.
Ce sont ces objectifs qui doivent guider la rédaction et
vous faire éviter autant que possible de poser toutes les
questions que vous auriez envie de poser parce qu'elles sont intéressantes.
Un questionnaire ciblé sur un thème précis
sera plus lisible pour les répondants, plus facile à
administrer et, au final, plus efficace pour vous qu’un questionnaire
fourre-tout qui vous donnerait des informations diverses mais pas
forcément approfondies et exploitables.
La
structuration du questionnaire
Un
bon questionnaire doit contenir tous les éléments
nécessaires à un traitement pertinent des données,
dans une organisation visant à optimiser le recueil de réponses
sincères de la part des personnes interrogées.
Les parties indispensables
Votre questionnaire doit comporter obligatoirement, en plus des
questions d’opinions et de comportements relatives à
l’objet de l’étude, une partie signalétique
permettant de caractériser chaque répondant.
L’interprétation des résultats se basera notamment
sur le croisement de ces deux catégories de variables, appelées
respectivement variables à expliquer et variables explicatives.
En effet, vous pourrez comprendre les jugements et les comportements
des personnes interrogées en fonction de leurs caractéristiques
signalétiques.
Lorsqu’il s’agit de consommateurs, les questions signalétiques
sont généralement le sexe, l’âge, la profession
(CSP = Catégorie Socio-Professionnelle), la région,
etc.
Lorsqu’il s’agit d’entreprises, vous pouvez demander
le secteur d’activité, l’effectif, la région,
etc.
Lorsque l’enquête est nominative, ces informations signalétiques
sont parfois déjà disponibles dans les fichiers de
la base de sondage. A moins d’avoir besoin de confirmation
ou d’actualisation, il vaut mieux dans ce cas éviter
de les redemander, tout en veillant à disposer sur le questionnaire
des éléments qui vous permettront par la suite de
récupérer et d’intégrer les données
existantes dans les fichiers de données (code client par
exemple).
Une organisation en entonnoir
Pour rassurer la personne interrogée et obtenir des réponses
fiables, il convient de procéder en "entonnoir”
en partant des questions les moins engageantes aux questions les
plus personnelles et du général au particulier.
A moins d’avoir besoin de vérifier des quotas sur les
variables signalétiques, celles-ci seront donc mieux situées
en fin de questionnaire qu’en début.
Les questions d’introduction doivent être simples et
claires. L’idéal est de commencer par des questions
dichotomiques (qui admettent une réponse par oui ou par non)
ayant une réponse évidente pour l’interlocuteur,
en vue de mettre ce dernier en confiance. Ces questions “prise
de contact” ne sont pas forcément utiles à l’objet
de l’étude mais servent d’entrée en matière.
On peut ensuite aborder plus sereinement les questions factuelles
(habitudes, comportements) puis les questions d’opinions (évaluations,
satisfaction).
En ce qui concerne ces dernières, il est conseillé
de regrouper les différents critères à évaluer
en tableaux, ce qui raccourcit le questionnaire à la fois
sur papier et dans l’énoncé (on ne répète
pas plusieurs fois le libellé de la question). Cela permet
également à la personne interrogée de “caler”
inconsciemment une échelle qui sera utilisée de la
même manière pour tous les critères.
Nous vous conseillons de placer systématiquement, en amont
de chaque tableau d’évaluation, une question globale,
permettant de recueillir l’opinion générale de
la personne interrogée sur le thème qui sera évalué
critère par critère. Comme nous l’avons évoqué
plus haut, cette question permettra, lors du traitement, de calculer
l’importance de chacun des critères de détail.
Attention : il est indispensable d’utiliser exactement la même
échelle pour la question globale et pour les questions de
détail.
A ce titre, plusieurs types d’échelles sont possibles
(voir encadré). Nous vous conseillons d’utiliser généralement
une échelle à 4 positions, en ayant recours au même
adjectif dans les 4 propositions, précédé respectivement
par tout à fait, plutôt, plutôt pas et pas du
tout. Il est d’ailleurs préférable de présenter
les propositions dans cet ordre (du positif au négatif).
Quel que soit le type d’échelles pour lequel vous opterez,
il est fortement conseillé de le conserver tout au long du
questionnaire (en faisant éventuellement varier l’adjectif),
pour éviter toute ambiguïté au répondant.
La
rédaction des questions
Maintenant
que vous connaissez les thèmes à aborder et l’organisation
générale de votre questionnaire, il est temps de vous
atteler à la rédaction des questions et à la
mise en forme de votre questionnaire.
La formulation des questions
Le questionnaire s’adresse avant tout aux personnes qui vont
y répondre. Les questions qui leur sont posées doivent
donc être claires et directement compréhensibles.
Pour cela, prenez bien soin de n’utiliser que des termes appartenant
au langage courant et ayant une signification identique pour tous.
Tout jargon technique doit être exclu. Si vous avez absolument
besoin d’utiliser des termes techniques ou des mots complexes,
il convient d’en donner une explication claire en accompagnement
de la question.
La formulation des questions doit également être simple
et claire. Il convient à ce titre d’éviter les
formes négatives ou interro-négative, encore plus
difficiles à appréhender. De même, toute ambiguïté
ou imprécision seraient de nature à recueillir des
réponses fausses. Ainsi, il est préférable
de ne pas utiliser des termes comme “souvent” qui peuvent
être interprétés différemment par les
personnes interrogées. Utilisez plutôt des notions
claires comme “Plus de 2 fois par semaine”.
De même, veillez à n’aborder dans chaque question
qu’une seule notion à la fois. Une question qui demande
l’opinion du répondant sur deux éléments
sera automatiquement biaisée. La bonne démarche est
de scinder cette question en deux pour avoir une appréciation
claire et distincte sur chacun des éléments.
Les questions doivent être concises et complètes. La
question doit être exprimée en une phrase courte, qui
facilitera sa compréhension, notamment au téléphone.
Elle devra proposer toutes les possibilités logiques de réponses
pour éviter de mettre le répondant dans une impasse
et lui faire sentir que le questionnaire ne concerne pas vraiment
son cas (ce qui peut le pousser à “bacler” la fin
du questionnaire, puisque ses réponses n’ont, dans ce
cas, pas beaucoup d’importance).
Enfin, il est conseillé d’éviter les questions
très engageantes personnellement : religion, argent, santé,
sexe, alcool, conflits familiaux. Si de telles questions sont vraiment
indispensables, il vaut mieux les aborder le plus tard possible
dans le questionnaire.
Les différents types de questions
Selon l’information à recueillir, vous pouvez opter
pour l’un ou l’autre des types de questions ci-après
:
Le type qualitatif
Les questions qualitatives sont les plus courantes dans les enquêtes.
On propose une liste de réponses et la personne interrogée
doit en choisir une ou plusieurs. Cette notion de réponse
unique ou multiple doit d’ailleurs être précisée
dans le questionnaire, pour éviter toute ambiguïté.
Ces questions qualitatives sont faciles à traiter. L’utilisateur
obtient en résultat des tableaux de répartition simples
ou croisés des répondants sur les différentes
réponses proposées. De nombreux traitements statistiques
sont également applicables facilement.
Toutefois, ce type de questions exige d’avoir prévu
à l’avance toutes les réponses possibles à
la questions, ou de recodifier a posteriori les réponses
“autres” recueillies. Pour dépasser cette limitation,
certains logiciels d’enquêtes comme Ethnos permettent
de définir des questions qualitatives “enrichissables”.
La personne interrogée peut choisir sa réponses parmi
celles proposées ou donner une réponse nouvelle. A
la saisie, ces réponses nouvelles seront ajoutées
à la liste initiale et enrichiront ainsi la question.
Le type numérique
Les questions numériques attendent une réponse chiffrée.
Il peut s’agir d’une quantité, d’un âge,
d’un prix, d’une note... Il est indispensable, pour obtenir
une réponse valable, de bien indiquer l’unité
attendue et, lorsqu’il s’agit d’une note, le sens
retenu (1 pouvant être la meilleure note ou la moins bonne).
Attention : avant de retenir le type numérique pour une question,
il faut se demander si la personne interrogée pourrait ou
voudrait bien donner une valeur précise à cette question.
S’il s’agit d’une note, ce sera sans doute le cas.
En revanche, pour des questions comme l’âge, le revenu
ou la fréquence d’un comportement, il est préférable
de proposer des tranches. Il s’agira dans ce cas d’une
question qualitative et non plus numérique.
Les questions numériques autorisent encore plus de traitements
statistiques que les variables qualitatives (puisqu’on peut
les traiter en numériques et les recodifier en qualitatives).
Le type texte
Les questions de type texte correspondent aux questions complètement
ouvertes, qui proposent au répondant de répondre librement
à la question, par une ou plusieurs phrases.
Ces questions sont très souvent employées par les
utilisateurs occasionnels d’enquêtes, qui pensent ainsi
capter plus d’éléments en laissant la liberté
complète de réponse aux personnes interrogées.
Or on s’aperçoit vite, à l’usage, que des
questions fermées bien posées apportent beaucoup plus
d’éléments exploitables que ces questions ouvertes.
Nous vous conseillons donc d’en faire un usage modéré,
en les réservant notamment à un commentaire libre
en fin de questionnaire.
Les autres types
Il s’agit notamment des questions de type date, heure et calcul
qu’il arrive d’utiliser dans les questionnaires. Si les
deux premiers sont d’un usage évident, le type calculé,
lui, correspond à une utilisation plus avancée, utile
notamment dans le cas des questionnaires administrés et saisis
en direct (au téléphone, en CAPI...). Il s’agit
de questions qui prennent automatiquement des valeurs en fonctions
des réponses données aux questions précédentes
et qui peuvent permettre ainsi d’orienter la suite du questionnaire.
Ainsi, on peut demander à une personne qui a donné
des évaluations très mauvaises à une série
d’items, plus de détail sur ce qui motive son appréciation
très négative. Ce cheminement sera proposé
automatiquement par le logiciel d’enquêtes.
Une présentation soignée
Si l’organisation et le contenu du questionnaire sont essentiels,
sa présentation est également très importante,
qu’il s’agisse de questionnaires auto-administrés
ou de questionnaires administrés par des enquêteurs.
Les premiers doivent absolument être clairs et attractifs
pour les répondants, afin de les inciter à répondre.
Les seconds doivent faciliter au maximum le travail de l’enquêteur
en comportant toutes les indications utiles sur ce qui doit être
dit et sur les différents cheminements conditionnels dans
le questionnaire.
Dans les deux cas, les différentes parties doivent être
clairement identifiées. Le questionnaire doit avoir un encombrement
réduit, grâce à une mise en page optimisée
qui devra s’attacher, dans le même temps, à garder
la place nécessaire pour l’indication des réponses.
Le test du questionnaire
Malgré toute l'attention portée à sa conception,
le questionnaire doit être testé en réel. Il
faut le faire sur un petit échantillon, différent
de celui constitué pour l'enquête pour ne pas "gâcher"
des contacts bien identifiés, avant de passer à la
phase d'administration. C'est une phase clé car rien ne peut
remplacer la réalité du terrain. La qualité
du traitement des données et des résultats en dépendent.
LA
COLLECTE DES REPONSES
L'administration du questionnaire
Le choix d’un mode de collecte
Plusieurs techniques de recueil existent et sont utilisées
en fonction du contexte et des contraintes liées à
l'enquête. Ces contraintes peuvent être d'ordre méthodologique
(la cible n'est pas équipée d'Internet, le questionnaire
est assez long et détaillé), budgétaire (la
cible est très large et trop coûteuse par téléphone),
ou de temps (le recueil doit se faire dans la journée suivant
l'action à évaluer). D'autres encore, sont liées
au format de la base d'enquête, aux informations sur la cible
(de quelles coordonnées dispose-t-on ?), au contrôle
dynamique à faire sur les quotas en cours d'enquête,
aux consignes parfois complexes de remplissage et de passation (un
enquêteur est nécessaire pour expliquer ou commenter
les questions, éventuellement montrer un échantillon,
ou un visuel).
Le mode de collecte n'est donc pas toujours un choix évident
et il doit faire partie intégrante de la réflexion
méthodologique de l'enquête dès le départ.
Le solution finalement choisie est souvent celle représentant
le meilleur compromis entre les avantages et les contraintes. La
décision finale doit tout de même privilégier
avant tout la fiabilité des données recueillies. Dans
les meilleurs des cas on pourra essayer de combiner plusieurs modes
: un envoi postal ou Internet suivi d'une relance téléphonique,
ou inversement un appel devançant l'envoi postal. Deux modes
différents peuvent être également retenus, en
fonction des cibles, en conservant la même trame de questionnaire.
Notons ici, l'avantage de certains logiciels permettant de concevoir
une seule fois le questionnaire, de le déployer sous plusieurs
modes de recueil et de récupérer une base au même
format pour une exploitation immédiate et multiple.
Les supports disponibles
Le support papier
Il demeure un mode largement utilisé, avec des supports très
variés, du plus simple au plus abouti, en couleur, avec insertion
de visuels ou de photos. Le papier est en effet parfois inévitable
et irremplaçable malgré l'avènement de techniques
électroniques. Pour des raisons culturelles, légales,
pratiques ou pour des impératifs de confidentialité
et d'anonymat il reste la norme. C’est aussi la solution la
plus économique pour des volumes importants, pour des enquêtes
se voulant les plus exhaustives possibles, non soumises à
des contraintes étroites de temps ou de représentativité
d'échantillon. De plus il peut être utilisé
en face à face comme en auto-administré, avec des
zones explicatives plus ou moins détaillées.
Lorsqu’on choisit ce support, il convient de savoir qu’il
est possible de l'optimiser par une saisie automatisée. En
effet, tout questionnaire, si cela est prévu au moment de
sa conception peut être saisi en mode automatique (pour les
questions fermées codifiées), soit par lecture optique
soit par scannérisation. Il existe sur le marché des
logiciels spécialisés (OMR Manager...) qui permettent
de mettre en forme des questionnaires puis de piloter la phase de
saisie automatique sur différents types de matériels.
Ces outils peuvent prendre en compte les questions qualitatives,
numériques mais pas les questions de type texte, qui devront
être saisies séparément (certains logiciels
scannent l’image de la réponse textuelle manuscrite
et permettent ensuite de la saisir à l’écran).
Le téléphone
On peut, bien sûr, faire une enquête par téléphone
sur un support papier. Mais on perd alors bon nombre d'avantages
des systèmes CATI (Computer Assisted Telephone Interviews).
Ces systèmes permettent une saisie directe des données,
des contrôles automatiques de cohérence, la gestion
des filtres et de renvois entre questions, le contrôle dynamique
des quotas, le suivi des résultats enquêteurs,..
Le téléphone permet un recueil rapide, souple pour
un coût économique très attractif et il est
très largement utilisé, principalement par les instituts
d'études. Les utilisateurs occasionnels sans CATI peuvent
avoir recours à la saisie directe des questionnaires au téléphone,
directement sur le module de saisie de leur logiciel d’enquêtes.
Certains outils comme Ethnos permettent de générer
des saisies décentralisées permettant de faire cette
saisie en ligne depuis plusieurs ordinateurs en même temps.
L’inconvénient majeur du support téléphonique
est la durée du questionnaire. Généralement
on ne va pas au delà d'une durée de 15 minutes, mais
il est parfois possible d'aller au delà, si le répondant
est prévenu (prise de rendez vous) et si sa motivation est
grande vis à vis du sujet traité.
L'enquête informatisée en face à face
L’entretien informatisé en face à face offre
une interactivité et une souplesse appréciable dans
le recueil direct des réponses à la sortie d’un
magasin, dans une zone commerciale, etc.
Les systèmes CAPI (Computer Assisted Personal Interviews)
fonctionnent aujourd’hui sur tablette PC ou sur Pocket PC.
L'offre en matériel a fortement évolué récemment
et les améliorations sont révolutionnaires en terme
d'affichage et d’écran, de mémoire, de connexion
sans fil, et surtout de prix. Les meilleurs logiciels d'enquête
possèdent un module permettant un transfert automatique des
données recueillies vers le module de traitement. La rapidité
est assurée.
L’Internet
Dernière née des technologies d'enquête, le
questionnement sur Internet que l’on appelle CAWI (Computer
Assisted Web Interviews) a ouvert de nouveaux horizons aux intervenants
du domaine : on efface les distances en même temps que les
décalages horaires, on donne un accès libre, convivial
aux répondants avec un recueil mieux suivi et plus rapide
pour celui qui l'organise. C'est aujourd'hui un moyen privilégié
pour des enquêtes internes menées sur plusieurs sites,
tant au niveau national que pour des structures internationales.
C'est aussi un moyen plus ciblé et plus attractif pour les
professionnels de la plupart des secteurs d'activité, qui
peuvent répondre selon leur rythme et leur contraintes. Il
est en cela directement concurrent du mode postal, mais pour l'instant
sur des cibles professionnelles ou pour certaines parties de la
population seulement en raison de l'équipement et de l'utilisation
d'Internet chez les particuliers.
La réunion interactive
C'est un mode moins courant mais en développement. Appelé
CAGI (ou Computer Assisted Group Interviews) il peut être
très intéressant pour recueillir les opinions d’une
salle et éventuellement pour poser des questions complémentaires
en direct (sur une série de projets, ou sur différents
packaging par exemple). Les questions sont projetées sur
un écran et les participants peuvent répondre à
l’aide de boîtiers de vote interactifs sans fil (réception
radio). Les réponses sont transmises instantanément
et peuvent être traitées et retranscrites immédiatement
aux participants, puis complétées si besoin ultérieurement.
Il faut cependant savoir que peu de logiciels d’enquêtes
sont en mesure de proposer d’ores et déjà un
module CAGI. Les solutions de vote déconnectées d’un
système d’enquête sont, elles à éviter.
L'optimisation du recueil
Tous les modes existants doivent permettre le contrôle du
processus et des données collectées.
Si l’enquête est administrée par des enquêteurs
professionnels ou occasionnels (commerciaux, assistantes, stagiaires...),
il est important d’insister auprès d’eux sur l’exigence
de qualité dans le recueil des réponses. La première
règle sera de ne pas influencer les répondants et
de respecter les consignes indiquées sur le questionnaire.
Il faudra d’ailleurs s’assurer que ces consignes ainsi
que le contenu du questionnaire ont été bien compris
par tous.
Cette étape d’administration est souvent une source
de biais parfois importants. Il ne sert à rien de passer
un temps de préparation important puis de s’acharner
sur les données si la matière première de l’enquête,
à savoir les réponses des interviewés n’est
pas extraite avec soin.
La phase de briefing avant le démarrage du terrain d'enquête
est primordiale et ne doit pas être menée à
la légère. Toutes les questions doivent être
posées afin de lever toute ambiguïté sur les
modalités de réponse ou la compréhension d'une
question. La phase de test doit être évoquée
afin de se baser sur des exemples réels.
Dans la conception même du questionnaire, pour des modes d'administration
informatique, toutes les possibilités techniques doivent
être utilisées en terme de verrouillage du nombre de
réponses autorisées, des formats de saisie des données
numériques, et bien sûr les renvois entre questions.
Ces mêmes contrôles doivent également être
présents à la saisie pour des exemplaires papier,
tant en manuel qu'en saisie automatique.
La phase d'acquisition des données
Alors qu’il y a quelques années, la saisie des questionnaires
était une phase naturelle du processus d’enquête,
les modes de collecte automatisés que nous avons abordés
ci-dessus permettent de s’en passer.
Et, même lorsqu’aucun mode automatisé n'a pu être
mis en place, la saisie est aujourd’hui simplifiée grâce
à la nouvelle génération de logiciels d’enquêtes
qui permettent d’effectuer l’entrée des données
facilement et avec tous les contrôles nécessaires (filtres,
calculs automatiques...) sur un ou plusieurs ordinateurs. Toutefois,
ces logiciels ne remplacent pas une bonne organisation lors de la
réception et de la prise en compte des questionnaires, qu’il
est impératif de vérifier rapidement (relecture),
de classer et de numéroter (indispensable pour s’y retrouver
par la suite).
Là aussi, les personnes chargées de la saisie doivent
être sensibilisées à la nécessaire qualité.
Un questionnaire mal rempli doit être écarté
plutôt que de saisir des informations incertaines.
Si le questionnaire contient des questions ouvertes, il peut s’avérer
nécessaire de les recodifier avant la saisie. Il faudra alors
relire tous les questionnaires et définir les réponses
à coder. Cette étape peut être évitée
avec les logiciels qui gèrent l’enrichissement en direct.
Que le fichier provienne directement d’un processus d’enquête
automatisé ou d’une saisie manuelle, il est nécessaire,
avant de passer à l’étape de traitement, de procéder
à une revue des données et à un nettoyage éventuel
des valeurs aberrantes. Ce processus a été abordé
très longuement dans un précédent numéro
de Survey-Magazine (décembre 2003) auquel nous vous renvoyons.
LE
TRAITEMENT DES DONNEES
L’objectif
ici n’est pas de détailler tous les types de traitements
et analyses possibles sur les enquêtes, ni d’expliquer
les modes d’exploitation des résultats et de présentation
du rapport d’étude. La plupart de ces thèmes
ont en effet déjà fait l’objet de dossiers complets
dans Survey-Magazine et les autres méritent qu’on s’y
attarde tout particulièrement, ce que nous ferons dans les
prochains numéros (Dossier à venir sur l’optimisation
de vos rapports d’études).
Nous nous contenterons donc de présenter rapidement ci-dessous
les principaux traitements effectués généralement
sur les données d’enquêtes.
Le redressement d’échantillon
Avant de parler des tris, il convient d’évoquer cette
étape nécessaire notamment dans le cas où la
répartition des quotas n'a pas pu être respectée,
ou encore, si l'on a délibérément choisi de
sur-évaluer un groupe peu représenté pour avoir
un minimum de réponses.
Le redressement d’échantillons a pour objectif de rétablir
les bonnes proportions en affectant un poids (coefficient de redressement)
à chaque individu en fonction de ses caractéristiques.
Le calcul des coefficients s’entend généralement
sur plusieurs critères en même temps. Il ne peut se
faire qu’à l’aide d’un logiciel adapté.
Les fonctions de redressement d’échantillons sont d’ailleurs
disponibles en standard dans les outils d’analyse de données
(Stat’Mania...). Pour plus de détails sur les méthodes
et principes de redressement d’échantillons, nous vous
renvoyons au dossier publié à ce sujet dans le numéro
de septembre 2003 de Survey-Magazine (disponible également
sur www.surveystore.info).
Les types de tris
Les logiciels actuels permettent d'effectuer un très grand
nombre de tris et de les présenter sous forme de tableaux
et de graphiques.
Tabulations
Il s’agit des traitements les plus fréquents et les
plus compréhensibles par tout le monde. Les tabulations consistent
à indiquer la répartition des réponses obtenues.
Le tri-à-plat dans sa forme habituelle, donne la répartition
des réponses pour une seule question (ex : hommes : 43%,
femmes : 57%).
Le tri croisé est un traitement qui porte généralement
sur deux questions et qui indique la répartition des réponses
aux différentes combinaisons de réponses (homme >
25 ans : 17%, etc...). Les tris croisés présentent
généralement un effectif et trois pourcentages : le
% ligne, le % colonne et le % total. Certains logiciels peuvent
indiquer pour chaque tri croisé la valeur du khi2, test statistique
qui mesure la liaison entre les deux variables du tri, pour indiquer
la probabilité pour que la répartition observée
soit ou non dûe au hasard. Il est également parfois
possible de demander l’affichage de la contribution de chaque
case au khi2 global, ce qui renseigne sur les combinaisons de modalités
qui influent le plus sur la liaison entre variables.
Au delà de leur forme simple, les tris croisés peuvent
être étendus à plusieurs variables. On parle
alors de tris croisés NxN ou combinés NxN. Les premiers
présentent au même niveau les modalités des
variables en lignes ou en colonnes alors que les seconds les combinent.
Les tris multiples sont généralement des analyses
applicables sur un tableau de questions identiques (échelles,
notes...). Ils présentent de manière synthétique
les résultats de l’ensemble des critères du tableau.
Tris pondérés
Alors que les tris à plat, croisé ou multiples comptabilisent
les individus correspondants à chaque modalité ou
combinaison de modalités, les tris pondérés
remplacent ce comptage d’individus par une opération
de moyenne ou de somme sur une autre question appelée variable
de pondération.
Ces tris sont extrêmement utiles pour obtenir des tableaux
synthétiques avec des notes moyennes de critères,
selon les combinaisons de réponses à différentes
questions.
Les tris pondérés peuvent être à plat,
croisés ou multiples. Certains logiciels comme Ethnos permettent
également de réaliser des tris pondérés
étendus, qui permettent par exemple, d’obtenir, en une
seule opération, la note moyenne de satisfaction sur un grand
nombre de critères, par magasin, jour ou toute autre variable
de croisement. Des scores peuvent être attribués dynamiquement
au traitement, à chaque modalité de l’échelle
d’évaluation (ex : 100 pour Très satisfait, 75
pour Satisfait, etc.).
Analyses statistiques avancées
Alors que les tabulations sont directement utilisables et compréhensibles
par tous, les analyses statistiques avancées font appel à
des connaissances en la matière et nécessitent, lors
de la présentation des résultats, davantage d’explications.
Certains logiciels comme Stat’Mania offrent à ce niveau
une approche simplifiée permettant d’élargir
l’accès à ces méthodes, notamment en facilitant
la définition des analyses et en rendant plus explicites
et plus communicants les tableaux et graphiques de résultats.
On peut citer parmi les analyses avancées qui apportent une
valeur ajoutée importante dans le traitement des enquêtes
:
- la matrice importance-satisfaction, qui calcule automatiquement
l'importance de différents critères de détail,
par rapport à un critère de satisfaction globale,
et qui indique les critères sur lesquels il faut agir en
priorité pour améliorer la satisfaction globale,
- la recherche des croisements les plus significatifs, qui permet
de détecter automatiquement les couples de variables ayant
la plus forte dépendance,
- la régression multiple, qui permet de modéliser
la relation entre une variable principale et un ensemble d’autres
variables dans le but de pouvoir prédire la valeur de la
variable principale en fonction des valeurs des autres variables,
- les analyses factorielles, qui permettent de résumer plusieurs
variables sur un plan en deux dimensions,
- les typologies, qui permettent de ranger les personnes interrogées
en groupes homogènes,
- la segmentation, qui cherche à expliquer une variable qualitative
par plusieurs autres.
La présentation et l'exploitation des résultats
C’est là l’objectif final de l’étude.
Savoir est une chose importante mais savoir communiquer et transformer
les enseignements de l’étude en actions passe par un
rapport final clair et opérationnel. Il est donc important
de chercher à présenter de manière attractive
et compréhensible les éléments clés
de l'étude.
Cet aspect et ses prolongements (rapports et tableaux de bords dynamiques
sur le web) feront prochainement l’objet d’un dossier
complet dans Survey-Magazine.
Les
10 commandements pour une enquête de qualité :
-
Etablir par écrit des objectifs clairs, précis et
opérationnels à l’enquête puis les faire
valider par les personnes concernées,
- Identifier précisément la cible de l’enquête
(population-mère) et choisir un échantillon représentatif,
- Choisir un nombre restreint de quotas et avoir recours à
des quotas simples plutôt qu’à des quotas croisés,
- Concentrer les questions posées sur le seul objectif de
l’enquête et ne pas ajouter des questions inutiles, même
si elles sont intéressantes par ailleurs,
- Organiser le questionnaire en parties claires en partant du général
au particulier et des questions neutres aux questions engageantes,
- Ne pas multiplier les questions ouvertes qui apportent beaucoup
moins d’informations que des questions fermées bien
posées,
- Utiliser un langage clair, simple et compréhensible par
tous,
- Soigner la présentation du questionnaire et indiquer clairement
les consignes et les informations nécessaires aux enquêteurs
et/ou répondants
- Insister auprès de tous les intervenants en général
et des enquêteurs et du personnel de saisie en particulier
sur la nécessité d’une grande rigueur,
- Etre prudent dans l’interprétation et la restitution
des résultats en étant bien conscient des marges d’erreur.
|
