|
Même s’il n’y a pas de recette
miracle pour réaliser une bonne enquête
et obtenir à tous les coups des résultats
pertinents, il existe des règles incontournables
à respecter à chaque étape.
Notre objectif est de les présenter ci-dessous.
?
Une enquête par questionnaires
est un vrai projet : elle implique des objectifs
clairs, une méthodologie et une organisation
rigoureuses, une planification précise
et, bien sûr, des investissements parfois
importants en temps et en argent.
Si l'enquête peut apporter des éclaircissements
utiles et servir de base à des choix, elle
se traduit également par une interaction
avec les répondants (clients, collaborateurs...).
La démarche peut donc avoir certaines conséquences
en termes de communication et entraîner
des réactions de la part des personnes
concernées par l'objet de l'enquête.
Ainsi, une enquête de satisfaction des clients
peut être perçue en interne comme
une critique, une remise en question, un signe
de défiance vis à vis du personnel.
A l'inverse, cette même enquête peut
être perçue de manière très
positive par les clients, contents de voir que
l'on s'intéresse à leurs opinions.
Une bonne conscience des enjeux et des conséquences
possibles est donc indispensable avant même
d'aborder les phases techniques du processus d'enquête.
La préparation de l’enquête
La définition des objectifs
Gardez à l'esprit, lorsque vous vous lancez
dans un projet d'enquête, que votre objectif
est de répondre à une interrogation.
Si vous ne savez pas précisément
de quelle interrogation il s'agit, laissez-tomber
l'enquête.
Votre objectif doit être clair pour tout
le monde, bien ciblé et opérationnel.
La clarté pour
tous
Même lorsque vous avez identifié
un objectif clair, pensez à le formaliser
et à le faire approuver par toutes les
personnes concernées par l'enquête.
En effet, il est très fréquent que
différents services ou intervenants aient
des lectures différentes de la finalité
d'une même opération. Certains vont
chercher un complément d'informations,
d'autres une explication d'un comportement ou
une hiérarchisation de différents
choix. D'autres encore vont surtout attendre que
l'enquête leur fournisse de la matière
ou des alibis pour leur communication interne
ou externe. Ces différents niveaux d'objectifs
impliquent des approches différentes.
Il est donc important que la finalité première
et le type de résultats attendus soient
écrits et validés, avant d'aller
plus loin.
Le bon ciblage
Comme dans tout projet, il est tentant, lorsqu'on
planifie une enquête, de penser à
différents objectifs complémentaires
qu'on pourrait atteindre “pendant qu'on y
est” et parce que “c'est dommage qu'on
n'en profite pas pour également...”
C'est comme cela qu'on arrive ensuite à
des questionnaires complexes, qui dispersent l'attention
de l'interlocuteur sur différents sujets.
Nous vous conseillons de vous concentrer sur le
sujet principal, sans digressions et rattachements
artificiels. Si un sujet complémentaire
ne vous semble pas mériter une autre enquête
à lui tout seul, c'est probablement qu'il
n'est pas tellement important.
Le caractère opérationnel
L'objectif doit également être opérationnel
et susceptible de déboucher sur des actions
concrètes. Trop souvent, des enquêtes
sont réalisées et de nombreuses
questions posées “parce que c'est
intéressant”. Il convient à
chaque fois de se demander si cet intérêt
a un prolongement concret et peut se traduire
ensuite par des décisions et des améliorations
effectives. Si tel n’est pas le cas, le seul
fait de soulever la question peut engendrer lui-même
des promesses et des insatisfactions supplémentaires.
Le choix de l'échantillon
C'est là une source d'interrogations fréquente
pour les personnes chargées d’élaborer
l’enquête : combien de personnes dois-je
interroger pour que mes résultats soient
fiables ? comment dois-je les choisir pour qu'ils
soient représentatifs ?
Méthode de sélection
Le pré-requis consiste déjà
à bien identifier la population-mère
sur laquelle porte l'enquête : s'agit-il
d'une enquête sur vos clients actuels ou
sur tous ceux qui seraient susceptibles de vous
acheter un produit un jour ? La question posée
se limite-t-elle à une zone géographique,
à un groupe particulier de personnes ?
etc.
En théorie, vous devez sélectionner
l'échantillon par tirage aléatoire
dans cette population-mère que vous aurez
identifié. Chaque individu statistique
doit avoir exactement la même chance que
les autres de participer à l'enquête.
En réalité, il est le plus souvent
impossible de constituer une base de données
exhaustive et de tous les individus de la population-mère.
Vous aurez donc plus vraisemblablement recours
à la méthode plus empirique des
quotas. Le principe est d’identifier dans
la population-mère, quelques critères
de répartition significatifs puis d'essayer
de respecter cette répartition dans l'échantillon
d’individus interrogés. Les individus
qui n’entrent pas dans les quotas sont écartés,
soit au moment de l’interview (par l’enquêteur
ou le système de gestion d’appels
pour les enquêtes téléphoniques)
soit à posteriori (lors de la consolidation
et du traitement de données). Vous pourrez
également avoir recours par la suite, au
moment de l’analyse des réponses,
au redressement d’échantillons. Cette
opération est effectuée automatiquement
par les logiciels d’enquêtes. Elle
consiste à affecter des pondérations
aux différents individus pour respecter
les répartitions connues dans la population-mère
(voir un précédent dossier dans
Survey-Magazine).
Taille de l'échantillon
L'enquête, menée sur un échantillon,
doit vous permettre de généraliser
les résultats à l'ensemble de la
population ciblée. La taille de l’échantillon
est bien sûr déterminante : Plus
votre échantillon est important, plus la
généralisation sera fiable. Toutefois,
les gains de fiabilité ne sont pas proportionnels
à l’augmentation de la taille de l’échantillon.
Ainsi, en interrogeant 2.000 personnes vous n’aurez
pas des résultats deux fois plus fiables
qu’en n’en interrogeant que 1.000. En
revanche, il est probable que vous multiplierez
par 2 les frais d’administration du questionnaire.
La notion de fiabilité d’échantillon
est matérialisée par un seuil de
confiance et une marge d'erreur. Ainsi, un échantillon
défini à un seuil de confiance de
95% et avec une marge d’erreur de 3% vous
permettra d’extrapoler chaque résultat
issu de votre enquête, avec 5% de risques
de vous tromper de + ou - 3%. Ainsi, si vous obtenez
un taux de satisfaction de 67% sur un produit
ou service, vous pourrez affirmer que le taux
de satisfaction réel sur l’ensemble
de vos clients a 95% de chances de se situer entre
64 et 70%.
Si la taille de l’échantillon est
déterminante, la taille de la population-mère
a en revanche très peu d’importance.
En effet, il faut savoir qu’à l'exception
des populations très petites où
le lien est plus direct (voir encadré ci-contre),
la marge d’erreur d'un échantillon
n’est que très faiblement liée
à la taille de la population-mère.
Et ce lien est quasi-inexistant lorsque vous avez
affaire à de grandes populations.
C’est pour cela par exemple, que les sondages
politiques réalisés aux Etats-Unis
sur un échantillon de 1.000 personnes ont
quasiment les mêmes marges d’erreur
que celles réalisées en France ou
en Belgique sur des échantillons de même
taille.
 |
Il
faut également savoir que la répartition
des réponses à une question
donnée conditionne la marge d’erreur
de l’extrapolation, dans un même
échantillon. Ainsi, lorsque vous obtenez
des réponses réparties à
50-50, le niveau de précision de votre
extrapolation est inférieur à
celui que vous auriez avec une répartition
80-20.
En pratique, pour calculer la marge d'erreur
précise des résultats d'une
question, c'est à dire l'intervalle
de confiance dans lequel se situe réellement
la réponse au seuil de confiance de
95% , vous pouvez appliquer la formule suivante
:
Erreur = 1,96 * Racine (p*(1-p)/n) ,
où p est le pourcentage de réponse
et n la taille de l'échantillon.
Ainsi, au seuil de 95%, pour un échantillon
de 1000 personnes et un niveau de réponse
de 50%, l'erreur est de +/- 3,1% et la réponse
sera en fait comprise entre 46,9% et 53.1%.
Ce qui peut changer bien des choses (notamment
lors des pronostics électoraux) et
qui doit encourager à une certaine
vigilance dans la construction des échantillons
et dans la communication des résultats. |
Le tableau récapitulatif ci-dessous indique
les marges d'erreurs pour quelques proportions
de réponses, au seuil de confiance de 95%,
pour quelques tailles d'échantillon :
En théorie, cette méthode de calcul
scientifique de la marge d'erreur ne s'applique
que sur les échantillons obtenus par tirage
aléatoire. En pratique, vous pouvez également
l’utiliser pour les enquêtes par quotas.
Choix des quotas
Les critères généralement
utilisés comme quotas sont le plus souvent
des variables socio-démographiques (sexe,
CSP, âge). Mais vous pouvez également
intégrer des critères comportementaux
ou d’opinion, dont vous connaissez la proportion
dans la population mère. Ainsi, vous pourrez
chercher à reconstituer dans l’échantillon
la part de marché de vos produits et des
produits concurrents.
Au delà de l’objectif de représentativité
statistique de l’échantillon, les
quotas peuvent également être utilisés
comme critères de sélection des
personnes à interroger en liaison avec
l’objet de l’étude. Ainsi, vous
pouvez chercher à interroger 50% de clients
et 50% de non clients, non pas parce que c’est
le reflet de la réalité mais simplement
parce que vous souhaitez comparer les opinions
de vos clients avec ceux des non-clients. Dans
ce cas, vous êtes en présence de
deux échantillons distincts dont la représentativité
est à mesurer séparément.
Dans tous les cas, ne retenez qu’un nombre
restreint de quotas. Au delà de 2 ou 3
quotas, vous compliquerez la tâche de vos
enquêteurs, surtout pour la gestion des
“queues de quotas”.
De même optez pour des quotas simples où
l’enquêteur cherchera à remplir
séparément les différents
critères plutôt que pour les quotas
croisés, même si ces derniers traduisent
plus fidèlement la structure de la population
globale.
La conception du questionnaire
Un mauvais questionnaire posé à
1000 personnes est certainement moins instructif
qu’un bon questionnaire posé à
200 personnes seulement. La phase de rédaction
est donc essentielle dans la réussite du
projet d’enquête.
L’idée principale qui doit guider
la conception du support d’enquête
est la suivante : un bon questionnaire doit permettre
un bon traitement. En effet, vous ne pourrez retirer
de votre questionnaire que ce que vous y aurez
mis. Les objectifs d’analyse doivent donc
être pris en compte dès cette étape.
C’est d’autant plus important que de
simples précautions permettent d’obtenir
un potentiel d’analyse décuplé.
Ainsi, certaines méthodes statistiques
comme l'analyse automatique de satisfaction qui
calcule l’importance des critères
à partir des seuls niveaux de satisfaction,
repose sur la présence dans le questionnaire
d'une question de satisfaction générale
et de différents items pour les critères
avec la même structure (d'au moins 3 réponses).
Oubliez cette question de satisfaction générale
et vous ne pourrez pas calculer automatiquement
l’importance de chacun de vos critères
dans l’amélioration de la satisfaction
de vos clients.
Rappelons aussi ce qui a été déjà
évoqué plus haut concernant le contenu
du questionnaire qui doit se concentrer sur les
seuls objectifs assignés à l'enquête.
Ce sont ces objectifs qui doivent guider la rédaction
et vous faire éviter autant que possible
de poser toutes les questions que vous auriez
envie de poser parce qu'elles sont intéressantes.
Un questionnaire ciblé sur un thème
précis sera plus lisible pour les répondants,
plus facile à administrer et, au final,
plus efficace pour vous qu’un questionnaire
fourre-tout qui vous donnerait des informations
diverses mais pas forcément approfondies
et exploitables.
La structuration du questionnaire
Un bon questionnaire doit contenir tous les éléments
nécessaires à un traitement pertinent
des données, dans une organisation visant
à optimiser le recueil de réponses
sincères de la part des personnes interrogées.
Les parties indispensables
Votre questionnaire doit comporter obligatoirement,
en plus des questions d’opinions et de comportements
relatives à l’objet de l’étude,
une partie signalétique permettant de caractériser
chaque répondant.
L’interprétation des résultats
se basera notamment sur le croisement de ces deux
catégories de variables, appelées
respectivement variables à expliquer et
variables explicatives.
En effet, vous pourrez comprendre les jugements
et les comportements des personnes interrogées
en fonction de leurs caractéristiques signalétiques.
Lorsqu’il s’agit de consommateurs, les
questions signalétiques sont généralement
le sexe, l’âge, la profession (CSP
= Catégorie Socio-Professionnelle), la
région, etc.
Lorsqu’il s’agit d’entreprises,
vous pouvez demander le secteur d’activité,
l’effectif, la région, etc.
Lorsque l’enquête est nominative, ces
informations signalétiques sont parfois
déjà disponibles dans les fichiers
de la base de sondage. A moins d’avoir besoin
de confirmation ou d’actualisation, il vaut
mieux dans ce cas éviter de les redemander,
tout en veillant à disposer sur le questionnaire
des éléments qui vous permettront
par la suite de récupérer et d’intégrer
les données existantes dans les fichiers
de données (code client par exemple).
Une organisation en entonnoir
Pour rassurer la personne interrogée et
obtenir des réponses fiables, il convient
de procéder en "entonnoir” en
partant des questions les moins engageantes aux
questions les plus personnelles et du général
au particulier.
A moins d’avoir besoin de vérifier
des quotas sur les variables signalétiques,
celles-ci seront donc mieux situées en
fin de questionnaire qu’en début.
Les questions d’introduction doivent être
simples et claires. L’idéal est de
commencer par des questions dichotomiques (qui
admettent une réponse par oui ou par non)
ayant une réponse évidente pour
l’interlocuteur, en vue de mettre ce dernier
en confiance. Ces questions “prise de contact”
ne sont pas forcément utiles à l’objet
de l’étude mais servent d’entrée
en matière. On peut ensuite aborder plus
sereinement les questions factuelles (habitudes,
comportements) puis les questions d’opinions
(évaluations, satisfaction).
En ce qui concerne ces dernières, il est
conseillé de regrouper les différents
critères à évaluer en tableaux,
ce qui raccourcit le questionnaire à la
fois sur papier et dans l’énoncé
(on ne répète pas plusieurs fois
le libellé de la question). Cela permet
également à la personne interrogée
de “caler” inconsciemment une échelle
qui sera utilisée de la même manière
pour tous les critères.
Nous vous conseillons de placer systématiquement,
en amont de chaque tableau d’évaluation,
une question globale, permettant de recueillir
l’opinion générale de la personne
interrogée sur le thème qui sera
évalué critère par critère.
Comme nous l’avons évoqué plus
haut, cette question permettra, lors du traitement,
de calculer l’importance de chacun des critères
de détail. Attention : il est indispensable
d’utiliser exactement la même échelle
pour la question globale et pour les questions
de détail.
A ce titre, plusieurs types d’échelles
sont possibles (voir encadré). Nous vous
conseillons d’utiliser généralement
une échelle à 4 positions, en ayant
recours au même adjectif dans les 4 propositions,
précédé respectivement par
tout à fait, plutôt, plutôt
pas et pas du tout. Il est d’ailleurs préférable
de présenter les propositions dans cet
ordre (du positif au négatif).
Quel que soit le type d’échelles pour
lequel vous opterez, il est fortement conseillé
de le conserver tout au long du questionnaire
(en faisant éventuellement varier l’adjectif),
pour éviter toute ambiguïté
au répondant.
La rédaction des questions
Maintenant que vous connaissez les thèmes
à aborder et l’organisation générale
de votre questionnaire, il est temps de vous atteler
à la rédaction des questions et
à la mise en forme de votre questionnaire.
La formulation des questions
Le questionnaire s’adresse avant tout aux
personnes qui vont y répondre. Les questions
qui leur sont posées doivent donc être
claires et directement compréhensibles.
Pour cela, prenez bien soin de n’utiliser
que des termes appartenant au langage courant
et ayant une signification identique pour tous.
Tout jargon technique doit être exclu. Si
vous avez absolument besoin d’utiliser des
termes techniques ou des mots complexes, il convient
d’en donner une explication claire en accompagnement
de la question.
La formulation des questions doit également
être simple et claire. Il convient à
ce titre d’éviter les formes négatives
ou interro-négative, encore plus difficiles
à appréhender. De même, toute
ambiguïté ou imprécision seraient
de nature à recueillir des réponses
fausses. Ainsi, il est préférable
de ne pas utiliser des termes comme “souvent”
qui peuvent être interprétés
différemment par les personnes interrogées.
Utilisez plutôt des notions claires comme
“Plus de 2 fois par semaine”.
De même, veillez à n’aborder
dans chaque question qu’une seule notion
à la fois. Une question qui demande l’opinion
du répondant sur deux éléments
sera automatiquement biaisée. La bonne
démarche est de scinder cette question
en deux pour avoir une appréciation claire
et distincte sur chacun des éléments.
Les questions doivent être concises et complètes.
La question doit être exprimée en
une phrase courte, qui facilitera sa compréhension,
notamment au téléphone. Elle devra
proposer toutes les possibilités logiques
de réponses pour éviter de mettre
le répondant dans une impasse et lui faire
sentir que le questionnaire ne concerne pas vraiment
son cas (ce qui peut le pousser à “bacler”
la fin du questionnaire, puisque ses réponses
n’ont, dans ce cas, pas beaucoup d’importance).
Enfin, il est conseillé d’éviter
les questions très engageantes personnellement
: religion, argent, santé, sexe, alcool,
conflits familiaux. Si de telles questions sont
vraiment indispensables, il vaut mieux les aborder
le plus tard possible dans le questionnaire.
Les différents
types de questions
Selon l’information à recueillir,
vous pouvez opter pour l’un ou l’autre
des types de questions ci-après :
Le type qualitatif
Les questions qualitatives sont les plus courantes
dans les enquêtes. On propose une liste
de réponses et la personne interrogée
doit en choisir une ou plusieurs. Cette notion
de réponse unique ou multiple doit d’ailleurs
être précisée dans le questionnaire,
pour éviter toute ambiguïté.
Ces questions qualitatives sont faciles à
traiter. L’utilisateur obtient en résultat
des tableaux de répartition simples ou
croisés des répondants sur les différentes
réponses proposées. De nombreux
traitements statistiques sont également
applicables facilement.
Toutefois, ce type de questions exige d’avoir
prévu à l’avance toutes les
réponses possibles à la questions,
ou de recodifier a posteriori les réponses
“autres” recueillies. Pour dépasser
cette limitation, certains logiciels d’enquêtes
comme Ethnos permettent de définir des
questions qualitatives “enrichissables”.
La personne interrogée peut choisir sa
réponses parmi celles proposées
ou donner une réponse nouvelle. A la saisie,
ces réponses nouvelles seront ajoutées
à la liste initiale et enrichiront ainsi
la question.
Le type numérique
Les questions numériques attendent une
réponse chiffrée. Il peut s’agir
d’une quantité, d’un âge,
d’un prix, d’une note... Il est indispensable,
pour obtenir une réponse valable, de bien
indiquer l’unité attendue et, lorsqu’il
s’agit d’une note, le sens retenu (1
pouvant être la meilleure note ou la moins
bonne).
Attention : avant de retenir le type numérique
pour une question, il faut se demander si la personne
interrogée pourrait ou voudrait bien donner
une valeur précise à cette question.
S’il s’agit d’une note, ce sera
sans doute le cas. En revanche, pour des questions
comme l’âge, le revenu ou la fréquence
d’un comportement, il est préférable
de proposer des tranches. Il s’agira dans
ce cas d’une question qualitative et non
plus numérique.
Les questions numériques autorisent encore
plus de traitements statistiques que les variables
qualitatives (puisqu’on peut les traiter
en numériques et les recodifier en qualitatives).
Le type texte
Les questions de type texte correspondent aux
questions complètement ouvertes, qui proposent
au répondant de répondre librement
à la question, par une ou plusieurs phrases.
Ces questions sont très souvent employées
par les utilisateurs occasionnels d’enquêtes,
qui pensent ainsi capter plus d’éléments
en laissant la liberté complète
de réponse aux personnes interrogées.
Or on s’aperçoit vite, à l’usage,
que des questions fermées bien posées
apportent beaucoup plus d’éléments
exploitables que ces questions ouvertes. Nous
vous conseillons donc d’en faire un usage
modéré, en les réservant
notamment à un commentaire libre en fin
de questionnaire.
Les autres types
Il s’agit notamment des questions de type
date, heure et calcul qu’il arrive d’utiliser
dans les questionnaires. Si les deux premiers
sont d’un usage évident, le type calculé,
lui, correspond à une utilisation plus
avancée, utile notamment dans le cas des
questionnaires administrés et saisis en
direct (au téléphone, en CAPI...).
Il s’agit de questions qui prennent automatiquement
des valeurs en fonctions des réponses données
aux questions précédentes et qui
peuvent permettre ainsi d’orienter la suite
du questionnaire. Ainsi, on peut demander à
une personne qui a donné des évaluations
très mauvaises à une série
d’items, plus de détail sur ce qui
motive son appréciation très négative.
Ce cheminement sera proposé automatiquement
par le logiciel d’enquêtes.
Une présentation
soignée
Si l’organisation et le contenu du questionnaire
sont essentiels, sa présentation est également
très importante, qu’il s’agisse
de questionnaires auto-administrés ou de
questionnaires administrés par des enquêteurs.
Les premiers doivent absolument être clairs
et attractifs pour les répondants, afin
de les inciter à répondre. Les seconds
doivent faciliter au maximum le travail de l’enquêteur
en comportant toutes les indications utiles sur
ce qui doit être dit et sur les différents
cheminements conditionnels dans le questionnaire.
Dans les deux cas, les différentes parties
doivent être clairement identifiées.
Le questionnaire doit avoir un encombrement réduit,
grâce à une mise en page optimisée
qui devra s’attacher, dans le même
temps, à garder la place nécessaire
pour l’indication des réponses.
Le test du questionnaire
Malgré toute l'attention portée
à sa conception, le questionnaire doit
être testé en réel. Il faut
le faire sur un petit échantillon, différent
de celui constitué pour l'enquête
pour ne pas "gâcher" des contacts
bien identifiés, avant de passer à
la phase d'administration. C'est une phase clé
car rien ne peut remplacer la réalité
du terrain. La qualité du traitement des
données et des résultats en dépendent.
La collecte des réponses
L'administration du questionnaire
Le choix d’un mode
de collecte
Plusieurs techniques de recueil existent et sont
utilisées en fonction du contexte et des
contraintes liées à l'enquête.
Ces contraintes peuvent être d'ordre méthodologique
(la cible n'est pas équipée d'Internet,
le questionnaire est assez long et détaillé),
budgétaire (la cible est très large
et trop coûteuse par téléphone),
ou de temps (le recueil doit se faire dans la
journée suivant l'action à évaluer).
D'autres encore, sont liées au format de
la base d'enquête, aux informations sur
la cible (de quelles coordonnées dispose-t-on
?), au contrôle dynamique à faire
sur les quotas en cours d'enquête, aux consignes
parfois complexes de remplissage et de passation
(un enquêteur est nécessaire pour
expliquer ou commenter les questions, éventuellement
montrer un échantillon, ou un visuel).
Le mode de collecte n'est donc pas toujours un
choix évident et il doit faire partie intégrante
de la réflexion méthodologique de
l'enquête dès le départ. Le
solution finalement choisie est souvent celle
représentant le meilleur compromis entre
les avantages et les contraintes. La décision
finale doit tout de même privilégier
avant tout la fiabilité des données
recueillies. Dans les meilleurs des cas on pourra
essayer de combiner plusieurs modes : un envoi
postal ou Internet suivi d'une relance téléphonique,
ou inversement un appel devançant l'envoi
postal. Deux modes différents peuvent être
également retenus, en fonction des cibles,
en conservant la même trame de questionnaire.
Notons ici, l'avantage de certains logiciels permettant
de concevoir une seule fois le questionnaire,
de le déployer sous plusieurs modes de
recueil et de récupérer une base
au même format pour une exploitation immédiate
et multiple.
Les supports disponibles
Le support papier
Il demeure un mode largement utilisé, avec
des supports très variés, du plus
simple au plus abouti, en couleur, avec insertion
de visuels ou de photos. Le papier est en effet
parfois inévitable et irremplaçable
malgré l'avènement de techniques
électroniques. Pour des raisons culturelles,
légales, pratiques ou pour des impératifs
de confidentialité et d'anonymat il reste
la norme. C’est aussi la solution la plus
économique pour des volumes importants,
pour des enquêtes se voulant les plus exhaustives
possibles, non soumises à des contraintes
étroites de temps ou de représentativité
d'échantillon. De plus il peut être
utilisé en face à face comme en
auto-administré, avec des zones explicatives
plus ou moins détaillées.
Lorsqu’on choisit ce support, il convient
de savoir qu’il est possible de l'optimiser
par une saisie automatisée. En effet, tout
questionnaire, si cela est prévu au moment
de sa conception peut être saisi en mode
automatique (pour les questions fermées
codifiées), soit par lecture optique soit
par scannérisation. Il existe sur le marché
des logiciels spécialisés (OMR Manager...)
qui permettent de mettre en forme des questionnaires
puis de piloter la phase de saisie automatique
sur différents types de matériels.
Ces outils peuvent prendre en compte les questions
qualitatives, numériques mais pas les questions
de type texte, qui devront être saisies
séparément (certains logiciels scannent
l’image de la réponse textuelle manuscrite
et permettent ensuite de la saisir à l’écran).
Le téléphone
On peut, bien sûr, faire une enquête
par téléphone sur un support papier.
Mais on perd alors bon nombre d'avantages des
systèmes CATI (Computer Assisted Telephone
Interviews). Ces systèmes permettent une
saisie directe des données, des contrôles
automatiques de cohérence, la gestion des
filtres et de renvois entre questions, le contrôle
dynamique des quotas, le suivi des résultats
enquêteurs,..
Le téléphone permet un recueil rapide,
souple pour un coût économique très
attractif et il est très largement utilisé,
principalement par les instituts d'études.
Les utilisateurs occasionnels sans CATI peuvent
avoir recours à la saisie directe des questionnaires
au téléphone, directement sur le
module de saisie de leur logiciel d’enquêtes.
Certains outils comme Ethnos permettent de générer
des saisies décentralisées permettant
de faire cette saisie en ligne depuis plusieurs
ordinateurs en même temps.
L’inconvénient majeur du support téléphonique
est la durée du questionnaire. Généralement
on ne va pas au delà d'une durée
de 15 minutes, mais il est parfois possible d'aller
au delà, si le répondant est prévenu
(prise de rendez vous) et si sa motivation est
grande vis à vis du sujet traité.
L'enquête informatisée en face
à face
L’entretien informatisé en face à
face offre une interactivité et une souplesse
appréciable dans le recueil direct des
réponses à la sortie d’un magasin,
dans une zone commerciale, etc.
Les systèmes CAPI (Computer Assisted Personal
Interviews) fonctionnent aujourd’hui sur
tablette PC ou sur Pocket PC. L'offre en matériel
a fortement évolué récemment
et les améliorations sont révolutionnaires
en terme d'affichage et d’écran, de
mémoire, de connexion sans fil, et surtout
de prix. Les meilleurs logiciels d'enquête
possèdent un module permettant un transfert
automatique des données recueillies vers
le module de traitement. La rapidité est
assurée.
L’Internet
Dernière née des technologies d'enquête,
le questionnement sur Internet que l’on appelle
CAWI (Computer Assisted Web Interviews) a ouvert
de nouveaux horizons aux intervenants du domaine
: on efface les distances en même temps
que les décalages horaires, on donne un
accès libre, convivial aux répondants
avec un recueil mieux suivi et plus rapide pour
celui qui l'organise. C'est aujourd'hui un moyen
privilégié pour des enquêtes
internes menées sur plusieurs sites, tant
au niveau national que pour des structures internationales.
C'est aussi un moyen plus ciblé et plus
attractif pour les professionnels de la plupart
des secteurs d'activité, qui peuvent répondre
selon leur rythme et leur contraintes. Il est
en cela directement concurrent du mode postal,
mais pour l'instant sur des cibles professionnelles
ou pour certaines parties de la population seulement
en raison de l'équipement et de l'utilisation
d'Internet chez les particuliers.
La réunion interactive
C'est un mode moins courant mais en développement.
Appelé CAGI (ou Computer Assisted Group
Interviews) il peut être très intéressant
pour recueillir les opinions d’une salle
et éventuellement pour poser des questions
complémentaires en direct (sur une série
de projets, ou sur différents packaging
par exemple). Les questions sont projetées
sur un écran et les participants peuvent
répondre à l’aide de boîtiers
de vote interactifs sans fil (réception
radio). Les réponses sont transmises instantanément
et peuvent être traitées et retranscrites
immédiatement aux participants, puis complétées
si besoin ultérieurement.
Il faut cependant savoir que peu de logiciels
d’enquêtes sont en mesure de proposer
d’ores et déjà un module CAGI.
Les solutions de vote déconnectées
d’un système d’enquête
sont, elles à éviter.
L'optimisation du recueil
Tous les modes existants doivent permettre le
contrôle du processus et des données
collectées.
Si l’enquête est administrée
par des enquêteurs professionnels ou occasionnels
(commerciaux, assistantes, stagiaires...), il
est important d’insister auprès d’eux
sur l’exigence de qualité dans le
recueil des réponses. La première
règle sera de ne pas influencer les répondants
et de respecter les consignes indiquées
sur le questionnaire. Il faudra d’ailleurs
s’assurer que ces consignes ainsi que le
contenu du questionnaire ont été
bien compris par tous.
Cette étape d’administration est souvent
une source de biais parfois importants. Il ne
sert à rien de passer un temps de préparation
important puis de s’acharner sur les données
si la matière première de l’enquête,
à savoir les réponses des interviewés
n’est pas extraite avec soin.
La phase de briefing avant le démarrage
du terrain d'enquête est primordiale et
ne doit pas être menée à la
légère. Toutes les questions doivent
être posées afin de lever toute ambiguïté
sur les modalités de réponse ou
la compréhension d'une question. La phase
de test doit être évoquée
afin de se baser sur des exemples réels.
Dans la conception même du questionnaire,
pour des modes d'administration informatique,
toutes les possibilités techniques doivent
être utilisées en terme de verrouillage
du nombre de réponses autorisées,
des formats de saisie des données numériques,
et bien sûr les renvois entre questions.
Ces mêmes contrôles doivent également
être présents à la saisie
pour des exemplaires papier, tant en manuel qu'en
saisie automatique.
La phase d'acquisition des données
Alors qu’il y a quelques années, la
saisie des questionnaires était une phase
naturelle du processus d’enquête, les
modes de collecte automatisés que nous
avons abordés ci-dessus permettent de s’en
passer.
Et, même lorsqu’aucun mode automatisé
n'a pu être mis en place, la saisie est
aujourd’hui simplifiée grâce
à la nouvelle génération
de logiciels d’enquêtes qui permettent
d’effectuer l’entrée des données
facilement et avec tous les contrôles nécessaires
(filtres, calculs automatiques...) sur un ou plusieurs
ordinateurs. Toutefois, ces logiciels ne remplacent
pas une bonne organisation lors de la réception
et de la prise en compte des questionnaires, qu’il
est impératif de vérifier rapidement
(relecture), de classer et de numéroter
(indispensable pour s’y retrouver par la
suite).
Là aussi, les personnes chargées
de la saisie doivent être sensibilisées
à la nécessaire qualité.
Un questionnaire mal rempli doit être écarté
plutôt que de saisir des informations incertaines.
Si le questionnaire contient des questions ouvertes,
il peut s’avérer nécessaire
de les recodifier avant la saisie. Il faudra alors
relire tous les questionnaires et définir
les réponses à coder. Cette étape
peut être évitée avec les
logiciels qui gèrent l’enrichissement
en direct.
Que le fichier provienne directement d’un
processus d’enquête automatisé
ou d’une saisie manuelle, il est nécessaire,
avant de passer à l’étape de
traitement, de procéder à une revue
des données et à un nettoyage éventuel
des valeurs aberrantes. Ce processus a été
abordé très longuement dans un précédent
numéro de Survey-Magazine (décembre
2003) auquel nous vous renvoyons.
Le traitement des données
L’objectif
ici n’est pas de détailler tous les
types de traitements et analyses possibles sur
les enquêtes, ni d’expliquer les modes
d’exploitation des résultats et de
présentation du rapport d’étude.
La plupart de ces thèmes ont en effet déjà
fait l’objet de dossiers complets dans Survey-Magazine
et les autres méritent qu’on s’y
attarde tout particulièrement, ce que nous
ferons dans les prochains numéros (Dossier
à venir sur l’optimisation de vos
rapports d’études).
Nous nous contenterons donc de présenter
rapidement ci-dessous les principaux traitements
effectués généralement sur
les données d’enquêtes.
Le redressement d’échantillon
Avant de parler des tris, il convient d’évoquer
cette étape nécessaire notamment
dans le cas où la répartition des
quotas n'a pas pu être respectée,
ou encore, si l'on a délibérément
choisi de sur-évaluer un groupe peu représenté
pour avoir un minimum de réponses.
Le redressement d’échantillons a pour
objectif de rétablir les bonnes proportions
en affectant un poids (coefficient de redressement)
à chaque individu en fonction de ses caractéristiques.
Le calcul des coefficients s’entend généralement
sur plusieurs critères en même temps.
Il ne peut se faire qu’à l’aide
d’un logiciel adapté. Les fonctions
de redressement d’échantillons sont
d’ailleurs disponibles en standard dans les
outils d’analyse de données (Stat’Mania...).
Pour plus de détails sur les méthodes
et principes de redressement d’échantillons,
nous vous renvoyons au dossier publié à
ce sujet dans le numéro de septembre 2003
de Survey-Magazine (disponible également
sur www.surveystore.info).
Les types de tris
Les logiciels actuels permettent d'effectuer un
très grand nombre de tris et de les présenter
sous forme de tableaux et de graphiques.
Tabulations
Il s’agit des traitements les plus fréquents
et les plus compréhensibles par tout le
monde. Les tabulations consistent à indiquer
la répartition des réponses obtenues.
Le tri-à-plat dans sa forme habituelle,
donne la répartition des réponses
pour une seule question (ex : hommes : 43%, femmes
: 57%).
Le tri croisé est un traitement qui porte
généralement sur deux questions
et qui indique la répartition des réponses
aux différentes combinaisons de réponses
(homme > 25 ans : 17%, etc...). Les tris croisés
présentent généralement un
effectif et trois pourcentages : le % ligne, le
% colonne et le % total. Certains logiciels peuvent
indiquer pour chaque tri croisé la valeur
du khi2, test statistique qui mesure la liaison
entre les deux variables du tri, pour indiquer
la probabilité pour que la répartition
observée soit ou non dûe au hasard.
Il est également parfois possible de demander
l’affichage de la contribution de chaque
case au khi2 global, ce qui renseigne sur les
combinaisons de modalités qui influent
le plus sur la liaison entre variables.
Au delà de leur forme simple, les tris
croisés peuvent être étendus
à plusieurs variables. On parle alors de
tris croisés NxN ou combinés NxN.
Les premiers présentent au même niveau
les modalités des variables en lignes ou
en colonnes alors que les seconds les combinent.
Les tris multiples sont généralement
des analyses applicables sur un tableau de questions
identiques (échelles, notes...). Ils présentent
de manière synthétique les résultats
de l’ensemble des critères du tableau.
Tris pondérés
Alors que les tris à plat, croisé
ou multiples comptabilisent les individus correspondants
à chaque modalité ou combinaison
de modalités, les tris pondérés
remplacent ce comptage d’individus par une
opération de moyenne ou de somme sur une
autre question appelée variable de pondération.
Ces tris sont extrêmement utiles pour obtenir
des tableaux synthétiques avec des notes
moyennes de critères, selon les combinaisons
de réponses à différentes
questions.
Les tris pondérés peuvent être
à plat, croisés ou multiples. Certains
logiciels comme Ethnos permettent également
de réaliser des tris pondérés
étendus, qui permettent par exemple, d’obtenir,
en une seule opération, la note moyenne
de satisfaction sur un grand nombre de critères,
par magasin, jour ou toute autre variable de croisement.
Des scores peuvent être attribués
dynamiquement au traitement, à chaque modalité
de l’échelle d’évaluation
(ex : 100 pour Très satisfait, 75 pour
Satisfait, etc.).
Analyses statistiques avancées
Alors que les tabulations sont directement utilisables
et compréhensibles par tous, les analyses
statistiques avancées font appel à
des connaissances en la matière et nécessitent,
lors de la présentation des résultats,
davantage d’explications.
Certains logiciels comme Stat’Mania offrent
à ce niveau une approche simplifiée
permettant d’élargir l’accès
à ces méthodes, notamment en facilitant
la définition des analyses et en rendant
plus explicites et plus communicants les tableaux
et graphiques de résultats.
On peut citer parmi les analyses avancées
qui apportent une valeur ajoutée importante
dans le traitement des enquêtes :
la matrice importance-satisfaction, qui calcule
automatiquement l'importance de différents
critères de détail, par rapport
à un critère de satisfaction globale,
et qui indique les critères sur lesquels
il faut agir en priorité pour améliorer
la satisfaction globale,
la recherche des croisements les plus significatifs,
qui permet de détecter automatiquement
les couples de variables ayant la plus forte dépendance,
la régression multiple, qui permet de modéliser
la relation entre une variable principale et un
ensemble d’autres variables dans le but de
pouvoir prédire la valeur de la variable
principale en fonction des valeurs des autres
variables,
les analyses factorielles, qui permettent de résumer
plusieurs variables sur un plan en deux dimensions,
les typologies, qui permettent de ranger les personnes
interrogées en groupes homogènes,
La segmentation, qui cherche à expliquer
une variable qualitative par plusieurs autres.
La présentation et l'exploitation des résultats
C’est là l’objectif final de
l’étude. Savoir est une chose importante
mais savoir communiquer et transformer les enseignements
de l’étude en actions passe par un
rapport final clair et opérationnel. Il
est donc important de chercher à présenter
de manière attractive et compréhensible
les éléments clés de l'étude.
Cet aspect et ses prolongements (rapports et tableaux
de bords dynamiques sur le web) feront prochainement
l’objet d’un dossier complet dans Survey-Magazine.
Les
10 commandements pour une enquête de qualité
:
- Etablir par écrit des
objectifs clairs, précis et opérationnels
à l’enquête puis les faire valider
par les personnes concernées,
- Identifier précisément la cible
de l’enquête (population-mère)
et choisir un échantillon représentatif,
- Choisir un nombre restreint de quotas et avoir
recours à des quotas simples plutôt
qu’à des quotas croisés,
- Concentrer les questions posées sur le
seul objectif de l’enquête et ne pas
ajouter des questions inutiles, même si
elles sont intéressantes par ailleurs,
- Organiser le questionnaire en parties claires
en partant du général au particulier
et des questions neutres aux questions engageantes,
- Ne pas multiplier les questions ouvertes qui
apportent beaucoup moins d’informations que
des questions fermées bien posées,
- Utiliser un langage clair, simple et compréhensible
par tous,
- Soigner la présentation du questionnaire
et indiquer clairement les consignes et les informations
nécessaires aux enquêteurs et/ou
répondants
- Insister auprès de tous les intervenants
en général et des enquêteurs
et du personnel de saisie en particulier sur la
nécessité d’une grande rigueur,
- Etre prudent dans l’interprétation
et la restitution des résultats en étant
bien conscient des marges d’erreur.
|
