Panorama
des tests statistiques utilisables dans les études
Les tests
statistiques permettent essentiellement d’évaluer les
répartitions obtenues pour savoir si elles sont dûes
au hasard ou si elles recèlent des informations intéressantes.
Fisher, Kendall,
Student, Pearson... Autant de noms familiers à tous ceux
qui ont manipulé un jour ou l’autre des statistiques
et des probabilités.
Les tests d’hypothèse associés à ces noms
de mathématiciens ou statisticiens sont aujourd’hui
très largement utilisés dans de nombreux domaines
de recherche, pour évaluer la significativité des
observations recueillies.
Dans l’univers des études marketing, seuls certains
tests comme celui du Khi 2 sont fréquemment utilisés.
Comme nous allons le voir, les autres tests disponibles peuvent
également être très utiles au chargé
d’études.
Principes
généraux
Objectifs
Il existe de
très nombreux tests qui permettent d’évaluer
des aspects différents de significativité. Les objectifs
principaux auxquels peuvent répondre les tests statistiques
sont :
l’évaluation de la représentativité des
répartitions observées par rapport aux valeurs connues
pour l’ensemble de la population,
la mesure de la significativité de la différence constatée
sur les observations de deux groupes d’individus ou d’un
même groupe pour deux variables observées,
l’existence et l’intensité d’une liaison entre
deux variables.
Fonctionnement
Les tests statistiques
fonctionnent tous sur le même principe qui consiste à
énoncer une hypothèse sur la population mère
puis à vérifier, sur les observations constatées,
si celles-ci sont vraisemblables dans le cadre de cette hypothèse.
Autrement dit, on cherche à estimer la probabilité
de tirage au sort dans la population-mère, d’un échantillon
ayant les caractéristiques observées. Si cette probabilité
est minime, on rejette l'hypothèse énoncée
; dans le cas contraire, celle-ci peut être adoptée,
au moins provisoirement, dans l’attente de validations complémentaires.
L’hypothèse à tester est appelée H0 ou
hypothèse nulle. Elle s’accompagne impérativement
de son hypothèse alternative appelée H1.
Le test s’attachera à valider ou à rejeter H0
(et par conséquent a tirer la conclusion inverse pour H1).
Si le résultat du test amène à accepter l’hypothèse
nulle H0, le chargé d’études en déduit
qu’il ne peut rien conclure à partir des observations
concernées, la probabilité que la répartition
soit dûe au hasard étant élevée.
En revanche, le rejet de H0 signifie que la répartition des
réponses récèle des informations particulières
qui ne semblent pas être dûes au hasard et qu’il
convient d’approfondir.
Mode d’utilisation
La mise en oeuvre
d’un test statistique se déroule généralement
en 5 étapes :
Formulation de l’hypothèse nulle H0 et de son hypothèse
alternative H1 : ces hypothèses sont toujours formulées
par rapport à la population globale, alors que le test portera
sur les observations effectuées dans le cadre de l’échantillon.
Exemple : Par rapport à l’année dernière
où nos clients avaient donné une note de 8,7 sur 10
à notre magasin, la note donnée cette année
par 100 clients que nous avons interrogés et qui se situe
à 8,5 sur 10 n’est pas signifcativement inférieure.
Détermination du seuil de signification du test (appelé
alpha et décrit plus loin).
Exemple : nous acceptons un risque d’erreur de 5%.
Dans le cadre des tests paramétriques (définition
plus loin), détermination de la loi de probabilité
qui correspond à la population-mère.
Exemple : si on interrogeait tous nos clients potentiels, les notes
données se répartiraient selon une distribution normale
ayant un écart-type de 1.
Calcul du seuil de rejet de H0 pour déterminer la région
de rejet et la région d’acceptation de H0 (et inversement
de H1).
Exemple : Pour un risque de 5%, la loi normale donne une valeur
critique de
-0,1645. Si la valeur de notre test est supérieure à
ce seuil, notre hypothèse H0 est vérifiée :
la note de cette année n’est pas significativement inférieure.
Décision de rejet ou d’acceptation de l’hypothèse
H0.
Exemple : La comparaison de la différence entre 8,5 et 8,7,
qui est de -0,2 étant inférieure à la valeur
critique, nous devons rejeter l’hypothèse H0. Nous devons
donc estimer que la note donnée cette année est significativement
inférieure à celle de l’année dernière.
Test unilatéral,
ou bilatéral
Lorsque l’hypothèse
nulle consiste à tester l’égalité de la
valeur du test avec une valeur donnée, le test est bilatéral.
En effet, le rejet de l’hypothèse est décidé
si la valeur du test est significativement différente, qu’elle
soit inférieure (zone de rejet de gauche) ou supérieure
(zone de rejet de droite).
Le test est dit unilatéral lorsque l’hypothèse
nulle évalue si une valeur est supérieure ou égale
à la valeur de test (unilatéral gauche) ou inférieure
ou égale à cette valeur (unilatéral droit).
Le test donné en exemple ci-dessus est donc un test unilatéral
gauche.
Tests paramétriques
et non paramétriques
On distingue
deux grandes catégories de tests : les tests paramétriques
et les tests non paramétriques.
Les premiers exigent que l’on spécifie la forme de la
distribution de la population-mère étudiée.
Il peut s’agir, par exemple, d’une distribution suivant
la loi normale, ce qui est le cas général lorsque
l’on a affaire à de grands échantillons. En général,
ces tests ne peuvent s’appliquer qu’aux variables numériques.
Les tests non paramétriques s’appliquent quant à
eux, à la fois aux variables numériques et qualitatives.
Ces tests ne font pas référence à une répartition
particulière de la population-mère. Ils peuvent donc
s’appliquer à des petits échantillons.
S’ils sont théoriquement moins puissants que les tests
paramétriques, on peut quand même considérer
que les tests non paramétriques sont plus adaptés
aux problématiques d’enquêtes. Des études
ont d’ailleurs prouvé que leur exactitude sur des grands
échantillons n’est que légèrement inférieure
à celle des tests paramétriques, alors qu’ils
sont infiniment plus exacts sur des petits échantillons.
Erreurs-types
La conclusion
retenue (rejet ou non de l’hypothèse H0) est établie
avec une certaine probabilité d’erreur.
Lorsque le test conduit à rejeter l’hypothèse
nulle, l’erreur éventuelle, dans le cas où cette
hypothèse serait en réalité vraie, est appelée
“Erreur de type 1” ou “Erreur alpha”.
Dans l’exemple décrit plus haut, l’erreur alpha
était donc fixée à 5%.
Lorsqu’au contraire, le test nous indique qu’il ne faut
pas rejeter l’hypothèse nulle, l’erreur éventuelle,
au cas où cette hypothèse serait en réalité
fausse, est appelée “Erreur de type 2” ou “Erreur
Bêta”.
Ces indicateurs sont interdépendants : quand l’erreur
alpha est réduite, l’erreur bêta augmente. Cela
signifie que le choix du seuil alpha pour le test à effectuer
doit se faire en fonction du coût économique de l’une
ou l’autre mauvaise décision.
Exemple : Avant de lancer un nouveau packaging, une entreprise effectue
un test pour vérifier qu’il plaît plus à
ses clients que l’ancien.
Si l’hypothèse est vérifiée alors qu’elle
est fausse, l’entreprise va remplacer l’ancien packaging
qui plaît plus par un nouveau moins attirant. Elle va y perdre
de l’argent et des clients.
En revanche, si le test lui indique que le nouveau packaging est
moins attirant alors qu’il l’est plus, elle va perdre
une opportunité en ne le lançant pas.
La comparaison des coûts de ces deux erreurs permet de fixer
les seuils de manière optimale.
Notons que les indicateurs alpha et bêta permettent de formaliser
un niveau de sécurité pour le résultat obtenu
(1 - alpha) et un paramètre indiquant la puissance du test
(1 - bêta).
Tests sur
une variable
La production
d’un tableau de résultats sur une question peut s’accompagner
d’indicateurs statistiques de significativité.
Le choix du test applicable dépend du type de la variable
et de l’objectif poursuivi.
Tests d’adéquation
En présence
d’un tableau de résultats pour une variable qualitative,
le chargé d’études peut utiliser des tests non
paramétriques destinés à comparer la répartition
obtenue pour les différentes réponses avec une répartition
connue (par exemple, celle de la population mère) ou une
répartition théorique, issue d’une loi statistique
(ex : loi normale).
Les deux tests d’adéquation les plus utilisés
dans ce cas sont le test d’ajustement du Khi2 et le test de
Kolmogorov-Smirnov.
Ces tests permettent de répondre à des questions du
type :
Je connais la répartition de ma population selon les CSP.
Mon échantillon est-il représentatif de cette population
sur ce critère ?
Nous avons défini un plan de charge nous permettant d’ouvrir
nos caisses en fonction de la fréquentation de notre magasin.
Ce modèle est-il validé par nos observations sur un
échantillon de jours et d’heures donné ?
Nous fabriquons des chaussures pour femmes. Peut-on considérer,
après avoir interrogé 200 clientes potentielles choisies
au hasard que les tailles de chausse suivent une loi normale ?
Ces tests calculent, à partir des écarts entre les
valeurs réelles et les valeurs théoriques, une valeur
que l’on compare à un seuil critique dans la table statistique
correspondante.
Tests de conformité
à un standard
Ces tests, très
proches des tests d’adéquation évoqués
ci-dessus, ont pour objectif de comparer une moyenne ou une proportion
à une valeur particulière (comme dans notre exemple
du début).
Ainsi, le test de comparaison de la moyenne s’applique sur
une variable numérique et permet de comparer la moyenne de
la série à une valeur donnée. Notons qu’il
n’est utilisable que pour des échantillons supérieurs
à 30 individus.
Pour apporter une nouvelle illustration de l’utilité
de ce test, prenons l’exemple d’un magazine qui affirme,
pour vendre ses pages de publicité, que chacun de ses exemplaires
vendus est lu en moyenne par 3,7 lecteurs. La comparaison de la
moyenne permet, à partir d’un échantillon aléatoire
d’acheteurs interrogés, d’évaluer la véracité
de cette affirmation. Le test ne consiste pas seulement à
comparer la moyenne obtenue, par exemple 3,2, avec la moyenne annoncée,
mais à estimer la probabilité de tomber sur un échantillon
ayant une moyenne qui s’écarte ainsi de 0,5 points ou
plus de la vraie moyenne de 3,7. Si cette probabilité est
importante, nous pouvons accepter la moyenne annoncée. En
revanche, si elle est minime, on est en droit de rejeter l’affirmation.
Le test de comparaison d’une proportion fonctionne de la même
manière, mais sur des variables qualitatives. Il permet de
comparer le pourcentage de réponses obtenues à une
modalité, à un pourcentage donné.
Ainsi, si un directeur d’antenne s’est fixé un
seuil d’au moins 25% d’auditeurs pour conserver une émission,
et qu’il obtient, suite à une enquête la valeur
de 22,5% d’auditeurs, le test de comparaison de la proportion
obtenue avec le seuil visé peut l’aider à prendre
une décision en minimisant les risques de se tromper.
Tests sur
deux variables
Tests paramétriques
de comparaisons d’échantillons
Ces tests permettent
de comparer des résultats obtenus pour une variable, sur
deux groupes d’observations, en vue de déterminer si
ces résultats sont significativement différents d’un
groupe à l’autre.
Il peut s’agir, par exemple, d’un test de deux packagings
ou de deux messages publicitaires, en vue d’évaluer
la version la plus appréciée par les personnes interrogées.
Les tests paramétriques de comparaison les plus fréquents
sont les tests de différence entre deux moyennes ou entre
deux pourcentages.
Le premier s’applique sur des variables numériques.
Il peut porter sur des échantillons indépendants ou
appariés.
A titre d’exemple, si on fait goûter une boisson à
un groupe de femmes et à un groupe d’hommes pour voir
s’il y a une différence d’appréciation selon
le sexe, on réalise là un test sur des échantillons
indépendants.
En revanche, si on fait goûter deux boissons différentes
à un même groupe d’individus, pour voir s’il
y a une préférence significative pour l’une des
deux, il s’agit d’une mesure sur des échantillons
appariés.
Dans le premier cas, le test compare la moyenne pour le 1er et pour
le 2ème groupe puis cherche à évaluer si cette
différence est significativement différente de 0.
Si tel est le cas, on peut considérer que les hommes n’apprécient
pas la boisson de la même manière que les femmes. Pour
savoir quel groupe l’apprécie le plus, il n’est
pas forcément besoin de choisir que le test se fasse de manière
unilatérale puisqu’il suffit de jeter un coup d’oeil
sur les moyennes.
Dans le deuxième cas, le test consiste à calculer
les différences entre les 2 notes données par chaque
individu aux produits testés. Ensuite le test calcule la
moyenne de ces différences puis essaie de voir si cette moyenne
est significativement différente de 0. Si tel est le cas,
on peut conclure que les produits sont notés de manière
différente. Là aussi, l’appréciation du
meilleur produit peut se faire par l’examen de la moyenne de
chacun des deux ou alors, en demandant au départ un test
unilatéral.
Le test de comparaison de deux pourcentages est également
extrêmement utile pour évaluer la différence
entre deux échantillons pour une modalité de réponse
donnée (ou un regroupement de modalités). Ainsi, une
enseigne de distribution peut comparer la proportion de clients
satisfaits dans deux de ses magasins pour savoir si cette différence
est significative.
Tests non
paramétriques de comparaisons d’échantillons
Ces tests ont
les mêmes objectifs que leurs homologues paramétriques,
en étant applicables dans le cas général.
Le test U de Mann-Whitney s’apparente au test de comparaison
des moyennes sur deux échantillons indépendants. Comme
ce dernier, il s’applique essentiellement sur une variable
numérique(ou qualitative ordinale).
Le test des rangs signés de Wilcoxon s’apparente également
au test de comparaison des moyennes mais, cette fois, sur des échantillons
appariés. Là aussi, les deux variables à tester
doivent être numériques (ou assimilées).
Ces tests effectuent des classements des réponses et font
intervenir dans leurs calculs, le rang associé.
Ainsi le test de Mann-Whitney commence par mettre ensemble les réponses
des 2 groupes X et Y et à les classer. Le calcul porte ensuite
sur le nombre de fois où un individu du groupe X précède
un individu du groupe Y. La somme de ces éléments
permet d’obtenir la valeur du test à comparer à
la valeur critique dans la table de Mann-Whitney.
Il existe un autre test non paramétrique permettant de comparer
plus de 2 échantillons et qui est en fait la généralisation
du test de Mann-Whitney. Il s’agit du test de Kruskal-Wallis.
Mesure de
l’association entre deux variables qualitatives
Le croisement
de deux questions qualitatives produit un tableau que l’on
désigne généralement par “tableau de contingence”.
Pour savoir si la distribution des réponses de ces deux variables
est dûe au hasard ou si elle révèle une liaison
entre elles, on utilise généralement le test du Khi2,
qui est sans doute le test statistique le plus connu et le plus
utilisé dans le domaine des études marketing. Un encadré
dans ce dossier détaille son fonctionnement.
En général, le khi2 est calculé pour un tableau
croisé. Cependant certains outils comme Stat’Mania sont
capables de l’appliquer en série à un grand nombre
de combinaisons de variables prises 2 à 2, pour détecter
automatiquement les couples de variables qui présentent les
liaisons les plus significatives.
Mesure de l’association entre deux variables numériques
Lorsque l’on cherche à déterminer si deux variables
numériques sont liées, on parle de corrélation.
Les trois tests de corrélation les plus utilisés sont
ceux de Spearman, Kendall et Pearson.
Les deux premiers sont des tests non-paramétriques que l’on
peut également appliquer sur des variables qualitatives ordinales.
Ces deux tests commencent par classer les valeurs observées
pour chaque individu à chacune des deux variables.
Ainsi, si on cherche à évaluer la corrélation
entre l’âge et le revenu, la première étape
du calcul évalue pour l’individu 1 puis 2, puis n, son
classement en fonction de l’âge et celui en fonction
du revenu.
Le test de Spearman se base sur la différence des rangs pour
chaque individu, pour donner, à partir d’une formule
particulière, la valeur du test (r de Spearman). Plus cette
valeur est proche de 0 plus les 2 variables sont indépendantes.
A l’inverse, plus il est proche de 1 plus elles sont corrélées.
Il est possible de tester la signification statistique de cette
valeur obtenue, à l’aide de la formule suivante de comparaison,
basée sur le t de Student :
t = RxRacine(n-2)
Racine(1-r²)
Cette valeur doit être comparée dans la table de Student,
à la valeur t avec n-2 degrés de liberté.
Ainsi, si on obtient une valeur r de 0,8 sur un échantillon
de 30 personnes, le calcul ci-dessus nous donne la valeur 8,53.
La valeur donnée dans la table de Student pour 28 degrés
de liberté avec un seuil de 5% d’erreur est de 2,05.
Cette valeur étant inférieure à notre t calculé,
le taux de corrélation calculé est significatif.
Toutes ces opérations sont, bien entendu, assurées
de manière automatique par tous les logiciels modernes d’analyse
de données (par exemple STAT’Mania dont vous trouverez
un descriptif sur www.soft-concept.com).
Le test de Kendall part de la même manière que celui
de Spearman. Mais une fois que les rangs sont calculés, le
test classe l’une des deux variables sur ces rangs et s’intéresse
au nombre de fois où la deuxième respecte le même
ordre de classement.
En final, le test fournit un coefficient de corrélation que
l’on appelle le Tau de Kendall dont on peut également
évaluer la significativité à l’aide d’un
test complémentaire.
Contrairement aux deux tests ci-dessus, le test de corrélation
de Pearson est un test paramétrique exigeant.
Il ne s’applique que sur deux variables numériques qui,
prises ensemble doivent suivre la loi normale (difficile à
vérifier dans les études marketing).
Ce test de corrélation fait appel à des calculs statistiques
basés sur la covariance des deux variables et sur leurs variances.
Là aussi, ces calculs aboutissent à la production
d’un coefficient de corrélation entre 0 et 1, qui peut
être également testé quant à sa significativité.
FICHE
PRATIQUE :
Le test
d'indépendance du khi2
Le test d’indépendance
du Khi2 permet de déterminer si deux questions qualitatives
son indépendantes ou non, ou autrement dit, si les réponses
de l’une conditionnent les réponses de l’autre.
Il ne permet toutefois pas de connaître le sens de la dépendance.
Ce test s’applique sur un tableau de contingence, expression
qui désigne le tableau de croisement des deux variables catégorielles.
Le principe est de calculer l’écart entre la distribution
obtenue et une distribution théorique que l’on obtiendrait
si les deux variables étaient totalement indépendantes.
Cet écart nous permet d’accepter ou de rejeter l’hypothèse
d’indépendance H0.
Voici un exemple qui va nous permettre de bien comprendre toutes
les phases de ce test :
On a interrogé des habitants de Paris, de Lyon et de Marseille
sur l’appréciation de 4 stations de radio.
Le croisement de ces deux variables donne le tableau de contingence
suivant :
Etape 1 :
Calcul du tableau théorique
Considérons
les marges qui correspondent aux distributions des variables VILLE
(77, 65, 58) et RADIO (47, 45, 75, 33).
Si ces deux variables étaient indépendantes, la distribution
des valeurs du tableau serait répartie de manière
“équilibrée” en ligne et en colonne.
La valeur théorique de chaque case s’obtient en multipliant
le total ligne par le total colonne puis en le divisant par le total
général.
Ainsi, la 1ère case devrait contenir la valeur (47x77)/200,
soit 18,1. Le tableau théorique est donc le suivant :
Etape 2 :
Calcul de la valeur du Khi2
Pour évaluer
l’écart entre ce tableau et le tableau précédent,
on calcule, pour chaque case :
En aditionnant
ces valeurs, on obtient 7,6 :
(0,0+0,5+0,5+1,6+0,0+1,9+0,3+0,8+0,1+0,4+0,2+1,3) = 7,6
Etape 3 : Interprétation
Pour interpréter cette valeur, on se réfère
à la table du Khi2 qui présente les valeurs (cases
de la table) ayant une probabilité donnée d’être
dépassées (en colonne), selon différents degrés
de liberté (en ligne).
- La probabilité est notre seuil ou marge d’erreur que
nous nous fixons (en général 5%).
- Le nombre de degré de liberté (noté ddl)
correspond à :
ddl = (Nombre de lignes - 1) x (Nombre de colonnes - 1)
Dans notre exemple, on a ddl = (4-1) x (3-1), soit 6.
En regardant la case qui correspond à la colonne 0,05 et
à la ligne 6, on trouve la valeur 12,59. Autrement dit, il
y aurait, pour notre tableau 5% de chances que le Khi2 dépasse
cette valeur (et 95% de chances qu’il soit inférieur).
Etant donné que le Khi2 calculé est inférieur
à cette valeur, nous ne pouvons pas rejetter l’hypothèse
nulle. On considère donc que les 2 variables sont indépendantes.
LECTURES
CONSEILLEES :
Parmi les très
nombreux ouvrages disponibles dans le domaine des statistiques,
voici nos préférés :
L’analyse
statistique de données
(Christian Bialès
- Editions Chotard et associés) : Ouvrage pédagogique
d’une clarté remarquable, qui traite tout l’univers
des méthodes utiles en marketing : tests statistiques, analyse
de données... Chaque méthode est illustrée
par des exemples pratiques et bien choisis.
Etudes de marché
(J.L. Giannelloni et E. Vernette - Edition Vuibert) : Ouvrage généraliste
complet sur les études, abordant tout le processus d’investigation,
des réflexions préalables au rapport final, en passant
par les techniques quantitatives et qualitatives utilisables sur
le terrain. La partie consacrée à l’analyse de
données est particulièrement développée
et précise pour ce type d’ouvrage.
Market : Etudes et recherches en marketing
(Y.Evrard, B.Pras & E. Roux - Editions Nathan) : Ouvrage généraliste
sur les études réalisé en collaboration avec
J. Choffray et Anne-Marie Dussaix. Les techniques et méthodes
de traitement et d’analyse de données sont présentées
de manière structurée et détaillée.
Statistiques : Dictionnaire encyclopédique
(Yadolah Dodge - Editions Dunod) : Guide de référence,
indispensable à tous ceux qui manipulent des statistiques.
Chaque terme est illustré d’exemples détaillés.
Sites Internet
Il existe sur Internet de très nombreuses ressources notamment
universitaires et souvent ardues, traitant de statistiques (cours,
explications, utilitaires de calcul...).
Nous vous indiquons ci-dessous quelques liens intéressants
, qui peuvent toutefois disparaître sans préavis :
|
