Que peut-on attendre aujourd'hui très concrètement en matière d'analyse de questions ouvertes ?

De l’utilisation de questions ouvertes

Les études marketing se répartissent en deux grandes catégories : les enquêtes qualitatives et les enquêtes quantitatives.

La première catégorie désigne plutôt les observations recueillies lors de tables rondes ou d'entretiens semi-directifs en face à face ou, plus rarement, au téléphone. Ces études concernent généralement un petit nombre d'interviewés (quelques individus à quelques dizaines d'individus tout au plus) et servent le plus souvent à préparer des études quantitatives ultérieures en dégageant les thèmes d'intérêt, la terminologie employée par la population cible, etc.

L'information recueillie est généralement très peu structurée et correspond à l'expression des interviewés sur des thèmes initiés par l'enquêteur mais traités ensuite librement par les individus ou les groupes interrogés.

Les études quantitatives, elles, concernent un plus grand nombre d'interviewés (plusieurs centaines jusqu'à plusieurs dizaines de milliers parfois) et s'attachent à recueillir leurs réponses à des questions précisément définies. L'objectif est de connaître la répartition de la population interrogée par rapport aux différentes réponses proposées.

La technique du «truffage»

Les études quantitatives conçues par les professionnels comportent généralement très peu de questions ouvertes. En revanche, les questionnaires réalisés par les débutants en matière d'enquêtes en regorgent. Ainsi, n'est-il pas rare de voir des questionnaires qui proposent à chaque question fermée, une question ouverte intitulée «Pourquoi ?» ou «Commentez :», censée permettre aux interviewés de s'exprimer librement. Ces questions rassurent le concepteur de l'enquête en lui faisant croire qu'il évite ainsi le risque de rater des informations essentielles qu'aurait eu à lui donner la personne interrogée.
En réalité, ce type de «truffage» est contre-productif à plusieurs titres :

- Les questions ouvertes systématiques révèlent un manque de préparation de l'enquête et un manque de précision dans les objectifs. Leur utilisation diminue la pertinence générale du questionnaire : les questions fermées sont traitées avec moins de soin et d'esprit d'exhaustivité que nécessaire, puisque la présence des questions ouvertes est censée ramener quand même l'information que l'on a oubliée d'aller chercher dans la partie fermée du questionnaire.

- Les questions ouvertes rallongent considérablement l'administration du questionnaire en face à face ou au téléphone (écriture ou frappe des réponses). Les enquêteurs sont parfois tentés de raccourcir ou de résumer, pas toujours de manière pertinente, les réponses exprimées.

- Lorsque le questionnaire est rempli manuellement par un enquêteur ou, pire encore, en auto-administré par la personne interrogée, la saisie des réponses manuscrites s'avère souvent fastidieuse en raison d'écritures parfois illisibles. Les risques d'erreurs sont ainsi multipliés.

- Le taux de réponse aux questions ouvertes systématiques est généralement extrêmement faible (de l'ordre de 10%). Il n'est pas rare que les réponses exprimées soient hors sujet, mal formulées (voire incompréhensibles) ou encore sans contenu (ex : «Rien à signaler»).

- En résumé, l'utilisation fréquente de questions ouvertes «générales» dans les études quantitatives, loin d'apporter une information essentielle, génère des pertes de temps importantes et se traduit même parfois par la perte d'informations qu'il aurait été plus simple d'obtenir en structurant mieux le questionnaire.

Le recueil pertinent d'informations complémentaires

La description ci-dessus ne doit pas laisser croire que le recueil d'informations ouvertes n'a aucune place dans les enquêtes qualitatives. Simplement, les questions ouvertes doivent être utilisées à bon escient, souvent dans l'objectif d'achever de structurer l'information.

Ainsi, lorsque l'on propose une liste d'items (marque utilisée, magasin fréquenté, caractéristique recherchée, pays d'origine), le fait de proposer une réponse «Autre, préciser…» permet de collecter des items complémentaires non prévus initialement. La liste initiale est généralement incomplète parce qu'il était impossible de balayer a priori tout l'univers des réponses possibles. Dans ce cas, la question est semi-ouverte (ou semi-fermée). Les bons logiciels d’enquêtes permettent de gérer l’ajout dynamique des nouvelles réponses lors de la saisie. Cette fonctionnalité est appelée «Enrichissement». Une réponse ainsi ajoutée sera proposée lors de la saisie du questionnaire suivant et pourra être cochée. Cela accélère la saisie et évite de retaper des libellés identiques avec des orthographes différentes. Le codage se fait en quelque sorte en direct et les questions ainsi enrichies peuvent être traitées comme les autres questions fermées.

Bien entendu, il est généralement possible de revoir les réponses ajoutées pour procéder éventuellement à un regroupement avant le traitement.

Du traitement spécifique des questions ouvertes

Vous l’avez compris, nous vous conseillons vivement de limiter l’usage des questions ouvertes dans vos enquêtes.

Toutefois, lorsque vous en avez une ou plusieurs à traiter, les outils d’enquêtes du marché peuvent vous apporter de l’aide, même si certains produits promettent plus qu’il ne peuvent tenir.

Avoir les idées claires

Quel est l’objectif du chargé d’études confronté au dépouillement d’une question ouverte ?

C’est bien sûr de faire ressortir le maximum d’informations. Mais si l’on en reste là, on est susceptible d’être séduit par des approches théoriques mélangeant la statistique avec des notions de linguistique et de sémantique.

Certains éditeurs de logiciels jouent d’ailleurs avec les mots en baptisant leurs méthodes «Analyse sémantique», «lexicale», ou «de contenu». L’utilisation dans les interfaces de termes comme «corpus», «réseaux sémantiques» et autre «lemmatisation» achève l’illusion en donnant à penser que le logiciel sera capable d’extraire automatiquement le sens des réponses obtenues.

Or il n’existe pas aujourd’hui de logiciel capable de comprendre le sens réel des réponses aux questions ouvertes. Les outils d’enquêtes sont capables de compter la fréquence de citation des mots, de les regrouper en expressions, de repérer les formes grammaticales, les négations, etc...

Ils peuvent fournir des représentations graphiques de réseaux de mots reliés entre eux selon des fréquences d’association dans les phrases.

Mais une fois que l’on a fait tout cela, on se retrouve au final avec un magma d’informations, comparable à celui que l’on avait au départ.

Un traitement «concret»

En réalité, au delà de la manipulation des concepts linguistico-statistiques, l’objectif est d’arriver à «coder» les réponses aux questions ouvertes, pour pouvoir les utiliser conjointement aux autres variables, dans les analyses statistiques.

Une fois que l’on a pris conscience que l’outil informatique ne peut pas arriver sans intervention humaine à un codage pertinent, on recherchera les logiciels qui apporteront une aide concrète au chargé d’étude (utile pour un bon nombre d’années encore !).

Certains outils offrent pour cela des fonctionnalités très intéressantes basées sur la démarche suivante :

- affichage de la liste des réponses textuelles obtenues, en les classant selon différents critères (présence de certaines expressions par exemple),

- création dynamique d’une question qualitative correspondante, avec possibilité de lui ajouter des modalités nouvelles en fonction des thèmes trouvés en parcourant les réponses à la question ouverte,

- possibilité d’associer la réponse textuelle aux modalités de réponses.
A ce titre, il est indispensable que l’on puisse effectuer l’association de chaque texte à plusieurs modalités, pour qu’une réponse qui porte sur plusieurs thèmes puisse être correctement recodée. La question de recodage sera donc obligatoirement multiple.

Les meilleurs produits permettent d’effectuer ces opérations de manière visuelle, en glissant à la souris les réponses dans les modalités et en enrichissant de manière dynamique la liste de réponses. Ils offrent également des outils pour faciliter la circulation dans les textes de réponses, permettant de masquer les phrases déjà affectées ou de repérer automatiquement celles qui comportent certains mots.
Au final, le chargé d’étude disposera d’une variable recodée, vraiment utilisable dans les analyses statistiques, au prix de quelques efforts.

Dans ce domaine comme dans bien d’autres, l’informatique apporte donc une aide réelle à condition de rester concret et de ne pas céder à la tentation de la pensée magique.