Il y a quelques semaines, Research Access a publié un article sur le nettoyage des données des panels. L’une des méthodes a consisté à supprimer toutes les réponses « extrêmes » figurant dans les échelles d’évaluation. Si vous avez déjà reçu une enquête comportant trop de questions d’évaluation matricielle et que vous avez ensuite coché sans réfléchir toutes les évaluations les plus basses, les évaluations moyennes ou les évaluations élevées, vous savez qui vous êtes et vous savez de quoi je parle.
Cela m’a fait penser à ces personnes qui ne donnent jamais la meilleure note – ou à celles qui donnent constamment une note élevée. À bien des égards, elles ne valent pas mieux que les panélistes qui répondaient sans réfléchir à leur enquête. En d’autres termes, leurs réponses sont suspectes car elles ne sont pas valables pour nous aider à prendre une décision.
Puis je suis tombé sur cet article de Jeff Henning et j’ai réalisé que je n’étais pas le seul à y penser. En fait, des personnes bien plus intelligentes que je ne le serai jamais ont fait des recherches approfondies sur le sujet et ont trouvé plusieurs solutions que je vais vous présenter ici.
L’article de Henning aborde en fait la question du biais de réponse culturelle, et vous pouvez en savoir plus à ce sujet dans son article. Voici les types de questions énumérés par Henning qui vous aideront à surmonter les biais de recherche liés au style de réponse général :
- Échelles binaires – Dès 1946, Lee Joseph Cronbach (célèbre pour son alpha ) a préconisé l’utilisation d’échelles à deux éléments : oui/non, d’accord/désaccord, insatisfait/satisfait, décrit/n’est pas décrit, afin de minimiser le biais lié au style de réponse. Il s’agit essentiellement de traiter tout le monde comme des répondeurs de type « Extreme Response Style ».
- Questions à choix multiples – Présenter une liste de choix et demander au répondant de « sélectionner tout ce qui s’applique » est une forme économique d’échelle binaire, incitant les répondants à choisir les éléments avec lesquels ils sont d’accord, qu’ils trouvent importants ou dont ils ne sont pas satisfaits.
- Questions de classement – Une autre façon d’éviter les biais de réponse traditionnels consiste à utiliser des échelles de classement, où chaque choix de l’échelle ne peut être utilisé qu’une seule fois : du plus important au moins important, du plus satisfaisant au moins satisfaisant, du plus probable au moins probable.
- Échelle MaxDiff — Les modèles de choix discrets à différence maximale sont un type de question de classement plus sophistiqué, qui présente généralement les attributs quatre par quatre et demande au répondant de sélectionner les meilleurs et les pires attributs de chaque ensemble : les attributs présentant la différence maximale. La recherche a démontré que l’échelle MaxDiff est supérieure aux échelles d’évaluation pour l’analyse interculturelle. (Steve Cohen & Leopoldo Neira, 2003, « Measuring Preference for Product Benefits Across Countries : Overcoming scale usage bias with Maximum Difference Scaling« ).
Leçons apprises : Les enquêtes doivent fournir des données supplémentaires pour votre décision – et non pas PRENDRE votre décision.
Ce ne sont donc pas seulement les panels qui peuvent « salir » vos données au point de donner une image erronée de ce que ressentent réellement les personnes interrogées. Les biais de réponse se présentent sous autant de formes qu’il y a d’opinions humaines. Le point essentiel est que les décisions sont prises en dernier ressort par des êtres humains. Les gestionnaires et les chefs d’entreprise peuvent utiliser les données d’enquête comme une source d’information supplémentaire pour les aider à prendre une décision – un peu comme l’option « Demandez au public » dans « Qui veut gagner des millions » – mais cela ne signifie pas que vous ne devez pas faire appel à votre propre jugement.
