Rédigé par Matthieu Gioani, Romain Fenouil, Cédric Bodin et Fabien Chesné dans un état d’esprit en complète synergie avec l’atelier des futur, c’est avec grand plaisir que nous vous proposons ce billet initialement publié par Fenikso. Un grand merci aux auteurs !
Chercher l’optimum entre les coûts et les enseignements
Derrière la question « combien de personnes dois-je interviewer pour une étude qualitative ? » se cache généralement des préoccupations plus triviales : « Combien de temps ou combien d’argent faut-il dépenser pour arriver à des résultats fiables sur une étude qualitative ?».
Il s’agit donc de trouver un équilibre judicieux entre l’apport de nouvelles connaissances pour limiter l’incertitude (l’objet de l’étude) et les dépenses nécessaires pour y parvenir. Nous cherchons donc un optimum (le point jaune sur le graphique ci-dessous). Il est atteint à partir du moment où les nouvelles interviews ne font peu ou pas avancer l’étude au regard de ce qu’ils coûtent. Nous arrivons à une « saturation » c’est-à-dire un moment où les nouvelles informations récoltées apportent peu de valeur à l’étude. Dès lors, comment trouver cet optimum ?
« Juste ce qu’il faut »
Pour trouver cet optimum, regardons du côté des sciences humaines et sociales, les précurseurs des études qualitatives.
Michael Quinn Patton, le pape de la recherche qualitative (cité plus de 100 000 fois par ses pairs !!), affirme dans son livre Qualitative Research & Evaluation Methods :
Les enquêtes qualitatives sont pleines d’ambiguïtés. Il existe des stratégies intentionnelles plutôt que des règles méthodologiques. […] Il y a des approches d’enquête plutôt que des formules statistiques.
Il n’existe pas de règles pour la taille des échantillons dans les enquêtes qualitatives. La taille de l’échantillon dépend de ce que vous voulez savoir, de l’objectif et enjeux de l’enquête, de ce qui sera utile, de ce qui aura de la crédibilité, et ce qui peut être fait avec le temps et les ressources disponibles.
Merci Mr. Patton, ça ne nous avance pas beaucoup… Voyons du côté des chercheurs en UX Design, qui travaillent sur de nouveaux services, le domaine qui nous intéresse. Voici des passages du livre de Carine Lallemand, Guillaume Gronier, Méthodes de design UX.
Dans le domaine académique, les chercheurs doivent s’astreindre à plus d’exigences quant à la taille de leurs échantillons de participants. Les études de recherche sont généralement de plus grande envergure que les études professionnelles et sont préparées plus longtemps à l’avance. […]
Du côté des professionnels [de l’UX], l’important est de bien cibler quelques utilisateurs représentatifs afin de pouvoir comprendre leur point de vue et apporter de précieux inputs au développement de votre système. On cherchera surtout à maintenir un équilibre entre coûts et bénéfices car le recrutement d’utilisateurs par dizaines s’avère souvent impossible, par manque de ressources. Plus réaliste, le chiffre de 12 est parfois avancé (Guest, Bunce & Johnson, 2006). En IHM [Interface Homme-Machine], Baccino, Bellino et Colombi (2004) recommandent d’interviewer une dizaine de personnes pour couvrir les principaux points de l’analyse des besoins. Ce chiffre nous paraît réaliste, le principal étant de vous poser les bonnes questions et d’avoir plusieurs participants par groupes d’utilisateurs cibles.
Comme l’illustre bien le titre du livre de Erika Hall, Just enough research (2015), le nombre de participants recrutés correspond généralement à « juste ce qu’il faut » pour obtenir des résultats pertinents. […].
Ce principe, « juste ce qu’il faut », nous guide pour dimensionner nos études. Dans les faits, nous nous appuyons aussi sur un consensus partagé par de nombreux praticiens.
Le nombre de participants recrutés correspond généralement à « juste ce qu’il faut » pour obtenir des résultats pertinents.
Un consensus : 12 personnes interrogées
En effet, de nombreux chercheurs ont aussi des activités de recherches professionnelles et doivent adapter leurs protocoles pour répondre à des questions stratégiques d’entreprises plutôt que faire avancer la recherche académique.
Carine Lallemand et Guillaume Gronier déclarent : « Le chiffre de 12 est parfois avancé. » (extrait ci-dessus). Avec les nombreuses études que nous avons menées ou accompagnés, ce chiffre nous semble cohérent pour identifier des récurrences et des signaux faibles. Avec des études de cette dimension, nous pouvons prétendre répondre à quelques grandes questions que se posent nos clients sur l’optimisation de l’expérience client ou leurs offres et leur positionnement :
- Sur quels leviers dois-je agir pour améliorer l’expérience client ?
- Quels axes forts de différenciations de notre gamme de services devons-mettre mettre en avant ?
- Quelles trajectoires de recherche dois-je donner aux services R&D pour répondre aux attentes des clients dans 5 ans ?
- Quels sont les business models les plus adéquats pour cette gamme de produits/services ?
Les 5 critères pour dimensionner finement le panel
Dans un livre blanc bien documenté qui fait la synthèse d’articles de recherches intitulé Qualitative interviews: When enough is Enough, la chercheuse australienne Donna Bonde identifie différents cas. Comme point de départ, elle s’appuie sur le chiffre de 12 interviews en citant Guest, Bunce et Johnson (2006, lien vers l’article) : « sur la base de l’ensemble des données, ils ont constaté que la saturation s’est produite au cours des 12 premiers entretiens, bien que des éléments de base pour les méta-thèmes aient été présents dès 6 entretiens ».
Ensuite, à partir d’un corpus d’une quinzaine d’articles, elle identifie 5 critères qui peuvent influer sur le nombre d’interviews :
- La largeur du périmètre : plus le sujet est large, plus il faut d’interviews pour apporter des réponses claires
- L’hétérogénéité des participants : plus les participants sont hétérogènes, plus il faut d’interviews
- L’expérience des chercheurs : plus les chercheurs sont expérimentés, moins il faut d’interviews pour atteindre la « saturation »
- La contrainte des ressources disponibles : plus les ressources sont contraintes, plus on évite l’éparpillement
- La maturité du client et de l’audience sur les recherches qualitatives : pour des personnes non-habitués, le chiffre de 10-12 peut sembler peu, il convient donc d’expliciter les choix. Pour gagner le soutien de cette audience, elle suggère d’augmenter légèrement le nombre d’interviews.
Parmi les 5 critères proposés ci-dessous, c’est sans doute le dernier qui nous demande le plus de fil à retordre…
Une taille de panel à faire accepter aux parties prenantes
Au final, pourquoi nous arracher les cheveux à définir des repères de taille de panel ? Deux réponses :
- Parce que nous aimons le travail bien fait et que nous avons à cœur de nous appuyer sur des faits et des recherches pour expliquer nos choix. Nous nous inscrivons dans des pratiques avec des fondements, une histoire et nous cherchons à les adapter à nos contextes.
- Parce que la première question que posera un commanditaire ou une partie prenante qui doute, voire que réfute vos résultats d’étude c’est : « Vous avez fait cette étude sur combien de personnes au fait ? Sur 12 personnes seulement… Ces résultats sont-ils valables pour notre produit et guider nos investissements futurs ? »
L’enjeu est donc de faire accepter la taille du panel à vos commanditaires ! Tant mieux, les sources présentes dans cet article plaident pour des échantillons restreints et donc de multiplier le nombre d’études.
Avant de démarrer une étude posez-vous donc la question : est-ce qu’une étude qualitative est adaptée à l’audience ? En effet, « L’enquête qualitative semble fonctionner au mieux pour les personnes ayant une tolérance élevée à l’ambiguïté » nous indique Mr. Patton.
Si vous pensez que vos clients ou vos collègues acceptent une certaine dose d’ambiguïté et d’incertitude, il est temps de commencer à poser vos hypothèses de travail et à recruter votre panel.
L'enquête qualitative semble fonctionner au mieux pour les personnes ayant une tolérance élevée à l’ambiguïté.
Cédric Bodin vient des mathématiques appliquées. Après 7 ans dans le développement logiciel, c’est depuis 10 ans dans le coaching agile et la facilitation opérationnelle qu’il a finalement trouvé sa voie : aider les équipes et les organisations à gagner en efficacité de manière pérenne.
Fabien Chesné travaille au service des entreprises et de leurs marques pour les accompagner dans leur performance digitale.
Spécialiste du Product Management et du design UX, il accompagne de nombreux acteurs de secteurs variés sur leurs projets de sites et applications, en mêlant démarches centrées utilisateur et Roistes. Intervenant en école, ancien manager, il sait animer les équipes design, gestion de projet et webmarketing dans la mise en place de méthodes et processus efficients.
Comme il n’y a rien de mieux pour valider une théorie que de la mettre en pratique, celle-ci a été utilisée dans l’étude « Le Soldat Low-Tech »