Cet article est un extrait de notre livre, le Product Academy Volume 3 dédié aux organisations orientées Produit. Disponible en téléchargement, ce livre s’adresse à tout ceux qui souhaitent structurer leur organisation en vue de faire les meilleurs Produits numériques possibles.
Problème
Je suis CPO d’une organisation Produit qui vient de croître significativement. Je me rends compte qu’il est maintenant beaucoup plus difficile de déterminer qui est responsable de la collecte et de l’analyse des retours utilisateurs. Quand bien même on identifie les bonnes personnes, je dois m’assurer que toutes les équipes ont accès à ces informations. L'objectif est de valider ou invalider leurs hypothèses Produit ou tout simplement résoudre les principaux bugs.
Solution
Nous proposons ici différentes pratiques qu’il est possible de mettre en œuvre pour instaurer une culture orientée satisfaction utilisateur. Elles peuvent aussi garantir une répartition cohérente des responsabilités pour la collecte, le traitement et la diffusion des retours utilisateurs.
Commençons par une anecdote que l’on évoque souvent concernant l’importance des retours utilisateurs. Il se raconte dans les couloirs d’Amazon à Seattle que lorsque Jeff Bezos, l’homme le plus riche du monde, assiste à une réunion, on place une chaise vide parmi les directeurs et autres membres du conseil d’administration pour représenter le client. L’idée étant de rappeler aux décideurs que le client, bien qu’il ne puisse pas prendre la parole lors de la réunion, reste essentiel et sa voix prioritaire.
Les retours utilisateurs, vous en êtes conscient, sont une source indispensable d’informations pour votre Produit. Vous avez certainement de nombreux moyens pour les collecter, mais avouez-le, savez-vous vraiment qui les lit ? Qui les traite ? Sont-ils accessibles à l’ensemble des équipes qui travaillent sur le Produit ? Sont-ils réellement intégrés à toutes les étapes de la construction du Produit ? Alimentent-ils régulièrement votre roadmap ?
N’ayez crainte, les retours utilisateurs sont un peu l’arlésienne des équipes Produit. Tout le monde en parle, chacun est conscient de leur importance. Néanmoins, bien peu d’équipes les exploitent à leur juste valeur.
Nous vous proposons ici différents dispositifs et méthodes pour remettre réellement les retours utilisateurs au centre de votre démarche Produit. Ils permettront aussi d'éviter de vous disperser ou d’y perdre énormément d’énergie.
Les différents types de retour utilisateur
Qu’entend-on exactement par retour utilisateur ?
Nous classons habituellement les retours utilisateurs en 2 catégories : les retours quantitatifs et qualitatifs. Chacun de ces types de retours pouvant être sollicité ou non sollicité.
Retours quantitatifs
Les retours utilisateurs quantitatifs sont un élément important du développement et de l’amélioration des Produits numériques. Les données quantitatives appellent notre logique, notre rationalité et au besoin de chiffres concrets pour construire des plans d’action. On utilise souvent les retours utilisateurs quantitatifs pour essayer de découvrir des patterns d’usage ou tout simplement pour étudier ce que les utilisateurs font réellement sur un Produit ou une application de façon objective. Vous saurez par exemple exactement combien de personnes ne scrollent pas sur votre page d’accueil ou à quelle étape ils quittent le processus de souscription. Toutefois, sans retour qualitatif complémentaire, vous n'identifierez sans doute pas la raison de leur désengagement à ce moment précis.
On peut solliciter des retours quantitatifs. Par exemple, l'envoi de questionnaires en masse aux utilisateurs de l’étude de marché complète au simple NPS (Net Promoter Score) ; ou non sollicités comme les métriques collectées sur un outil d’analytics ou d’enregistrement de session.
Nous avons traité les retours quantitatifs dans “Product Academy 2 - le Guide du Growth” ; où était évoquée la mise en place d’une équipe Growth dédiée, nous ne nous attarderons pas plus sur ce sujet ici.
Retours qualitatifs
A l’inverse, les retours qualitatifs s'utilisent pour mieux comprendre les raisons sous-jacentes au comportement des utilisateurs, leurs opinions et leurs motivations. Ces retours donnent un aperçu des problèmes. Ils aident à développer des idées ou des hypothèses pour lancer une recherche quantitative ultérieure.
Les retours qualitatifs permettent de comprendre ce qui a incité un utilisateur à choisir votre Produit plutôt qu’un autre ; les fonctionnalités qu’il trouve essentielles pour l’achat du Produit ; ou encore les instants de blocage et les points de douleur qu’il rencontre en utilisant votre Produit.
On peut également solliciter ou non les retours utilisateurs qualitatifs :
Exemples de retours qualitatifs sollicités :
- Entretiens utilisateurs orientés problème ou solution
- Interviews des abandonnistes : entretiens ciblant des utilisateurs partis à la concurrence ou ayant arrêté l’utilisation du produit. L'objectif est de mieux comprendre la perception de l’écosystème concurrentiel, les promesses des concurrents, les raisons pour lesquelles ces utilisateurs vous ont quitté. Vous pourrez alors déterminer s’ils étaient dans votre cible ou non
- Dogfooding : utilisation des Produits de l’entreprise par ses propres employés afin qu’ils se confrontent directement à leurs qualités et leurs défauts. Pour que le dogfooding soit consciencieusement réalisé, il est fréquent de récompenser financièrement les collaborateurs
- Interviews des collaborateurs internes qui ont des contacts fréquents avec l’utilisateur
- Immersion et observation in situ : technique consistant à observer dans son environnement habituel l’utilisation du Produit par de vrais utilisateurs
Exemples de retours qualitatifs non sollicités :
- Retours sur les stores d’applications mobiles (App Store et Play Store)
- Remontées des utilisateurs lors de leur navigation sur le Produit avec des outils tels que Usabilla
- Commentaires sur les réseaux sociaux
- Remontées au support client via un outil de support tel que Zendesk
- Messages sur des forums ou des chats collectés grâce à des outils tels qu’Intercom ou User Voice
- Remontées ou idées des équipes commerciales et Marketing
Ces 2 typologies de retours utilisateurs sont indispensables et s’enrichissent mutuellement. Nous utilisons ainsi des outils qualitatifs pour découvrir des problèmes et des outils quantitatifs pour les confirmer ou les infirmer. Mais l’inverse est également vrai, il est fréquent d’avoir recours aux outils quantitatifs pour découvrir des patterns ou des opportunités. Dans ce cas, on les corrobore ou les creuse avec des outils quantitatifs.
Cette bascule de l’un à l’autre est inhérente à la boucle du retour utilisateur. Par exemple, les outils quantitatifs vous aideront à analyser votre entonnoir de conversion, à voir les pages qui convertissent le mieux ainsi que les fonctionnalités que l'on sur ou sous-utilise. Les retours qualitatifs quant à eux vous permettront de creuser les raisons d’abandon, les problèmes ou les moments d’enchantement vécus par vos utilisateurs sur ce parcours.
Pourquoi organiser la collecte, le traitement et la diffusion des retours utilisateurs ?
Vous avez certainement tous en tête la fameuse boucle de feedback Produit théorisée par Eric Ries dans “The Lean Startup”. Elle commence par la découverte des problèmes utilisateurs et finit par un cycle de livraison, de mesure et d’apprentissage.
Pour construire un bon Produit, il est donc nécessaire de réaliser cette boucle de “Continuous Product discovery”. Elle alimentera la stratégie de l’ensemble des squads Produit (quel que soit le mode de découpage choisi).
Pour cela, il est nécessaire d’avoir des points de contact réguliers, a minima bi-mensuels, avec les utilisateurs ou clients. Pendant ces temps, l’équipe Produit va réaliser différentes tâches de recherche utilisateur en lien avec l’un des objectifs du Produit. Le Product Discovery ne doit plus se voir comme une phase, mais comme une activité (au même titre que le Product Delivery) ; ces 2 activités se nourrissant l’une de l’autre continuellement (voir chapitre 6 “Comment industrialiser le Product Discovery ?”).
Pour exceller en Product Discovery : Inscris-toi à notre formation Discovery Discipline
Une autre raison qui plaide pour une organisation de la collecte et l’analyse des retours utilisateurs est le fait qu’en plus de l’équipe Produit, nombreuses sont les équipes en interne, telles que le Marketing ou les Ventes, qui ont besoin d’avoir accès à cette “voix de l’utilisateur” afin de prendre des décisions éclairées pour rédiger leur propositions commerciales, créer du contenu pour alimenter le matériel Marketing ou encore pour rédiger les scripts de SAV. Sans analyse et diffusion des retours utilisateurs, ces équipes prennent souvent les mauvaises décisions. Il est fréquent que dans ces cas-là, ce soit l’avis de la personne la mieux payée de l’organisation qui prévale. On parle de HIPPO : Highest Paid Person Opinion.
Quelle répartition des rôles et des responsabilités autour des retours utilisateurs ?
L’organisation autour du traitement, de l’analyse puis de la diffusion des retours est donc essentielle pour construire un Produit au plus proche des utilisateurs. Nous avons souvent remarqué que lorsqu’aucune équipe ou personne n’est clairement en charge de ce travail, l’organisation connaît des dysfonctionnements et des tensions.
Ainsi, ces organisations peuvent être touchées par :
- Un immobilisme au sujet des retours utilisateurs car personne ne se sent responsable de cette mission
- Des confits entre Product Designers et Product Managers ; car tous 2 se sentent légitimes pour porter et analyser la voix de l’utilisateur
- Des luttes de pouvoir entre commerciaux et Product Managers ; surtout dans le cas des éditeurs de logiciels B2B où les équipes commerciales portent souvent la relation client.
Comment organiser son équipe afin que ces retours ne s’entassent pas dans un outil de support client tel que Zendesk ou ne restent lettre morte sous forme de comptes-rendus d’interviews abandonnés dans une boîte mail ?
Différentes options organisationnelles existent. Nous avons fait le choix de vous présenter les exemples les plus inspirants collectés auprès des CPO rencontrés pour ce livre. Toutefois, nous pouvons regrouper ces différentes approches en 2 grandes catégories. La première consiste à centraliser l’analyse des retours utilisateurs au sein d’une équipe. La deuxième opte pour des rôles et des responsabilités éclatés au sein de toute l’organisation.
Approche 1 : centraliser les retours utilisateurs dans une seule équipe
Cette démarche concerne avant tout les retours non sollicités. Ils représentent en général un volume de données conséquent, surtout dans les entreprises B2C ou B2B2C où l’utilisateur a une forte propension à prendre la parole à propos du Produit. Les retours sollicités, eux, continuent souvent d’être externalisés à des agences d’études
marketing, des cabinets d’études ethnographiques ou encore à des spécialistes des panels.
L’approche centralisée est par exemple mise en place chez la plupart des grands ecommerçants. Chez OUI.sncf, la collecte et l’analyse des retours se fait via la “Love Team” (voir encart). Chez BlaBlaCar, une équipe entière nommée “member voice” se charge de collecter puis d’aiguiller les retours des utilisateurs vers le bon interlocuteur au sein des équipes Produit.
Ce type d’approche permet une proximité avec les utilisateurs. Elle leur apporte rapidement un premier niveau de réponse sans avoir besoin d’attendre une analyse détaillée du problème de la part de l’équipe Produit. L’utilisateur se sent entendu et rassuré sur la prise en compte de son problème.
En revanche, ce type d’équipe centralisée autour de la problématique Produit, si on ne la dimensionne pas correctement, peut être un réel goulot d’étranglement. Elle instaure également une certaine distance entre l’équipe Produit et les utilisateurs. Cela peut l’empêcher d’aller directement sur le terrain. C'est aussi limiter la capacité de ses membres à comprendre par eux-mêmes les problèmes à résoudre.
Le traitement des retours utilisateurs chez Oui.SNCF (ex voyages-sncf.com)
Depuis plusieurs années, des équipes sont dédiées au traitement des
retours utilisateurs.
• L’équipe “Culture Client” fait le lien entre les différentes équipes qui
détectent, analysent et résolvent les anomalies : relation client, support, Feature Teams. L’équipe a également en charge la remontée d’un indicateur de satisfaction global, communiqué tous les mois.
• Les anomalies sont scorées de manière collégiale avec les différentes
équipes lors d’une instance hebdomadaire, sur la base de différents
indicateurs (business impacté, récurrence / volume d’exposition,
impact sur l’image de marque, …). Le score final permettra de définir
un niveau de criticité, pour aider à la priorisation dans le backlog des
Feature Teams impactées.
• L’équipe “excellence opérationnelle” a défni un KPI (le time to resolve,
mesurant le temps nécessaire à la résolution d’une anomalie) permettant de sensibiliser l’ensemble de l’entreprise à la gestion des anomalies grâce à la mise en place de nouveaux processus. Notamment, un reporting hebdomadaire est envoyé aux Feature Teams par l’excellence opérationnelle. Ce dernier permet de visualiser les anomalies résolues, les nouvelles, celles en cours et les KPI appropriés.
• La relation client a également lancé “OUI Talk”, un espace d’échange
entre les clients et la marque, pour comprendre les besoins des utilisateurs portant sur les Produits et les services. OUI Talk propose aussi
des contenus pour accompagner les clients au mieux dans la compréhension des outils et des décisions de OUI.sncf.
• Mensuellement, une instance réunit différents interlocuteurs pour
partager les indicateurs de satisfaction (calculés par l’équipe “Culture
Client”), les anomalies majeures ou irritants clients qui sont ressortis
dans l’analyse du mois.
Approche 2 : créer des rôles et des responsabilités diffus au sein de l’organisation
Vous l’aurez deviné, cette approche se situe à l’opposé de la précédente. L’idée est de diffuser et de distiller les responsabilités liées aux retours utilisateurs dans toute l’organisation.
Celles-ci peuvent se répartir auprès de plusieurs personnes. Par exemple, le Product Designer peut endosser la responsabilité du traitement des retours liés à des tests d’ergonomie ou des besoins utilisateurs - cette idée permet-elle de résoudre le problème ? -, tandis que le Product Manager va se concentrer sur les retours permettant de prioriser la roadmap - le problème adressé est-il suffisamment important pour que cette idée soit priorisée ?
Voici un exemple de répartition des rôles au sein d’une organisation, sous forme de RACI.
Quelle méthodologie pour récolter plus efficacement les retours utilisateurs ?
Organisez le recrutement des utilisateurs
Le recrutement de profils pertinents pour la recherche utilisateur est souvent chronophage et complexe. La valeur ajoutée de vos équipes se trouve dans leur capacité à détecter des opportunités et à construire des solutions. Elle n'est pas à recruter des profils.
Pour collecter des retours utilisateurs à l’échelle sans que vos équipes ne s’essoufflent, plusieurs options sont envisageables.
Options :
- Construire une communauté de “beta-testeurs”, recrutés au sein de votre base utilisateurs ou sur des réseaux sociaux. Vous pourrez la solliciter à la fois pour collecter des retours mais aussi pour tester de nouvelles idées. Recruter et animer cette communauté représente un effort, mais évite de repartir à zéro à chaque étude ad hoc.
- Utiliser des outils de questionnaires directement intégrés à votre Produit, permettant de cibler certains profils qui vous intéressent particulièrement
- Travailler avec des solutions SaaS comme Ferpection ou WhatUsersDo. L'objectif est de réaliser des tests utilisateurs sur votre site web sur des propositions de maquettes ou des parcours utilisateur
- Passer par des agences externes qui vous aideront à recruter ou construire des panels
Quelle que soit l’approche retenue, soyez conscient des biais de la méthode de recrutement. La technique la moins biaisée consiste sans doute à passer par un spécialiste des panels. Il vous fournira des échantillons de personnes correspondant aux critères qui vous intéressent ; mais cette approche est coûteuse, et difficile à passer à l’échelle. Réservez-la pour une grande étude annuelle par exemple.
Néanmoins, il vaut mieux aller chercher des retours rapides, même légèrement biaisés, que se passer complètement de retours utilisateurs ; si vous travaillez par exemple pour une banque, et que vous avez un besoin urgent de retours utilisateurs, vous pouvez faire le choix de vous rendre en agence et d’interroger des clients. Gardez cependant en tête que cette méthode de collecte privilégiera dans votre échantillon un type de client bien particulier ; ici : ceux qui se rendent en agence bancaire.
Centralisez les retours utilisateurs
Vous avez collecté une grande quantité de retours et vous vous demandez comment les agréger ? Pour cela, une bonne solution est de résumer chaque retour en une description courte, et d’identifier la ou les fonctionnalités concernées ainsi que le volume d’utilisateurs ayant fait cette demande ou rencontré ce problème.
Vous pourrez centraliser ces données dans un tableur partagé (Google Sheets ou autre), la solution la plus simple fera l’affaire. Votre outil de gestion de projet (Trello, Jira,…) ou encore un outil de gestion de roadmap peuvent vous permettre de garder une trace “agrégée” des tendances qui sont remontées.
Si vos problématiques de volumétrie sont très importantes, des outils tels que Viavoo se spécialisent dans le traitement de retours utilisateurs. Ils peuvent faire cette qualification automatiquement grâce à une analyse sémantique des retours.
Chez SeLoger.com, le sentiment sur l’application mobile est, par exemple, analysé grâce à AppBot. Le Play Store propose depuis peu une analyse sémantique des retours. Il fait aussi ressortir les thématiques les plus récurrentes dans les commentaires.
Avant toute chose, il est important de stocker les différents retours reçus sur différentes plateformes dans une base documentaire unique, accessible à tous, et utilisable par tous. Comme évoqué auparavant, différents rôles dans l’entreprise devront accéder à ces éléments pour mener à bien leur mission.
Il est donc essentiel que l’ensemble des rôles y ait accès et qu'on les forme aux outils. Des outils comme Zendesk, Freshdesk, HelpScout ou Viavoo permettent de mettre en place rapidement des canaux de contact entre vous et vos utilisateurs : formulaires, chat, e-mails… La plupart
donnent ensuite la possibilité de collaborer sur la qualification et le traitement de ces demandes, afin de déterminer la fonctionnalité impactée et de l’assigner au responsable de l’équipe concernée.
Comment diffuser les retours utilisateurs dans l’entreprise ?
La diffusion des retours utilisateurs est un élément clé pour permettre à l’ensemble de l’entreprise une prise de décision éclairée à toutes les étapes du cycle de vie du Produit.
Mais avant de diffuser les retours utilisateurs au reste de l’entreprise, il est nécessaire de les contextualiser en fonction de la cible afin de les rendre digestes. Sinon, votre organisation risque rapidement de crouler sous les notifications automatiques sur Slack ou des centaines de comptes-rendus d’interviews dont on ne sait quoi faire ni comment les actionner.
Restituez vos retours utilisateurs en continu
ll est nécessaire de mettre en place des outils et d’instaurer une gouvernance avec des points de rendez-vous réguliers. L'objectif est de s’assurer que cette activité de restitution est bien menée. Voici quelques outils qui peuvent vous aider à mettre en place cette démarche :
Gouvernance
- Intervention de l’équipe Relation Client pour présenter un bilan des retours de la veille à l’ensemble des Feature Teams avant le Daily Scrum de chaque squad (réunion quotidienne des équipes Scrum). Les équipes de l’application SNCF ont mis en place cette pratique par exemple.
- Restitution des bilans des entretiens utilisateurs aux autres membres de l’équipe.
Outils
- Envoi des résultats d’enquêtes NPS à toute l’équipe Produit
- Mise en place d’une “Feedback river” - fleuve du retour utilisateur - : un channel slack ou une mailing list proposant un résumé des retours utilisateurs récoltés et analysés au cours de la période (jour, semaine, mois). Il est possible d’automatiser cette récolte à l’aide d’outils dédiés (Zendesk, Appbot, Appfgures, Zapier…). Drivy a, par exemple, créé un channel Slack dans lequel les anomalies remontées par les clients se publient automatiquement. On y trouve aussi les avis des utilisateurs sur les stores d’applications.
- Utilisation d’outils d’analyse de sentiment qui font une synthèse automatique des retours utilisateurs. Seloger.com utilise par exemple Hipchat avec un écran pour diffuser en permanence la synthèse des retours à l’ensemble de l’équipe.
- Diffusion d’une synthèse par e-mail avec les éléments saillants des retours utilisateurs sollicités et non sollicités ; de façon hebdomadaire pour l’équipe Produit et mensuelle pour le reste de l’organisation.
Documentez et réutilisez vos retours utilisateurs pour brainstormer
Afin que les retours utilisateurs ne restent pas lettre morte et qu’ils soient mis à profit de façon régulière dans la conception du Produit, il est nécessaire de les documenter et de s’y référer régulièrement.
Les FAQ sont des listes faisant la synthèse des questions récurrentes sur un sujet donné. Elles s'accompagnent des réponses correspondantes ; que l’on rédige afin d’éviter que les mêmes questions soient toujours reposées, et d’avoir à y répondre constamment.
Les personae sont vos alliés. Ils sont un bon moyen de documenter grossièrement le profil de vos clients et les problèmes auxquels on les confronte. Il ne faut surtout pas hésiter à les mettre à jour régulièrement et les remettre en question en s’appuyant sur les nouveaux retours terrain reçus.
Il est également crucial de bien organiser les retours utilisateurs par thématique ; et donc de définir des catégories pertinentes pour votre business et vos équipes. Ainsi, il sera beaucoup plus aisé pour n’importe quelle personne ayant accès à l’outil de centralisation des retours de retrouver l’historique sur un thème précis. Cette catégorisation doit s'automatiser si les retours sont nombreux, sous peine de forcer
vos équipes à passer des journées à “taguer” des tickets Zendesk.
Conclusion
Lorsque l’équipe Produit grandit vite, il est crucial de maintenir la proximité que vous aviez avec vos utilisateurs avant ce passage à l’échelle. En fonction de la dimension de votre équipe et du volume de retours à traiter, il convient d’opter pour un dispositif qui permettra de bien qualifier les remontées sans pour autant submerger les équipes.
Il vous faudra, ensuite, vous assurer que les retours utilisateurs collectés se diffusent bien à l’ensemble des personnes interagissant avec le Produit : Product Managers, Product Owners, développeurs, Product Designers, Marketing, commerciaux, etc. De nombreux outils peuvent vous aider à automatiser ou standardiser cette diffusion.
Il est nécessaire de ne pas perdre de vue que les retours utilisateurs sont un moyen d’inspiration parmi d’autres pour les équipes Produit et nullement le seul. Concentrez vos équipes sur les principaux problèmes rencontrés. Maximisez la satisfaction utilisateur sans pour autant sanctifier les demandes. Les utilisateurs, même internes, ne sont pas forcément les mieux placés pour trouver la meilleure solution !
Une roadmap Produit ne doit en aucun cas être uniquement dictée par les utilisateurs ; notamment par ceux qui crient le plus fort. N’oublions pas qu’il est important de croiser ces retours avec des données quantitatives ; afin de déterminer, par exemple, l’importance d’un problème et le nombre d’utilisateurs impactés. Les sources d’inspiration qui permettent de détecter des opportunités Produit sont nombreuses. Elles ne se limitent pas aux retours utilisateurs. Elles doivent toutes s'analyser afin de tendre vers l’objectif d’une équipe Produit qui est celui de créer le meilleur Produit possible pour les utilisateurs et pour l’entreprise.
