S’il y a un élément clé dans le travail du designer c’est bien celui-ci : l’évaluation du succès (ou de l’échec) d’une proposition. Cette semaine, chacun vous en parle selon son propre prisme : la pertinence, la justesse, la posture ou encore l’éthique. Bonne lecture !
Comment mesurez-vous le succès de vos conceptions ?
Nicolas Simon - Product designer @ Yousign
C’est toujours très difficile de mesurer l’impact du Design. Néanmoins, je mets un point d’honneur à identifier en priorité le problème (ou l’opportunité).
Chez Yousign on a fait un gros travail en amont pour avoir des briefs de qualité (ne pas partir de la solution) en se basant sur la problématique, appuyée par des chiffres. Si l’on n’a pas de chiffres, on met en place un tracking pour les avoir avant d’attaquer le projet. Et enfin au moment de l’intégration de la solution privilégiée, on met en place un tracking en se fixant des KPIs sur la base du problème identifié, dont on fait un extrait régulièrement.
👉 Suivez Nicolas sur Linkedin, Behance ou directement sur son site
Solène Saguez - Head of UX @ Bouygues Telecom
Lors de tests utilisateurs sur prototype, on suit le taux de réussite/échec, le degré de satisfaction ou encore l’appétence au service/à la feature. Nous utilisons beaucoup les questionnaires de pré-test et post-test à ce moment là de la recherche.
Avant de passer en prod, on établit des plans de taggage avec la data, pour suivre nos KPIs (taux de passage, taux de conversion, taux de clics/scroll…) une fois en prod. Ces derniers varient selon les parcours/features. Cela nous permet de bien suivre l’évolution du produit et les comportements utilisateurs.
Enfin, on analyse les verbatims laissés par nos utilisateurs ou les notes/commentaires laissés sur le Store par exemple.
👉 Suivez Solène sur Linkedin
Mona Mliki - Lead UX designer @ Bpifrance
La mesure des succès de nos conceptions se fait à différents niveaux.
Nous effectuons différentes mesures de la satisfaction de nos utilisateurs : au début, pour avoir un point de référence, puis à différents jalons, tout au long du projet.
Nous définissons nos KPIs en amont et essayons d’évaluer nos succès sur différentes échelles : appréhension, compréhension, satisfaction, etc.
👉 Suivez Mona sur Linkedin
Steven Lozach - Head of UX / Product design @ Foyer Group
C’est certainement un des sujets les plus brûlants 🔥 du moment : comment mesurer l’efficacité de notre travail ?
Nous avons des retours assez réguliers de certains de nos utilisateurs mais pas de manière assez structurée. Nous réfléchissons à la mise en place d’un ‘user club’ mais c’est un sujet à ne pas prendre à la légère, car cela demande certains moyens en matière d’animation et rétention. Enfin, nous étudions donc cela en profondeur avant de nous lancer.
Nous avons également mis en place Hotjar sur certains de nos applicatifs et les retours sont très enrichissants. Mais nous ne sommes pas encore au stade de l’industrialisation de la démarche.
👉 Suivez Steven sur Linkedin, Twitter ou directement sur son site
Carole Laimay - Senior UX designer freelance / Facilitation & formation
Je ne vais pas forcément parler de “conception” parce que mon métier ne se résume pas à ça, surtout maintenant que j’ai retravaillé mon positionnement autour de la stratégie, de la recherche utilisateur et de la formation 🙂
Les facteurs de succès c’est avant tout la satisfaction : celle des clients et celle des utilisateurs parce que ce sont leurs attentes que je souhaite satisfaire avec ma démarche. Quand on fait de la conception pure, on peut ajouter des KPIs qui permettent de mesurer le taux de conversion par exemple. Pour le travail que j’accomplis, je trouve ça plus difficile de mesurer le succès : comment mesurer le pivot stratégique qu’effectue un produit ? Comment mesurer le succès d’une phase de recherche utilisateur ? Comment mesurer les résultats d’une formation sur l’UX ? Ce sont des problématiques qui m’intéressent et que j’aimerais arriver à mettre en place et à systématiser, mais je n’ai pas encore eu le temps de m’y atteler 😀
👉 Suivez Carole sur Linkedin, Twitter ou directement sur son blog
George Kalmpourtzis - UX Process & Research freelance
Je considère le succès comme un concept relatif, car il varie selon le prisme des différentes parties impliquées.
Le rôle de l’UX Research est de fournir des informations valides et fiables, qu'elles soient liées à la satisfaction du client, au bonheur de l'entreprise, à l'utilisabilité, à la conversion, à la rétention, ou à toute autre question de recherche.
La réussite est également liée à l’acceptation de nos échecs. Je considère que le succès est le résultat de l'exploration des différentes solutions (échouant rapidement et souvent), tout en testant continuellement nos idées et en améliorant les expériences que nous créons.
👉 Suivez George sur Linkedin, Twitter ou directement sur son site
David Jeanne - Senior UX Lead & UX Strategist freelance
Tests utilisateurs, analytics, questionnaires de satisfaction, ROI.
Ainsi que l’accueil des conceptions par les parties prenantes quant à leurs périmètres : est-ce que le marketing s’y retrouve ? Est-ce que l’on est bien en accord avec la stratégie business ? Est-ce que les devs s’y retrouvent ? Pour cela il faut bien sûr les avoir bien impliqués en amont, identifier leurs frustrations et leurs satisfactions lors des présentations.
👉 Suivez David sur Linkedin et Twitter
Audrey Hacq - Head of design @ Openclassrooms
Je pense qu’avant de chercher à le mesurer, il faut définir précisément ce qu’on entend par “succès”. Quel est le résultat attendu ? Est-ce qu’on souhaite que le design soit “apprécié” ? Ou qu’il remplisse un objectif business précis ? Doit-il permettre d’augmenter un taux de conversion ? Ou de baisser un taux de churn ?
Ma première démarche va donc être de bien comprendre ce qui fera que l’équipe entière pourra parler de “succès”. En fonction de cela, nous pourrons ensuite trouver les meilleures solutions pour le mesurer. Cela peut prendre la forme d’une enquête de satisfaction, d’une revue des avis sur le store, d’interviews utilisateurs, de focus groups ou encore d’analyses de datas… Les possibilités sont multiples mais il est important de définir en amont si l’on veut prendre ces mesures de façon qualitative, quantitative ou bien et ce qui arrive le plus souvent, faire un mélange des deux.
👉 Suivez Audrey sur Linkedin, Twitter et Dribbble
Estelle Garcet - Lead UX researcher @ MyScript
J’ai envie de dire “cela dépend du contexte” et il paraît que c’est une réponse d’UX 😉
Tout dépend de ce qui a été fait dans la conception (ajout d’une feature ou refonte), mais aussi suivant ce qui a été défini comme critère de succès avec l’équipe produit, et à quel moment on veut mesurer le succès (avant ou après release?).
Dans le cas où on le fait après la release, nous mesurons le succès avec du quantitatif et du qualitatif en complément, si besoin. À l’aide des analytics nous allons voir si la fonctionnalité est utilisée ou si l’utilisateur va au bout du parcours, et si non quel est le taux d’abandon. En général nous pouvons en tirer des hypothèses que nous allons vérifier.
Le qualitatif, va nous permettre de savoir comment est perçue la fonctionnalité, pourquoi est-elle utilisée ? Est-ce que ça a créé de nouvelles attentes ? Le minimum c’est de regarder les commentaires du store, surveiller ce que nos utilisateurs disent sur nous, sans oublier les tickets du support, nous apprenons beaucoup de ces deux sources. Ça peut aussi passer par du Diary study, des questionnaires avec des questions ouvertes, des interviews, etc. Tout dépend du niveau de détail que nous voulons obtenir et de l’investissement que nous sommes prêts à faire.
Dans le contexte dans lequel je travaille (app de productivité) mesurer le succès d’une conception n’est pas binaire : cela marche ou pas. C’est plutôt pouvons(devons)-nous l’améliorer ? Et si oui, jusqu’où devons-nous pousser l’amélioration pour satisfaire notre cible et nos personae principaux ?
👉 Suivez Estelle sur Linkedin et Twitter
Amina Esselimani - Chief executive officer / Head of design @ Speak UX
Sur les projets conversationnels que je mène chez Speak UX!, je mesure le succès de mes expériences grâce à 3 types de KPIs : business, usage et techniques.
Dans un projet conversationnel, ceux qui m’intéressent dans un premier temps vont être ceux associés à l’usage. Je vais observer le nombre de conversations, leurs durées moyennes, le nombre de returning users, le taux d’abandon, le taux de fallback, etc.
Si la réussite de la conception est clairement liée aux objectifs du projet et sa typologie (POC, Pilote, Industrialisation), le succès d’une expérience vocale se mesure grâce à sa fréquence d’usage : le taux d'utilisation et de resollicitation de l’assistant.
Je m’intéresse également au taux de mismatch, au taux de NLU (compréhension du langage naturel), et au temps de réponse moyen du bot. Ça me permet d’évaluer si les freins sont techniques ou non.
Sur les assistants vocaux, on a la chance de pouvoir consulter les conversations dans le cadre de l’évolution du Produit. J'accède alors à la donnée brute qui me permet d’appuyer les KPIs quantitatifs avec des retours qualitatifs.
En back et à l’échelle de l’équipe, je suis très vigilante quant à la qualité du processus de conception, notamment si les livrables répondent aux attentes de l’équipe du langage et de développement. Les rétrospections d’une feature team permettent de remonter les anomalies ou la satisfaction des acteurs du projet. Je peux ainsi remonter le manque d’une boucle d’itération après un test, ou un temps d'entraînement des intentions trop court. Le succès de la conception est aussi lié aux conditions dans lesquelles le produit est développé.
👉 Suivez Amina sur Linkedin, sur le site Speak UX et son Instagram dédié
Nicolas Duval - Lead product designer / Manager @ Blablacar
Ma réponse risque bien de ressembler à celle de la plupart des designers, mais il est toujours bon de se rappeler nos méthodes communes.
Avant un lancement de feature
Comme beaucoup d’équipes produit et design, au cours du processus de conception nous cherchons à entrer en contact avec de vrais utilisateurs afin de confirmer ou pas nos hypothèses. Pour ça en fonction du besoin et du temps imparti nous allons, par exemple, faire ce que l’on appelle généralement des Guérilla Tests : créer des prototypes rapidement que nous allons tester dans des lieux publics (conseil ☝️ : les gares sont les meilleurs endroits pour ça, les gens n’ont souvent rien d’autre à faire que d’attendre). C’est une bonne manière d’obtenir des réponses et des feedbacks rapides et à moindre coût.
Lorsque nous avons une solution qui nous semble être la bonne, nous menons des tests d’utilisabilité : ici, nous cherchons à nous assurer que nos utilisateurs comprennent et réussissent à se servir de notre solution.
Quand ces tests sont validés, nous passons donc à une phase de validation avant mise en production, afin de s’assurer que le développement colle avec la version design. C’est une étape clé, car c’est la dernière étape permettant de s’assurer que la qualité est au rendez-vous et que ce qui ira en production est au niveau attendu.
Pendant le lancement d’une feature
Le lancement d’une feature est souvent un moment critique, on cherche à savoir si finalement cette solution à laquelle nous sommes arrivés est la bonne sans pour autant impacter l’entièreté de notre base d’utilisateurs. Quand nous avons une seule solution pour laquelle nous avons de fortes convictions, nous faisons ce que l’on appelle des Progressive Rollouts (mises en production progressives). Cela consiste à définir des étapes de mise en production et des critères de succès associés afin de nous assurer que tout fonctionne. Ces derniers nous permettent aussi de valider le passage à l’étape suivante, c’est à dire, ouvrir (ou non) la solution à un plus grand nombre d’utilisateurs.
Quand nous n’arrivons pas à nous décider entre deux solutions, nous faisons des A-B tests (qui peuvent se transformer en A-B-C ou A-B-C-D tests selon la situation). Dans ce cas c’est pareil, nous essayons de comprendre quelle version fonctionne le mieux et pourquoi.
Après un lancement de feature
Comme beaucoup de startups, chez BlaBlaCar, nous avons des OKRs (Objective Key Results) dans la partie business, auxquels viennent se connecter nos KPIs (Key Performance Indicators). Ces indicateurs sont constamment suivis et notre but est bien sûr de les améliorer. Ils sont une des manières de s’assurer du succès de nos “conceptions”. Mais pas que…
La data de manière générale, n’est pour moi qu’une partie de la réponse. C’est pour ça que nous prenons aussi beaucoup de temps à essayer de comprendre nos utilisateurs grâce à nos Data Scientists et à la recherche qualitative. Nous mettons, par exemple, en place des campagnes d’appels après le lancement d’une nouvelle feature afin de connecter ce que nous dit la data avec ce que nous disent nos utilisateurs. Nous sommes particulièrement attentifs aux retours reçus via le service client, qui est en première ligne. Il est trop facile de dire qu’une feature est utilisée par 100% des utilisateurs si ces derniers sont forcés à le faire, alors qu’avec quelques appels on peut par exemple se rendre compte qu’ils sont frustrés par celle-ci.
👉 Suivez Nicolas sur Linkedin
Baptiste Demarest - UX designer @ MyScript
Durant la phase d'idéation et de conception, je me base surtout sur des tests en guérilla. À travers ces formats courts, j’essaie surtout d’identifier rapidement les points à faire évoluer dans mes propositions (utilisabilité, compréhension, fluidité de l’expérience…).
Une fois le développement en cours nous organisons régulièrement des séances de tests voire des diary studies afin de mieux cerner l’usage que font les utilisateurs des fonctionnalités que nous créons. Enfin, et c’est un sujet sur lequel il faut que je progresse, nous mettons en place des metrics pour chaque fonctionnalité afin d’en comprendre l’adoption et l’usage.
👉 Suivez Baptiste sur Linkedin
Mickaël David - Design Director @ Doctolib
Quand le planning nous le permet, nous réalisons des tests utilisateurs, mais la majorité du temps, l’équipe Data nous donne de précieuses informations sur la bonne qualité d’une réalisation de l’équipe et de son impact sur les KPIs suivis.
👉 Suivez David sur Linkedin et Medium
Thomas Cierco - Lead product / UX & UI designer freelance
Je définis des Key Success Factors avec l’ensemble de l’équipe en début de projet.
Par la suite, je récolte des data analytics, mets en place un NPS et récolte des feedbacks lors de tests utilisateurs.
Ma mission est un succès lorsque les objectifs sont atteints ou dépassés.
👉 Suivez Thomas sur Linkedin
Jacinthe Busson - Chief product officer / Designer @ Fastory.io
Indépendamment du produit créé, le succès se mesure à travers la satisfaction clients et la récurrence d’usage. Pour cela nous utilisons le framework AARRR et suivons de près les metrics de chiffre d’affaires tels que le MRR, ARR et Churn.
👉 Suivez Jacinthe sur Linkedin, Twitter et Instagram
Nadège Bide - Head of UX @ vNext
Un produit ou service n’a de valeur que s’il est utilisé. Vous pouvez :
- concevoir le plus beau site du monde, mais si personne ne le trouve (étape 1)...
- développer l’app la plus cool au monde, mais si les gens qui la téléchargent ne l’utilisent pas (étape 2)...
- imaginer la boutique en ligne la plus sexy et trendy du moment, mais les clients peinent tellement qu’ils ne reviennent jamais (étape 3)...
Cela vous rappelle-t-il quelque chose ? Aarrr…
Oui, c’est à la fois un cri et un mantra qui fonctionnent assez bien : penser à l'Acquisition, l’Activation, la Rétention, la génération de Revenus (transformer des visiteurs/prospects en clients), pour enfin engendrer des Références pour que vos utilisateurs deviennent vos ambassadeurs…
On peut le faire dans un autre ordre, mais globalement, quand vos utilisateurs téléchargent votre produit, y créent un compte, achètent (ou créent de la valeur autrement en publiant du contenu par exemple pour un réseau social), reviennent puis partagent aux copains…
C’est que vous êtes passé de l’ergonomie (la base) à une expérience utilisateur vraiment engageante.
👉 Suivez Nadège sur Linkedin, Twitter et Instagram
Prisca Bernard - Head of UX @ SeLoger
Nous mesurons le succès grâce à des tests utilisateurs qualitatifs en premier lieu. Ces derniers nous permettent de nous assurer de la bonne compréhension et utilisabilité du parcours.
Dans un second temps, en surveillant les KPI (définis à l’avance) lors de la mise en ligne.
Sur certaines modifications majeures, nous faisons de l’A/B test en vérifiant les impacts sur les KPI clés, avant toute décision définitive.
Enfin, nous mettons parfois en place des outils de feedback suite à la sortie d’une nouvelle fonctionnalité. Le but étant ici de recueillir l’avis de nos utilisateurs de façon plus détaillée.
👉 Suivez Prisca sur Linkedin
Guillaume Baptiste Designer / Coach-formateur @Frontguys & @Bloomr
Je mesure plus le succès en vérifiant qu’en résolvant un problème :
- je n’en crée pas 10 derrière ;
- et que de se priver de ma solution ne provoque pas de crise d’angoisse chez les utilisateurs.
Je vérifie qu’en mettant au point une solution, j’ai réussi à faire plus avec moins. Et je mesure si j’ai réussi à préserver autant l’utilisateur que les enjeux business.
Je mesure dans le temps : c’est intéressant de voir tout de suite comment des utilisateurs réagissent, mais 2 ou 5 ans après, qu’est-ce que devient la solution ? En mission ce n’est pas facile car je ne reste pas plus de 2 ans, mais sur mes projets d’entrepreneuriat, c’est plus simple et je peux dire : “j’ai aidé des gens à s’épanouir”, ou au contraire : “ma solution ne sert à rien, je ne réponds pas soit à la question, soit je ne pose pas la bonne question.”
Des fois je vais demander aux designers en place de me donner des nouvelles, des données sur son utilisation.
C’est un succès quand je peux affirmer que les bénéfices récoltés, sont plus importants que les efforts déployés pour mettre au point une solution. Une solution qui apporte de la cartographie en temps réel, mais qui engendre des dépenses en énergie considérables, qui pollue et encourage l’exploitation de population dans des mines, ce n’est pas un succès. C’est un échec total.
J’ai arrêté de parler de rétention, car cela est trop péjoratif. Faire de la rétention insinue qu’on retient l’utilisateur contre son gré. Je me suis d’ailleurs créé une échelle de mesure pour cela : l’échelle de liberté d’utilisation. La solution est-elle perçue comme :
- autoritaire (je force, je menace pour atteindre des objectifs),
- manipulatrice (j’utilise les biais et mécanisme du cerveau pour atteindre des objectifs),
- ou libre (je propose, je conseille, je laisse libre l’utilisateur sans influences).
J’aime bien les questionnaires et les interviews, ainsi que la donnée quantitative bien entendu, pour croiser tout ça. J’intègre les marqueurs au moment de la conception avec les développeurs et PO, directement dans les user stories.
👉 Suivez Guillaume sur Linkedin
Anthony Adam - Senior Product Designer @ Change.org
Mesurer, oui, mais mesurer quoi ?
Il existe de nombreux outils / méthodes pour mesurer l'expérience et l’utilisabilité (MeCUE, Attrakdiff, tests utilisateurs). Il est évident que mesurer le succès est important, d’autant que la valeur du “design” en tant que pratique dans le champ numérique est difficile à définir.
Mais peut-on tout mesurer ? Doit-on tout mesurer ? Actuellement, les mesures les plus utilisées sont celles qui prouvent une valeur marchande, une croissance… ces mesures n’ont aucune valeur en regard de l’expérience des utilisateur•rice•s, au contraire. Elles imposent des choix de conception malveillants, des dark patterns.
De nombreux produits actuels ne résisteraient pas à une évaluation éthique ou systémique. C’est un réel problème. Il convient d’inventer une autre voie et d'utiliser des façons de mesurer capables de représenter des métriques autres que celles suivies par les entreprises de notre système économique actuel.
👉 Suivez Anthony sur Linkedin et le podcast auquel il participe avec le collectif Design MasterClass
Merci à tous 👏
Voilà, c’est tout pour cette semaine ! Rendez-vous la semaine prochaine pour parler portfolio !
***
Si cet article vous a plu…
Voici le lien vers les autres articles de cette série :
- Article 1 👉 Apprenez à connaître les 19 Designers participants !
- Article 2 👉 Comment décrivez-vous votre métier à une personne qui ne le connaît pas ?
- Article 3 - #1 👉 Pourriez-vous décrire votre processus de conception habituel ?
- Article 3 - #2 👉 Pourriez-vous décrire votre processus de conception habituel ?
- Article 4 👉 Quels sont les outils que vous utilisez ?
- Article 5 👉 Où trouvez-vous votre inspiration ?
- Article 6 👉 Comment mesurez-vous le succès de vos conceptions ?
- Article 7 👉Que voulez-vous voir dans un portfolio ?
- Article 8 👉 5 questions auxquelles il vous semble important de pouvoir répondre lors d’un entretien ?
- Article 9 👉 5 livres de Design que tout concepteur d’interface devrait lire
- Article 10 👉 Quel est le meilleur conseil en matière de design que vous ayez jamais reçu ?
- Article 11 👉 Quel produit avez-vous récemment vu qui vous semble être un excellent produit et pourquoi ?
- Article 12 👉 Comment voyez-vous l’avenir de votre métier ?
- Article 13 👉 Quelles compétences comptez-vous développer au cours des 5 prochaines années ?
- Article 14 👉 Product Designer, quel conseil vous donneriez vous ?
- Article 15 👉 De quoi êtes vous fier en tant que Product Designers ?
Avant de partir...
- Si vous avez apprécié cet article ❤️, n’hésitez pas à le partager pour que d’autres puissent en profiter !
- Laissez-nous un commentaire 💬 si vous avez une question que vous souhaitez poser aux designers
- Suivez-nous sur Linkedin pour lire tous les articles de la série
