L’intelligence artificielle générative (GenAI) est désormais un outil incontournable pour les professionnels du Product Management. Mais pourquoi cette technologie suscite une telle effervescence, et surtout, comment en faire bénéficier vos utilisateurs dans vos produits ? Dans cet article, Zacharie Treister, Product Manager Data & AI chez Thiga, vous donne les clés pour comprendre et utiliser la GenAI.
L’IA générative (GenAI) est partout : on vous en parle lors de vos réunions stratégiques d’entreprise jusqu’à vos repas en famille. “L'IA générative a le potentiel de changer le monde d’une manière que nous ne pouvons même pas imaginer. Elle a le pouvoir de créer de nouvelles idées, produits et services qui rendront nos vies plus faciles, plus productives et plus créatives”, confie Bill Gates. Mais concrètement, à quels cas d’usage répond-elle et comment en tirer parti ?
🦾 Les avantages de la GenAI pour les produits
Au-delà de la frénésie générée par la GenAI, son impact dans la création de produits numériques est réel : une série d’études montre l’impact positif qu’elle peut avoir en réduisant les coûts de création, d’entraînement et d’exécution de modèles. Elle permet ainsi de résoudre de nombreux problèmes qui étaient auparavant trop coûteux à solutionner. Pour ce qui est des cas d’usage les plus efficaces, une étude du cabinet de conseil en stratégie McKinsey indique qu’environ 75 % de la valeur apportée par l'IA générative se répartit entre quatre domaines : les opérations avec les clients, le marketing et les ventes, l'ingénierie logicielle et la R&D.
Une productivité augmentée
Une autre étude, celle du Boston Consulting Group (BCG), évalue de 10 à 20% les gains de productivité attendus grâce à la diffusion en interne des outils de GenAI, dans l'ensemble de l'entreprise. La refonte de certains services - service à la clientèle, contenu marketing, développement de logiciels, ingénierie - autour de la GenIA pourrait même apporter jusqu’à 30% à 50% de gains d’efficacité. “J’aime beaucoup GitHub Copilot, me partage Amine Erraqabi, Lead Data Scientist chez Jellysmack. Comme son nom l’indique, c'est un copilote du développeur, qui reste aux commandes. Ça permet d'aller beaucoup plus vite. Tu peux, par exemple, mettre un commentaire ‘génère-moi une fonction qui fait telle tâche en prenant tel input’ et il te fait une proposition.” Attention cependant : si cela permet à des individus sans background technique de créer des applications, “il ne faut pas toujours se fier à ces solutions là, poursuit Amine Erraqabi. Sans compréhension, ces personnes ne vont pas pouvoir maintenir leur code ni déceler les hallucinations [informations incorrectes qui semblent plausible]. Il est plus judicieux de les traiter avec beaucoup d’esprit critique et se demander si cette ligne est nécessaire ou s’il n’y a pas une façon plus simple de faire la même chose”.
Une expérience client améliorée
La GenAI permet de créer de nouvelles expériences clients et de nouvelles opportunités économiques en offrant des capacités avancées d'analyse, de personnalisation, et de création de contenu. “Ce qui est bien avec la GenAI, c'est que ça ouvre encore plus de possibilités que ce qu'on avait avec le machine learning (ML) traditionnel, confie Pauline Minary, AI Product Manager chez leboncoin. Si je prends l'exemple du service client, on peut envisager des interactions plus personnalisées avec nos utilisateurs, en analysant leurs demandes et en formulant des réponses adaptées à leurs besoins, en utilisant un LLM. ” L’IA générative a l’avantage d’augmenter les revenus des entreprises et de réduire les coûts de support client (respectivement de 5 à 15% et de 20 à 30 % selon McKinsey). Ceci pourrait faire de la GenAI un excellent allié de la Product-Led Growth, qui met le produit au centre de la stratégie de développement de l’entreprise et donc des stratégies d’acquisition, de conversion et d’expansion ! En permettant par exemple aux utilisateurs de poser des questions aussi précises que techniques en langage naturel et d’avoir la réponse au format de son choix, la GenAI les rend autonomes dans leur onboarding et leur appropriation du produit.
Innovation et diminution du Time to Market
Toujours selon McKinsey, la GenAI permet de concevoir rapidement de nouveaux produits et services, accélérant ainsi le Time-To-Market (TTM) et permettant de capturer de nouvelles parts de marché. En conséquence, l’accélération du TTM permet de collecter des retours et d’itérer plus rapidement, accélérant d’autant les innovations.
“Un des principaux défis dans l'implémentation d'un use case est l'absence d'adoption par les utilisateurs, souvent à cause d'un manque d'adéquation entre la solution technique et les besoins réels des utilisateurs. C’est ce qu’on appelle le 'Problem-Market fit', explique Amine Erraqabi. La GenAI permet de mieux aligner la volonté de développer rapidement une solution avec l’évolution du besoin client, en offrant la possibilité de créer rapidement des prototypes et d'itérer. Ces premiers prototypes peuvent ne pas être parfaits en termes de précision ou de pertinence, mais ils permettent de tester et de valider la structure de la solution. Ensuite, nous pouvons affiner la qualité en spécialisant les modèles avec ses propres données ou recréer une solution en interne.”
Nous avons ainsi vu que la GenAI permet d’investir plus efficacement dans de nombreux cas d’usage d’augmentation de la productivité, de l’amélioration de l’expérience client et de la diminution du TTM favorisant l’innovation. Passons maintenant à l'essentiel : comment implémenter la GenAI dans un produit.
🤗 Les équipes de Product Management face à la GenAI
Entrons dans les détails de l’organisation des équipes Produit travaillant sur la GenAI, ainsi que des adaptations nécessaires lors des phases de discovery, d’évaluation et de passage à l’échelle.
Les profils pour intégrer de la GenAI dans un produit
Faut-il des équipes dédiées à la GenAI ou des experts GenAI dans chaque équipe ? Est-ce que tout le monde peut devenir un expert en GenAI ?
Toutes ces questions, parfaitement légitimes, nécessitent des réponses sur-mesure pour chaque produit et dans chaque entreprise. Chez leboncoin par exemple, l'équipe Data Science en a récemment fait un de ses focus en implémentant plusieurs use cases GenAI. Pour autant, d'autres feature team ont, elles aussi, mis en place des solutions de GenAI qui répondent à leurs problématiques.
Voilà pourquoi il ne faut pas se sentir limité par l’absence de profils ultra-spécialisés. Il existe aujourd’hui de nombreuses plateformes qui mettent à disposition une large palette de Large Language Models (LLM) parmi les plus connus du marché. Ceci signifie qu’avec une bonne équipe de développeurs full-stack, vous pouvez déjà vous lancer dans l’intégration d’IA générative, sans mettre en péril la vélocité de vos équipes. Votre capacité à gérer toutes les étapes du développement - de la conception du système à l'interface utilisateur - sera plus importante pour assurer que vos projets d'IA sont non seulement techniquement robustes, mais aussi bien intégrés et faciles à utiliser.
Toutefois, il faut savoir prendre en compte les particularités de la GenAI, notamment quand il s’agit de produits destinés à des utilisateurs externes. Comme on ne contrôle pas totalement ce qui est généré, prendre en compte la confidentialité des données est une nécessité. De plus, “il faut se poser la question des hallucinations potentielles du modèle ou du prompt injection [techniques visant à pousser un modèle de langage IA à générer du contenu indésirable]. Si un utilisateur comprend que c'est un modèle de LLM qui lui répond, il va peut-être vouloir essayer de lui faire dire des choses qu'on ne veut pas, prévient Pauline Minary, AI Product Manager chez leboncoin. En réponse à cette hypothèse, des tests ont été réalisés avant la mise en production. Cela a nécessité une personne formée à la GenAI, qui a le réflexe de penser à ce genre de choses et qui sait comment le tester.”
La discovery d’un produit de GenAI
Comme sur des produits dits ‘classiques’, il faut se concentrer sur le problème à résoudre, tout en prenant compte ici des nouvelles possibilités permises par cette technologie.
Concevoir la GenAI comme un produit
Traditionnellement, le développement de l’IA suit une approche “model first” où la collecte de données précède la définition des objectifs produits. Les entreprises, attirées par la mode de la GenAI, négligent souvent l’alignement de ces outils sur les besoins réels, entraînant une rétention inférieure à 5 % après une seule utilisation selon un article de Stanford Online.
Il ne faut pas faire de la GenAI pour faire de la GenAI. Comme pour tout produit, ça part à la base d’un besoin utilisateur.
Une approche plus efficace commence par une vision claire du produit, orientant la collecte de données et la formation des modèles. Ainsi, il faut s’assurer que les solutions d'IA répondent aux besoins spécifiques de l'entreprise et de ses clients. “Il ne faut jamais perdre de vue que la GenAI est un moyen, et non une fin en soi, rappelle Pauline Minary. Il ne faut pas faire de la GenAI pour faire de la GenAI. Comme pour tout produit, ça part à la base d’un besoin utilisateur.”
Un aspect souvent négligé dans les projets de GenAI est l'interface utilisateur (UI). Négliger l’UI peut aboutir à des produits solides… Mais peu engageants ! Comme pour tous les produits, intégrer la GenAI avec succès implique d’intégrer des Product Designers dès le départ, investir dans des prototypes dynamiques et interactifs, recueillir des retours en temps réel et mettre en production rapidement des cas d'usage spécifiques. Les itérations doivent ajuster à la fois les modèles et l’UX.
Adapter sa discovery à la GenAI
La discovery de produits de GenAI doit également prendre en compte ses spécificités :
- La créativité accrue pour identifier des cas d'utilisation innovants, grâce à une bonne connaissance de la GenAI et de ses limites, ainsi qu’une veille sur ce qui est fait par les autres entreprises de son industrie, même sur des marchés différents.
- Une compréhension des algorithmes pour évaluer leurs capacités et limites, nécessitant une collaboration avec des experts en IA. Pour un use case basé sur un LLM, il faut au plus tôt définir le LLM à utiliser en se basant sur des métriques d’évaluation et de comparaison (Elo), mais aussi tester directement ses cas d’usages sur ses données.
- Une gestion des données d'entraînement plus rigoureuse et complexe que pour les produits classiques. En effet, les modèles de GenAI nécessitent d’énormes quantités de données diverses pour apprendre en réduisant les biais et permettre aux modèles de généraliser efficacement à de nouveaux contextes. Il est essentiel de vérifier la qualité des données pour affiner le modèle, tout en portant une attention particulière à l'éthique et à la gestion des biais.
Évaluation d’un modèle
En tant que Product Manager, comment savoir si un modèle est assez bon pour passer en production ? Et comment comparer différents modèles ou différentes versions d’un même modèle pour un cas d’usage spécifique ?
Même avec des modèles pré-entraînés de haute qualité, il est essentiel d'utiliser des métriques d'évaluation pour valider, comparer et optimiser les performances dans le contexte spécifique du produit. Je vous propose une approche méthodique qui rassemble des choses que j’ai mises en place chez Qwant ou Jellysmack et des retours que j’ai eus de mes collègues :
- Définir des métriques d'évaluation : Utilisez des métriques adaptées à votre contexte (précision, rappel, F1-score, etc.) pour mesurer les performances du modèle. Assurez-vous que ces métriques reflètent bien les objectifs de votre produit et les attentes des utilisateurs.
- Effectuer des tests en validation croisée : Vérifier la robustesse du modèle sur différents sous-ensembles de vos données. Cela vous permet de vous assurer que le modèle ne sur-apprend pas sur un jeu de données spécifique, ce qui entraînerait des biais.
- Mettre en place des tests A/B : Si vous avez plusieurs versions de modèles, effectuez des tests A/B pour comparer leurs performances en conditions réelles. Cela vous offre l’opportunité de voir lequel offre les meilleurs résultats en pratique, en prenant en compte les effets de bord et les impacts sur l’expérience utilisateur.
- Analyser les erreurs : Étudiez les cas où le modèle échoue pour identifier des tendances ou des biais potentiels. Cela peut vous donner des indications sur les améliorations à apporter avant de déployer le modèle en production.
- Tester en environnement contrôlé : Avant le déploiement final, effectuez des tests en environnement contrôlé pour simuler des scénarios réels et évaluer la performance du modèle dans différentes conditions de charge et de données.
- Prendre en compte les retours utilisateur : Intégrez des mécanismes de feedback pour recueillir les retours des utilisateurs finals. Cela vous permet d'ajuster et d’améliorer le modèle en continu après sa mise en production.
En suivant ces étapes, vous pouvez vous assurer que votre modèle est non seulement performant, mais aussi fiable et adapté aux besoins de vos utilisateurs avant de le déployer en production.
