Depuis plusieurs mois, l’actualité autour des LLM (Large Language Models, plus communément appelés ChatGPT, bien que de nombreux outils existent) ravive un certain nombre de projets de chatbots abandonnés.
La principale raison évoquée pour l’abandon de ces projets est le manque de compréhension du côté de l’utilisateur et la complexité de leur entraînement.
Techniquement, la différence entre les deux solutions est fondamentale.
Les LLM
Un LLM est un modèle d’apprentissage automatique qui a été entraîné sur d’énormes ensembles de données (pages web, livres, codes sources, etc.). Son objectif est de générer du texte en cohérence avec les demandes qui lui sont formulées. Les LLM reposent généralement sur des architectures de réseaux de neurones profonds qui favorisent une meilleure compréhension du contexte et une gestion efficace des phrases longues. Ils sont capables de saisir le ton, les subtilités, et les aspects culturels du langage d’entrée pour générer des prédictions contextuelles.
Les chatbots
Les chatbots sont généralement des intelligences artificielles spécialisées dans la compréhension du langage naturel. Ils sont initiés avec une base de questions et de réponses, établissant une relation N:1 où N représente le nombre de variations d’une question pour une réponse donnée. Plus le nombre N est élevé, meilleure est la qualité de compréhension du chatbot. Une IA moderne de chatbot est capable d’extraire du texte de l’utilisateur le contexte, les entités pertinentes, et le langage d’entrée, entre autres.
Le processus d’entraînement
L’entraînement d’un LLM implique un apprentissage supervisé ou non, basé sur d’immenses ensembles de données textuelles. Cet apprentissage affine les prédictions du modèle pour le prochain mot ou caractère à insérer dans la réponse, en se basant sur les mots précédents.
En revanche, l’entraînement d’un chatbot consiste principalement à indexer les questions et les réponses contenues dans la base d’entraînement. Il comprend une phase de test, suivie d’un processus d’amélioration continue au cours duquel la base de connaissances est enrichie de nouvelles entrées de questions/réponses ou de nouvelles formulations de questions pour des réponses existantes.
Les limites de chaque technologie
Il est important de noter que ni les LLM ni les chatbots ne s’améliorent automatiquement lorsque confrontés à une demande pour laquelle ils n’ont pas de réponse dans leurs données d’entraînement.
Pour citer un article de Forbes : « Les LLM ne récupèrent pas de contenus, car ils ne disposent d’aucune mémoire réelle des données sur lesquelles ils ont été entraînés. Ils créent un reflet du savoir provenant d’un sous-ensemble du Web ou des données textuelles sur lesquelles ils ont été formés. Les LLM ne retrouvent rien, ils génèrent des réponses, aussi étonnantes que cela puisse paraître. Face à cela, comment un LLM génératif peut-il véritablement remplacer ou compléter un chatbot ? Un résumé généré par un réseau de neurones géant peut-il se substituer à la recherche d’une information précise et restituée de manière constante ? »
Quelle solution pour quel besoin ?
Les LLM
Les LLM proposent une expérience conversationnelle plus satisfaisante pour l’utilisateur, qui a moins l’impression d’interagir avec une machine. Cependant, cela nécessite un entraînement intensif sur des données spécifiques (en dehors d’un cadre de données publiques) et la génération de réponses basées sur les données d’entraînement.
Les chatbots
Les chatbots offrent une expérience conversationnelle dont la qualité peut varier en fonction du moteur d’IA utilisé pour l’analyse de l’entrée de l’utilisateur. L’expérience utilisateur peut être moins agréable si les données saisies sont insuffisantes, car le chatbot répondra qu’il ne connaît pas la réponse, tandis qu’un LLM pourrait fournir une réponse, même incorrecte.
Ainsi, pour des cas d’utilisation nécessitant une constance et une précision dans les réponses, ces deux solutions posent un problème. Par exemple, interroger un LLM sur des sujets légaux peut être discutable. De plus, si la qualité des réponses d’un LLM dépend directement de ses données d’entraînement, qu’en est-il des modèles formés à partir de l’indexation de sources Internet non vérifiées ?
La solution hybride
En revanche, si votre besoin est un agent conversationnel capable de répondre systématiquement aux demandes des utilisateurs, un LLM peut être la meilleure solution. Cependant, l’agent conversationnel répondra en générant des réponses à partir de ses données d’entraînement, potentiellement hors de votre contexte spécifique. Pour améliorer la qualité des réponses, il faudra entraîner l’agent conversationnel avec de plus en plus de données, soit une petite quantité de données hautement qualifiées, soit une énorme quantité de données moins qualifiées.
Si votre besoin est de déployer une solution de « moteur de recherche interne« , la réponse est plus complexe. Un modèle hybride, capable d’interroger à la fois une grande quantité de données et des bases de documents ou de données spécifiques, voire des applications métier, sera à envisager.
Enfin, le budget alloué à votre projet joue un rôle crucial. Un LLM tel que ChatGPT possède un coût d’entraînement extrêmement élevé sur des données spécifiques en raison du temps nécessaire pour qualifier les données d’entraînement, du réglage fin du modèle, du coût de la puissance de calcul pour l’entraînement, des tests et des itérations.
En comparaison, l’entraînement d’un chatbot classique ne diffère pas significativement en termes de processus, mais les données d’entraînement se résument généralement à des couples de questions/réponses, dont seule la partie « questions » doit être améliorée. Le budget est moins élevé, mais il peut être complexe de dégager la disponibilité des équipes expertes.
Pour Hubi, nous avons opté pour une solution hybride. Pour comprendre les demandes des utilisateurs, nous avons développé notre propre IA intégrant un moteur de LLM. Pour les réponses, nous avons activé un débordement vers GPT. Si l’agent ne peut pas répondre avec les données qualifiées dont il a été entraîné, il peut basculer vers GPT (configurable soit sur un modèle par défaut, soit avec votre propre clé client). Enfin, pour l’entraînement du moteur, nous intégrons également GPT pour générer des formulations alternatives.
Vous souhaitez en savoir plus sur notre solution Hubi et voir comment elle peut répondre à vos cas d’usage spécifique ?