Des plaintes croissantes des utilisateurs
Récemment, plusieurs utilisateurs ont exprimé leur mécontentement concernant une diminution perçue des capacités du chatbot Claude développé par Anthropic.
Sur des forums en ligne, notamment Reddit, des discussions ont émergé, affirmant que Claude oublie rapidement les tâches et rencontre des difficultés avec des opérations de codage basiques, poussant certains à annuler leur abonnement.
La réponse d’Anthropic
En réaction à ces préoccupations, Alex Albert, représentant d’Anthropic, a déclaré qu’après investigation, aucune anomalie généralisée n’a été détectée.
Il a également précisé qu’aucune modification n’a été apportée au modèle Claude 3.5 Sonnet ni à son pipeline d’inférence.
Pour accroître la transparence, Anthropic a commencé à publier les invites système de ses modèles Claude sur son site web.
Un phénomène récurrent dans l’IA
Ce type de retour n’est pas inédit dans le domaine de l’intelligence artificielle.
Par le passé, des utilisateurs ont signalé des baisses de performance similaires avec d’autres modèles, comme ChatGPT en 2023.
Plusieurs facteurs peuvent expliquer ces perceptions, notamment l’évolution des attentes des utilisateurs, la variabilité naturelle des réponses des modèles d’IA, ou des contraintes temporaires sur les ressources informatiques.
Les défis de la cohérence des performances de l’IA
Maintenir une performance constante pour les modèles d’IA est un défi complexe.
Des mises à jour peuvent améliorer certains aspects tout en en dégradant d’autres, rendant difficile la communication précise des changements aux utilisateurs. OpenAI, par exemple, a récemment publié une variante mise à jour de GPT-4o, notant que les utilisateurs « tendent à préférer » le nouveau modèle, sans fournir de journal des modifications détaillé en raison de la complexité de l’évaluation des comportements des modèles.
