Un professionnel de la technologie a créé un agent comptable avec intelligence artificielle appelé "Artur" pour suivre les dépenses d'autres agents d'IA, consommant plus de 220 millions de tokens en une semaine. Initialement impressionné par les capacités d'Artur, il a ensuite découvert que son travail était truffé d'erreurs : catégories de dépenses modifiées de manière incorrecte, factures éliminées par erreur et dates formatées comme du texte, rendant impossible le fonctionnement du tableur. Artur s'est lui-même attribué la note de 5 sur 10 lors d'une auto-évaluation, reconnaissant qu'"un tableur aussi endommagé échouerait n'importe quelle formule de base".
Cette histoire illustre un problème plus large dans les entreprises. Une enquête de Sage en partenariat avec IDC a révélé que les responsables financiers passent plus de 15 heures par semaine à valider les résultats produits par l'IA, et 70% des CFO refuseraient les résultats générés par l'IA, même avec une précision de 99%, s'ils ne pouvaient pas comprendre le raisonnement sous-jacent. L'article met en garde contre la supposition que le principal obstacle à la mise en œuvre de l'IA est le manque d'intelligence des machines, ce qui est dangereux, ignorant l'importance critique de la fiabilité systémique.
Le problème fondamental réside dans la tension entre les systèmes financiers déterministes et l'IA générative, qui est probabiliste. La comptabilité repose sur des invariants, comme les débits égaux aux crédits, tandis que l'IA fait des prédictions et non des promesses. L'auteur, qui est CTO de Sage, indique qu'Artur a recommandé l'adhésion au logiciel d'un concurrent sans savoir qu'il parlait au responsable de l'entreprise, se trompant non pas dans l'analyse, mais en devinant quand il n'aurait pas dû.
Les solutions reposent sur trois piliers : des actions traçables et une explicabilité totale, un contrôle et une supervision humains avec des limites claires pour les agents, et une gouvernance exigeante avec une authentification robuste et une séparation des fonctions. L'auteur propose la création d'un "Agent OS", un environnement opérationnel qui met à disposition des outils déterministes pour les agents et garantit qu'ils opèrent dans le respect de normes de rigueur et de responsabilité.
