Un professionista della tecnologia ha creato un agente contabile con intelligenza artificiale chiamato "Artur" per monitorare le spese di altri agenti di IA, consumando più di 220 milioni di token in una settimana. Inizialmente impressionato dalla capacità di Artur, ha scoperto successivamente che il suo lavoro era pieno di errori: categorie di spese modificate in modo errato, fatture eliminate per errore e date formattate come testo, rendendo impossibile il funzionamento del foglio di calcolo. Lo stesso Artur si è dato 5 su 10 in un'autovalutazione, riconoscendo che "un foglio di calcolo così danneggiato farebbe fallire qualsiasi formula base".
Questa storia illustra un problema più ampio nelle aziende. Una ricerca della Sage in partnership con l'IDC ha rivelato che i responsabili finanziari trascorrono più di 15 ore a settimana a validare i risultati prodotti dall'IA, e il 70% dei CFO rifiuterebbe risultati generati dall'IA, anche con il 99% di precisione, se non riuscissero a comprendere il ragionamento sottostante. L'articolo avverte che l'assunzione che il principale ostacolo all'implementazione dell'IA sia la mancanza di intelligenza delle macchine è pericolosa, ignorando l'importanza critica dell'affidabilità sistemica.
Il problema fondamentale risiede nella tensione tra sistemi finanziari deterministici e l'IA generativa, che è probabilistica. La contabilità si basa su invarianti, come debiti uguali a crediti, mentre l'IA fa previsioni e non promesse. L'autore, che è CTO della Sage, riferisce che Artur ha raccomandato l'adesione al software di un concorrente senza sapere di parlare con il responsabile dell'azienda, sbagliando non nell'analisi, ma nel fare supposizioni quando non avrebbe dovuto.
Le soluzioni si basano su tre pilastri: azioni tracciabili e spiegabilità totale
