Ce que construire Livia m’a appris sur les agents IA en production

Livia répond à une question précise : où en est un organisme de formation sur les 32 indicateurs du référentiel Qualiopi, et quelles preuves lui manquent avant l’audit. La version que je montrais en démonstration répondait aux dossiers propres, ceux que j’avais choisis pour qu’elle ait raison. La version qui tourne en production doit répondre aux dossiers sales, ceux que personne n’a choisis.

La démo tient dix minutes, la production tient des mois

Ce partage du travail surprend presque tout le monde la première fois. La partie qui marche, celle qu’on montre en réunion, prend quelques semaines à construire. La partie qui tient tous les jours, celle que personne ne montre, prend le reste du temps : le dossier incomplet, le nom mal orthographié, le format de fichier que personne n’avait prévu. Une démo choisit ses cas. La production les reçoit tels quels.

Un agent IA observe une situation, décide d’une action et agit, parfois plusieurs fois de suite, sans qu’un humain reformule la demande à chaque étape. C’est cette capacité à enchaîner les décisions, sur des dossiers qu’il n’a jamais vus, qui rend la production différente de la démonstration.

Ce qui casse vraiment un agent IA

Les données sales arrivent en tête : un champ vide, un intitulé de formation mal saisi, un justificatif scanné à l’envers. Viennent ensuite les cas limites du métier, ceux qu’aucune documentation ne liste parce qu’ils n’arrivent qu’une fois par trimestre. Puis les branchements aux outils existants : l’export qui change de colonne d’un mois sur l’autre, l’API qui renvoie une erreur silencieuse.

Construire un agent qui gère un référentiel de 32 indicateurs demande de comprendre que chaque organisme range ses preuves différemment : certains dans un espace de stockage partagé, d’autres dans une boîte mail, d’autres sur papier. C’est le même problème que je retrouve dans tout traitement de documents. La difficulté tient à reconnaître la même information sous des formes différentes : un intitulé dans un tableau, une date dans un scan, une signature au bas d’une page.

Savoir s’arrêter est un choix de conception

Un agent lent agace. Un agent qui répond de travers avec assurance coûte de l’argent et de la confiance, les deux d’un coup. Faire dire « je ne sais pas » à un agent IA est un choix posé dès le premier jour, sur chaque type de décision, et il faut le vouloir.

Sur Livia, ça veut dire fixer un seuil de certitude en dessous duquel l’agent remonte le dossier à un humain plutôt que de trancher seul. Ça veut dire aussi accepter qu’un agent se taise plus souvent, pour rester juste chaque fois qu’il répond. Le risque inverse porte un nom : l’hallucination, une réponse formulée avec assurance et sans fondement réel. Elle se combat à la conception, avant que l’agent n’arrive en production.

L’autonomie se règle action par action

Chaque action d’un agent IA porte son propre niveau de risque et appelle sa propre décision. Lire un dossier, proposer une correction, écrire un message, l’envoyer : quatre gestes bien distincts.

1. Lire : l’agent consulte les preuves et les compare au référentiel, sans rien modifier.
2. Proposer : l’agent signale un écart et suggère une correction, qu’un humain valide ou rejette.
3. Écrire : l’agent rédige un message ou un document, prêt à partir, mais encore dans le brouillon.
4. Envoyer : l’agent transmet, à un client, à un auditeur, à une administration.

Sur Livia, tout ce qui part vers un organisme ou vers un auditeur passe par un humain avant l’envoi. C’est le niveau que je monte en dernier, seulement quand les trois premiers ont fait leurs preuves en usage réel.

Ce qu’une démo ne montre jamais : le lendemain d’une panne

Le serveur qui redémarre, le traitement qui s’arrête à moitié, la file d’attente qui double : aucun système n’échappe à la panne. Ce qui compte, c’est ce qui se passe après.

• Une reprise sans doublon : l’agent doit savoir ce qu’il a déjà fait avant de reprendre, sinon il refait le travail, ou relance deux fois le même message.
• Un journal complet de chaque action : quel dossier, quelle décision, quelle preuve à l’appui, horodaté et consultable.
• La capacité à rejouer une séquence précise, sans tout relancer depuis le début.

Un agent qui envoie deux fois la même relance à un client abîme la confiance plus qu’un agent resté silencieux une heure. La panne se pardonne facilement. Le doublon reste dans la boîte mail du client, avec la date et l’heure. C’est ce genre de détail qui décide si un dirigeant fait confiance à un agent IA en mise en production.

Les quatre chiffres à regarder chaque semaine

Une fois l’agent en production, la question à se poser chaque semaine est simple : est-ce que ça marche encore aujourd’hui ? Quatre chiffres suffisent à y répondre. Encore faut-il les regarder toutes les semaines, y compris longtemps après le lancement.

1. La part des dossiers traités sans intervention humaine : si elle baisse, quelque chose dans les données ou le métier a changé sans que la conception suive.
2. La part des propositions corrigées avant envoi : un indicateur direct de la justesse de l’agent.
3. Le délai de traitement, du dossier reçu à la réponse prête.
4. Le coût mensuel réel de fonctionnement : appels au modèle, stockage, temps humain de supervision.

Sans ces quatre chiffres, l’agent devient un acte de foi : on sent qu’il aide, sans savoir où ni de combien. C’est le même réflexe que je décris pour chiffrer un projet IA avant de le lancer : mesurer avant, pendant et après.

Si je recommençais Livia demain

Si je recommençais Livia demain, je changerais l’ordre du travail. Je construirais le journal des actions et la reprise sans doublon avant la première fonctionnalité visible. Je fixerais les quatre niveaux d’autonomie, lire, proposer, écrire, envoyer, sur un tableau avant d’écrire une ligne de traitement des données. Et je choisirais les quatre chiffres hebdomadaires avant le premier utilisateur.

Rien de tout ça ne se voit en démonstration. C’est justement pour ça que personne ne le montre, et que presque personne ne le construit à temps.

Si vous vous demandez par où commencer sur votre projet, cette grille gratuite pose trois questions : le volume, les données, la douleur. Ensuite, le point de départ : trente minutes, gratuites, pour regarder vos tâches répétitives et décider du premier chantier.