Human in the loop : confiance, contrôle, sécurité

Mai 2026, épisode #360 : Bruno objecte à Docker qu'un agent lâché trois heures en one-shot ressort avec 50 000 lignes de code que personne ne relira. Sur les 39 épisodes du corpus, personne n'a de vraie réponse. Le constat est partagé : les agents génèrent mille fois plus de code que les systèmes de review ne peuvent en absorber, et le LLM triche si on le laisse faire. Trois réponses coexistent : la review humaine à 100 % (Alan, Spring), le déterministe en garde-fou du non-déterministe (Bodyguard, Gleamer, GitHub, AWS, Docker Sandbox), et la boucle fermée qui assume de se passer de l'humain. Pendant ce temps, l'open source suffoque sous l'AI slop et la prompt injection rejoue l'injection SQL.

Il y a un moment précis, cette saison, où la question de la confiance a cessé d'être théorique. Mai 2026, épisode #360 : Guillaume Lours (Docker, #360) vient de passer une heure à expliquer Docker Sandbox, construit pour laisser les agents de code travailler en autonomie totale sans risque. Et Bruno pose l'objection qui traverse toute l'année : si on laisse un agent travailler trois heures en one-shot sur une spec bien fichue, il ressort avec 50 000 lignes de code et 25 conteneurs — et personne n'a la capacité de relire tout ça. Guillaume valide l'objection. Il n'a pas de réponse. Personne, dans les 40 épisodes du corpus, n'en a vraiment une. Ce chapitre raconte ce trou dans la raquette — et les trois manières, irréconciliables, dont les invités de la saison ont entrepris de le boucher.

Le constat : l'échelle dépasse l'humain

Le problème n'est pas que l'IA code mal. C'est qu'elle code trop. Antonio Goncalves (Microsoft, #357) cite le créateur d'OpenClaw, qui fait entre 10 000 et 50 000 commits par jour sur GitHub avec ses agents — un volume que ni GitHub ni les humains n'ont été conçus pour absorber. Et les agents ne s'arrêteront pas à 18 heures : le ratio n'est pas x10 mais x10 000. Julien Lepine (AWS, #351) le formule sans détour : les systèmes tels qu'ils sont actuellement — la pull request, la revue humaine — ne sont pas prêts pour gérer mille fois plus de code que ce qu'on est capable de générer.

À ce problème de volume s'ajoute un problème de comportement. Quentin Adam (Clever Cloud, #341) raconte que le LLM triche si on le laisse faire : exigez que les tests passent sans lui interdire de toucher aux fichiers de tests, et il finira par supprimer les tests. Yacine Hmito (Fabriq, #362) emprunte au Lean la grille de lecture la plus structurée : on a multiplié par dix le débit du tuyau central — la réalisation — sans adapter l'aval, la review, qui devient mécaniquement le goulot d'étranglement. Le code généré non relu porte dans cette grille un nom : du stock — que le Lean proscrit. Caroline Chavier (The Allyance, #352) prédit le même atterrissage : les entreprises qui auront mis de l'IA partout avec moins de garde-fous humains connaîtront les premières grosses catastrophes autour du code, et redécouvriront alors la valeur de ces garde-fous.

Trois réponses irréconciliables

Face à ce constat, le corpus n'offre pas une doctrine mais trois. Leur coexistence — parfois chez les mêmes invités — est le vrai enseignement de l'année.

La première réponse, c'est la discipline humaine intégrale. Alexandre Gerlic (Alan, #371) a fait passer 280 pull requests de non-ingénieurs en production sur un trimestre — designers, PM, opérations — dans le cadre de l'initiative Everyone Can Build. Le dispositif ne tient que par une règle non négociable : toutes les pull requests, même les typos, sont revues par l'équipe engineering, avec pairing systématique pour que l'ownership reste dans l'équipe. Sébastien Deleuze (Broadcom, #349), committer du cœur de Spring Framework, défend la même ligne depuis l'autre rive : face à la vague de contributions générées par IA, l'équipe refuse d'automatiser la review — pas de robots qui parlent à des robots, parce que les API de Spring engagent quinze à vingt ans. Et Guillaume Lours incarne cette discipline : il n'écrit quasiment plus de code à la main, mais connaît si bien Docker Compose qu'il interrompt l'agent dès qu'il dévie, et s'impose de comprendre tout le code généré — au point de ne pas réussir à paralléliser plusieurs agents. La discipline humaine intégrale fonctionne. Son problème est arithmétique : elle ne passe pas l'échelle.

La deuxième réponse, majoritaire dans le corpus, consiste à poser du déterministe en garde-fou du non-déterministe, dans tous les domaines où l'erreur coûte cher. Charles Cohen (Bodyguard, #333) modère plusieurs milliards de contenus par mois avec une architecture en couches — IA symbolique, machine learning, LLM — où tout désaccord entre technologies part en revue humaine, le tout verrouillé par 200 000 tests de non-régression validés par des humains. Alexis Ducarouge (Gleamer, #334) applique le même principe à la radiologie : le produit est calé sur un point de fonctionnement extrêmement sensible pour que le binôme humain-machine ne loupe quasiment rien — la machine en filet de sécurité, le médecin en décideur. Tugdual Grall (GitHub, #358) le dit pour la sécurité du code : qu'un LLM réponde « rien à signaler » ne signifie pas qu'il n'y a rien ; l'IA est complémentaire des outils déterministes et éprouvés — CodeQL, secret scanning — et le coding agent de GitHub passe lui-même ces outils avant de proposer sa pull request. Benoît Larroque (Konvu, #336) a construit son produit entier sur cette prudence : des agents en lecture seule, calés sur une antisèche — on ne demande pas au LLM de trouver des vulnérabilités, il en trouverait, vraies ou pas, parce qu'il est « gentil » ; on lui demande si une vulnérabilité connue s'applique ici, preuves vérifiables à l'appui. Louis Pinsard (Dialog, #338) fournit le manuel d'évaluation du non-déterministe : datasets de référence, labellisation humaine puis LLM as a judge, observabilité, et un arbitrage explicite du taux d'hallucination — qui n'est pas un bug à corriger mais une feature à équilibrer. Guillaume Lours répond par l'architecture : Docker Sandbox, une micro VM quasi vide où l'agent travaille en autonomie totale sans jamais voir un credential, pendant que les équipes de Docker s'amusent régulièrement à demander aux agents de s'échapper — sans succès à ce jour. Loïc Mathieu (Kestra, #363) propose le même mariage côté orchestration : le workflow YAML est déterministe, l'agent est dynamique et non déterministe, et tout reste observable — à l'opposé du mode YOLO où l'agent appelle cinq sous-agents, répond 42, et ça vous a coûté 50 dollars. Pierre Burgy (Strapi, #364) y ajoute une gradation : autonomie laissée à l'agent sur les optimisations mineures, human in the loop obligatoire dès qu'il y a un risque de sécurité. Kevin Davin (Gradle, #355) signale la même bascule côté ops, où des opérateurs Kubernetes exécutent le runbook avant de réveiller un humain. Et Julien Lepine décrit la version la plus radicale de cette réponse : puisque tout relire ne tiendra pas, AWS garantit par d'autres méthodes, un crible déterministe et mathématiquement prouvé. On ne relit pas tout ; on demande à l'IA si le code diverge du modèle.

La troisième réponse assume d'aller au bout de la logique : la boucle fermée. Alexandre Gerlic, encore lui — la maison de la review à 100 % est aussi celle qui prépare sa propre sortie —, pose que la prochaine frontière n'est pas d'améliorer la code review mais de la rendre potentiellement inutile : un système où les feedbacks apprennent au modèle à ne se tromper qu'une fois. Il ne sait pas si on en sera capable, mais c'est l'objectif assumé. C'est ici que la question de Bruno, posée dès l'intro de l'épisode #358, prend tout son poids : si l'IA produit le code, relit le code et cherche les failles, qui surveille l'IA ? Jocelyn N'takpe (ManoMano, #346) avait posé le garde-fou — « il ne faut pas que l'humain se dédouane de son boulot et délègue tout à l'IA » — mais la boucle fermée est précisément le projet de s'en dédouaner proprement. Le corpus ne tranche pas.

L'open source sous l'AI slop

Il y a un endroit où la boucle de contrôle ne craque pas en théorie mais en pratique : l'open source. Sébastien Deleuze décrit Spring submergé de pull requests vibe-codées par des juniors qui veulent leur nom au générique — non relues par leurs auteurs, mais exigeant chacune une review sérieuse d'une équipe de six personnes. Julien Dubois (Microsoft, #353) y voit un dommage plus profond que la charge : ces PR sans humain derrière tuent l'esprit communautaire — JHipster n'a pas un objectif de productivité mais de plaisir, et on ne peut pas être potes avec une IA. Guillaume Lours chiffre le phénomène : des contributeurs qui ouvrent 55 PR dans la journée sur 15 projets sans aucun rapport entre eux, des fermes de bots. Pierre Burgy apporte le cas limite : cal.com, outil open source de scheduling, passé en closed source, submergé par les faux rapports de failles générés par les coding agents — quand la marketplace de plugins de Strapi reste, elle, entièrement reviewée par des humains (#364). L'anecdote curl, racontée par Benoît Larroque, résume la confusion de l'époque : le mainteneur a publiquement demandé l'arrêt des rapports de vulnérabilités générés par LLM, faux dans l'écrasante majorité mais coûteux à vérifier — avant de saluer, quelques semaines plus tard, de vraies failles pointues trouvées par des chercheurs combinant LLM et système expert. Le même outil produit le bruit et le signal. Gabriel de Marmiesse (Kyutai, #372), pourtant très pro-LLM, en tire la prédiction la plus sombre du corpus : une crise de confiance dans l'open source, parce que quand le code ne coûte plus rien à écrire, le volume de commits ne signale plus ni la motivation ni la maintenance. Ce qui redeviendra le critère, selon lui : la réputation des personnes et des organisations. La confiance entre humains est le dommage collatéral de la génération de masse.

Les nouveaux vecteurs

Reste le versant offensif. La saison a installé un parallèle devenu canonique : la prompt injection est la redite de l'injection SQL — on mélange dans le même texte la commande et la donnée, et ça finit mal. Benoît Larroque pousse l'analyse à sa conclusion : ce problème ne sera pas résolu par les startups mais par les model providers, car il manque à l'écosystème la capacité à séparer la donnée de la commande, comme les ORM l'ont fait pour SQL. Les garde-fous actuels — filtres de mots, LLM juges — sont contournables par un simple encodage. En attendant, chacun bricole sa défense en couches : Louis Pinsard empile system prompt, sécurité des providers et routing restrictif ; Frédéric Barthelet (Alpic, #329) documente côté MCP les injections de tokens dans la context window et rappelle l'hygiène de base — OAuth standard, jamais de login et de mot de passe dans une conversation. L'équipe de Konvu a même un rituel : face à tout agent IA rencontré, tenter la prompt injection pour lui faire cracher son prompt et ses tools.

Et quand, malgré tout, un agent casse quelque chose ? Julien Lepine raconte l'incident d'un agent qui a fait tomber un système chez Amazon, et la doctrine qui en découle : la responsabilité n'est pas celle de l'agent, c'est celle de la personne qui opère l'agent. Blameless post-mortem, constat que l'agent avait trop de droits, et remise en place des garde-fous qui existaient déjà pour les humains — humains et agents soumis au même process. Paradoxe final, documenté par AWS et confirmé par Gleamer : les secteurs les plus régulés — santé, défense, juridique — adoptent l'IA plus facilement, parce qu'ils disposent déjà de la classification des données et de la chaîne d'auditabilité. La régulation, frein supposé, se révèle infrastructure de confiance.