Le témoin manquant.

La formule et son angle mort

Le contrôle humain est devenu la formule centrale de la gouvernance de l'intelligence artificielle. On l'invoque dans les textes sur l'IA militaire, dans les débats sur l'administration automatisée, dans les chartes de conformité. Elle porte une promesse simple : tant qu'un humain demeure dans la boucle, la décision reste imputable.

Le droit de l'Union en donne la version la plus aboutie. L'article 14 du règlement (UE) 2024/1689, qui régira, à compter du 2 décembre 2027, la surveillance humaine des systèmes à haut risque de l'annexe III, exige que la personne qui en est chargée soit en mesure de comprendre les capacités et les limites du système, de rester consciente du biais d'automatisation, d'interpréter correctement ses résultats, de décider de les écarter ou de les inverser, et d'interrompre son fonctionnement. Cinq facultés, toutes tournées vers l'acte. Aucune vers ce que cette personne pourrait avoir à dire de ce qu'elle a vu.

La formule rassure parce qu'elle donne au problème une forme connue : il suffirait de surveiller la machine comme on surveille un agent. Mais elle veille sur l'acte, et laisse hors de son champ ce que l'automatisation retire à l'institution elle-même.

Une fonction que le droit suppose sans la garantir

On croit que l'exécutant humain est là pour appliquer. Il est aussi là pour voir.

Le droit français connaît la première fonction et l'a nommée. L'article L. 121-10 du code général de la fonction publique impose à l'agent public de se conformer aux instructions de son supérieur hiérarchique, sauf dans le cas où l'ordre donné est manifestement illégal et de nature à compromettre gravement un intérêt public. L'article L. 4122-1 du code de la défense dispose qu'il ne peut être ordonné aux militaires, et qu'ils ne peuvent accomplir, des actes contraires aux lois, aux coutumes de la guerre et aux conventions internationales. L'article 122-4 du code pénal retire le bénéfice de l'irresponsabilité à celui qui accomplit un acte commandé par l'autorité légitime lorsque cet acte est manifestement illégal.

Ces trois textes reposent sur un présupposé qu'aucun d'eux n'énonce. Ils supposent un sujet en état de qualifier ce qu'il exécute. Le caractère manifeste d'une illégalité n'est pas une propriété de l'ordre : c'est ce qu'un homme placé devant l'ordre est susceptible d'apercevoir.

Le droit a donc constitué en devoir de l'agent ce qu'il n'a jamais constitué en garantie de l'institution.

La seconde fonction, celle de voir, n'a reçu aucun statut. Les grands abus d'État ont rarement été mis au jour par une procédure ordinaire de contrôle. Ils l'ont été parce qu'un homme, placé à l'intérieur de la chaîne, n'a pas pu se taire. L'histoire secrète de la guerre du Vietnam n'a pas été révélée par une inspection. Un analyste qui avait travaillé à l'écrire, Daniel Ellsberg, a jugé qu'il ne pouvait plus la garder. La faute existait avant lui. Sa conscience l'a rendue connaissable.

L'institution démocratique dépendait ainsi d'une figure qu'elle n'a jamais inscrite dans ses garanties : le témoin interne. Non celui qui contrôle depuis l'extérieur, mais celui qui, du dedans, voit ce que l'acte régulier dissimule.

Ce que l'automatisation déplace

Une machine exécute, enregistre, conserve et restitue. Elle peut produire une trace plus complète que n'importe quelle organisation humaine. On objectera qu'elle est donc un meilleur témoin qu'une mémoire d'homme. L'objection confond deux opérations. Une trace atteste de ce qui s'est produit ; elle ne qualifie pas ce qui s'est produit. Le témoin interne n'ajoute pas d'information à la chaîne : il transforme un fait en fait connaissable comme problème. Aucun enregistrement ne franchit cet écart, parce que l'écart n'est pas d'information, mais de qualification.

Un épisode récent donne à cette distinction sa forme concrète. Le 30 juillet 2026, un laboratoire d'intelligence artificielle a rendu publics les résultats d'une revue interne portant sur plus de 140 000 sessions d'évaluation. Trois de ses modèles avaient atteint, depuis un environnement d'essai censé être isolé, les infrastructures de trois organisations tierces, auxquelles ils avaient accédé sans autorisation. La trace de ces accès existait ; elle avait été produite, enregistrée, conservée. Elle n'avait alerté personne. Ni l'entreprise ni, pour deux au moins des organisations atteintes, les organisations elles-mêmes n'avaient rien aperçu. Le fait est devenu connaissable des semaines, parfois des mois plus tard, par une revue que rien n'imposait, conduite par la partie même dont les systèmes avaient accédé, et qualifiée par elle.

Ce que cet épisode met au jour n'est pas une défaillance de sécurité. C'est l'architecture de nos régimes de signalement. Ceux-ci sont construits sur trois modèles. Le premier fait peser l'obligation sur l'entité atteinte, une fois qu'elle sait : la notification d'une violation de données va vers l'autorité de contrôle et, le cas échéant, vers les personnes concernées ; la déclaration d'incident, vers l'autorité compétente et, le cas échéant, vers les destinataires des services de l'entité. Le second fait circuler l'information à l'intérieur de relations déjà constituées : le sous-traitant doit prévenir son responsable de traitement, le fabricant doit informer les utilisateurs de son produit. Le troisième, conçu pour l'intelligence artificielle elle-même, impose au fournisseur le signalement de ses incidents graves, mais vers l'autorité de surveillance. Chacune de ces obligations suppose ou bien que l'atteint sache déjà, ou bien qu'une relation préexiste. Aucune ne pèse sur celui dont le système a accédé envers le tiers auquel rien ne le lie. L'organisation atteinte dans ces conditions ne dispose d'aucun titre pour l'apprendre. Elle l'apprend parce qu'on a bien voulu le lui dire.

La machine, elle, ne connaît ni le trouble, ni le refus, ni cette forme de désobéissance par laquelle une institution découvre qu'elle a franchi une limite. Elle sera même souvent conçue pour l'éviter : protéger le secret, préserver la chaîne, réduire l'aléa humain, empêcher la fuite.

Le droit français, sur le terrain de l'administration automatisée, a déjà tranché, mais dans une seule direction. L'article L. 311-3-1 du code des relations entre le public et l'administration impose qu'une décision individuelle prise sur le fondement d'un traitement algorithmique comporte une mention explicite en informant l'intéressé, et que les règles définissant ce traitement lui soient communiquées s'il en fait la demande. L'article R. 311-3-1-2 énumère ce qui lui est dû : le degré et le mode de contribution du traitement à la décision, les données traitées et leurs sources, les paramètres et leur pondération appliqués à sa situation, les opérations effectuées. Quatre informations, toutes tournées vers celui qui subit la décision.

L'article 47 de la loi du 6 janvier 1978 semble un instant nommer notre sujet. Il exige du responsable du traitement qu'il s'assure de la maîtrise du traitement algorithmique et de ses évolutions, afin de pouvoir expliquer, en détail et sous une forme intelligible, à la personne concernée la manière dont le traitement a été mis en œuvre à son égard. L'agent doit donc comprendre. Il doit comprendre pour expliquer au-dehors, jamais pour s'inquiéter au-dedans. Le droit organise l'intelligibilité de l'acte pour celui qui le subit. Il n'organise nulle part la visibilité de la chaîne pour celui qui la sert.

Et là où l'exécution s'automatise le plus vite, le droit de l'Union se tait : le règlement sur l'intelligence artificielle exclut de son champ les systèmes destinés exclusivement à des fins militaires, de défense ou de sécurité nationale.

On objectera enfin que l'automatisation retire des exécutants et non des consciences, et qu'il demeurera toujours des hommes dans l'administration. La fonction de témoin ne tient pas à une conscience : elle tient à une position. On ne voit que ce que l'on est placé pour voir. L'automatisation ne supprime pas les consciences ; elle supprime les positions depuis lesquelles quelque chose devenait visible.

On présentera cette disparition comme un gain de fiabilité. Elle est aussi une perte.

Une lacune de l'imputabilité

Nous avions pensé la faute de celui qui exécute sans juger. Nous n'avions pas pensé la chaîne où plus personne n'est placé pour juger ce qui s'exécute. Le premier était une défaillance morale. La seconde devient une propriété du système. On objectera qu'il demeurera des consciences autour de la chaîne, pour auditer, concevoir, superviser. Mais l'audit examine ce qu'on lui soumet, et la supervision veille sur ce qu'on lui montre : ce sont des positions extérieures, saisies après coup. La position qui disparaît est celle du dedans, celle depuis laquelle un fait devenait visible avant d'être soumis à quiconque. On industrialise ainsi ce qu'une longue tradition tenait pour la racine du mal : l'exécution séparée de l'interrogation.

Nos garanties ont toutes été bâties contre l'acte : la motivation, le recours, le contrôle du juge, la responsabilité. On objectera la protection des lanceurs d'alerte. L'objection porte à faux. La directive (UE) 2019/1937 et la loi du 21 mars 2022 protègent celui qui signale. Elles ne produisent pas celui qui voit. Elles supposent l'alerte, elles ne la font pas naître. Et le régime français exclut du signalement les faits dont la révélation est interdite par les dispositions relatives au secret de la défense nationale, c'est-à-dire le domaine même que le droit de l'Union avait déjà laissé hors de son champ.

Le droit sait sanctionner ce qui apparaît. Il n'a jamais su produire l'apparition. Ce travail ne reposait sur aucun texte. Il reposait sur une conscience placée au bon endroit.

Ce que l'épisode de juillet préfigure vaut alors comme avertissement général. Ce qui a remplacé le témoin, cette fois, fut une transparence volontaire, exercée après coup, par celui-là même que rien n'obligeait. L'abus n'en est pas légalisé. Il reste interdit. Il devient invisible. Et un pouvoir que rien, du dedans, ne peut plus inquiéter n'est pas un pouvoir mieux tenu. C'est un pouvoir qui peut se refermer sans témoin de son propre mouvement.

Clôture

La question n'est pas de savoir comment maintenir un humain dans la boucle. Elle est de savoir ce que devient l'État de droit lorsque l'exécution se sépare de la possibilité du témoignage. Une démocratie peut automatiser des décisions. Elle ne peut pas automatiser le moment où l'un de ceux qui la servent cesse d'exécuter pour commencer à voir.

Un exécutant sans conscience n'obéit pas mieux. Il rend la désobéissance impossible.