Expertises
Droit, technologies & prospectives
interview / Damien Charlotin
Quand la Justice hallucine…

Droit, technologies & prospectives
Tous les mois, toute l'actualité du numérique... Et tellement plus !
Nos derniers numéros































































N°457 – mai 2020
N°456 – avril 2020
N°455 – mars 2020
N°454 – février 2020
N°452 – décembre 2019
N°451 – novembre 2019
N°450 – octobre 2019
N°449 – septembre 2019
N°448 – juillet 2019

















Sommaire
Edito
Focus
En bref
L’information rapide sur le monde du numérique
Magazine
L’information légale et jurisprudentielle du numérique
Interview
Doctrines
Comment prouver la création humaine des contenus générés par l’IA
Vers une conformité « par conception » des usages d’IA en santé
L’économie des données et l’IA générative
Désinformation par IA : Avons-nous les moyens de lutter ?
Le droit d’accès et l’intérêt du responsable du traitement
Le droit actuel est-il suffisant ?
L’Australie fait barrage à la fouille de textes et de données
La confiance à l’épreuve des attaques par IA
L'édito du mois
Sovereign Washing ?
Dans le contexte géopolitique actuel, la souveraineté numérique est devenue une préoccupation majeure pour 74 % des DSI, selon un sondage Ifop. Google, Microsoft Azure et AWS qui représentent 70% du marché du cloud européen, sentant la menace des clouds souverains s’intensifier face aux attaques de Donald Trump contre le vieux continent, ont réagi par une offre adaptée à cette nouvelle donne.
Google Cloud uni à Thales dans une co-entreprise détenue majoritairement par l’industriel français propose une offre de cloud baptisée S3NS. De son côté, Microsoft Azure s’est associée à Orange et Capgemini pour porter sa technologie. Et AWS lance une offre de « cloud souverain européen ». Contrairement au Cloud for Sovereignty de Microsoft, basé sur la localisation des données en Europe et des outils de conformité adaptés aux normes de l’UE, AWS a fait le choix d’une indépendance opérationnelle totale, dont l’offre entièrement située au sein de l’UE est physiquement et logiquement séparée de celles qu’Amazon propose dans le reste du monde. Le groupe américain a créé une entité européenne distincte, une filiale allemande, avec un personnel exclusivement composé de résidents de l’UE, y compris les directeurs généraux. AWS veut ainsi rassurer les Européens qu’aucune donnée ne sera exportée vers les États-Unis, même sous la pression juridique.
Si certains n’hésitent pas à parler de sovereign washing ou de souveraineté de façade, il n’en demeure pas moins que ces nouvelles offres apportent des garanties supplémentaires par rapport à leurs services de cloud public standard. Néanmoins, un cloud souverain porté en partie ou en totalité par une entreprise américaine peut-il tenir ses promesses d’indépendance ? Plus précisément, en cas de tensions géopolitiques majeures, ces hyperscalers peuvent-ils garantir qu’ils ne transmettront pas les données européennes aux autorités américaines ou qu’ils maintiendront la globalité des services ? Car la véritable question qui se pose n’est ni technique ni organisationnelle mais juridique. Le simple fait de localiser l’infrastructure, la gouvernance et les données en Europe n’empêche pas l’application des lois extraterritoriales américaines telles que le Cloud Act ou la Section 702 du FISA (Foreign Intelligence Surveillance Act) dès lors qu’il s’agit d’une entreprise américaine. Et cela malgré les promesses d’Arnaud David, directeur des affaires européennes chez AWS qui affirme que « s’il est demandé à AWS d’envoyer des données aux administrations américaines en vertu du FISA, Amazon contestera chaque demande qu’elle jugera inappropriée, en particulier si elle est contraire à la législation locale, comme le Règlement général sur la protection des données (RGPD) dans l’Union européenne. ». D’autres textes aux effets extraterritoriaux pourraient imposer à une société américaine d’interrompre son service hors des Etats-Unis, comme l’article 1701 du titre 50 du code des États-Unis qui autorise le Président à prendre des mesures en cas de menace inhabituelle et extraordinaire à la sécurité nationale, à la politique étrangère ou à l’économie des États-Unis. C’est sur ce texte que s’est appuyé l’Executive Order 14203 de Donald Trump pour sanctionner le juge français Nicolas Guillou nommé à la Cour pénale internationale et dont tous les comptes d’entreprises américaines ont été bloqués.
Seules des entreprises européennes sans intérêt aux Etats-Unis peuvent assurer une réelle souveraineté numérique européenne. Si des offres souveraines européennes existent, elles ne proposent pas encore la même amplitude de services que celles des hyperscalers. Cela oblige les DSI à faire preuve de pragmatisme suivant la sensibilité des applications et des données, tout en continuant à bénéficier des performances et des écosystèmes logiciels des géants américains pour les autres usages.
Le focus du mois
Premier texte mondial sur les neurotechnologies
Le 5 novembre dernier, l’Unesco a adopté la Recommandation sur l’éthique des neurotechnologies pour protéger les droits de l’homme, les données neurales et non neuronales. Un secteur qui se développe très vite et qui a besoin d’un cadre de confiance.

Le marché des neurotechnologies est en pleine expansion. On pense bien sûr aux applications médicales qui permettent à un tétraplégique de conduire une formule 1 grâce à un casque capable de détecter son activité cérébrale. Mais la course aux applications non médicales est lancée. Elon Musk est parti en pole position en 2016 avec Neuralink. En 2025, OpenAI à son tour s’intéresse aux interfaces homme/machine et investit Merge Labs, dédiée au développement d’implants cérébraux. En France, Yneuro va bientôt commercialiser une solution d’authentification fondée sur la signature neuronale à partir de capteurs intégrés à des casques audio. Et la Chine compte bien devenir leader sur ce marché.
Une fois n’est pas coutume, le droit et la réflexion éthique ne sont pas en retard sur l’innovation. Le 5 novembre dernier, les États membres de l’Unesco ont adopté la Recommandation sur l’éthique des neurotechnologies, le premier cadre normatif mondial sur le sujet. Entré en vigueur le 12 novembre, ce texte a pour ambition de protéger les droits de l’homme dans l’usage de procédés qui permettent d’interpréter l’activité cérébrale à des fins médicales mais aussi commerciales. Selon la recommandation, ces technologies englobent le matériel comme les logiciels qui « permettent de mesurer directement le système nerveux, d’y accéder, de le surveiller, de l’analyser, d’en prévoir l’activité ou de la moduler, afin de comprendre, influencer, restaurer ou anticiper sa structure, son activité et sa fonction. Les neurotechnologies combinent des éléments des neurosciences, de l’ingénierie, de la science des matériaux et de l’informatique, entre autres ».
Si les neurotechnologies sont d’abord apparues dans le secteur médical pour réparer le corps et le cerveau, elles sont de plus en plus mises au service de finalités non médicales telles que le loisir (jeux vidéo), l’éducation, le commerce (neuromarketing) ou le travail (neuroergonomie), avec les risques de contrôle et d’influence sur les personnes que ça implique. En conséquence, ce texte préconise une protection des données dites neurales, obtenues par enregistrement direct au moyen de capteurs et autres interfaces homme/machines, mais aussi des données non neurales, à savoir des données biométriques telles qu’issues de la collecte du mouvement des yeux ou l’analyse de la voix qui permettent d’inférer des états mentaux.
L’Unesco n’est pas parti d’un terrain juridique vierge. Le 11 décembre 2019, 38 membres de l’OCDE avaient adopté la Recommandation sur l’innovation responsable des entreprises en neurotechnologies, révisée en 2024. Elle a pour finalité le développement économique avec l’instauration de conditions de confiance dans ces produits et services médicaux et non médicaux. Elle entend également protéger patients et consommateurs contre des utilisations potentiellement abusives et malveillantes des données cérébrales personnelles collectées.
Sans appeler à la constitution de nouveaux droits, l’OCDE a posé neuf principes destinés à aider les entreprises comme les pouvoirs publics à affronter les défis éthiques, juridiques et sociaux dans le développement des futures applications. Comme le texte de l’Unesco, il s’agit d’un instrument juridique non contraignant pouvant servir de base et d’action. Restait aux parties concernées à s’en saisir.
C’est ce que fit la France en adoptant le 17 novembre 2022 la Charte de développement responsable des neurotechnologies, co-construite par différents acteurs du secteur et signée par une cinquantaine de partenaires : beaucoup d’entreprises, d’associations, de centres de recherche et d’agences de régulation. Elle met l’accent sur la protection du consommateur, son information et la prévention des abus. Elle a servi d’inspiration à la Charte européenne des neurotechnologies publiée en mai 2025 qui a recueillie près de 200 signatures.
La France dispose d’un texte contraignant qui touche aux applications médicales, à savoir l’article L. 1151-4 du code de la santé publique issue de la loi bioéthique du 2 août 2021. Et conformément à cette loi, le Comité consultatif national d’éthique (CCNE) a lancé le 21 janvier dernier les Etats généraux de la bioéthique. Ce nouveau cycle de consultations et de débats publics vise à nourrir la réflexion du Parlement, appelé à réviser la loi de bioéthique notamment sur la gestation pour autrui (GPA), les tests génétiques, mais aussi sur les neurosciences, en vue de la publication d’un avis à l’automne 2026.
Et en Europe, s’il n’existe pas de règlementation spécifique actuelle ou en projet, des textes plus généraux peuvent participer à l’encadrement des technologies liées au cerveau. En ce qui concerne la protection des données neurales ou non neurales, le RGPD comme la convention 108 du Conseil de l’Europe peuvent s’appliquer. En effet, ces données peuvent être qualifiées de données personnelles, puisqu’elles sont liées au fonctionnement ou à la structure du cerveau d’un individu identifié ou identifiable, y compris les informations uniques sur sa physiologie, sa santé ou son état mental. Puis, les logiciels servant à détecter et à analyser les comportements des personnes en dehors du domaine médical pourraient être prohibés en vertu de l’IA Act.
Beaucoup de ces technologies sont cependant développées en dehors de l’Europe. La Chine nourrit de grandes ambitions sur les neurotechnologies. La stratégie en la matière est pilotée par sept ministères qui soutiennent un secteur économique très dynamique. Ses applications dans les domaines de la justice, de l’éducation ou du travail seront-elles conformes aux principes éthiques de la recommandation de l’Unesco ? Quant aux entreprises américaines, s’y conformeront-elles alors que les Etats-Unis quittent l’Unesco à la fin de l’année ? Selon une étude de l’organisation américaine Neurorights Foundation basée sur trente sociétés pour l’essentiel américaines qui commercialisent des casques, capteurs et autres produits de neurotechnologies, seule une d’entre elles respecterait la recommandation de l’OCDE. Mais l’acceptabilité de ces technologies aussi sensibles par le public passe par la confiance et donc le respect d’un cadre. Le nombre d’initiatives juridiques dans le monde en est un signe.
L'invité du mois
Interview / Damien Charlotin
Quand la Justice hallucine…
Damien Charlotin a constitué une base de données qui recense aujourd’hui 735 décisions de 29 pays dans lesquelles les juges ont détecté la présence de citations de jurisprudence, de doctrine ou de réglementation inexistantes ou erronées provenant d’outils d’intelligence artificielle générative. Il nous explique pourquoi et comment il a constitué cette base de données, les types d’hallucinations constatées, comment les éviter, les raisons pour lesquelles ce phénomène touche très peu les décisions des pays de droit civil et pourquoi il ne faut pas avoir peur pour la confidentialité de nos données.

Sylvie Rozenfeld : Vous êtes à la fois docteur en droit, juriste, data scientist, co-directeur du Smart Law Hub à HEC et chargé de recherche à Sciences Po, vous enseignez aux étudiants en droit à coder en python, « afin d’en faire de meilleurs juristes », et vous donnez des cours sur la façon dont les grands modèles de langage transforment la profession juridique. On ne s’étonnera pas que vous ayez créé une base de données qui recense les décisions de justice dans lesquelles a été produit un contenu erroné, des hallucinations, généralement de fausses citations, généré par un outil d’IA générative. Pourquoi avez-vous constitué une telle base de données ?
Damien Charlotin : Au départ, je donnais un cours sur l’usage de l’IA par la profession juridique, et notamment sur les limites et les potentiels de l’IA. On en est venu à parler d’hallucinations car c’est à peu près la seule chose que les juristes connaissaient. À l’époque, la décision américaine Mata versus Avianca de juin 2023 faisait la Une des journaux. Je voulais savoir si la présence d’hallucinations dans les décisions était prévalente, s’il y avait d’autres affaires. Ne trouvant pas de bases de données en ligne sur le sujet, je me suis décidé à en constituer. J’ai commencé au bon moment, celui où la courbe du nombre d’affaires par semaine ou par mois ou même par jour a commencé à s’infléchir. En 2023, on avait recensé 19 affaires, à la fin 2025 on en a plus de 735.
Comment trouvez-vous des décisions
qui comportent des hallucinations ?
De plusieurs façons. Je suis d’abord très reconnaissant aux nombreux internautes qui m’envoient des décisions. Par ailleurs, je fais une à deux fois par semaine des recherches dans les bases de données principales, notamment dans les bases anglo-saxonnes.
J’ai remarqué, en effet, qu’une grande majorité des décisions que vous avez sélectionnées sont d’origine anglo-saxonne dont plus de 500 proviennent des Etats-Unis.
Oui, essentiellement américaines mais aussi canadiennes, australiennes, etc. Il y a plusieurs raisons à cela dont deux principales. Premièrement, ce sont des régimes juridiques où il y a beaucoup d’affaires initiées par des personnes qui se représentent elles-mêmes. Elles sont plus enclines à utiliser ces technologies. Deuxièmement, surtout aux États-Unis, l’accès aux données est excellent, tout est disponible, ou quasiment tout, contrairement à l’Europe où l’accès à la donnée juridique passe par des éditeurs juridiques.
Nous avons l’open data des décisions
de justice, Legifrance, etc.
Oui mais le corpus n’est pas exhaustif. Et puis, il y a cette barrière de l’anonymisation qui rend les recherches beaucoup plus difficiles. Par ailleurs, aux États-Unis, on a également accès aux plaidoiries, aux pièces, etc. Cela permet d’aller chercher dans des actes de procédure, ce qu’on ne trouverait pas par exemple en France, à l’exception du jugement. Et puis, ce sont des sociétés très différentes, très axées sur l’IA et les nouvelles technologies. Enfin, la société aux États-Unis est très litigieuse. Ça explique que la majorité des affaires proviennent de là-bas. Mais la base de données contient des décisions de 29 différents pays. J‘ai répertorié en France deux premières affaires en décembre dernier, ainsi que trois en Belgique. Si le rythme d’accélération est le même qu’aux États-Unis, on devrait en avoir plus au fur et à mesure des semaines à venir.
J’aimerais savoir quelles sont les hallucinations que vous retenez dans les décisions que vous avez sélectionnées. Est-ce que ce sont des citations de décisions inventées ? Des jurisprudences mal citées, mal interprétées, des doctrines qui n’existent pas ?
Il y a tout ça. Cela couvre principalement les décisions qui visent explicitement des hallucinations. Donc ce n’est pas moi qui décide si cette décision contient des hallucinations. Je traite les décisions où le juge ou l’arbitre va écrire que ce qui est cité n’existe pas.
Mais le juge ne prononce pas
forcément le mot hallucination.
Non, il dit « ça n’existe pas ». Ce n’est donc pas forcément facile de les repérer. Mais il n’y a pas de jugement de ma part, sauf quand une décision repose elle-même sur des hallucinations. Il y en a une quinzaine dans la base de données pour lesquelles des juges ont été accusés d’avoir utilisé des éléments générés par l’IA contenant des hallucinations ou qui ont fait un copié/collé des conclusions des avocats qui en comportaient. Dans ce cas, nous avons très rarement des arrêts d’appel qui recensent des hallucinations.
Alors …
Les doctrines du mois
Comment prouver la création humaine des contenus générés par l’IA
Pour être éligible à la protection par le droit d’auteur, la contribution humaine substantielle dans le processus de création d’une œuvre de l’esprit doit être démontrée. La jurisprudence américaine nous procure des éléments de méthode pour se préconstituer des éléments de preuve de l’apport humain dans une œuvre d’art, un logiciel ou une vidéo, générés avec le concours de l’IA (CGIA).
Vers une conformité « par conception » des usages d’IA en santé
Il existe une réelle convergence d’intention entre le règlement relatif à l’espace européen des données de santé qui cherche à rendre les données accessibles et utiles et l’IA Act qui vise à ce que les systèmes soient sûrs et contrôlables. Reste à construire une articulation normative entre ces deux règlements.
L’économie des données et l’IA générative
Une étude commandée par la DG CNECT de la Commission européenne offre un éclairage sur les orientations politiques et les choix stratégiques en matière de futures réglementations concernant l’économie fondée sur les données. Prospective et bonnes pratiques.
Désinformation par IA : Avons-nous les moyens de lutter ?
Le cadre juridique existant semble suffisant pour lutter contre la montée en puissance de la désinformation sur internet, à condition qu’il soit mis en œuvre rapidement, de façon rigoureuse et coordonnée par les juridictions, les plateformes et les autorités publiques.
Le droit d’accès et l’intérêt du responsable du traitement
décision sur la protection des données personnelles rendue par une autorité de contrôle ou une juridiction étrangère. Ce mois-ci, il se penche sur la question de savoir si l’intérêt d’un responsable du traitement à ne pas communiquer un rapport d’enquête pourrait l’emporter sur celui de l’auteur d’une demande de droit d’accès.
Le droit actuel est-il suffisant ?
L’OSINT (Open Source Intelligence), consiste à exploiter des informations accessibles en ligne, offre des opportunités de veille stratégique et de cybersécurité. Cette technique s’est considérablement développée en raison du volume croissant de données numériques. Cependant l’OSINT pose la question de la légitimité de l’exploitation de ces données qui doit s’inscrire dans le respect de la législation existante. Après avoir confronté l’OSINT aux différents droits en vigueur, il conviendra de s’interroger sur la pertinence de la création d’un texte spécifique pour règlementer l’OSINT.
L’Australie fait barrage à la fouille de textes et de données
La procureure générale du gouvernement australien a, le 26 octobre dernier, annoncé le refus de l’introduction d’une nouvelle exception au droit d’auteur dans la loi de Copyright australienne.
La confiance à l’épreuve des attaques par IA
Avec l’IA, il ne s’agit plus de compromettre des systèmes, mais d’altérer les relations de confiance qui structurent les échanges internes. Face à cette nouvelle menace, une réponse globale, pluridimensionnelle et multidisciplinaire s’impose pour garantir une résilience durable.
Tous les mois, toute l'actualité du numérique... Et tellement plus !
FORMULES D'ABONNEMENT
