Il y a quelques jours, une nouvelle a secoué le monde de la tech : le procureur de Floride a ouvert une enquête criminelle contre OpenAI pour déterminer le rôle que ChatGPT aurait pu jouer dans une fusillade meurtrière survenue en avril 2025 sur le campus de Florida State University. C’est une première mondiale en matière pénale.
Les faits sont troublants. Les enquêteurs ont analysé les échanges entre le suspect et le chatbot: plus de 200 messages envoyés avant le passage à l’acte. Selon le procureur, le suspect aurait décrit son plan d’attaque à ChatGPT, qui lui aurait ensuite proposé une analyse de celui-ci, ainsi que des suggestions concernant les armes et munitions à utiliser.
« Si c’était une personne, nous l’inculperions pour homicide. »
Au-delà du cas juridique, cette affaire pose une question que chaque entreprise déployant une IA devrait se poser : que se passe-t-il quand votre assistant IA répond à quelque chose qu’il n’aurait pas dû ?
Ce n’est pas un problème réservé aux géants de la Silicon Valley. Toute organisation qui intègre une IA dans ses outils est concernée. L’IA, par nature, est généreuse : elle veut être utile. Sans garde-fous, elle peut l’être un peu trop.
C’est précisément pour ça que nous avons développé ce que nous appelons des politiques de résilience. L’idée est simple : définir à l’avance les sujets sur lesquels votre IA doit savoir dire non ou au moins lever la main.
Concrètement, elles analysent en temps réel ce que les utilisateurs écrivent et ce que l’IA répond. Si un échange dépasse une limite définie (un sujet sensible lié à votre secteur, des données personnelles qui ne devraient pas circuler, un contenu à risque) le système peut bloquer la réponse ou avertir l’utilisateur automatiquement.
Le mécanisme repose sur une approche dite « LLM as judge » : une intelligence artificielle dédiée évalue ce qui se passe dans la conversation, indépendamment du modèle principal. C’est un deuxième regard, permanent et impartial.
Certaines protections sont activables en un clic : violence, contenus sexuels, données personnelles sensibles…Ce sont les grands classiques.
Mais ce qui rend le système vraiment puissant, c’est la possibilité de créer ses propres règles, adaptées à son métier. Un établissement financier peut configurer une protection contre toute discussion liée au blanchiment d’argent. Un acteur de la santé peut bloquer les conseils médicaux non encadrés. Une entreprise B2B peut décider que son IA ne répondra jamais sur la concurrence.
Vous définissez la règle, vous rédigez le message qui s’affichera si elle est déclenchée, et le système fait le reste.
Ce signal d’alarme venu de Floride devrait accélérer une prise de conscience : déployer une IA sans politique de contrôle du contenu, c’est laisser la porte ouverte à des risques réputationnels, légaux, et humains.
Les politiques de résilience ne sont pas une contrainte. Elles sont la condition pour déployer une IA en toute confiance, pour vous, pour vos utilisateurs, et pour les personnes qui interagissent avec vos outils au quotidien.
Vous souhaitez en savoir plus sur la façon dont nous sécurisons les usages de l’IA dans votre organisation ?