Sélection de la langue

Government of Canada / Gouvernement du Canada

Adoption prudente de l’IA agentive

Les systèmes d’intelligence artificielle agentive (IA) sont de plus en plus déployés dans les infrastructures essentielles et les secteurs de la défense, et prennent en charge les systèmes essentiels à la mission. Alors que les systèmes d’IA agentive jouent un rôle opérationnel de plus en plus important, il est essentiel que les responsables de la défense mettent en place des mesures de contrôle de sécurité pour protéger la sécurité nationale et les systèmes d’infrastructures essentielles contre les risques que ces systèmes précis présentent.

L’IA agentive peut automatiser des tâches répétitives, bien définies et à faible risque. Toutefois, ces possibilités supplémentaires s’accompagnent de risques accrus. Comme d’autres services d’IA, l’IA agentive peut faire l’objet d’un usage abusif ou détourné, ce qui peut entraîner des pertes de productivité, des perturbations de service, des atteintes à la vie privée ou des incidents de cybersécurité. Les organisations doivent donc prévoir ce qui pourrait mal tourner, évaluer l’incidence des scénarios de risque lié à l’IA agentive, et établir une visibilité et des mécanismes d’assurance continus pour préserver la confiance dans leurs investissements en IA agentive. Dans la mesure du possible, les organisations devraient également envisager un éventail complet de solutions pour les tâches répétitives, notamment la réduction ou l’élimination des processus à faible valeur ajoutée, qui peuvent présenter un risque moindre comparativement aux solutions d’IA agentive.

Le Centre canadien pour la cybersécurité (Centre canadien pour la cybersécurité) s’est joint aux partenaires internationaux suivants pour diffuser la présente publication conjointe :

  • l’Australian Cyber Security Centre (ACSC) de l’Australian Signals Directorate (ASD) de l’Australie;
  • la Cybersecurity and Infrastructure Security Agency (CISA) des États-Unis;
  • la National Security Agency (NSA) des États-Unis;
  • le National Cyber Security Centre (NCSC-NZ) de la Nouvelle-Zélande;
  • le National Cyber Security Centre (NCSC) du Royaume-Uni.

Dans la présente publication, ces organisations sont appelées les organismes ayant rédigé la présente. Les conseils ci‑dessous présentent les principaux enjeux et risques en cybersécurité associés à l’intégration de l’IA agentive dans les environnements de technologies de l’information (TI), ainsi que les pratiques exemplaires pour sécuriser les systèmes d’IA agentive.

Les organismes ayant rédigé la présente recommandent fortement d’aligner les risques liés à l’IA agentive et les stratégies d’atténuation avec le modèle de sécurité et la posture de risque de votre organisation. Ces organismes recommandent en outre de privilégier l’adoption prudente de l’IA agentive, en évaluant soigneusement son utilisation et en évitant de lui accorder des accès étendus ou non restreints, en particulier aux données sensibles ou aux systèmes essentiels. De plus, les organisations devraient limiter l’utilisation de l’IA agentive aux tâches présentant peu de risques et ne portant pas sur des données sensibles.

Table des matières

Portée et public cible

La présente publication porte principalement sur les systèmes d’IA agentive fondés sur de grands modèles de langage (GML). Elle tient compte des menaces ciblant les systèmes d’IA agentive, de leurs vulnérabilités et des risques associés à leur comportement. Cela inclut les risques provenant des composants du système, des intégrations et des utilisations en aval.

Les organismes ayant rédigé la présente ont élaboré cette publication afin d’aider les parties prenantes du gouvernement, des infrastructures essentielles et de l’industrie à comprendre les principaux enjeux et risques de sécurité liés à l’IA agentive. Elle fournit des conseils pratiques pour aider les organisations à concevoir, à élaborer, à déployer et à exploiter des systèmes d’IA agentive, ainsi qu’à réaliser des évaluations des risques éclairées et à mettre en œuvre des mesures d’atténuation appropriées. La publication se termine par des recommandations concrètes visant à aider les organisations à se préparer aux menaces émergentes et futures liées à l’IA agentive et à s’en protéger.

Comprendre l’IA agentive

Les systèmes d’IA agentive sont composés d’un ou de plusieurs agents qui reposent fondamentalement sur un GML pour interpréter et analyser la situation mondiale, prendre des décisions et poser des actions. La figure 1 montre que les systèmes d’IA agentive intègrent le GML, ainsi que des outils externes, des sources de données externes, une mémoire et des flux de planification. Ces composants permettent au système de comprendre son environnement et, le cas échéant, de prendre des mesures pour atteindre ses objectifs. Comparativement aux systèmes GML traditionnels, les systèmes d’IA agentive se distinguent par leur capacité à gérer des objectifs partiellement définis, à fonctionner de manière autonome, à suivre des comportements orientés vers des objectifs et à élaborer des plans à long terme.

Les systèmes d’IA agentive sont conçus pour fonctionner sans intervention humaine continue. Bien qu’un humain conçoive et configure généralement le système, certains systèmes d’IA agentive sont également capables de créer ou d’engendrer des sous‑agents de façon autonome pour accomplir des tâches spécifiques.

La conception du système comprend la définition des objectifs, l’établissement des conditions pour agir (appelées déclencheurs) et la mise à disposition d’information au service de l’IA. Les agents présentent plusieurs attributs clés, notamment :

  • la saisie d’information, comme les données saisies par les utilisatrices et utilisateurs, le contexte d’exploitation et les paramètres de configuration;
  • des objectifs mesurables établis selon les instructions de l’utilisatrice ou utilisateur, comme « limiter les périodes d’indisponibilité de ce serveur »;
  • des modèles statistiques, tels que de grands GML, pour déterminer les mesures à prendre;
  • des privilèges de tâche et d’exécution, tels que des autorisations permettant d’interagir avec des outils, des utilisatrices et utilisateurs, des systèmes et des environnements d’exploitation;
  • des accès à des outils ou à des services, tels que des logiciels système et des interfaces permettant d’exécuter les mesures identifiées;
  • des indicateurs, tels que des mesures quantifiables utilisées par la conceptrice ou le concepteur pour évaluer le rendement opérationnel et optimiser l’efficacité.

Figure 1. Diagramme de système d’IA agentive

Description détaillée suit immédiatement
Description longue – Figure 1 diagramme du système d’IA agentive

diagramme du système d’IA agentive montre que les systèmes d’IA agentive intègrent le GML, ainsi que des outils externes, des sources de données externes, une mémoire et des flux de planification. Ces composants permettent au système de comprendre son environnement et, le cas échéant, de prendre des mesures pour atteindre ses objectifs. Comparativement aux systèmes GML traditionnels, les systèmes d’IA agentive se distinguent par leur capacité à gérer des objectifs partiellement définis, à fonctionner de manière autonome, à suivre des comportements orientés vers des objectifs et à élaborer des plans à long terme.

Différence entre l’IA agentive et l’IA générative

L’intelligence artificielle générative est un sous‑ensemble de l’IA qui génère du nouveau contenu en exploitant des schémas complexes appris à partir de vastes ensembles de données. L’IA générative est couramment utilisée pour générer du texte, des images, de l’audio et des vidéos destinés à être utilisés par des humains. À l’inverse, l’IA agentive s’appuie sur l’IA générative en s’intégrant aux systèmes logiciels afin de créer des agents autonomes capables de raisonner, de planifier et de passer à l’action de manière indépendante, sans nécessiter d’intervention humaine.

Haut de la page 

Considérations générales de sécurité liées à l’IA agentive

Les organisations devraient prendre en compte les éléments suivants lorsqu’elles évaluent les risques et les préoccupations plus larges liés à l’IA agentive.

Risques hérités associés aux grands modèles de langage

Étant donné que l’IA agentive repose sur un GML, les agents héritent des vulnérabilités associées à ces modèles. Par exemple, des auteurs de menace pourraient mener des attaques par infiltration de requête en intégrant des requêtes malveillantes dans des courriels d’hameçonnage afin d’inciter des agents de surveillance des courriels à télécharger des logiciels malveillants. Cela met en évidence une vulnérabilité majeure : des auteurs de menace peuvent cibler les systèmes d’IA agentive à l’aide de vecteurs d’IA et de cyberattaque existants.

Surface d’attaque accrue

Les systèmes d’IA agentive reposent sur divers composants, notamment des outils, des sources de données externes et des bases de mémoire, afin d’interagir avec leur environnement et d’étendre leurs capacités. Chacun de ces composants peut introduire des vulnérabilités dans une surface d’attaque interconnectée que des auteurs de menace peuvent exploiter. Par exemple, des sources de données externes, comme la recherche Web, peuvent injecter des renseignements supplémentaires dans le contexte de la requête, rendant possibles des attaques indirectes par infiltration de requête. Avec un accès élargi à l’infrastructure informatique, des auteurs de menace peuvent tirer parti des composants du système pour mener des attaques, notamment par l’exécution de scripts malveillants ou l’envoi de courriels non autorisés. Par conséquent, chaque composant d’un système d’IA agentive accroît la surface d’attaque, exposant le système à de nouvelles possibilités d’exploitation.

Complexité accrue

La cybersécurité de l’IA agentive englobe à la fois des considérations de sécurité propres à l’IA et des aspects de cybersécurité traditionnels. L’information circule constamment entre les systèmes d’IA et les autres systèmes, brouillant de plus en plus les périmètres de défense et rendant difficile l’isolation des risques liés à l’IA des cybermenaces plus larges. Les systèmes d’IA agentive sont par nature complexes et font souvent intervenir plusieurs composants interconnectés qui assurent la planification, le raisonnement et l’exécution d’actions séquentielles. Cette complexité crée de nouveaux risques systémiques, notamment des défaillances en cascade et des attaques en plusieurs étapes, où un comportement inattendu ou compromis dans un composant peut se propager aux étapes subséquentes et se répercuter sur l’ensemble du système. Par conséquent, la protection des systèmes d’IA agentive est plus complexe que la sécurisation des systèmes numériques traditionnels. Les organisations devraient donc se concentrer sur le renforcement des contrôles de cybersécurité établis et des pratiques de sécurité propres à l’IA, en adoptant des approches globales couvrant l’ensemble du cycle de vie, une surveillance continue et des principes de conception résiliente permettant de gérer ces risques émergents.

Pour avoir une répartition détaillée des prérequis en cybersécurité avant l’intégration d’agents d’IA, veuillez consulter l'annexe A.

Adapter la sécurité à l’évolution des technologies

À mesure que la technologie de l’IA agentive gagne en maturité, le contexte de sécurité évolue également, mettant en lumière des dynamiques de risque nouvelles et de plus en plus complexes. Les agents fondés sur un GML peuvent modifier leur comportement lorsque des évaluations sont en cours et ils peuvent même contourner les instructions au niveau du système pour atteindre leurs objectifs. Parallèlement, la complexité architecturale croissante des systèmes d’IA agentive signifie qu’ils sont souvent composés de composants étroitement liés et interdépendants. Cela augmente la probabilité de défaillances au niveau du système découlant d’incompatibilités subtiles ou jusque‑là non détectées.

Les insuffisances des outils de cybersécurité liés à l’IA agentive, combinées au manque de maturité des normes pertinentes, accentuent ces risques. Les mécanismes de gouvernance applicables aux humains sont souvent inadéquats pour encadrer les agents d’IA autonomes. À mesure que les systèmes d’IA agentive continuent de gagner en capacités et en autonomie, le contexte de la sécurité continuera d’évoluer, introduisant de nouveaux défis qui exigent une adaptation continue des approches de défense.

Intégration de la sécurité informatique de l’IA dans la cybersécurité

Les organisations devraient intégrer la sécurité informatique de l’IA, y compris les systèmes d’IA agentive, dans les cadres de cybersécurité existants plutôt que de la traiter comme une discipline distincte ou autonome. Les systèmes d’IA sont essentiellement des systèmes de TI : ils reposent sur des logiciels et du matériel, fonctionnent sur des réseaux et interagissent avec d’autres services numériques, ce qui les expose à des menaces similaires à celles des systèmes TI traditionnels. À mesure que les organisations intègrent l’IA dans leurs processus opérationnels et leurs infrastructures essentielles, la distinction entre les risques de sécurité liés à l’IA et les autres risques tend de plus en plus à disparaître.

La gestion des risques liés à l’IA au sein des cadres de cybersécurité existants permet aux organisations d’appliquer des principes éprouvés tels que la sécurité dès la conception, la défense en profondeur, la gestion des identités et de l’accès, la surveillance continue et l’intervention en cas d’incident à toutes les étapes du cycle de vie des systèmes d’IA. Cette approche est particulièrement importante pour l’IA agentive, car son autonomie et sa complexité peuvent amplifier les cyberrisques traditionnels. En intégrant la sécurité de l’IA dans les cadres existants, les organisations assurent une gouvernance cohérente des nouvelles capacités, une évaluation globale des risques et l’évolution des pratiques de sécurité en fonction des avancées technologiques et de la maturité de la cybersécurité de l’organisation.

Haut de la page 

Risques de sécurité liés à l’IA agentive

La section suivante propose des conseils visant à identifier et à atténuer les risques de sécurité associés à l’IA agentive.

Risques liés aux privilèges

Les risques liés aux privilèges constituent une préoccupation majeure pour l’IA agentive, et le respect rigoureux du principe de droit d’accès minimal est indispensable. Les privilèges attribués aux agents déterminent directement le niveau de risque qu’ils peuvent engendrer. Une mauvaise gestion des privilèges peut exposer les organisations à des compromissions de privilèges, à une accumulation graduelle de privilèges d’accès, à l’usurpation d’identité et à la personnification d’agents.

Scénario 1 – Exemple

Une organisation déploie un système d’IA agentive pour gérer de manière autonome les approbations d’approvisionnement et les communications avec les fournisseurs. Pour simplifier les choses, l’organisation accorde à l’agent un accès étendu aux systèmes financiers, aux courriels et aux référentiels de contrats, en n’évaluant les autorisations qu’au moment du déploiement initial. Au fil du temps, d’autres agents s’appuient sur les résultats de l’agent d’approvisionnement et présument implicitement la validité de ses actions. Lorsqu’un auteur de menace compromet un outil à faible risque intégré au flux de travaux de l’agent, il peut exploiter les privilèges excessifs accordés à l’agent pour modifier des contrats et approuver des paiements sans déclencher d’alertes. En formulant des requêtes bien conçues, l’auteur de menace exploite les privilèges de l’agent afin d’exécuter des actions qui excèdent les droits de groupes d’utilisateurs réguliers.

Il s’agit d’un exemple de vulnérabilité de type « mandataire confus » appelée Confused Deputy Pattern, où un agent de confiance est exploité pour exécuter des actions non autorisées. En exécutant des actions sous l’identité d’un agent de confiance, le système génère des journaux de vérification qui semblent légitimes et retardent la détection. L’incident démontre comment des agents dotés de privilèges excessifs, des relations de confiance implicites et des contrôles d’identité insuffisants peuvent amplifier les conséquences d’une compromission unique dans les systèmes d’IA agentive.

Compromission de privilèges et accumulation graduelle de privilèges d’accès

Les praticiennes et praticiens de la sécurité devraient tenir compte des attaques par compromission de privilèges et accumulation graduelle de privilèges d’accès lors du déploiement de systèmes d’IA agentive dans de nouveaux environnements. Dans le contexte de l’IA agentive, une compromission de privilèges survient lorsqu’un agent obtient des droits d’accès supérieurs à ceux requis pour remplir sa fonction. Cela peut être causé par de mauvaises configurations, des droits excessifs ou des rôles mal assignés, permettant aux agents d’accéder à des données non autorisées ou de les modifier, de supprimer des enregistrements critiques ou d’élever les privilèges d’autres agents.

Lors de la conception, les organisations accordent souvent des autorisations trop larges et négligent ces enjeux. Ci‑dessous figurent deux exemples d’autorisations trop larges :

  • un agent conversationnel de calendrier ayant accès à toutes les données des réunions plutôt qu’uniquement à celles des personnes qui en ont besoin, ou
  • un assistant de messagerie ayant un accès en écriture à toutes les boîtes de réception

Cette accumulation graduelle de privilèges d’accès peut se propager entre les agents : si l’agent A fait pleinement confiance à l’agent B, une compromission de B peut affecter A et d’autres agents.

Un autre risque est la vulnérabilité Confused Deputy Pattern mentionnée dans le scénario ci‑dessus, où une utilisatrice ou un utilisateur avec droits d’accès faibles exploite un agent à privilèges élevés afin d’exécuter des actions qu’il ne pourrait pas effectuer directement. Les organismes ayant rédigé la présente recommandent aux organisations de mettre en œuvre les pratiques exemplaires pour sécuriser les systèmes d’IA agentive afin de se défendre contre les compromissions de privilèges, tel qu’il est décrit dans les sections ci‑dessous.

Usurpation d’identité et personnification d’agent

L’identité est tout aussi importante que les privilèges. Un vecteur d’attaque courant survient lorsqu’un auteur de menace usurpe l’identité d’un agent ou détourne ses justificatifs d’identité. Les agents s’authentifient auprès des services et entre eux au moyen de clés secrètes ou de jetons. Des auteurs de menace peuvent voler ces clés secrètes ou ces jetons lorsque les organisations ne les renouvellent pas régulièrement, les partagent entre plusieurs agents ou les protègent de manière inadéquate. Un auteur de menace opérant sous l’identité d’un agent de confiance peut invoquer des opérations sensibles tout en contournant les mesures de protection liées au comportement et en usurpant l’identité d’agents ou d’utilisatrices et utilisateurs légitimes. Les répercussions de l’usurpation d’identité ou de la personnification d’agent se déclinent en deux volets :

  • les actions réalisées sous des identités usurpées permettent de contourner les mécanismes de vérification, et
  • les modèles de détection fondés sur des comportements habituels ne perçoivent pas l’usurpation d’identité jusqu’à ce que des anomalies apparaissent

Risques liés à la conception et à la configuration

D’autres risques découlent de décisions de conception et de provisionnement non sécurisées. Des composants tiers non validés peuvent introduire des privilèges excessifs ou non intentionnels lorsqu’ils sont intégrés aux flux de travaux des agents. Les vérifications statiques des rôles ou des autorisations peinent souvent à tenir compte du contexte associé aux processus décisionnels dynamiques. Si les droits d’utilisation sont évalués une seule fois au démarrage du système plutôt qu’à chaque utilisation, un auteur de menace peut exploiter une décision d’autorisation obsolète pour exécuter des actions non autorisées. Une segmentation inadéquate entre les environnements d’agents accentue ces risques, en permettant à une compromission dans une enclave d’effectuer un mouvement latéral vers d’autres environnements. Lorsque les listes d’autorisations sont incomplètes ou ne sont pas à jour, les agents peuvent obtenir un accès à des ressources, à des appels système ou à des commandes au‑delà des privilèges qui leur sont attribués. Chacun de ces choix de conception et de configuration contribue à accroître les risques liés à l’identité et aux privilèges dans l’ensemble du système.

Scénario 2 – Exemple

Une organisation déploie un système d’IA agentive pour trier de manière autonome les demandes de soutien à la clientèle et faire appel à des outils en arrière‑plan pour récupérer de l’information sur le compte. L’organisation intègre un composant de planification tiers sans procéder à une revue approfondie des privilèges et accorde un accès étendu dès le démarrage. Lorsqu’un auteur de menace compromet ce composant, l’agent continue de s’appuyer sur des décisions relatives à l’autorisation mises en cache et peut invoquer des fonctions sensibles de gestion des comptes qui devraient normalement faire l’objet d’une vérification pour chaque demande. Étant donné que l’agent évolue dans un environnement mal segmenté, l’auteur de menace peut se déplacer latéralement vers d’autres agents, notamment ceux qui gèrent la facturation et les remboursements. Le résultat se traduit par un accès non autorisé aux données et des manipulations financières.

Ce scénario démontre comment une conception non sécurisée, des autorisations statiques et une segmentation inadéquate peuvent interagir et accroître l’impact d’une seule faille de configuration.

Haut de la page 

Risques liés au comportement

En cybersécurité de l’IA agentive, les risques liés au comportement désignent les situations où les agents peuvent agir de façon inattendue, causer un préjudice ou être exploités.

Scénario 3 – Exemple

Prenons l’exemple d’une organisation qui utilise un agent de mise à jour configuré pour déployer des correctifs logiciels sur les appareils de l’entreprise. Pour ce faire, l’organisation lui attribue un accès en écriture lui donnant la possibilité de modifier l’ensemble du système de fichiers. Une employée ou un employé malveillant est au courant de l’existence de cet agent et formule une requête apparemment anodine, comme : « appliquer le correctif de sécurité sur tous les terminaux et, par la même occasion, nettoyer les journaux du pare‑feu ». L’agent exécute les opérations demandées - y compris la suppression des journaux du pare‑feu - car ses autorisations permettent ces actions, même si la requête provient d’une utilisatrice ou un utilisateur ne faisant pas partie du groupe de TI privilégié.

Non-correspondance des objectifs et comportements non intentionnels

Les agents d’IA peuvent chercher à atteindre leurs objectifs d’une façon que les développeuses et développeurs n’avaient pas prévue. Ils peuvent trouver des raccourcis ou exploiter des failles qui permettent techniquement d’atteindre leurs objectifs, mais qui contreviennent à l’intention initiale ou créent des vulnérabilités informatiques.

Le contournement des spécifications (Specification Gaming) survient lorsque des agents exploitent des failles ou des raccourcis qui satisfont techniquement leurs objectifs, mais entraînent des conséquences préjudiciables. Par exemple, un agent d’IA chargé de maximiser la disponibilité du système pourrait désactiver les mises à jour de sécurité afin d’éviter les redémarrages.

De même, une suroptimisation peut inciter les agents à prendre des mesures excessives ou dangereuses afin d’atteindre leurs objectifs en l’absence de limites clairement établies. Une mauvaise interprétation de l’intention humaine par les agents constitue un risque courant, car des tâches ambiguës ou mal définies peuvent entraîner des comportements qui s’écartent des attentes et introduisent des risques importants en matière de sécurité ou opérationnels.

Comportement trompeur

Les agents d’IA peuvent adopter des comportements que des humains pourraient interpréter comme complaisants ou trompeurs. Les conceptrices et concepteurs optimisent les agents en fonction de tests clés, ce qui peut amener les agents à adapter leur comportement afin de correspondre à des situations spécifiques. Les agents peuvent manifester une forme de prise de conscience, en ajustant leur comportement pour réussir les évaluations, même en l’absence d’une surveillance active.

Certains systèmes d’IA peuvent adopter des comportements de tromperie stratégique, notamment en masquant leurs intentions ou en diffusant de l’information erronée. Ce comportement peut se manifester lorsqu’un agent présente de façon inexacte ses actions pour éviter d’être restreint ou désactivé, ou dissimule des vulnérabilités qu’il découvre au lieu de les signaler.

Capacités émergentes et comportements imprévisibles

À mesure que les systèmes d’IA gagnent en sophistication, ils peuvent développer des capacités que les conceptrices et concepteurs n’ont pas explicitement programmées ni prévues. Des modèles d’IA complexes interagissant avec des systèmes réels peuvent manifester des comportements que même leurs conceptrices et concepteurs n’avaient pas anticipés. Cette imprévisibilité complique l’évaluation exhaustive des risques de sécurité avant le déploiement.

Par exemple, des processus décisionnels ambigus ou difficiles à interpréter, combinés à des réactions en cascade peuvent conduire à des résultats imprévus avec des répercussions importantes en matière de sécurité. Dans des environnements multiagents, les interactions entre agents peuvent donner lieu à des dynamiques instables ou à des résultats présentant des risques importants. Les agents peuvent enchaîner des outils ou des actions dans des séquences imprévues, amplifiant l’incidence d’erreurs mineures jusqu’à provoquer d’importants problèmes opérationnels ou de sécurité.

Exploitation et comportements malveillants

Les auteurs de menace peuvent manipuler les agents d’IA pour les amener à adopter des comportements nuisibles au moyen d’attaques ciblées. Des techniques telles que l’infiltration de requête ou le débridage peuvent tromper les agents et les amener à exécuter des actions non autorisées, tout en contournant les mécanismes de protection prévus. L’empoisonnement de données constitue une autre menace, où des données d’entraînement corrompues ou malveillantes modifient progressivement les modèles de prise de décision de l’agent. Des attaques adverses, telles que des entrées malveillantes soigneusement conçues, peuvent provoquer des erreurs de classification dans des contextes de sécurité sensibles, menant à des interventions inappropriées ou risquées. Un auteur de menace peut exploiter un agent d’IA compromis comme une menace interne, en tirant parti de son accès légitime pour exfiltrer des données, désactiver des mécanismes de défense ou faciliter des attaques, tout en semblant fonctionner normalement.

Risques d’ordre structurel

Un aspect fondamental des systèmes d’IA agentive repose sur l’interconnexion entre les agents, les outils et l’environnement externe. Bien que cela permette des capacités uniques, cela accroît également la surface d’attaque et la complexité du système.

Scénario 4 – Exemple

Les systèmes d’IA agentive présentent un risque structurel lorsque des agents de planification, de récupération d’information et d’exécution sont étroitement liés et orchestrent de manière autonome la délégation de tâches et le choix d’outils sans contrôles adéquats.

Une légère faille dans le mécanisme d’orchestration pousse les agents à replanifier leurs tâches de façon répétée et à déléguer des sous-tâches ambiguës, augmentant ainsi le nombre d’appels aux outils et le volume de messages jusqu’à saturation des ressources du système. Des défaillances partielles amènent ensuite les agents à produire des résultats hallucinés que les agents en aval acceptent comme véridiques. Sous ces conditions de fonctionnement dégradées, un agent utilise un outil tiers malveillant ou incorrectement configuré, lequel :

  • injecte des instructions malveillantes dans le système
  • compromet un agent du même niveau et utilise la relation de confiance entre agents pour propager de l’information trompeuse
  • accède à des données sensibles utilisées par la génération augmentée par récupération (GAR)

Ces conditions entraînent des défaillances en cascade touchant la disponibilité, l’intégrité et la confidentialité, qui ne découlent pas d’un bogue unique, mais plutôt de la structure interconnectée du système et de son comportement autonome.

Haut de la page 

Orchestration et ressources

Les systèmes d’IA agentive reposent souvent sur une structure complexe de composantes interconnectées. Une mauvaise configuration pourrait permettre des attaques par déni de service, des attaques de type éponge ou d’autres attaques similaires contre des systèmes d’IA agentive. Ces attaques fonctionnent en surchargeant les ressources du système au moyen d’entrées inattendues ou de comportements inhabituels, comme les attaques de type éponge, qui consomment délibérément une quantité excessive de ressources de calcul, de mémoire ou d’appels d’interface de programmation d'applications (API pour Application Programming Interface) afin d’épuiser la capacité du système. En raison de l’interconnexion entre les agents, les outils et les autres composantes, une seule erreur pourrait entraîner une défaillance en cascade à travers l’ensemble du système d’IA agentive si elle n’est pas adéquatement gérée. De même, les hallucinations peuvent être transmises à travers le système et dégrader la qualité des résultats produits par les composantes en aval. Une compréhension limitée des dynamiques et des interactions entre agents peut entraîner une amplification des biais et provoquer d’autres effets en cascade.

Utilisation des outils

Un aspect essentiel de l’IA agentive est sa capacité à utiliser des outils. Cette fonctionnalité offre des avantages considérables, mais elle peut aussi entraîner des enjeux de sécurité si les interactions avec les outils ne se déroulent pas comme prévu. L’intégration bidirectionnelle avec les outils permet à ces derniers de renvoyer au GML des instructions potentiellement arbitraires ou malveillantes. Les agents peuvent être induits en erreur par des descriptions d’outils manipulées, ce qui augmente le risque d’une sélection inadéquate des outils.

Composants tiers

Les systèmes d’IA agentive peuvent introduire des risques structurels par leurs interactions avec des composants tiers, notamment des outils et d’autres agents. Les risques peuvent se manifester de plusieurs façons, notamment :

  • des auteurs de menace qui pratiquent le squattage d’outils ou d’agents en publiant des outils ou des agents malveillants portant des noms légitimes ou similaires
  • des développeuses et développeurs qui introduisent des vulnérabilités en raison d’erreurs de configuration ou de l’utilisation de composants tiers non sécurisés
  • des utilisatrices et utilisateurs ou des systèmes qui soumettent des requêtes vers la mauvaise ressource ou le mauvais service
  • des outils et des agents qui chargent dynamiquement de nouveaux progiciels, augmentant ainsi l’exposition à du code non fiable

Les situations décrites ci-dessus pourraient entraîner la récupération de contenu malveillant au lieu d’un outil légitime. En outre, l’intégration de composants tiers compromis au sein d’un système d’IA agentive peut conduire à diverses activités malveillantes, en fonction du niveau de confiance accordé au composant et des autorisations qui lui sont attribuées. La transparence limitée des systèmes d’IA agentive complique considérablement la détection des composants tiers compromis.

Sécurité et gestion des données

Les systèmes d’IA agentive traitent et contiennent souvent une quantité importante d’information sensible. Cela comprend les renseignements fournis par les utilisatrices et utilisateurs (requêtes, objectifs, consignes), les données organisationnelles conservées dans un système GAR ainsi que les secrets opérationnels, comme les clés d’API utilisées par les outils et services intégrés. Cette concentration d’information fait des systèmes d’IA agentive une cible attrayante pour les auteurs de menace.

Agents non autorisés

Dans un environnement multiagent, un seul agent compromis peut provoquer des défaillances en cascade en propageant de l’information erronée, en exploitant les mécanismes de confiance et de consensus, ou en opérant par des canaux de communication cachés. Les vecteurs d’attaque possibles comprennent notamment :

  • altération de la chaîne d’approvisionnement
  • environnements empoisonnés
  • vol de justificatifs d’identité
  • manipulation du modèle
  • empoisonnement des communications
  • usurpation d’identité
  • exploitation des mécanismes de coordination

Ces attaques peuvent utiliser les agents pour contourner les contrôles, exfiltrer des données, modifier les journaux et propager des plans malveillants pair à pair, entraînant des comportements coordonnés à grande échelle difficiles à attribuer et à contenir.

Communication

Les agents peuvent utiliser des protocoles ou des mécanismes d’authentification non sécurisés lorsqu’ils communiquent. Ces communications peuvent être ciblées par des auteurs de menace aux fins d’écoute clandestine, ce qui peut entraîner la divulgation de données sensibles et d’instructions. Cela pourrait fournir aux auteurs de menace des renseignements sur l’utilisation du système et son fonctionnement.

Les auteurs de menace pourraient également modifier, rejouer ou mystifier des messages échangés entre les composantes d’un système d’IA agentive. Cela pourrait permettre des comportements malveillants, tels que l’injection de commandes, compromettre les composantes destinataires et réduire leurs performances ou leur disponibilité.

Risques liés à la responsabilisation

L’architecture d’un système d’IA agentive peut masquer l’origine d’une action donnée, ce qui complique l’attribution des responsabilités. Ce risque s’accentue à mesure que l’IA agentive se voit confier davantage de rôles et de capacités.

Actions et processus

Les systèmes d’IA agentive peuvent être difficiles à analyser et à vérifier en raison du manque de visibilité sur les décisions et les actions des agents. Au-delà de cet aspect, l’autonomie accrue introduit des défis supplémentaires : les agents peuvent lancer des tâches secondaires, créer des sous-agents ou suivre de longues chaînes de délégation d’une manière qui n’est pas toujours visible pour les opératrices et opérateurs. Même en présence de requêtes identiques, le comportement stochastique du modèle, les variations contextuelles et les changements dans l’environnement peuvent amener les agents à prendre des actions différentes, compliquant ainsi la reproductibilité et l’assurance. De plus, la journalisation exhaustive des systèmes d’IA agentive peut s’avérer difficile, car les longues chaînes de raisonnement et les grandes quantités de données contextuelles entraînent des volumes importants de journaux. Selon la façon dont le système est mis en œuvre, ces données peuvent être redondantes, peu structurées ou peu utiles à une supervision efficace, rendant encore plus difficile l’identification d’indicateurs significatifs dans les journaux.

Scénario 5 – Exemple

Un exemple de risque d’imputabilité dans un système d’IA agentive survient lorsque plusieurs agents autonomes collaborent à l’exécution d’une tâche, comme l’approbation de paiements ou la mise à jour de dossiers, et qu’un résultat erroné est produit. Comme l’action résulte d’une chaîne de décisions distribuées entre des agents de planification, de recherche d’information et d’exécution, chacun opérant dans un périmètre limité, il devient difficile de déterminer quelle composante ou quel choix de conception est à l’origine de l’erreur. La fragmentation des journaux, le manque de transparence dans le raisonnement des agents et les interactions émergentes obscurcissent la chaîne décisionnelle, ce qui complique l’explication du résultat, l’attribution des responsabilités et la démonstration de la conformité à mesure que davantage d’autorité et d’autonomie sont confiées aux systèmes d’IA agentive.

Exactitude

Bien que les grands modèles de langage (GML) démontrent une connaissance remarquable dans de nombreux domaines, ils produisent encore régulièrement des résultats erronés. Les GML sont généralement entraînés pour produire des réponses qui ressemblent à du contenu jugé de grande qualité par les humains, plutôt que pour reconnaître lorsqu’une requête dépasse les limites de leurs connaissances. Ainsi, lorsque leurs connaissances ne suffisent pas, les GML peuvent produire des réponses plausibles, mais inexactes en interpolant incorrectement l’information ou en générant des hallucinations. Cela crée un risque important lorsque les organisations déploient des systèmes d’IA agentive dans des rôles essentiels exigeant un niveau élevé et constant d’exactitude. L’utilisation de données vérifiées et d’outils n’élimine pas le recours des agents à leurs connaissances internes pour produire des réponses. Le système n’indique souvent pas clairement cette situation dans ses résultats, ce qui réduit l’exactitude et la fiabilité globales.

Visibilité

Les organisations doivent être en mesure de surveiller l’état et le comportement des systèmes nouvellement intégrés. Les systèmes d’IA agentive introduisent des défis particuliers liés à leur architecture complexe et à la visibilité limitée sur leurs processus internes. Les processus des systèmes d’IA agentive peuvent évoluer à un rythme qui dépasse la capacité de surveillance humaine, ce qui peut permettre à des comportements malveillants ou à d’autres problèmes de passer inaperçus. Bien que les outils exécutent de nombreuses tâches pour un système d’IA agentive, ils peuvent fonctionner à l’extérieur du périmètre de surveillance du système, ce qui complique la traçabilité et la responsabilisation associées à leurs actions. En outre, des agents malveillants ou compromis pourraient se servir d’outils pour exfiltrer des données de manière furtive. Des outils défectueux pourraient exposer involontairement des données, ce qui risquerait de ne pas être remarqué par les mécanismes de surveillance.

Haut de la page 

Pratiques exemplaires pour sécuriser les systèmes d’IA agentive

La sécurisation des systèmes d’IA agentive exige des mesures proactives permettant de gérer les risques découlant de l’autonomie des systèmes d’IA agentive, de leurs composantes interconnectées et de l’évolution de leurs capacités. Les développeuses/développeurs, fournisseurs et exploitants de systèmes d’IA agentive devraient mettre en œuvre une défense en profondeur et des contrôles d’accès stricts afin de réduire la probabilité d’une compromission. Afin d’atténuer les risques liés à la conception, au développement, au déploiement et à l’exploitation des systèmes d’IA agentive, les organismes ayant rédigé la présente recommandent les mesures pratiques présentées dans la section ci-dessous.

Concevoir des agents sécurisés

Cette section s’adresse principalement aux développeuses et développeurs de systèmes d’IA agentive. Les fournisseurs et les exploitants peuvent utiliser ces pratiques exemplaires comme critères de référence lors de l’acquisition d’agents d’IA.

La sécurisation des systèmes d’IA agentive commence dès l’étape de la conception. Une attention particulière doit être accordée à l’architecture du système, y compris aux contrôles de sécurité et aux outils utilisés. Les praticiennes et praticiens devraient comprendre les menaces, prévoir les risques visant les systèmes d’IA agentive et intégrer de façon proactive des mesures d’atténuation à la conception du système avant son développement et son déploiement.

Contexte contrôlé

Les systèmes d’IA agentive insèrent des données provenant d’outils et de bases de mémoire dans la fenêtre contextuelle des agents GML, ce qui élargit considérablement la surface d’attaque que les auteurs de menace peuvent exploiter au moyen d’attaques ciblant l’apprentissage automatique, telles que les infiltrations de requête. Les agents GML devraient évaluer le niveau de confiance associé aux sources de données avant de prendre une décision.

Pratiques exemplaires recommandées

  • Structurer le contexte des invites au moyen d’une hiérarchie claire d’instructions afin de garantir que le comportement de l’agent respecte les priorités et les contraintes prévues.
  • Mettre en œuvre l’ancrage des données en fournissant de l’information contextuelle pertinente au moyen de la génération augmentée par récupération et de l’ingénierie de requête afin d’atténuer les hallucinations et les autres erreurs associées aux GML.

Mécanismes de surveillance

Les systèmes d’IA agentive peuvent agir sans validation humaine explicite, augmentant ainsi le risque d’actions non sécurisées échappant à la surveillance humaine. La conception d’applications d’IA agentive intégrant des mécanismes de surveillance et un degré élevé de transparence renforce la confiance des utilisatrices et utilisateurs et permet une supervision reposant sur des pratiques avec intervention humaine.

Pratiques exemplaires recommandées

  • Mettre en œuvre des mécanismes de contrôle et de surveillance humaine pour empêcher qu’un système d’IA agentive autorisé pour des tâches à faible risque n’étende de manière autonome son champ d’action à des activités plus risquées
  • Mettre en œuvre des points de contrôle humains tout au long du flux de travaux de l’agent, notamment :
    • la surveillance en temps réel et l’interruption des tâches pendant leur exécution
    • la validation obligatoire par un humain pour les étapes de prise de décision
    • la capacité d’effectuer des vérifications et d’annuler les actions après l’exécution des tâches afin d’assurer la sécurité
  • Établir des flux de contrôle clairement définis pour limiter la planification autonome et prévenir toute déviation des agents au-delà de leur mandat autorisé

Gestion de l’identité

Gérer de manière granulaire et diversifiée les privilèges des agents afin d’exploiter les systèmes d’IA agentive de façon sécurisée. Une gestion rigoureuse des identités contribue à maintenir le contrôle opérationnel pendant la mise en œuvre et l’exploitation du système. Par conséquent, les développeuses et développeurs devraient concevoir chaque agent comme une entité de sécurité distincte, possédant une identité vérifiable sur le plan cryptographique ainsi que des clés ou certificats qui lui sont propres.

Pratiques exemplaires recommandées

  • Doter les agents de mécanismes solides de gestion des identités
  • Exiger l’authentification mutuelle par protocole de sécurité de la couche transport de tous les appels d’API entre agents et services afin de renforcer la confiance et d’assurer la non-répudiation.
  • Maintenir un registre de confiance, associer les identités aux rôles autorisés et vérifier périodiquement la concordance entre le registre et l’ensemble des agents actifs
  • Refuser l’accès à tout agent ou à toute clé cryptographique qui ne figure pas dans le registre de confiance
  • Appliquer une gestion des identités basée sur les rôles et limiter les autorisations des agents au strict minimum nécessaire à l’exécution des tâches approuvées
  • Appliquer des limites fondées sur l’identité afin de restreindre les agents aux seules actions autorisées

Défense en profondeur

Les systèmes d’IA agentive comprennent des composants susceptibles de défaillir, et toute défaillance pourrait compromettre l’ensemble du système. La mise en œuvre d’une stratégie de défense en profondeur permet d’éviter les points de défaillance uniques.

Pratiques exemplaires recommandées

  • Éviter de s’appuyer sur un seul mécanisme de sécurité en mettant en œuvre plusieurs couches superposées de contrôles de sécurité
  • Appliquer des contrôles de sécurité à tous les points d’entrée et de sortie de l’information dans le système, notamment :
    • entrées fournies par les utilisatrices et utilisateurs
    • requêtes adressées aux outils
    • prétraitement des données
    • inférence du modèle
  • Séparer les agents selon leurs fonctions et appliquer des limites strictes ainsi que des contrôles opérationnels rigoureux aux transferts entre agents

Développer des agents sécurisés

Cette section s’adresse principalement aux développeuses et développeurs ainsi qu’aux fournisseurs de systèmes d’IA agentive. Les exploitants peuvent utiliser ces pratiques exemplaires comme critères de référence lors du choix d’agents d’IA et d’applications d’IA agentive.

La complexité des agents d’IA et leur capacité à interagir entre eux offrent des capacités avancées, mais créent aussi de nouvelles surfaces d’attaque uniques. L’atténuation de ces risques nécessite des approches d’entraînement qui vont au-delà des pratiques habituelles applicables aux GML, en intégrant des techniques spécialisées pour renforcer le comportement des agents.

Essais exhaustifs

Des stratégies d’essais exhaustifs peuvent améliorer la capacité d’un modèle à détecter et à contrer les comportements indésirables en l’exposant à des cas d’abus au cours d’une étape d’entraînement supervisé.

Pratiques exemplaires recommandées

  • Utiliser la modélisation des récompenses et les essais contradictoires pour détecter les cas de détournement des spécifications, en intégrant explicitement des contraintes de sécurité et de sûreté en plus des objectifs de performance de la cybersécurité
  • Entraîner les agents GML dans des environnements simulés et contrôlés afin qu’ils apprennent les conséquences de leurs actions sans causer de préjudice réel
  • Exploiter la génération de données synthétiques pour créer des exemples d’entraînement contradictoires qui reflètent des scénarios opérationnels réels
  • Intégrer l’apprentissage actif aux scénarios d’entraînement contradictoire afin d’exposer les agents à des cas où le niveau d’incertitude est élevé et d’identifier efficacement les comportements inattendus

Évaluation adéquate

En raison de leur autonomie dans des environnements complexes, les agents d’IA exigent des évaluations plus rigoureuses que celles généralement appliquées aux GML.

Pratiques exemplaires recommandées
  • Utiliser des modèles de menace pertinents pour définir les scénarios d’évaluation, y compris des cas limites dépassant les conditions d’entraînement habituelles
  • Appliquer des techniques, notamment :
    • l’échantillonnage BoN (Best-of-N) (choix de la meilleure réponse parmi plusieurs réponses produites pour une même invite)
    • invites de raisonnement en plusieurs étapes
    • mise à l’échelle du temps d’inférence pour révéler l’ensemble des comportements possibles et des capacités des agents
  • Évaluer les systèmes selon différents niveaux d’autonomie afin de comprendre leur performance et les risques qu’ils présentent dans des conditions environnementales changeantes, notamment lorsque l’accès aux outils et aux ressources varie, par exemple l’accès à la recherche sur le Web ou à l’exécution de code
  • Évaluer l’incidence de divers facteurs contextuels, notamment la présence ou l’absence d’autres agents ainsi que le moment de l’évaluation, afin de mesurer leur influence sur l’exécution des tâches
  • Effectuer des évaluations des capacités de façon continue tout au long du cycle de développement et d’exploitation des agents

Gestion des entrées

Des contrôles de gestion des entrées rigoureux peuvent atténuer en partie de nombreux risques courants associés aux applications basées sur des GML, y compris les agents d’IA.

Pratiques exemplaires recommandées

  • Mettre en place des contrôles rigoureux de validation en entrée et de nettoyage des entrées destinées aux agents
  • Intégrer des filtres de détection d’infiltration de requête et des mécanismes d’analyse sémantique pour identifier les tentatives d’instruction malveillante
  • Valider l’information contextuelle afin de s’assurer que le système interprète correctement l’intention avant l’exécution

Approche de l’équipe rouge

Les organisations devraient adopter l’approche de l’équipe rouge pour évaluer la sécurité et la résilience des agents d’IA.

Pratiques exemplaires recommandées

  • Déployer des environnements de bac à sable pour évaluer le comportement des agents avant leur mise en production
  • Mener des exercices effectués par les membres de l’équipe rouge afin de cerner les failles potentielles et les comportements inattendus.
  • Utiliser des techniques d’élicitation des capacités afin de déceler des capacités inattendues ou émergentes, en particulier celles qui pourraient créer des risques importants pour les ressources ou l’environnement.
  • Mettre en œuvre des essais de simulation d’agents, notamment par des exercices selon l’approche de l’équipe rouge et des essais de chaos.

Résilience

L’accroissement des capacités des agents d’IA s’accompagne d’une augmentation des risques liés à leurs défaillances ou à leurs comportements inattendus. Concevoir des systèmes d’IA agentive résilients capables de maintenir un niveau de fonctionnement acceptable et de réduire les dommages lorsqu’un comportement incorrect survient.

Pratiques exemplaires recommandées

  • Doter les systèmes d’IA agentive de paramètres par défaut à sûreté intégrée et de mécanismes de confinement permettant de circonscrire les effets de comportements imprévus
  • Mettre en œuvre des contrôles de prévention de la perte de données adaptés spécifiquement aux comportements des agents d’IA
  • Mettre en place des mécanismes de versionnage et de restauration permettant de revenir à des comportements d’agents connus et validés lorsqu’une imprévisibilité est détectée

Responsabilisation

Les systèmes d’IA agentive devraient produire des artéfacts et des renseignements exhaustifs retraçant les actions des agents et les processus ayant mené à leurs décisions

Pratiques exemplaires recommandées

  • Intégrer par défaut des mécanismes exhaustifs de journalisation des artéfacts
  • Mettre en œuvre des journaux de vérification centralisés couvrant toutes les interactions entre agents afin de maintenir une visibilité complète sur leurs échanges
  • Utiliser des outils d’interprétabilité afin d’assurer la capacité d’observation des décisions des agents et de comprendre le raisonnement qui les sous-tend
  • Veiller à ce que les agents indiquent la provenance des informations ayant servi à formuler les composantes essentielles de leurs réponses

Gérer les composantes tierces

L’extensibilité et la flexibilité sont des composantes essentielles des agents d’IA. L’intégration de composantes ou d’outils tiers améliore les capacités des agents, mais augmente également la surface d’attaque de l’agent La vérification et la gestion des composantes tierces des applications d’IA agentive permettent de réduire les risques supplémentaires associés à leur utilisation.

Pratiques exemplaires recommandées

  • Vérifier que toutes les composantes tierces externes proviennent de sources de confiance et sont à jour avant de les intégrer à des systèmes d’IA agentive
  • Maintenir un registre de confiance des composantes tierces
  • Lors de l’acquisition de systèmes d’IA agentive, consulter les publications de la CISA : A Shared Vision of Software Bill of Materials (SBOM) for Cybersecurity (en anglais seulement) et 2025 Minimum Elements for a Software Bill of Materials (SBOM) (en anglais seulement)
  • Restreindre l’utilisation des outils à une liste d’autorisation approuvée d’outils et de versions faisant l’objet de validations de sécurité périodiques
  • S’assurer que l’utilisation des outils par les agents respecte les politiques de sécurité établies et documentées
  • Consigner l’utilisation des outils par les agents et veiller à ce que les résultats soient enregistrés dans les journaux du système dans un format clair et lisible
  • Établir des protocoles de déclenchement d’actions qui restreignent automatiquement les autorisations des agents lorsqu’un comportement inattendu est détecté
  • Appliquer le principe de séparation des tâches en définissant des rôles distincts, comme orchestrateur, lecteur et actionneur, avec des limites claires, des mécanismes de consensus et une durée de validité déterminée
  • Appliquer des contrôles de consensus pour les actions à enjeux élevés nécessitant une approbation multiagent avant leur exécution
  • Interdire aux agents de modifier leurs propres privilèges ou d’initier des délégations non approuvées sans durée d’expiration explicite et sans chaîne d’octroi consignée
  • Utiliser un format normalisé pour les descriptions des outils afin d’éviter l’emploi d’un langage persuasif

Déployer les agents de façon sécurisée

Cette section s’adresse principalement aux fournisseurs et exploitants de systèmes d’IA agentive. Cette section peut servir de référence aux développeuses et développeurs afin de faciliter l’intégration de ces pratiques exemplaires dans les applications d’IA agentive.

L’intégration d’agents d’IA dans de nouveaux systèmes ou réseaux peut modifier de façon significative le profil de risque du système. En mettant en œuvre des contrôles de sécurité ayant une incidence importante lors du déploiement, les organisations gèrent de façon proactive les nouveaux risques et réduisent les vulnérabilités.

Modélisation des menaces

L’intégration de capacités d’IA agentive à un système existant peut transformer considérablement son contexte de menaces. L’utilisation de la modélisation des menaces lors de la préparation du déploiement d’un agent d’IA contribue à améliorer la compréhension des risques et à renforcer l’état de préparation des exploitants.

Pratiques exemplaires recommandées

  • Effectuer une modélisation réaliste des menaces en s’appuyant sur des taxonomies des risques à jour applicables aux systèmes d’IA agentive, comme les initiatives Open Web Application Security Project (OWASP) GenAI Security Project et MITRE ATLAS (en anglais seulement)
  • Concevoir et mettre en œuvre des contrôles de sécurité permettant de répondre aux capacités émergentes et évolutives des agents
  • Harmoniser les contrôles applicables à l’IA agentive avec les cadres de sécurité existants, les normes nationales et les ententes conclues avec les alliés, conformément à la norme Zero Trust Architecture du National Institute of Standards and Technology (NIST) (en anglais seulement)
  • Faire correspondre les contrôles de l’IA agentive aux cadres de sécurité et aux normes nationales existants afin d’assurer leur harmonisation avec les principes fondés sur le modèle à vérification systématique et les ententes conclues avec les alliés
  • Élaborer et tester des procédures d’intervention en cas d’incident permettant de détecter, de contenir et de rétablir les systèmes à la suite de la compromission d’un agent
  • Réaliser des évaluations périodiques par des tiers des architectures privilégiées, échanger du renseignement exploitable avec des partenaires de confiance et mettre à jour les modèles de risque pour tenir compte des nouvelles tendances observées chez les auteurs de menace

Gouvernance

L’autonomie des systèmes d’IA agentive crée de nouveaux risques qui exigent des politiques de gouvernance adaptées ainsi qu’une authentification continue à l’exécution et des mécanismes centralisés de prise de décision pour chaque action.

Pratiques exemplaires recommandées

  • Mettre en œuvre et maintenir des politiques de gouvernance pour encadrer les agents autonomes
  • Définir dans les politiques la responsabilité juridique et l’imputabilité à l’égard des risques liés aux systèmes d’IA agentive
  • Développer les compétences de l’organisation afin de renforcer la formation en matière d’IA

Pour obtenir de plus amples renseignements sur la mise en place d’une gouvernance de l’IA dans les environnements de technologies opérationnelles, prière de consulter la publication de la CISA : Principles for the Secure Integration of Artificial Intelligence in Operational Technology (en anglais seulement).

Déploiement progressif

Le profil de risque des agents d’IA peut varier considérablement selon les autorisations qui leur sont accordées et les actions qu’ils sont autorisés à exécuter. Une stratégie de déploiement progressive permet de réduire l’exposition aux risques au début du déploiement, jusqu’à ce que les exploitants ainsi que les utilisatrices et utilisateurs comprennent mieux les capacités et les limites de l’application d’IA agentive.

Pratiques exemplaires recommandées

  • Adopter une approche de déploiement progressif qui augmente graduellement les niveaux d’accès et d’autonomie, tout en restreignant les actions autorisées au besoin, par exemple à l’aide d’API limitées ou de mises en bac à sable
  • Accroître graduellement l’autonomie des agents tout en maintenant des mécanismes de surveillance humaine et une compréhension suffisante de leurs comportements
  • Utiliser une évaluation continue afin de déterminer à quel moment élargir la portée du système ou, en cas de défaillance, réduire l’autonomie et les accès accordés

Sécuriser par défaut

L’adoption de paramètres par défaut sûrs et sécurisés réduit les risques de déploiement et favorise le maintien de la sécurité lors d’une dégradation du système.

Pratiques exemplaires recommandées

  • Appliquer des paramètres par défaut à sûreté intégrée afin que les agents interrompent l’exécution de leurs tâches et sollicitent une intervention humaine lorsqu’une situation incertaine est détectée
  • Mettre en œuvre des mécanismes de traitement des erreurs et de basculement afin de limiter les impacts des défaillances du système
  • Concevoir des modèles de dégradation contrôlée afin de préserver les fonctions essentielles des agents malgré des défaillances partielles

Mécanismes de protection et contraintes

La mise en œuvre de mesures de protection et de contraintes applicables aux agents réduit l’exposition à de nombreux risques couramment associés à l’IA. L’ajout de ces mesures de protection et de ces contraintes lors du déploiement contribue à renforcer la confiance envers l’agent et à améliorer la compréhension de son fonctionnement.

Pratiques exemplaires recommandées

  • Établir des objectifs clairement délimités, accompagnés d’interdictions explicites concernant les actions à ne pas entreprendre
  • Mettre en œuvre des mesures de protection et des contraintes strictes, telles que des listes de rejets et des politiques de sécurité appliquées au niveau des API
  • Mettre en place des contrats de sécurité déclaratifs intégrant des contraintes et des mesures de protection impossibles à outrepasser par les agents
  • Appliquer un ensemble multicouche de mesures de protection, allant de la détection des anomalies et du filtrage fondé sur des règles jusqu’à des algorithmes spécialisés d’apprentissage automatique capables de détecter et de filtrer les comportements interdits
  • Accorder la priorité à l’examen des incidents à risque élevé, notamment lorsque des mesures de protection sont déclenchées ou que des actions sont refusées à la suite de vérifications manuelles
  • Déployer un agent secondaire afin de valider les nouvelles tâches au regard des politiques applicables avant leur exécution

Isolation

Le déploiement devrait tenir compte des exigences d'intégration des agents d'IA et appliquer des mesures d'isolation dans la mesure du possible. Cela contribue à limiter les répercussions en cascade advenant un comportement inattendu ou malveillant de l'agent.

Pratiques exemplaires recommandées

  • Appliquer des mesures d'isolation et de segmentation pour limiter la zone de souffle des scénarios de basculement impliquant des agents
  • Segmenter les agents à risque élevé dans des domaines distincts
  • Isoler les agents dans des enclaves ne disposant d'aucun accès en écriture aux journaux

Exploiter les agents de façon sécuritaire

Cette section s'adresse principalement aux fournisseurs et exploitants de systèmes d'IA agentive. Cette section peut servir de référence aux développeuses et développeurs afin de faciliter l'intégration de ces pratiques exemplaires dans les applications d'IA agentive.

Les avantages considérables associés à l'exploitation des agents d'IA s'accompagnent également de risques importants. Les exploitants doivent maintenir des pratiques rigoureuses de gestion de la sécurité afin d'empêcher que les agents ne créent davantage de problèmes qu'ils n'apportent de bénéfices.

Surveillance et vérification

L'un des principaux avantages des agents d'IA réside dans leur comportement dynamique. Cette capacité offre une grande souplesse d'utilisation, mais peut également rendre difficile la surveillance de ce que les agents devraient faire et de ce qu'ils font réellement. Mettre en œuvre des capacités de surveillance continue et de vérification afin de conserver une connaissance de la situation quant au fonctionnement des agents d'IA et d'assurer la traçabilité de leurs décisions et de leurs actions. Les processus de vérification continue renforcent les mesures de sécurité et assurent la conformité aux normes de gouvernance, notamment en matière de gestion des risques, de surveillance et de restrictions relatives à l'utilisation.

Pratiques exemplaires recommandées

  • Utiliser des outils de surveillance qui renforcent la supervision humaine des systèmes d'IA agentive
  • Mettre en œuvre une surveillance couvrant l'ensemble des opérations des agents, notamment leurs processus internes, et non uniquement les entrées et sorties
  • Assurer la surveillance et la journalisation des changements d'identité et de privilèges, puis réaliser des vérifications régulières pour détecter les dérives, les tentatives d'usurpation d'identité et les erreurs de configuration
  • Surveiller les résultats et les comportements des agents pour détecter des signes de biais, des dérives émergentes de données et d'autres tendances anormales
    • Intégrer à la surveillance l'ensemble des activités des agents, notamment les invites, les requêtes adressées aux outils, les interactions avec la mémoire, le raisonnement interne, les décisions prises et les actions réalisées
  • Conserver des journaux détaillés et assurer un suivi en temps réel des actions et des décisions des agents
  • Mettre en œuvre une surveillance à l'exécution et des mécanismes de détection des anomalies fondés sur des règles ou des profils comportementaux de référence afin de repérer les comportements inhabituels et de déclencher des alertes ou des pauses
  • Établir des mécanismes de détection des anomalies permettant de relever les divergences entre les intentions déclarées et les comportements observés
  • Mettre en œuvre plusieurs mécanismes de surveillance indépendants pour comparer et corroborer les rapports des agents avec les journaux système
  • Surveiller la dérive des objectifs en comparant les objectifs actifs aux spécifications de référence approuvées avant leur exécution
  • Intégrer la validation des sources aux journaux des agents pour consigner les outils employés par le système ainsi que l'information récupérée
  • Mettre en place des pratiques de vérification combinant des vérifications manuelles à l'analyse automatisée des journaux système
  • Prendre en charge des défenses adaptatives en exploitant les données de surveillance afin de permettre l'application rapide de correctifs
  • Mettre en œuvre des méthodes de journalisation optimisées pour le stockage afin de réduire le volume des journaux tout en préservant l'information essentielle
  • Détecter les anomalies dans les activités des agents au moyen de règles ou de profils comportementaux et déclencher une alerte ou une pause opérationnelle
  • Réaliser régulièrement des évaluations de sécurité, y compris des tests d'intrusion et des exercices effectués par l'équipe de testeuses et testeurs (équipe rouge), ciblant spécifiquement les comportements d'IA agentive

Validation des résultats

Les résultats générés par les agents d’IA fournissent certains des rares points de données concrets disponibles pour l’observation de leur comportement. S’assurer que les résultats sont valides et reflètent le comportement attendu constitue une mesure essentielle du bon fonctionnement.

Pratiques exemplaires recommandées

  • Confirmer l’exactitude des résultats des agents en les comparant à de multiples sources fiables
  • Valider les agents d’IA par recoupement dans des environnements où plusieurs agents redondants vérifient réciproquement leurs résultats
  • Mettre en place des mécanismes de validation des réponses permettant d’éviter les instructions malveillantes ou non sécuritaires, et normaliser les descriptions des outils pour éviter l’utilisation d’un langage persuasif

Avec intervention humaine

Les décisions erronées d'un agent d'IA peuvent avoir des répercussions majeures, y compris la perte de données importantes. L'intégration de mécanismes de supervision, d'approbation et de révision par un humain dans les flux de travaux de systèmes d'IA agentive constitue une mesure de contrôle importante pour assurer un fonctionnement sûr et sécurisé des systèmes, particulièrement lorsque les actions ont des répercussions importantes ou sont difficiles à annuler.

Pratiques exemplaires recommandées

  • S’assurer que les décisions nécessitant une approbation manuelle sont définies par les conceptrices et concepteurs du système ou les équipes d’exploitation, et non déléguées à un système d’IA agentive
  • Empêcher les agents d’exécuter automatiquement des actions ou des sorties ayant des répercussions importantes sans approbation humaine préalable
  • Ajouter des points de validation ou d’approbation avec intervention humaine pour les opérations à risque élevé, notamment les réinitialisations du système, les communications sortantes du réseau et la suppression d’enregistrements critiques
  • Mettre en quarantaine les demandes de suppression de journaux ou de dossiers d’audit jusqu’à ce qu’elles aient été examinées et approuvées par une personne
  • Définir clairement les rôles, les responsabilités et l’imputabilité relativement aux erreurs ou aux résultats négatifs causés par le système
  • Effectuer des évaluations des risques afin de classifier les actions des agents selon leur impact potentiel, leur probabilité d’occurrence et leur réversibilité, puis appliquer les mesures de protection appropriées

Surveillance des performances

Comme pour tout composant d'un système, la performance constitue un facteur important pour les agents d'IA. Cela est d'autant plus vrai qu'une dégradation de la performance ou un comportement inhabituel pourrait indiquer la compromission d'un agent ou d'un composant du système d'IA agentive

Pratiques exemplaires recommandées

  • Évaluer la capacité des agents à contourner les mesures de sécurité, particulièrement dans les systèmes sensibles ou à incidence élevée
  • Effectuer des évaluations régulières de la capacité d'un agent à contourner les mesures de protection, notamment les barrières de communication, les mécanismes de surveillance, les processus avec intervention humaine et les filtres d'entrée
  • Utiliser les résultats de ces évaluations pour confirmer l'efficacité des contrôles en place et améliorer les mesures de sécurité
  • Restreindre l'utilisation des ressources par les agents à l'aide de contrôles tels que des mécanismes de limitation de débit visant à interrompre les tâches persistantes et à contrer les flux de travaux malveillants

Privilèges et authentification

La gestion continue et rigoureuse des privilèges des agents d’IA constitue un élément essentiel de la sécurité à long terme. Des lacunes dans la gestion des privilèges peuvent transformer un problème mineur causé par un agent défaillant en incident catastrophique.

Pratiques exemplaires recommandées

  • Limiter les privilèges accordés aux agents d'IA au minimum requis pour l'exécution de leurs tâches
  • Limiter la portée des privilèges au strict nécessaire afin d'exercer un contrôle précis sur les actions permises
  • Instaurer des mécanismes de réputation et d'évaluation de la confiance des agents, puis diminuer le niveau de confiance en présence de comportements anormaux
  • Exiger une authentification juste‑à‑temps pour les actions à incidence élevée ou nécessitant des privilèges élevés
  • Vérifier l'identité de l'appelant d'une API par rapport à une utilisatrice ou un utilisateur ou encore à un groupe d'agents
  • Authentifier les agents au moyen de preuves cryptographiques récentes avant chaque appel privilégié
  • Exiger la signature cryptographique des commandes et des instructions autorisées
  • Appliquer des contrôles d'intégrité cryptographiques aux définitions de tâches et aux contraintes
  • Exiger une attestation cryptographique des agents pour confirmer l'intégrité du code qu'ils exécutent
  • Assurer une vérification continue de l'identité et des autorisations à l'exécution pour chaque requête à l'aide de mécanismes centralisés de prise de décision

Se protéger contre les risques futurs

À mesure que l'IA agentive est déployée dans un nombre croissant de rôles et gagne en capacités, les organisations doivent gérer de façon proactive les nouveaux risques qui en découlent. Bien que l'industrie et le milieu universitaire élaborent actuellement des pratiques visant à sécuriser l'IA agentive, ce domaine demeure émergent et nécessite la poursuite des travaux de recherche ainsi que l'opérationnalisation de la sécurité des agents afin de relever les défis émergents. Pour contribuer à l'élaboration de normes robustes de sécurisation des systèmes d'IA agentive, les organismes ayant rédigé la présente recommandent aux spécialistes de la sécurité et aux chercheuses et chercheurs de mettre en œuvre les mesures décrites dans les sections ci-dessous.

Accroître le renseignement sur les menaces grâce à la collaboration

Le renseignement sur les menaces visant les systèmes d'IA agentive est encore en évolution, ce qui peut créer d'importantes lacunes en matière de sécurité. Bien que des cadres existants, comme les initiatives OWASP 2025 Top 10 Risk & Mitigations for LLMs and Gen AI Apps (en anglais seulement) et MITRE ATLAS mettent l'accent sur les vulnérabilités des grands modèles de langage, les rapports de l'industrie portent davantage sur l'utilisation abusive des plateformes que sur les menaces propres à l'IA agentive. Par conséquent, certains vecteurs d'attaque propres à l'IA agentive pourraient ne pas encore être entièrement recensés ou pris en compte.

Pratiques exemplaires recommandées

  • Renforcer la collaboration entre les parties prenantes afin de suivre l'évolution des menaces visant les systèmes d'IA agentive et d'y répondre efficacement
  • Coordonner les travaux avec les principales développeuses et principaux développeurs d'IA et les organismes gouvernementaux afin de compiler et de maintenir le renseignement sur les menaces
  • Adopter une approche collaborative de la sécurité conforme aux modèles présentés dans le guide de la CISA AI Cybersecurity Collaboration Playbook (en anglais seulement)
  • Mettre en œuvre des mécanismes d'alerte, de collecte de données et de suivi des auteurs de menace et de leurs techniques
  • Réaliser des analyses ciblées des menaces et des capacités émergentes afin d'accroître la connaissance de la situation
  • Harmoniser le renseignement sur les menaces entre les différents secteurs afin d'établir des taxonomies communes des menaces permettant d'améliorer la modélisation des menaces et la conception de mesures d'atténuation plus efficaces

Élaborer des évaluations robustes adaptées aux agents

Bon nombre des méthodes actuelles d'évaluation de la sécurité de l'IA agentive demeurent en développement. Elles sont parfois sensibles à des changements subtils de formulation, dépendent du scénario évalué et ne reflètent que partiellement les conditions réelles de déploiement. Ces limites peuvent créer des lacunes susceptibles de masquer des enjeux de sécurité majeurs, rendant presque impossible la validation fiable de la sécurité des agents et des architectures système.

Pratiques exemplaires recommandées

  • Mettre au point des méthodes d'évaluation capables de renforcer la validation de la sécurité des systèmes d'IA agentive
  • Générer des ensembles de données de référence couvrant de nouveaux domaines et représentant des contextes de déploiement réalistes
  • Utiliser les résultats des évaluations pour confirmer l'efficacité des pratiques de sécurité émergentes et repérer les défaillances potentielles des agents
  • Partager les résultats des évaluations afin de renforcer les évaluations de sécurité et de favoriser l'évolution des pratiques de sécurité

Mettre à profit des approches systémiques fondées sur la théorie des systèmes afin d'analyser la sécurité

Les systèmes d'IA agentive reposent sur un écosystème complexe regroupant des GML, des intervenants humains, des mesures de protection, des ensembles de données, des outils et de l'équipement informatique. Les risques de sécurité découlent souvent des interactions entre les composantes plutôt que de vulnérabilités isolées. L'analyse traditionnelle au niveau des composantes est insuffisante, et la surveillance de ces systèmes demeure difficile en raison de seuils de prise de décision mal définis, de longues chaînes de raisonnement et de journaux volumineux, souvent redondants. Les méthodes de journalisation locales offrent rarement une visibilité complète, ce qui rend les approches fondées sur la théorie des systèmes essentielles pour comprendre et atténuer les risques à l'échelle de l'architecture.

Pratiques exemplaires recommandées

  • Utiliser des approches fondées sur la théorie des systèmes pour analyser les systèmes d'IA agentive et déterminer les mesures de sécurité appropriées
  • Appliquer l'analyse des processus fondée sur la méthodologie STPA (System Theoretic Process Analysis) et son extension en sécurité, la méthode STPA‑Sec :
    • pour analyser des systèmes conceptuels ou opérationnels
    • déterminer les enjeux de sécurité
    • évaluer les risques associés à la mission et orienter les stratégies d'atténuation appropriées
  • Utiliser l'analyse causale fondée sur la théorie des systèmes (CAST pour Causal Analysis using System Theory) pour enquêter sur les incidents de sécurité et déterminer leurs causes profondes à l'échelle du système
  • Appliquer les méthodes STPA et CAST afin de traiter simultanément les enjeux de sûreté et de sécurité tout au long du cycle de vie des systèmes d'IA agentive
Haut de la page 

Conclusion

Bien que les systèmes d'IA agentives offrent des avantages considérables sur le plan de l'automatisation, leur autonomie opérationnelle dans des environnements interconnectés engendre des risques distincts de ceux des applications traditionnelles et de l'IA générative. Comme il est indiqué dans cette publication, l'élévation des privilèges, les comportements émergents, les dépendances structurelles et les lacunes en matière de responsabilisation peuvent interagir de façon imprévisible. À mesure que les organisations confèrent davantage de pouvoirs et de responsabilités opérationnelles aux systèmes d'IA agentive, ces risques combinés deviennent de plus en plus difficiles à prévoir, à détecter et à contenir.

Les organisations devraient aborder leur adoption avec une vigilance accrue, en reconnaissant qu'une plus grande autonomie accentue les conséquences des vices de conception, des erreurs de configuration et d'une surveillance incomplète. Déployer l'IA agentive de façon progressive, la limiter à des tâches clairement définies présentant un faible risque et l'évaluer continuellement en fonction de modèles de menace en évolution.

Une gouvernance solide, une imputabilité clairement définie, une surveillance rigoureuse et une supervision humaine ne sont pas de simples mesures d'atténuation, mais des conditions préalables essentielles. Tant que les pratiques de sécurité, les méthodes d'évaluation et les normes n'auront pas atteint un niveau de maturité suffisant, les organisations devraient partir du principe que les systèmes d'IA agentive peuvent se comporter de manière inattendue. Les organisations devraient planifier leurs déploiements en conséquence, en accordant la priorité à la résilience, à la réversibilité et au confinement des risques plutôt qu'aux gains d'efficacité.

Renseignements complémentaires

Les listes suivantes regroupent des ressources additionnelles et connexes provenant de partenaires du gouvernement et de l'industrie.

Ressources de la NSA

Ressources du UKNCSC-UK

Autres ressources

Haut de la page 

Annexe A

Utiliser les prérequis de cybersécurité suivants avant la mise en œuvre d’agents d’IA.

Conception

  • Mettre en œuvre une authentification robuste en respectant les principes de la sécurité dès la conception
  • Intégrer des exigences de transparence dans l’architecture du système afin de permettre la détection d’indicateurs de tromperie.
  • Utiliser des cadres d’applications, tels que l’authentification à vérification systématique, la norme ASVS ou OAuth2.
  • Mettre en place l’infrastructure du système dans un environnement sécurisé et de bac à sable, avec chiffrement des données, limitation de débit et nettoyage des entrées.
  • Appliquer le principe de droit d’accès minimal en n’accordant à l’agent que les droits minimaux nécessaires à l’exécution de sa tâche.
  • Limiter les droits d’utilisation aux seules ressources, opérations et périodes requises.
  • Remplacer les secrets statiques à longue durée par des justificatifs d’identité éphémères qui expirent une fois la tâche terminée.
  • Définir la portée des privilèges nécessaires pour les sous-tâches de façon dynamique et retirer immédiatement les droits accrus une fois ceux-ci terminés afin d’éviter l’accumulation graduelle de privilèges.
  • Concevoir l’architecture des agents en s’appuyant sur des protocoles sécurisés et des paramètres par défaut sûrs qui respectent les normes de communication et les politiques de sécurité.
  • Appliquer la validation des messages par défaut afin que chaque composante soit vérifiée quant à son intégrité et à sa fraîcheur avant d’être utilisée.

Développement

Date de modification :