Sélection de la langue

Government of Canada / Gouvernement du Canada

Les 10 mesures de sécurité en matière d’intelligence artificielle : Introduction - ITSAP.10.049

À une époque où l’intelligence artificielle (IA) progresse rapidement, les organisations font face à des risques de sécurité accrus. Parmi ces risques, notons le vol de données, l’atteinte à la réputation et les pertes opérationnelles et financières qui découlent de l’utilisation adverse de l’IA, d’attaques sur des systèmes d’IA, ou du mauvais usage de l’IA par des utilisatrices et utilisateurs commerciaux.

Le Centre canadien pour la cybersécurité (Centre pour la cybersécurité) joue un rôle essentiel pour protéger les organisations canadiennes contre ces menaces. Nos principales mesures de sécurité en matière d’IA visent à aider les secteurs et les organisations de toutes tailles à renforcer leur cyberrésilience. Les mesures de sécurité en matière d’IA que nous recommandons soutiennent les 10 mesures de sécurité des TI (ITSM.10.089) déjà en place, mais ne les remplacent pas.

En adoptant des mesures de sécurité propres à l’IA, les organisations peuvent établir des infrastructures et des processus fondés sur l’IA qui sont plus résilients, ce qui leur permettra de minimiser les risques d’intrusions liées à l’IA, de mauvaise utilisation de l’IA et de compromissions de systèmes découlant de l’IA, de même que les conséquences connexes.

Nos principales mesures de sécurité en matière d’IA sont classées selon les trois piliers suivants :

Compte tenu de la rapidité à laquelle les solutions d’IA sont développées et adoptées, nous prévoyons que les risques et les mesures évolueront au cours des dix prochaines années. Dans un avenir proche, les trois piliers devraient toutefois demeurer les mêmes, malgré l’évolution des méthodes et des modèles d’IA.

Haut de la page
 

Pilier 1 : Protection contre l’utilisation adverse de l’IA

Ce pilier présente des mesures que peut adopter votre organisation afin d’améliorer sa capacité à protéger son environnement contre l’utilisation adverse de l’IA.

1re mesure : Mettre en place des mesures d’atténuation contre le débridage et l’infiltration de requête

  • Nettoyer les données d’entrée.
  • Isoler les requêtes de système et protéger l’historique des requêtes.
  • Appliquer des filtres de sortie et des contrôles politiques.
  • Restreindre les agents et les outils à risque élevé en mettant en place des contrôles d’identité et d’accès basés sur les rôles.
  • Valider les actions en aval (fichiers, code et outils) avant toute exécution.
  • Mettre en quarantaine les données de sortie anormales.
  • Réduire l’accès aux données privées par les modèles d’IA.
  • Limiter l’exposition au contenu qui n’est pas fiable.
  • Limiter la capacité pour les systèmes d’IA de communiquer à l’externe (comme les données intégrées dans des URL d’images en Markdown).

Pourquoi cette mesure est-elle importante? Mesure 1

Imaginez que vous discutez avec un agent conversationnel intelligent, mais qu’une ou un pirate informatique trouve une façon d’insérer à votre insu des commandes sournoises dans vos questions. Ces commandes poussent alors l’IA à faire des choses qu’elle ne devrait pas faire, comme exécuter des commandes informatiques nuisibles.

Une telle situation s’est d’ailleurs produite en 2025 avec GitHub Copilot. Des auteurs de menace ont fait preuve d’ingéniosité en infiltrant une requête pour que du code dangereux soit exécuté à distance. Microsoft a rapidement apporté un correctif, ce qui démontre la grande importance de détecter rapidement ces compromissions dissimulées pour assurer la sécurité de l’IA.Notes de bas de page 1

2e mesure : Lutter contre l’hypertrucage et l’usurpation d’identité

  • Déployer des mécanismes de vérification et de détection par rapport à l’authenticité des médias.
  • Appliquer des mécanismes rigoureux de vérification de l’identité et d’authentification multifacteur résistante à l’hameçonnage (y compris des NIP de rencontre) pour les conférences et la messagerie.
  • Former le personnel pour qu’il vérifie les demandes inhabituelles sur tous les canaux.
  • Mettre en place une vérification hors bande pour les actions sensibles.
  • Mettre en œuvre des mécanismes pour prévenir les mauvaises utilisations, comme les fraudes et le piratage psychologique à grande échelle.
  • Surveiller les mystifications vidéos et vocales et l’hameçonnage générés par l’IA.
  • Adopter nos 10 mesures de sécurité des TI (ITSM.10.089), y compris la sécurisation des comptes en ligne pour réduire le détournement et limiter l’incidence de la désinformation ou des fausses affirmations.
  • Indiquer par défaut que tous les signaux d’identification (comme les voix et les vidéos) ne sont pas fiables jusqu’à ce que votre organisation effectue une vérification.
  • Mettre en œuvre des processus robustes de liaison d’identité pour les fonctions opérationnelles à risque élevé, comme les finances, les privilèges administratifs et l’accès à de l’information de nature sensible.
  • Appliquer l’évaluation des risques liés à l’identité pour l’IA lorsqu’elle est utilisée afin d’amorcer ou d’accélérer des actions en particulier, de sorte à déterminer la probabilité qu’il y ait une compromission.

Pourquoi cette mesure est-elle importante? Mesure 2

Au début de 2024, une firme de design et d’ingénierie britannique a perdu des millions de dollars/livres lorsqu’un auteur de menace recourant à des technologies d’hypertrucage alimentées par l’IA a usurpé l’identité de la directrice financière ou du directeur financier de la société. Durant un appel vidéo, l’auteur de menace a réussi à berner une ou un employé travaillant à Hong Kong afin qu’il transfère des fonds dans de faux comptes. L’argent a rapidement disparu dans un compte à l’étranger.

En mai 2025, un incident distinct a mis en relief de quelle manière une grande société publicitaire mondiale a évité de justesse une fraude similaire. Dans cette situation, un auteur de menace s’est servi d’un hypertrucage (vidéo et voix) de la ou du PDG et de membres de la haute direction lors d’une rencontre sur Microsoft Teams pour essayer de pousser le personnel à fournir de l’information confidentielle et à procéder à des paiements.Notes de bas de page 2

3e mesure : Renforcer les mécanismes de défense contre les fraudes et les cyberattaques générées par l’IA

  • Mettre à niveau les analyses de détection d’attaques par bourrage d’identifiants et de vérifications automatisées de volume élevé.
  • Appliquer la limitation de débit, la détection de robots logiciels et l’authentification adaptative.
  • Adopter des principes et des pratiques exemplaires axés sur la vérification systématique.
  • Établir des normes claires en ce qui a trait au code, à la documentation et à la qualité des données.
  • Réusiner régulièrement les modèles et le code à mesure que les systèmes évoluent.
  • Veiller à la maintenance continue, aux tests automatisés et à l’examen de code proactif.
  • Assurer une surveillance continue pour atténuer la « dette technique » et améliorer la fiabilité et l’adaptabilité à long terme d’un système d’IA.
  • Former le personnel concernant les menaces liées à l’IA et créer des programmes de sensibilisation sur mesure qui portent entre autres sur ce qui suit :
    • la communication de rapports de renseignement;
    • la résolution de problèmes connus pour améliorer la résilience en perfectionnant le personnel et en divulguant les vulnérabilités.

Pourquoi cette mesure est-elle importante? Mesure 3

Au début de 2025, le nombre d’attaques par rançongiciel a grimpé de près de 150 %. Une nouvelle tendance s’est dessinée où des auteurs de menace se servent de l’IA pour créer des courriels d’hameçonnage parfaits qui semblent provenir de la banque ou de sa patronne ou son patron. Certains maliciels propulsés par l’IA peuvent se transformer (ce que l’on appelle les maliciels polymorphes). Ils se comportent normalement sur votre ordinateur, ce qui vous empêche de les détecter avant qu’il ne soit trop tard.

Les rançons demandées sont passées de centaines de milliers de dollars à des millions de dollars, tandis que le niveau d’effort à déployer par les auteurs de menace a quant à lui diminué de façon importante.Notes de bas de page 3

Haut de la page
 

Pilier 2 : Protection des systèmes d’IA

Ce pilier présente des mesures que peut prendre votre organisation pour améliorer sa capacité à protéger les systèmes d’IA.

4e mesure : Mener des tests et adopter l’approche de l’équipe rouge par rapport à l’IA pour cerner les modifications

  • Évaluer régulièrement les modèles, les pipelines et les interfaces pour contrer les attaques connues (comme les extractions, les infiltrations de requête et les empoisonnements).
  • Mettre à jour les mesures de protection selon l’évolution des exploits.
  • Prioriser les modèles vérifiés, signés et bien maintenus en se basant sur les évaluations des risques.
  • Appliquer rapidement les correctifs et les mises à jour à la configuration.
  • Élaborer des plans de reprise des activités pour offrir des options en cas de déploiements défaillants.
  • Mettre en place des plans d’intervention en cas d’incident et de reprise des activités en cas de désastre pour les systèmes d’IA.

Pourquoi cette mesure est-elle importante? Mesure 4

En juillet 2025, des chercheuses et chercheurs ont trouvé un exploit qui empoisonnait des données critiques dans Microsoft 365 Copilot et dans des systèmes d’IA de génération améliorée par récupération d’information similaires. Des auteurs de menace y injectaient des documents empoisonnés pour manipuler de façon persistante les données de sortie d’IA. Cet exploit a démontré le danger de ne pas mener suffisamment de tests en continu et de ne pas suffisamment mettre à jour les mesures de protection de l’IA contre des attaques qui ne cessent d’évoluer.Notes de bas de page 4

5e mesure : Protection contre l’empoisonnement de données

  • Faire le suivi de la provenance des données.
  • Préparer des ensembles de données versionnés.
  • Renforcer les environnements d’entraînement ou utiliser des architectures dans des environnements de bac à sable.
  • Activer des mécanismes de détection d’anomalies et de biais pour les données ingérées (y compris les sources de contenu et les nouvelles manipulées ou reflétées).
  • Mettre en place un entraînement et un perfectionnement des contrôles à l’aide de modèles et de flux de travaux d’approbation et de plans de restauration des données.
  • S’assurer que des mesures rigoureuses pour contrôler l’accès et l’identité sont en place pour toutes les parties de la chaîne d’opérations et de données.

Pourquoi cette mesure est-elle importante? Mesure 5

En 2024, des chercheuses et chercheurs en sécurité qui travaillaient avec Wiz et Hugging Face ont découvert un risque : des auteurs de menace pouvaient téléverser des données empoisonnées dans les répertoires d’ensembles de données de Hugging Face. Cette vulnérabilité menaçait les pipelines d’IA de plusieurs organisations qui utilisaient leurs modèles et leurs données. Elle exposait le faible suivi des sources de données et l’absence de détection d’anomalies dans les données ingérées.Notes de bas de page 5

6e mesure : Mettre en place des contrôles d’utilisation des données et des mesures de prévention contre le vol de modèles

  • Adopter par défaut une politique qui empêche l’utilisation des données pour entraîner un modèle et appliquer des contrôles de partage de données stricts.
  • Mettre en œuvre les clauses contractuelles des fournisseurs.
  • Consigner dans un journal et vérifier tous les modèles et l’accès aux données.
  • Surveiller les interfaces de programmation d’applications (API) pour les tendances relatives à l’extraction (comme les requêtes de masse ou la collecte d’étiquettes).
  • Empêcher les fuites de données sensibles en prévenant les pertes de données et en retirant les données secrètes.

Pourquoi cette mesure est-elle importante? Mesure 6

Des auteurs de menace mènent des attaques d’extraction de modèles en envoyant beaucoup de requêtes à un modèle d’apprentissage automatique et en se servant des réponses obtenues pour entraîner une copie du modèle ayant des fonctionnalités similaires. L’application de mesures de défense, comme la limitation de débit de l’API, l’authentification, la surveillance des requêtes, la technique de tatouage de modèle et les protections juridiques, peut empêcher la reproduction non autorisée de modèles et les fuites de données.

7e mesure : Sécuriser les processus liés aux chaînes d’approvisionnement et à l’ingénierie de l’IA

Pourquoi cette mesure est-elle importante? Mesure 7

En 2024, le groupe NullBulge a mené des attaques visant des chaînes d’approvisionnement importantes dans des répertoires de source ouverte liés à l’IA qui se trouvaient sur GitHub et Hugging Face. En injectant des charges malveillantes de Python dans des outils d’IA largement utilisés et des dépendances, ils ont réussi à exfiltrer des données sensibles et à déployer des rançongiciels dans des systèmes en aval.

Cet incident a mis en évidence les dangers de la dette technologique lorsque des solutions d’IA sont rapidement adoptées sans contrôle de sécurité robuste. L’incident a aussi démontré le besoin urgent d’avoir une ingénierie sécurisée de base, des artéfacts signés de manière cryptographique et une nomenclature logicielle complète tout en respectant les cadres de sécurité reconnus.Notes de bas de page 6

Haut de la page
 

Pilier 3 : Protection des utilisatrices et utilisateurs ainsi que des processus opérationnels

Ce pilier présente des mesures que peut prendre votre organisation pour améliorer sa capacité à protéger les utilisatrices et utilisateurs ainsi que les processus opérationnels.

8e mesure : Appliquer les contrôles des fournisseurs, les contrôles contractuels et les contrôles de confidentialité des données.

  • Classifier et minimiser les renseignements personnels dans les requêtes.
  • Chiffrer les données en transit et inactives.
  • Appliquer des mesures pour prévenir des pertes de données, des contrôles d’accès et des limites de conservation.
  • Exiger de la transparence, des droits de vérification, une responsabilité et des restrictions d’utilisation (pour des enjeux liés à la propriété intellectuelle et au droit d’auteur).
  • Soutenir l’étiquetage du contenu d’IA générative pour améliorer la transparence.
  • Définir et représenter les modèles approuvés et non approuvés qui sont sur un réseau.
  • Mettre en œuvre des politiques, des processus et des outils pour régir l’utilisation de l’« IA fantôme ».
  • Créer une politique opérationnelle interne pour l’utilisation acceptable d’outils d’IA.
  • Appliquer des listes d’autorisation et d’interdiction pour les solutions d’IA.
  • Élaborer des clauses relatives à l’approvisionnement pour les fournisseurs d’outils ou de solutions générés par l’IA pour éviter toute atteinte à la réputation.

Afin de répondre aux attentes en matière de réglementation et de gérer les risques liés aux fournisseurs, les contrats établis avec des fournisseurs d’IA doivent définir explicitement les clauses liées à l’utilisation des données, à la protection de la vie privée, à la vérification et à la responsabilité connexe. Ces clauses doivent :

  • Interdire l’utilisation non autorisée des données organisationnelles pour l’entraînement d’un modèle;
  • Garantir l’application du chiffrement et de contrôles d’accès pour les renseignements personnels;
  • Exiger des droits de vérification et la transparence des fournisseurs;
  • Intégrer des responsabilités et des restrictions d’utilisation pour se protéger contre les fuites de données, la réutilisation non autorisée, l’atteinte à la réputation ou des dommages juridiques.

Pourquoi cette mesure est-elle importante? Mesure 8

Des politiques internes, dont des listes d’outils d’IA approuvés et des contrôles liés à l’IA fantôme, font en sorte que les outils d’IA sont utilisés en toute sécurité, conformément aux lois régissant la protection de la vie privée ainsi qu’aux obligations contractuelles.

9e mesure : S’assurer qu’une surveillance humaine et des contrôles humains liés à l’exécution sont en place

  • Intégrer des vérifications humaines dans des flux de travaux multi-agents automatisés.
  • Offrir des outils d’explicabilité et des pistes de décision vérifiables.
  • Mettre en place des processus d’acheminement, de triage, de limitations de débit et d’interruption ou des procédures d’arrêt d’urgence pour les actions ayant une grande incidence.

Pourquoi cette mesure est-elle importante? Mesure 9

En 2025, une société de technologies de RH a retiré la vérification humaine de son processus de sélection de candidatures basé sur l’IA, ce qui a entaché sa réputation et a entraîné un examen juridique. L’absence de surveillance humaine a permis à des biais algorithmiques non vérifiés d’influencer les décisions d’embauche. À la suite de cette découverte, l’organisation a restauré les contrôles humains dans le processus, a ajouté des vérifications d’exécution et a établi des pistes de décision vérifiables pour garantir la surveillance de tous les résultats découlant de l’IA et leur correction par des humains, au besoin.Notes de bas de page 7

10e mesure : Maintenir une résilience opérationnelle contre la dérive de modèle, les hallucinations, les biais et la dépendance excessive

  • Assurer une surveillance continue pour détecter les dérives et la dégradation de la performance.
  • Entraîner de nouveau les modèles qui dépassent les limites validées ou les retirer.
  • S’assurer continuellement de la transparence des décisions fondées sur l’IA pour mieux comprendre les décisions des modèles et les résultats connexes.
  • Ajouter des mécanismes d’évaluation de la vérité et un examen humain pour les résultats critiques.
  • Vérifier les biais et la mauvaise utilisation.
  • Maintenir des procédures de substitution et la formation des utilisatrices et utilisateurs pour éviter une dépendance excessive.
  • Exiger un examen humain pour éviter l’insertion de conteneurs et d’éléments inventés pour le code logiciel que pourraient s’approprier des auteurs de menace.
  • Mettre en place des mesures de détection et des seuils de ré-entraînement.

Pourquoi cette mesure est-elle importante? Mesure 10

Des organismes de réglementation financière, dont le Bureau du surintendant des institutions financières Canada (BSIF), jugent que le risque lié aux modèles d’IA représente une préoccupation grandissante en matière de supervision, particulièrement les risques découlant de données de mauvaise qualité, de la dérive de modèle, du manque de transparence, des biais et de la dépendance excessive aux résultats automatisés. Le BSIF a signalé que les systèmes d’IA mal régis peuvent produire des résultats non fiables ou inattendus, ce qui pourrait mener à une perturbation opérationnelle, à une perte financière, à un risque de responsabilité et à une atteinte à la réputation s’ils ne sont pas activement surveillés et contrôlés.

À mesure que les modèles évoluent et que les conditions changent, le maintien de la résilience exige une surveillance continue de la performance, une explicabilité, une supervision humaine pour les décisions critiques et des procédures de substitution claires pour faire en sorte que les systèmes d’IA respectent les limites validées et acceptables en ce qui a trait au risque.Notes de bas de page 8

Haut de la page
 
Haut de la page
 
Date de modification :