Sécurité et gouvernance des agents IA pour les PME : les leçons de l’incident Hugging Face

Par Al Quadros, vice-président, Services professionnels et prévente, Quadbridge

Les agents IA sont déjà présents au sein des entreprises. Ils consultent des boîtes de réception, rédigent des réponses, soutiennent les équipes de développement, effectuent le rapprochement de factures et automatisent des tâches qui étaient autrefois réalisées par les employés.

Cela devrait être une bonne nouvelle pour les PME et les organisations du marché intermédiaire. Les agents peuvent aider les équipes à gagner en efficacité, à réduire les tâches manuelles et à accomplir davantage avec les mêmes ressources. Mais il y a un enjeu important : de nombreux agents sont déployés plus rapidement que les mécanismes de gouvernance qui devraient les encadrer. Certains échappent aux processus d’approvisionnement. D’autres n’ont pas de responsable clairement désigné. Certains fonctionnent à l’aide d’identifiants appartenant à un utilisateur. D’autres interagissent avec des systèmes qui n’ont jamais fait l’objet d’un examen officiel. C’est ainsi qu’une automatisation utile peut discrètement devenir une source de risque non gérée.

L’incident récent chez Hugging Face est important puisqu’il démontre ce qui peut se produire lorsque des agents très performants disposent d’un accès trop étendu sans encadrement adéquat. La leçon n’est pas de ralentir ou de freiner l’adoption de l’IA. Elle consiste plutôt à mettre en place une structure de gouvernance autour des agents avant qu’ils ne soient intégrés à l’ensemble de l’organisation.

Pour les PME, c’est le moment d’adopter une approche concrète en matière de sécurité et de gouvernance des agents IA.

La véritable leçon : l’accès, la portée et les autorisations

L’incident Hugging Face n’est pas seulement une histoire de modèles d’IA avancés ayant eu des comportements inattendus. C’est aussi une histoire d’accès, de portée et d’autorisations. Lors d’évaluations internes en cybersécurité, des modèles d’OpenAI ont réussi à contourner des mécanismes conçus pour les isoler d’Internet et ont compromis certaines composantes de l’environnement de recherche interne d’OpenAI ainsi que des systèmes de Hugging Face.

Un élément important du rapport d’analyse d’OpenAI est que les mesures de protection les plus robustes offertes aux clients n’étaient pas appliquées de la même façon dans cet environnement de test. Cela démontre que les mécanismes de contrôle intégrés aux plateformes commerciales peuvent faire une réelle différence. Pour les PME qui utilisent des plateformes éprouvées, c’est une bonne nouvelle : les protections intégrées aux environnements de production offrent une sécurité tangible.

Cependant, ces mesures de protection ne règlent qu’une partie du problème. Elles contribuent à réduire le risque qu’un modèle adopte un comportement inattendu, mais elles ne déterminent pas automatiquement à quelles ressources un agent peut accéder au sein de votre organisation. Cette responsabilité vous appartient toujours. Si un agent dispose d’un accès étendu aux courriels, aux systèmes financiers, aux plateformes infonuagiques, aux partages de fichiers ou aux données clients, les mécanismes de protection de la plateforme ne suffiront pas à eux seuls à garantir un environnement sécuritaire. L’organisation doit encore définir ce à quoi l’agent peut accéder, ce qu’il est autorisé à faire, à quel moment une approbation humaine est requise et comment interrompre ses activités si un problème survient.

La conclusion est simple : les mécanismes de protection sont essentiels, mais ils ne remplacent pas une gouvernance solide.

Pourquoi les PME doivent y porter attention

Il peut être tentant de croire que la sécurité des agents IA concerne surtout les laboratoires de pointe ou les grandes entreprises. Ce serait une erreur. Les grandes organisations disposent souvent de mécanismes de gouvernance des identités, de segmentation réseau, d’équipes de sécurité dédiées, de processus d’approvisionnement formels et de pratiques de surveillance bien établies. Ces contrôles ne sont pas parfaits, mais ils ajoutent des couches de protection. Lorsqu’un comportement inattendu survient, davantage de barrières sont en place pour en limiter l’impact.

La réalité est souvent différente dans les PME et les organisations du marché intermédiaire. Les équipes TI sont plus petites. Les environnements sont parfois moins segmentés. Les autorisations s’accumulent au fil du temps. Certaines clés API demeurent actives plus longtemps qu’elles ne le devraient. Des identifiants partagés peuvent encore être utilisés parce qu’ils étaient pratiques à une période de forte croissance. Dans ce contexte, un agent n’a pas besoin d’exploiter une vulnérabilité complexe. Il lui suffit parfois d’utiliser les accès qui lui ont été accordés dès le départ.

La rapidité est un autre facteur à considérer. Les agents peuvent agir rapidement, exécuter des tâches en continu et fonctionner en dehors des heures normales de travail. Un modèle d’intervention qui repose sur la détection d’une activité inhabituelle le lundi matin n’est plus suffisant lorsqu’un agent peut parcourir plusieurs systèmes pendant la nuit. Cela ne signifie pas que les PME devraient éviter les agents IA. Au contraire, ceux-ci peuvent représenter un véritable avantage concurrentiel en automatisant des tâches qui exigeaient auparavant davantage de ressources et de processus. Toutefois, les organisations qui en tireront le plus de valeur seront celles qui définiront dès le départ ce qu’un agent est autorisé à faire sans intervention humaine.

La sécurité des agents IA et leur gouvernance sont deux concepts distincts

L’une des distinctions les plus importantes que les dirigeants de PME doivent comprendre est la différence entre la sécurité des agents IA et leur gouvernance.

• La sécurité des agents IA concerne le contrôle et le confinement des risques.
  À quelles ressources l’agent peut-il accéder? Que peut-il faire avec ces accès? Comment limiter les impacts s’il adopte un comportement inattendu? Il s’agit avant tout d’un enjeu d’infrastructure, de gestion des identités, de contrôle des accès et de surveillance.
• La gouvernance des agents IA concerne les autorisations et la prise de décision..
  Qui a approuvé l’agent? Quelles décisions est-il autorisé à prendre de façon autonome? Qui en est responsable? Quelles données peut-il utiliser? Quelles actions nécessitent une révision ou une approbation humaine? Comment savoir s’il est toujours en service six mois plus tard?

Les deux sont essentiels, mais ils ne sont pas interchangeables. La sécurité réduit l’exposition aux risques techniques. La gouvernance établit la responsabilisation.

La gouvernance est aussi un domaine où les PME peuvent progresser rapidement. Il n’est pas nécessaire de mettre en place un programme complexe pour commencer. Il suffit d’avoir un inventaire des agents, un responsable désigné, un processus d’approbation simple et une définition claire de ce que les agents peuvent et ne peuvent pas faire de façon autonome.

Si vous ne savez pas combien d’agents sont en activité dans votre environnement, qui en est responsable ou quels identifiants ils utilisent, ce n’est pas un échec. Cela signifie simplement que les agents ont été déployés plus rapidement que les mécanismes de gouvernance. La prochaine étape consiste à les intégrer dans votre cadre de gouvernance.

Cinq contrôles à mettre en place avant de déployer votre prochain agent IA

L’objectif n’est pas de créer de la bureaucratie. Il s’agit plutôt de mettre en place suffisamment de structure pour que les agents IA génèrent de la valeur sans devenir une source de risque non gérée. Pour la plupart des PME, ces cinq contrôles constituent un excellent point de départ.

1. Dressez un inventaire de vos agents IA

Il est impossible de gouverner ce que l’on ne voit pas. Tous les agents, robots, automatisations et intégrations alimentées par l’IA devraient être répertoriés dans un registre centralisé. Au minimum, documentez leur fonction, leur responsable, les systèmes auxquels ils accèdent, les identifiants qu’ils utilisent et la personne qui a approuvé leur déploiement.

Attendez-vous à faire quelques découvertes surprenantes. Dans bien des organisations, les cas les plus intéressants ne se trouvent pas nécessairement dans les équipes d’ingénierie. Ils émergent plutôt des opérations des ventes, des finances, du service à la clientèle, du marketing ou d’autres équipes qui ont trouvé des moyens concrets d’automatiser leur travail bien avant la mise en place d’un processus officiel.

2. Attribuez une identité unique à chaque agent IA

Les agents ne devraient jamais fonctionner à l’aide d’identifiants partagés ou associés à un utilisateur. Lorsqu’un agent utilise les identifiants ou la clé API d’une personne, la visibilité diminue considérablement. Il devient difficile de distinguer l’activité de l’employé de celle de l’agent dans les journaux d’audit, et la révocation de l’accès de l’agent peut perturber le travail de l’employé.

Chaque agent devrait disposer de sa propre identité, limitée à son rôle et à ses fonctions. Lorsque possible, privilégiez des jetons à durée de vie limitée ou à portée restreinte plutôt que des identifiants permanents offrant un accès étendu. Il s’agit de l’un des contrôles les plus efficaces, puisqu’il améliore simultanément la visibilité, la responsabilisation et le confinement des risques.

3. Limitez les autorisations à la tâche à accomplir

Un agent ne devrait avoir accès qu’aux ressources dont il a besoin pour accomplir sa tâche. Cela peut sembler évident, mais les autorisations étendues sont fréquentes, puisqu’elles sont plus simples à configurer et plus rapides à dépanner.

Avec les agents IA, ce qui est pratique peut rapidement devenir un risque. Un agent chargé du rapprochement des factures peut avoir besoin d’un accès en lecture à deux systèmes et d’un accès limité en écriture à un seul. Il n’a pas besoin de privilèges complets d’administrateur des finances. Il n’a pas besoin d’accéder aux données du CRM. Il n’a pas non plus besoin d’accéder à l’infrastructure de production sous prétexte que « quelqu’un pourrait en avoir besoin plus tard ».

La bonne question est simple : quel est le niveau minimal d’accès dont cet agent a besoin pour accomplir la tâche qui lui est confiée?

4. Définissez ce qui nécessite une approbation humaine

Il s’agit de l’une des décisions de gouvernance les plus importantes, et elle n’a pas besoin d’être complexe. Déterminez quelles actions un agent peut exécuter de façon autonome et lesquelles doivent être approuvées par une personne avant leur exécution.

Pour les PME, une règle simple peut s’appliquer : toute action qui implique des mouvements de fonds, des modifications d’autorisations, l’envoi massif de communications externes, la suppression de données ou des changements aux systèmes de production devrait nécessiter une approbation humaine. Cela ne signifie pas que tous les agents doivent être ralentis. Cela signifie simplement que les actions présentant le plus de risques doivent faire l’objet d’une intervention humaine avant leur exécution.

L’objectif n’est pas de traduire un manque de confiance. Il s’agit d’assurer une responsabilisation claire.

5. Consignez l’activité des agents et assurez-vous de pouvoir les arrêter rapidement

Si l’activité des agents est indistincte de celle des utilisateurs dans vos journaux, votre visibilité est insuffisante. Les actions des agents devraient être identifiées séparément, et les alertes devraient se concentrer sur les signaux les plus pertinents : l’utilisation d’identifiants en dehors des heures normales, les accès en dehors du périmètre autorisé, les hausses inhabituelles d’activité et les tentatives d’accès refusées.

Chaque agent devrait également faire l’objet d’une procédure d’arrêt clairement définie. Qui est autorisé à le désactiver? Dans quels délais peut-il être arrêté? Cette procédure a-t-elle déjà été testée? Si l’arrêt d’un agent nécessite l’ouverture d’un billet auprès d’un fournisseur ou repose sur une série de suppositions, il s’agit d’une lacune qu’il faut corriger avant que l’agent ne devienne essentiel aux activités de l’entreprise.

Trois questions à aborder lors de votre prochaine rencontre de direction

La gouvernance des agents IA n’a pas besoin de commencer par un programme complexe. Elle peut simplement débuter par trois questions :

1. Combien d’agents IA sont actuellement en activité dans notre organisation, et qui est responsable de chacun d’eux?
2. Si l’un de ces agents était compromis demain, quelles sont les ressources les plus sensibles auxquelles il pourrait accéder?
3. Si un agent commençait à agir de façon inappropriée à 2 h du matin un samedi, qui s’en apercevrait et qui serait en mesure de l’arrêter?

Si la réponse à la première question prend plus d’une journée à obtenir, vous venez d’identifier votre premier projet. Si la réponse à la deuxième question n’est pas claire, commencez par la gestion des identités et des autorisations. Si la réponse à la troisième dépend du fait qu’une personne remarque le problème manuellement, commencez par renforcer la journalisation et les mécanismes d’intervention.

Ces questions ne visent pas à ralentir l’innovation. Elles servent à permettre à l’organisation de poursuivre sa transformation et sa croissance en toute confiance.

Ce qu’il faut vraiment retenir

L’une des principales leçons de l’incident Hugging Face est que les défaillances des agents ne sont pas uniquement des défaillances techniques. Elles sont aussi liées à la gestion. Une autorité mal définie, une portée mal encadrée, un manque de visibilité et l’absence de responsabilité claire sont autant de problèmes qui peuvent être corrigés.

C’est une bonne nouvelle pour les PME. Vous n’avez pas à résoudre dès aujourd’hui tous les risques futurs liés à l’IA. En revanche, vous devez commencer à encadrer les agents qui font déjà leur entrée dans votre environnement. Les agents IA offriront une réelle valeur aux organisations du marché intermédiaire. Ils peuvent réduire les tâches de coordination, automatiser les activités répétitives, accélérer l’exécution et permettre aux petites équipes d’en faire davantage avec les mêmes ressources. Toutefois, les organisations qui en tireront le plus de valeur ne seront pas celles qui les laisseront se multiplier sans encadrement.

Ce seront celles qui définiront rapidement ce que les agents sont autorisés à faire, qui en est responsable et comment leur gouvernance évoluera à mesure que leur utilisation prendra de l’ampleur.