Gérer les risques liés à l’IA : l’approche axée sur la sécurité d’Anthropic

Quelles mesures sont employées par Anthropic pour la gouvernance des risques dans le développement et le déploiement de l’IA

La stratégie de gouvernance des risques d’Anthropic est centrée sur un système à plusieurs niveaux appelé Normes de niveau de sécurité de l’IA (Normes ASL). Ces normes sont essentielles pour évaluer et atténuer les risques associés aux modèles d’IA de plus en plus performants. L’approche implique une combinaison de mesures techniques, opérationnelles et politiques pour assurer un développement et un déploiement responsables de l’IA.

Composantes essentielles de la gouvernance des risques liés à l’IA d’Anthropic

• Normes de niveau de sécurité de l’IA (Normes ASL) : Ces normes sont classées en Normes de déploiement et en Normes de sécurité. Les normes de déploiement se concentrent sur une utilisation sûre par les utilisateurs internes et externes, tandis que les normes de sécurité visent à protéger les modèles d’IA contre les accès non autorisés ou le vol. Tous les modèles actuels doivent répondre au moins à la norme ASL-2.
• Seuils de capacité : Il s’agit de niveaux prédéfinis de capacité de l’IA qui, une fois atteints, déclenchent la nécessité de normes ASL plus élevées. Ils signalent une augmentation significative du risque nécessitant des mesures de protection renforcées. Les seuils de capacité spécifiques incluent les préoccupations liées aux armes chimiques, biologiques, radiologiques et nucléaires (CBRN), ainsi qu’à la recherche et au développement autonomes de l’IA (R&D IA).
• Mesures de protection requises : Elles représentent les mesures spécifiques de sûreté et de sécurité requises pour chaque seuil de capacité afin d’atténuer les risques à des niveaux acceptables. Elles constituent la mise en œuvre pratique des normes ASL.
• Évaluation des capacités : Elle implique des tests préliminaires et complets pour déterminer si les capacités d’un modèle dépassent les seuils de capacité établis. Si les seuils sont dépassés, les modèles sont mis à niveau vers les mesures de protection requises ASL-3.
• Évaluation des mesures de protection : Elle évalue si les mesures mises en œuvre satisfont aux mesures de protection requises ASL-3. Cela comprend le red-teaming, la modélisation des menaces et l’établissement de cadres de sécurité robustes.
• Évaluation de suivi des capacités : Elle est menée en conjonction avec la mise à niveau d’un modèle vers les mesures de protection requises ASL-3 pour s’assurer que des mesures de protection supplémentaires ne sont pas nécessaires.

Outils et processus pratiques

Pour déterminer que la norme ASL-2 reste appropriée, Anthropic effectue régulièrement des contrôles sur les modèles nouveaux et existants, en commençant par une évaluation préliminaire. Les aspects clés de ce processus comprennent :

• Mesurer la performance sur des tests automatisés
• Suivre le réglage fin cumulatif depuis la dernière évaluation complète.

Si ces contrôles sont réussis, aucun test supplémentaire n’est nécessaire. Lorsqu’un cycle de test plus complet est justifié, l’entreprise s’engage dans une évaluation plus approfondie pour s’assurer que les risques restent en dessous du seuil.

Gouvernance et transparence

L’engagement d’Anthropic envers une IA responsable s’étend aux processus internes et à la transparence externe. Les principales mesures comprennent :

• Responsable de l’évolution responsable : Un membre du personnel désigné, responsable de la conception et de la mise en œuvre efficaces de la politique d’évolution responsable.
• Procédures de sécurité internes : Élaboration de procédures pour les scénarios d’incident, comme la suspension de la formation ou la réponse aux violations de la sécurité.
• Transparence : Publication d’informations clés relatives à l’évaluation et au déploiement des modèles, y compris des résumés des rapports sur les capacités et les mesures de protection.
• Contribution d’experts : Sollicitation active de la contribution d’experts externes dans les domaines pertinents pour éclairer les évaluations des capacités et des mesures de protection.
• Supervision du conseil d’administration: Les changements à leur politique d’évolution responsable sont proposés par le PDG et le responsable de l’évolution responsable, et approuvés par le conseil d’administration, en consultation avec le fonds fiduciaire de bénéfice à long terme.

Implications réglementaires et politiques

Anthropic a l’intention que sa politique d’évolution responsable éclaire les meilleures pratiques de l’industrie et serve potentiellement de prototype pour les futures réglementations en matière d’IA. La politique est conçue pour être proportionnée, itérative et exportable, équilibrant l’innovation avec des mesures de sécurité strictes.

Quelles normes de sécurité sont mises en œuvre pour la formation et le déploiement des modèles d’IA d’Anthropic ?

Anthropic utilise une approche de la sécurité de l’IA basée sur les risques, en utilisant les normes de niveau de sécurité de l’IA (ASL). Ces normes comprennent des mesures techniques et opérationnelles conçues pour assurer la formation et le déploiement sûrs des modèles d’IA de pointe.

Normes ASL : Déploiement et sécurité

Actuellement, les définitions ASL sont divisées en deux catégories :

• Normes de déploiement : Ces normes comprennent les mesures prises pour garantir que les modèles d’IA sont utilisés en toute sécurité en alignant les contrôles techniques, opérationnels et politiques afin d’atténuer les potentielles utilisations abusives catastrophiques de la part des utilisateurs externes (c’est-à-dire les utilisateurs et les clients d’Anthropic) ainsi que des utilisateurs internes (c’est-à-dire les employés d’Anthropic).
• Normes de sécurité : Ces normes comprennent les mesures techniques, opérationnelles et politiques visant à protéger les modèles d’IA contre l’accès non autorisé, le vol ou la compromission des systèmes internes par des acteurs malveillants.

Tous les modèles d’Anthropic doivent répondre aux normes ASL-2 de déploiement et de sécurité, qui comprennent :

• La publication de fiches de modèle qui décrivent les capacités, les limitations, les évaluations et les cas d’utilisation prévus du modèle.
• L’application d’une politique d’utilisation qui restreint les cas d’utilisation catastrophiques et à fort risque, comme la génération de contenu qui pose des risques graves pour l’humanité ou qui cause un préjudice direct aux individus.
• L’utilisation d’une formation à l’innocuité, telle que l’IA constitutionnelle, et de mécanismes de détection automatisés pour former les modèles à refuser les requêtes qui aident à causer des dommages.
• La fourniture aux utilisateurs de canaux de signalement des vulnérabilités et d’une prime aux bogues pour les jailbreaks universels.
• Le respect d’examens rigoureux de la sécurité des fournisseurs et des prestataires, des mesures de sécurité physique, l’utilisation de principes de sécurité dès la conception et la mise en œuvre d’une infrastructure de sécurité standard, de logiciels de surveillance, d’outils de gestion des accès et de chiffrement des disques.

Déclenchement de normes plus élevées : seuils de capacité et garanties requises

À mesure que les capacités des modèles d’IA augmentent, Anthropic utilise un système de seuils de capacité et de garanties requises pour déterminer quand les mesures de sécurité doivent être renforcées. Un seuil de capacité indique quand une mise à niveau des protections est nécessaire, déclenchant une transition d’une norme ASL-N à une norme ASL-N+1, voire plus élevée. Les garanties requises précisent ensuite les normes ASL qui doivent être respectées. Les besoins spécifiques des différents modèles d’IA varient, il n’est donc pas toujours nécessaire de mettre à niveau simultanément les normes de déploiement et de sécurité.

Évaluation des capacités du modèle

Anthropic effectue des évaluations rigoureuses pour déterminer si les capacités d’un modèle dépassent les seuils de capacité établis. Cela implique :

• Évaluations préliminaires : Ces évaluations sont menées pour déterminer si une évaluation plus complète est nécessaire, et comparent les modèles sur la base de tests automatisés dans les domaines pertinents en matière de risques et de l’impact des méthodes de réglage fin.
• Tests complets : Si les évaluations préliminaires indiquent que le modèle approche une ligne rouge, ces tests évalueront si le modèle est peu susceptible d’atteindre des seuils de capacité pertinents en l’absence de progrès surprenants dans les améliorations post-formation largement accessibles. Ces tests doivent satisfaire à des critères tels que la cartographie des modèles de menaces, la réalisation d’évaluations empiriques, la démonstration de résultats d’élicitation limités et les prévisions.

Si des tests complets révèlent qu’un modèle est susceptible de dépasser un seuil de capacité, Anthropic agira comme si le seuil avait été dépassé, en passant aux garanties requises ASL-3 et en effectuant un suivi pour évaluer la nécessité de normes ASL-4.

Garantir des garanties adéquates : exigences ASL-3

Pour répondre aux garanties requises ASL-3, Anthropic effectuera une évaluation des garanties pour :

• Évaluer si les mesures mises en œuvre sont robustes contre les tentatives persistantes d’utilisation abusive des capacités dangereuses en effectuant une modélisation des menaces, en instituant une défense en profondeur, des équipes rouges, une correction rapide et en établissant une surveillance.
• S’assurer que les modèles sont hautement protégés contre la plupart des attaquants qui tentent de voler les pondérations du modèle en utilisant les meilleures pratiques de gouvernance, en appliquant des cadres de sécurité, en effectuant des audits et en s’assurant que les mesures peuvent être utilisées dans des environnements tiers.

Si les garanties requises ASL-3 ne peuvent pas être mises en œuvre immédiatement, des mesures provisoires d’atténuation des risques seront appliquées.

Gouvernance et transparence

Pour faciliter la mise en œuvre efficace de cette politique dans toute l’entreprise, Anthropic s’est engagé à prendre plusieurs mesures de gouvernance interne :

• Maintenir le poste de responsable de la mise à l’échelle responsable, afin de superviser la conception et la mise en œuvre efficaces de la politique.
• Établir des processus pour recevoir des notifications anonymes par lesquelles le personnel d’Anthropic peut informer le responsable de la mise à l’échelle responsable des cas potentiels de non-conformité.
• Élaborer des procédures de sécurité internes pour les scénarios d’incident.

Pour faire progresser le dialogue public sur la réglementation des risques liés aux modèles d’IA de pointe et pour permettre l’examen des actions d’Anthropic, l’entreprise s’engage à :

• Publier des documents clés, dont les informations sensibles ont été supprimées, liés à l’évaluation et au déploiement des modèles d’IA.
• Solliciter l’avis d’experts externes dans les domaines pertinents.

Quelles sont les garanties obligatoires désignées associées aux différents seuils de capacité ?

À mesure que les modèles d’IA évoluent au-delà de la base de référence ASL-2, l’industrie reconnaît que des seuils de capacité plus élevés nécessitent des garanties plus fortes. Un seuil de capacité agit comme un déclencheur, signalant la nécessité de renforcer les protections à un niveau de sécurité de l’IA (ASL) plus élevé.

Principaux points à retenir :

• Les garanties obligatoires sont conçues pour atténuer les risques à des niveaux acceptables, indiquant un équilibre entre les avantages du développement de modèles frontières et les dangers potentiels.
• Anthropic préconise l’adoption généralisée de ces normes dans l’ensemble de l’industrie, soulignant l’importance d’investir dans la recherche et le développement pour une mise en œuvre robuste.

Armes CBRN

Les capacités de développement d’armes chimiques, biologiques, radiologiques et nucléaires (CBRN) déclenchent différentes garanties :

• CBRN-3 : La capacité d’aider de manière significative les personnes ayant des connaissances STEM de base à créer/obtenir et à déployer des armes CBRN. Ce déclencheur nécessite à la fois une norme de déploiement ASL-3 et une norme de sécurité ASL-3, protégeant contre une utilisation abusive et le vol de poids de modèle par des acteurs non étatiques.
• CBRN-4 : La capacité d’améliorer considérablement les capacités de développement CBRN des programmes d’État modérément dotés en ressources. Ce seuil devrait nécessiter les normes de déploiement et de sécurité ASL-4 ; de plus amples détails seront publiés dans une prochaine mise à jour.

Recherche et développement autonomes en IA

Les capacités de recherche et développement autonomes en IA déclenchent également des garanties spécifiques :

• IA R&D-4 : La capacité d’automatiser entièrement le travail d’un chercheur débutant travaillant uniquement à distance chez Anthropic. Nécessite la norme de sécurité ASL-3 et une analyse affirmative identifiant et atténuant les risques immédiats liés aux modèles poursuivant des objectifs mal alignés.
• IA R&D-5 : La capacité de provoquer une accélération spectaculaire du taux de demandes d’échelonnement efficaces nécessite au minimum la norme de sécurité ASL-4 (potentiellement plus élevée) ainsi qu’une analyse affirmative.

Le point de contrôle potentiel de l’autonomie des modèles permettant d’effectuer de manière autonome un large éventail de tâches d’ingénierie logicielle de 2 à 8 heures déclenchera la mise en œuvre de la sécurité ASL-3.

Considérations relatives aux cyberopérations :

La capacité d’améliorer ou d’automatiser de manière significative des cyberattaques destructrices sophistiquées est reconnue comme une capacité nécessitant une enquête approfondie. Cela implique de collaborer avec des experts en cybersécurité pour évaluer le potentiel des modèles frontières à la fois pour améliorer et atténuer les cybermenaces, et d’envisager des contrôles d’accès échelonnés ou des déploiements progressifs.

Quels processus font partie intégrante de l’évaluation de l’efficacité des mesures de protection mises en œuvre ?

L’évaluation de l’efficacité des mesures de protection mises en œuvre est un processus à multiples facettes qui implique une évaluation rigoureuse et une amélioration continue. Voici la ventilation :

Évaluation des mesures de protection

Cette évaluation est essentielle pour déterminer si les mesures mises en œuvre respectent les mesures de protection requises ASL-3. Un rapport sur les mesures de protection documente en détail la mise en œuvre de ces mesures de protection.

• Évaluation de la norme de déploiement ASL-3 : évalue la robustesse contre les tentatives d’utilisation abusive persistantes. Cela implique :
• Modélisation des menaces : cartographie critique des vecteurs potentiels d’utilisation abusive catastrophique.
• Défense en profondeur : création de défenses en couches pour détecter les utilisations abusives. Utilisation de techniques de refus de préjudice.
• Red-Teaming : démontrer que des acteurs de menace réalistes ne peuvent pas constamment susciter des réponses qui augmentent leur capacité à causer des dommages catastrophiques.
• Remédiation rapide : identification et correction rapides des compromissions du système.
• Surveillance : examen continu des performances du système par rapport aux plages de risque acceptées. Surveillance des réponses aux primes de jailbreak, réalisation d’analyses historiques et surveillance en arrière-plan.
• Utilisateurs de confiance : établissement de critères pour le partage de modèles avec des mesures de protection réduites avec des utilisateurs de confiance en utilisant une combinaison de vérification des utilisateurs, de contrôles d’accès sécurisés, de surveillance, de conservation des journaux et de protocoles de réponse aux incidents.
• Environnements tiers : documentation de la manière dont tous les modèles répondront à ces critères, même dans les déploiements tiers avec des mesures de protection différentes.

Processus de décision des mesures de protection

Le processus permettant de déterminer si les mesures de protection requises ASL-3 ont été respectées comprend :

1. Compilation d’un rapport sur les mesures de protection pour chaque mesure de protection requise. Plaider en faveur de leur satisfaction.
2. Remonter le(s) rapport(s) sur les mesures de protection au PDG et au responsable de la mise à l’échelle responsable.
3. Solliciter les commentaires d’experts internes et externes sur le rapport.
4. Partager la décision, le rapport sur les mesures de protection, les commentaires internes et externes avec le conseil d’administration et le trust de bénéfice à long terme.
5. Revoir et approuver de nouveau les mesures de protection requises ASL-3 au moins une fois par an.

Évaluation de la capacité de suivi

Parallèlement à la mise à niveau d’un modèle vers les mesures de protection requises, la politique est mise à jour pour inclure tout seuil de capacité supplémentaire et une évaluation de la capacité de suivi est effectuée.

Gouvernance et transparence

La gouvernance interne implique le responsable de la mise à l’échelle responsable qui est responsable de la conception et de la mise en œuvre de la politique. L’évaluation externe implique une collaboration avec des experts externes dans les domaines pertinents dans le processus d’élaboration et de réalisation d’évaluations des capacités et des mesures de protection. L’entreprise recherche également un examen de la conformité procédurale et prévoit d’informer une entité gouvernementale américaine compétente si un modèle nécessite des protections plus fortes que la norme ASL-2.

Quelle est la procédure pour déterminer les stratégies de déploiement appropriées et les résultats de mise à l’échelle pour les modèles d’Anthropic

Anthropic emploie un processus structuré en plusieurs étapes pour déterminer les stratégies de déploiement appropriées et les résultats de mise à l’échelle pour ses modèles d’IA. Ce processus est guidé par la Politique de Mise à l’Échelle Responsable (RSP) et son recours aux Normes de Niveau de Sécurité de l’IA (ASL). L’objectif ultime est de prévenir les dommages catastrophiques et d’atténuer les risques à des niveaux acceptables, en équilibrant l’innovation avec des garanties robustes.

Évaluation des Capacités

La première étape consiste en une Évaluation des Capacités, qui détermine dans quelle mesure les capacités d’un modèle sont proches des Seuils de Capacité établis. Ces seuils indiquent quand les risques potentiels d’un modèle nécessitent des garanties renforcées (passant de ASL-2 à ASL-3, par exemple). Le processus d’évaluation comprend :

• Évaluation Préliminaire : Une vérification rapide pour voir si le modèle est « notablement plus performant » que les modèles précédents. Les métriques ici sont des tests automatisés dans des « domaines pertinents pour les risques » (amélioration mesurée comme 4x dans le Calcul Effectif) ou l’accumulation d’améliorations post-formation comparables à six mois d’affinements continus.
• Évaluation Complète : Requise si un modèle dépasse le seuil « notablement plus performant ». Cette évaluation teste rigoureusement le potentiel d’atteinte des Seuils de Capacité, en examinant les combinaisons d’acteurs, les voies d’attaque et ce qui serait nécessaire pour causer des dommages. Ceci comprend :
  • Cartographie des modèles de menace pour identifier les modèles de menace conséquents probables.
  • Tests empiriques pour démontrer que le modèle n’a pas de capacités liées aux risques.
  • Exercices d’élicitation pour déterminer si les chercheurs peuvent obtenir des résultats utiles, même sans mécanismes de sécurité.
  • Prévisions sur la façon dont une formation supplémentaire peut augmenter les résultats des tests.
• Rapport de Capacité : Un document détaillé compilant les conclusions de l’évaluation pour démontrer que le Seuil de Capacité est suffisamment éloigné, et avançant des recommandations de déploiement. Ce document, ainsi que les commentaires internes et externes, sont soumis au PDG d’Anthropic et au Responsable de la Mise à l’Échelle Responsable pour une décision finale.

Si l’évaluation complète démontre qu’un modèle se situe suffisamment en dessous d’un Seuil de Capacité, il peut poursuivre son déploiement en respectant la Norme ASL-2. Cependant, si l’évaluation suggère que le modèle a possiblement dépassé un seuil, cela déclenche une mise à niveau vers les Garanties Requises ASL-3 ainsi qu’une évaluation de capacité de suivi pour déterminer si la Norme ASL-4 est nécessaire.

Évaluation des Garanties

Si un modèle dépasse un Seuil de Capacité, une Évaluation des Garanties est lancée pour s’assurer d’une atténuation appropriée des risques en vérifiant si les mesures mises en œuvre satisfont aux Garanties Requises ASL-3. Ce processus comprend la rédaction d’un Rapport de Garanties pour documenter la preuve que le modèle satisfait aux critères des normes des seuils :

• Le respect des Normes de Déploiement ASL-3 nécessite une « défense en profondeur » utilisant des couches pour intercepter les attaques, des exercices de red-teaming, une remédiation rapide et des utilisateurs de confiance avec des contrôles de sécurité alternatifs.
• Le respect des Normes de Sécurité ASL-3 garantit la protection des poids du modèle avec des contrôles de sécurité alignés sur le cadre de travail, une modélisation des menaces utilisant le Framework MITRE ATT&CK et des contrôles de périmètre et d’accès.

Si des vulnérabilités sont découvertes, le déploiement du modèle est limité. Sinon, le déploiement peut se poursuivre.

Résultats de Déploiement et de Mise à l’Échelle

En fin de compte, Anthropic peut procéder au déploiement et à la mise à l’échelle supplémentaire si :

• Les capacités du modèle sont suffisamment éloignées des Seuils de Capacité existants pour que son ASL-2 actuel soit approprié.
• Le modèle a dépassé les Seuils de Capacité mais respecte les Garanties Requises ASL-3.

Si un modèle nécessite des garanties ASL-3 mais que ces garanties ne peuvent pas être mises en œuvre en temps opportun, la politique exige une action rapide pour réduire le risque intérimaire jusqu’à ce que les mesures appropriées soient en place. Des restrictions plus strictes, telles que la mise hors service du modèle ou la suppression des poids du modèle, peuvent être imposées si l’atténuation du risque intérimaire n’est pas plausible. De plus, les activités de préentraînement sont surveillées pour arrêter la formation des modèles qui approchent ou dépassent les capacités des modèles actuellement examinés au niveau de la Norme ASL-3 jusqu’à ce que des garanties adéquates soient mises en œuvre.

Gouvernance et Transparence

Des mesures de gouvernance sont mises en œuvre en interne dans toute l’entreprise pour assurer la pleine conformité à la Politique de Mise à l’Échelle Responsable. Des contributions externes sont sollicitées et les informations clés relatives aux tests de chaque modèle sont souvent partagées publiquement, les détails sensibles étant supprimés.