Quels sont les principes fondamentaux qui guident l’approche de la politique de mise à l’échelle responsable en matière de gestion des risques ?
La politique de mise à l’échelle responsable (Responsible Scaling Policy – RSP) d’Anthropic repose sur trois principes fondamentaux pour la gestion des risques liés à l’IA, conçus pour être proportionnés, itératifs et exportables, comme ils l’indiquent dans leur document.
Proportionnalité : Adapter les garanties aux niveaux de risque
La RSP introduit les normes de niveau de sécurité de l’IA (AI Safety Level – ASL), qui définissent des références techniques et opérationnelles liées à des niveaux de risque spécifiques. L’idée est de mettre en œuvre des garanties qui correspondent aux dangers potentiels d’un modèle d’IA, en assurant des protections strictes là où c’est nécessaire sans entraver inutilement l’innovation. Cela revient à concentrer les ressources sur les modèles les plus risqués, tout en offrant une plus grande flexibilité pour les systèmes à faible risque.
Itération : S’adapter à l’évolution rapide des capacités de l’IA
Le principe itératif reconnaît la progression rapide de l’IA. Le document stipule qu’avec la rapidité de l’évolution de la technologie de l’IA, il est impossible d’anticiper les mesures de sûreté et de sécurité requises pour les modèles qui sont bien au-delà de la frontière actuelle. Anthropic s’engage à mesurer en permanence les capacités des modèles et à ajuster les garanties en conséquence, à rechercher constamment les risques potentiels et les techniques d’atténuation, et à améliorer le cadre de gestion des risques lui-même.
Exportabilité : Établir une norme industrielle
Anthropic vise à démontrer comment l’innovation et la sécurité peuvent coexister. En partageant leur approche de la gouvernance des risques en externe, ils espèrent établir une nouvelle référence industrielle et encourager une adoption plus large de cadres similaires. L’objectif est d’influencer la réglementation en partageant les conclusions avec les décideurs politiques et d’autres entreprises d’IA, en montrant une approche évolutive de la gestion des risques.
Le document précise également que, bien que la RSP traite principalement des risques catastrophiques, Anthropic reconnaît également d’autres préoccupations. Il s’agit notamment d’utiliser les modèles d’IA de manière responsable conformément à leur politique d’utilisation, en prévenant la désinformation, la violence, les comportements haineux et la fraude, qui sont gérés par des mesures techniques visant à faire respecter les normes de confiance et de sécurité.
french
Comment les seuils de capacité et les garanties requises sont-ils utilisés dans le cadre de la politique pour gérer les risques associés aux modèles d’IA ?
La politique de mise à l’échelle responsable (Responsible Scaling Policy, RSP) d’Anthropic utilise les seuils de capacité et les garanties requises comme pierres angulaires pour la gestion des risques liés aux modèles d’IA de plus en plus puissants. Considérez cela comme un protocole de sécurité échelonné : plus le risque potentiel est élevé, plus les protections sont renforcées. Voici une ventilation :
Concepts clés
Seuils de capacité : Il s’agit de niveaux prédéfinis de capacité d’IA qui agissent comme des déclencheurs. Lorsqu’un modèle atteint un seuil, cela signale une augmentation significative du risque et la nécessité de renforcer les garanties. Par exemple, des seuils sont spécifiés pour les capacités liées au développement d’armes chimiques, biologiques, radiologiques et nucléaires (CBRN), ainsi que pour la recherche et le développement autonomes en IA (R&D en IA).
Garanties requises : Ce sont les normes spécifiques du niveau de sécurité de l’IA (AI Safety Level, ASL) qui doivent être respectées pour atténuer les risques associés à un seuil de capacité particulier. Ces normes se répartissent en deux catégories :
- Normes de déploiement : Elles garantissent une utilisation sûre par les utilisateurs externes et équilibrent l’utilisation bénéfique avec les risques d’utilisation abusive catastrophique.
- Normes de sécurité : Il s’agit de mesures techniques, opérationnelles et politiques essentielles pour protéger les modèles d’IA contre tout accès, vol ou compromission non autorisé. Pensez à protéger les « poids » du modèle.
Fonctionnement : Étape par étape
La RSP utilise les seuils de capacité et les garanties requises dans une série d’étapes d’évaluation conçues pour atténuer les risques de manière proactive :
- Évaluation des capacités
Évaluation préliminaire : Les modèles nouveaux et existants sont soumis à des tests pour déterminer s’il existe une augmentation notable des capacités, déclenchant une évaluation plus approfondie.
Évaluation complète : Grâce à des tests complets, Anthropic évalue si le modèle peut atteindre un seuil en cartographiant les menaces importantes, en effectuant des évaluations empiriques et en mesurant comment les chercheurs peuvent obtenir des capacités utiles du modèle. De plus, ils établissent des prévisions informelles pour déterminer si les tests amélioreront les résultats au fil du temps.
- Escalade et action :
Si un modèle dépasse un seuil de capacité, l’entreprise passe au niveau ASL supérieur correspondant (par exemple, ASL-3). Cela garantit que le modèle répond aux nouvelles exigences et normes.
- Évaluation des garanties
Ces évaluations visent à déterminer si les garanties requises sont satisfaisantes. Les normes de déploiement ASL-3 exigent une sécurité robuste contre l’utilisation abusive persistante, tandis que la norme de sécurité ASL-3 impose une protection de haut niveau contre le vol de poids par des acteurs non étatiques.
- Évaluation de suivi des capacités :
Après la mise en œuvre, il est nécessaire d’évaluer le nouveau modèle et de mesurer si les capacités de suivi sont suffisamment bonnes pour être utilisées.
Atténuation des risques en pratique
L’objectif final est d’atteindre un niveau de risque acceptable. Que les capacités actuelles du modèle soient suffisamment inférieures aux seuils existants, ou qu’il ait dépassé ces seuils mais dispose des garanties renforcées en place, les modèles ne peuvent être utilisés ou déployés que dans ces deux cas.
- Mesures provisoires : S’il est impossible de mettre en œuvre immédiatement l’ASL-3, des mesures provisoires sont mises en place pour fournir un niveau de sécurité similaire.
- Restrictions plus strictes : Mis à part les mesures provisoires, les restrictions peuvent impliquer un déploiement avec un modèle en dessous d’un seuil de capacité, ou la suppression des poids actuels dans le modèle actuel.
- Surveillance du pré-entraînement : Les capacités du modèle de pré-entraînement doivent être surveillées et comparées aux modèles capables existants. Si le modèle de pré-entraînement a des capacités similaires, la formation est interrompue jusqu’à ce que les normes de sécurité soient respectées.
Principaux points à retenir pour la conformité
- Gestion dynamique des risques : La RSP reconnaît que la gestion des risques liés à l’IA doit être itérative, en ajustant les garanties à mesure que les modèles évoluent.
- Transparence et responsabilité : La divulgation publique des informations clés, les résumés des rapports sur les capacités et les garanties, et la sollicitation de l’avis d’experts sont des éléments essentiels.
- Proportionnalité : Équilibrer l’innovation en matière d’IA avec la sécurité en mettant en œuvre des garanties proportionnées à la nature et à l’étendue des risques d’un modèle d’IA.
Les responsables de la conformité doivent surveiller de près les seuils de capacité spécifiques définis dans la RSP et s’assurer que le développement des modèles et les processus de déploiement sont conformes aux garanties requises correspondantes. Restez à l’écoute pour d’autres informations alors qu’Anthropic continue d’affiner son approche de la gouvernance des risques liés à l’IA.
Quels sont les éléments essentiels du processus d’évaluation des garanties
Pour les modèles d’IA dépassant les seuils de capacité spécifiés, indiquant potentiellement la nécessité de normes de niveau de sécurité de l’IA (NSA) plus élevées, une évaluation rigoureuse des garanties est cruciale. Ce processus détermine si les mesures de sécurité et de contrôle d’utilisation adoptées satisfont aux garanties requises du NSA-3.
Principaux éléments pour la norme de déploiement NSA-3
Si un modèle déclenche la norme de déploiement NSA-3, l’évaluation se concentre sur la robustesse des garanties contre une utilisation abusive persistante. Les critères pour satisfaire à cette norme comprennent :
- Modélisation des menaces : Cartographie exhaustive des menaces potentielles et des vecteurs d’attaque par lesquels le système déployé pourrait être utilisé de manière abusive et catastrophique. Cela nécessite un perfectionnement continu.
- Défense en profondeur : Mise en œuvre de plusieurs couches défensives. Celle-ci est conçue pour intercepter les tentatives d’utilisation abusive qui contournent les barrières initiales, telles que les techniques de refus de nuisance atteignant des taux de rappel élevés.
- Red-teaming : Tests adverses réalistes basés sur des scénarios qui démontrent l’improbabilité que des acteurs malveillants, avec des niveaux d’accès et des ressources plausibles, extraient des informations améliorant considérablement leur capacité à causer des dommages catastrophiques.
- Remédiation rapide : Processus assurant l’identification et la correction rapides des compromissions du système, telles que les jailbreaks. Cela implique un patch rapide des vulnérabilités, une escalade potentielle vers les forces de l’ordre et la conservation des données à des fins d’analyse.
- Surveillance : Établissement de mesures empiriques pour garantir la sécurité opérationnelle dans les limites des plages de risque acceptées. Cela signifie également avoir un processus d’analyse régulière des performances du système. Cela comprend l’examen des réponses aux primes de jailbreak, la réalisation d’analyses historiques et la conservation des journaux nécessaires.
- Utilisateurs de confiance : Définition de critères pour le partage contrôlé de modèles avec des « utilisateurs de confiance », garantissant une assurance risque équivalente grâce à la vérification des utilisateurs, des contrôles d’accès sécurisés, la surveillance, la conservation des journaux et la réponse aux incidents.
- Environnements tiers : Démonstration du respect des critères susmentionnés, même lorsque les modèles sont déployés dans des environnements tiers avec des garanties potentiellement différentes.
Principaux éléments pour la norme de sécurité NSA-3
Pour les modèles déclenchant la norme de sécurité NSA-3, l’évaluation évalue la force des protections contre le vol de poids de modèle par divers acteurs malveillants :
- Modélisation des menaces : Adhésion aux meilleures pratiques de gouvernance des risques à l’aide de cadres tels que MITRE ATT&CK pour cartographier de manière exhaustive les menaces, les actifs et les vecteurs d’attaque.
- Cadres de sécurité : Alignement et extension des cadres de sécurité standard de l’industrie. Ceci est utilisé pour faire face aux risques identifiés et mettre en œuvre des contrôles pertinents. Les composantes du cadre comprennent :
- Des périmètres et des contrôles d’accès solides autour des actifs sensibles.
- La sécurité du cycle de vie à travers les systèmes et la chaîne d’approvisionnement de logiciels.
- L’identification et l’atténuation proactives des menaces grâce à la surveillance et aux tests de vulnérabilité.
- Un investissement suffisant dans les ressources de sécurité.
- L’alignement sur les directives existantes sur la sécurisation des poids de modèle, telles que Securing AI Model Weights, Preventing Theft and Misuse of Frontier Models, et les cadres de normes telles que SSDF, SOC 2, NIST 800-53.
- Audits : Audit et évaluation indépendants de la conception et de la mise en œuvre du programme de sécurité. Les plans d’audit exigent également le partage périodique des constatations et des efforts de correction avec la direction, ainsi qu’un red-teaming d’experts.
- Environnements tiers : S’assurer que tous les modèles pertinents répondent aux critères de sécurité, même lorsqu’ils sont déployés dans des environnements tiers qui peuvent avoir un ensemble de garanties différent.
Après ces évaluations, un rapport de garanties documentant la mise en œuvre des mesures requises, son affirmation et les recommandations sur les décisions de déploiement est compilé et examiné par le PDG et le responsable de la mise à l’échelle responsable (RSO). Les commentaires d’experts internes et externes sont également sollicités. Si les garanties du NSA-3 sont jugées suffisantes, le déploiement et la formation au-dessus des seuils de capacité peuvent se poursuivre après une évaluation de capacité de suivi.
Quel est l’objectif principal de l’évaluation de suivi des capacités?
L’objectif principal de l’évaluation de suivi des capacités, selon la politique de mise à l’échelle responsable (RSP) d’Anthropic, est de confirmer que des garanties supplémentaires au-delà d’ASL-3 ne sont pas nécessaires après que les capacités d’un modèle ont été améliorées pour répondre aux garanties requises ASL-3.
Voici la ventilation pour les professionnels de la legal-tech, les responsables de la conformité et les analystes politiques :
- Suite à la mise à niveau d’un modèle d’IA pour répondre aux normes ASL-3, qui se produit lorsque le modèle dépasse les seuils de capacité existants, une évaluation de suivi des capacités est initiée.
- Cette évaluation est menée en parallèle avec la mise en œuvre des garanties requises ASL-3.
- L’objectif est de déterminer si les capacités du modèle sont suffisamment inférieures aux seuils de capacité suivants (ceux qui nécessiteraient ASL-4) afin de garantir que le niveau de protection ASL-3 est bel et bien adéquat.
french
Comment les mesures déclarées de gouvernance et de transparence visent-elles à promouvoir la mise en œuvre efficace et la compréhension publique de la politique d’échelonnement responsable ?
La politique d’échelonnement responsable (RSP) d’Anthropic décrit à la fois les mesures de gouvernance interne et de transparence externe conçues pour assurer la mise en œuvre efficace de la politique et favoriser la compréhension publique de son approche de gestion des risques.
Mesures de gouvernance interne
Pour garantir que la RSP est mise en œuvre efficacement dans toute l’entreprise, Anthropic s’engage à prendre plusieurs mesures de gouvernance interne :
- Responsable de l’échelonnement responsable : Maintenir le poste de responsable de l’échelonnement responsable (RSO), chargé de superviser la conception et la mise en œuvre de la RSP. Le RSO propose des mises à jour de la politique, approuve les décisions de formation/déploiement des modèles, examine les contrats importants pour vérifier leur cohérence, supervise la mise en œuvre et l’allocation des ressources, traite les signalements de non-conformité, informe le conseil d’administration des risques importants et interprète/applique la politique.
- Préparation aux incidents : Élaboration de procédures de sécurité internes pour les scénarios d’incidents, telles que la suspension de la formation, la réponse aux incidents de sécurité impliquant des poids de modèle et la gestion des jailbreaks graves. Cela comprend des exercices pour assurer la préparation.
- Transparence interne : Partage de résumés des rapports sur les capacités et des rapports sur les mesures de protection avec le personnel d’Anthropic, en expurgeant les informations sensibles. Une version expurgée au minimum est partagée avec un sous-ensemble du personnel pour des considérations de sécurité technique.
- Revue interne : Solliciter les commentaires des équipes internes sur les rapports sur les capacités et les mesures de protection afin d’affiner la méthodologie et d’identifier les faiblesses.
- Gestion de la non-conformité : Établir un processus de signalement anonyme des cas potentiels de non-conformité, protéger les personnes qui signalent contre les représailles et transmettre les signalements au conseil d’administration. La non-conformité est suivie, fait l’objet d’une enquête et est traitée par des mesures correctives.
- Accords avec les employés : Éviter les obligations contractuelles de non-dénigrement qui pourraient empêcher les employés de soulever des problèmes de sécurité. Tout accord de ce type n’empêchera pas de soulever des problèmes de sécurité ou de divulguer l’existence de la clause.
- Modifications de la politique : Les modifications de la RSP sont proposées par le PDG et le RSO et approuvées par le conseil d’administration. La version publique de la RSP est mise à jour avant que toute modification n’entre en vigueur, avec un journal des modifications enregistrant les différences.
Transparence et contribution externe
Pour faire progresser le dialogue public sur la réglementation des risques liés à l’IA et permettre l’examen des actions d’Anthropic, l’entreprise s’engage à prendre les mesures de transparence suivantes :
- Divulgations publiques : Publication d’informations clés relatives à l’évaluation et au déploiement des modèles, y compris des résumés des rapports sur les capacités et des rapports sur les mesures de protection, des plans d’évaluations futures et des informations sur les signalements internes de non-conformité. Les détails sensibles ne sont pas divulgués.
- Contribution d’experts : Solliciter la contribution d’experts externes lors des évaluations des capacités et des mesures de protection.
- Notification au gouvernement : Notifier au gouvernement américain si un modèle nécessite des protections plus strictes que la norme ASL-2.
- Examen de la conformité procédurale : Commander des examens annuels par des tiers pour évaluer le respect des engagements procéduraux de la RSP.
Grâce à ces mesures, Anthropic cherche à trouver un équilibre entre les contrôles internes et la responsabilité externe, favorisant à la fois une gestion efficace des risques et un discours public éclairé sur la sécurité de l’IA de pointe.
