Comment un réseau de neurones a appris ses propres règles de fraude : une expérience en IA neuro-symbolique
La plupart des systèmes neuro-symboliques intègrent des règles écrites par des humains. Mais que se passerait-il si un réseau de neurones pouvait découvrir ces règles lui-même ?
Dans cette expérience, un réseau de neurones hybride a été étendu avec un module d’apprentissage de règles différentiable qui extrait automatiquement des règles de fraude du type SI-ALORS pendant l’entraînement. En utilisant le jeu de données Kaggle sur la fraude par carte de crédit (taux de fraude de 0,17 %), le modèle a appris des règles interprétables telles que :
SI V14 < −1,5σ ET V4 > +0,5σ → Fraude
où σ désigne l’écart type de la caractéristique après normalisation.
Le module d’apprentissage des règles a obtenu un ROC-AUC de 0,933 ± 0,029, tout en maintenant une fidélité de 99,3 % aux prédictions du réseau de neurones.
Fait intéressant, le modèle a redécouvert de manière indépendante V14 — une caractéristique depuis longtemps connue des analystes pour corréler fortement avec la fraude — sans qu’on lui dise de la rechercher.
Ce que le modèle a découvert
Avant l’architecture, la fonction de perte ou tout détail d’entraînement, voici ce qui est ressorti à la fin. Après jusqu’à 80 époques d’entraînement (avec arrêt précoce, la plupart des graines ont convergé entre les époques 56 et 78), le module d’apprentissage des règles a produit ces résultats dans les deux graines où les règles ont clairement émergé :
Graine 42 — règle la plus claire (5 conditions, conf=0,95)
Règle de fraude apprise — Graine 42 · Les règles n’ont jamais été codées à la main
SI V14 < −1,5σ ET V4 > +0,5σ ET V12 < −0,9σ ET V11 > +0,5σ ET V10 < −0,8σ ALORS FRAUDE
Graine 7 — règle complémentaire (8 conditions, conf=0,74)
Règle de fraude apprise — Graine 7 · Les règles n’ont jamais été codées à la main
SI V14 < −1,6σ ET V12 < −1,3σ ET V4 > +0,3σ ET V11 > +0,5σ ET V10 < −1,0σ ET V3 < −0,8σ ET V17 < −1,5σ ET V16 < −1,0σ ALORS FRAUDE
Dans les deux cas, de faibles valeurs de V14 sont au cœur de la logique — une convergence frappante étant donné qu’aucune orientation préalable n’a été donnée. Le modèle n’a jamais été informé de l’importance d’une caractéristique.
Pourtant, il a redécouvert indépendamment la même caractéristique que les analystes humains ont identifiée depuis des années.
De l’injection de règles à l’apprentissage de règles — Pourquoi cela compte
Tous les modèles de fraude ont une frontière de décision. Cependant, les équipes de fraude opèrent en utilisant des règles. L’écart entre eux, entre ce que le modèle a appris et ce que les analystes peuvent lire, auditer et justifier auprès d’un régulateur — est un domaine critique pour les équipes de conformité.
Dans une précédente expérience, deux règles d’analystes ont été directement codées dans la fonction de perte : si le montant de la transaction est anormalement élevé et si la signature PCA est anormale, traiter l’échantillon comme suspect. Cette approche a fonctionné. Le modèle hybride a égalé la performance de détection du réseau de neurones pur tout en restant interprétable.
Cependant, une limitation évidente a été laissée sans réponse. Ces règles ont été écrites par moi. J’ai choisi ces deux caractéristiques parce qu’elles avaient du sens pour moi. Les règles codées à la main reflètent ce que vous savez déjà, elles sont une bonne solution lorsque les modèles de fraude sont stables et que les connaissances du domaine sont profondes. Elles sont une mauvaise solution lorsque les modèles de fraude évoluent, lorsque les caractéristiques les plus importantes sont anonymisées, ou lorsque vous souhaitez que le modèle fasse émerger des signaux que vous n’avez pas pensé à rechercher.
La question naturelle suivante est : quelles caractéristiques le gradient choisirait-il, s’il avait la liberté de choisir ?
Risques et implications
Ce modèle s’applique au-delà de la fraude. Les systèmes de diagnostic médical ont besoin de règles que les médecins peuvent vérifier avant d’agir. Les modèles de cybersécurité nécessitent des règles que les ingénieurs peuvent auditer. Les systèmes de lutte contre le blanchiment d’argent fonctionnent sous des cadres réglementaires exigeant des décisions explicables. Dans tout domaine combinant des événements rares, une expertise de domaine et des exigences de conformité, la capacité d’extraire des règles audibles de type SI-ALORS d’un réseau de neurones entraîné est directement précieuse.
Conclusion
En résumé, l’apprentissage des règles permet de découvrir des signaux critiques pour le domaine sans indiquer à l’avance ce qu’il faut rechercher. À travers cette expérience, il a été démontré qu’un réseau de neurones peut redécouvrir des caractéristiques essentielles de manière autonome, offrant ainsi une interprétabilité précieuse pour les équipes de conformité. À l’avenir, il sera essentiel de surveiller la vitesse d’annealing et d’auditer les règles apprises après chaque nouvel entraînement.
