Avanzamenti nella Governance del Runtime LLM e MCP di Traefik Labs
Traefik Labs ha annunciato nuove funzionalità che estendono l’architettura Triple Gate di Traefik Hub (API Gateway, AI Gateway e MCP Gateway) con una governance del runtime più profonda lungo l’intero flusso di lavoro dell’IA. Queste includono un pipeline di sicurezza composabile e multi-fornitore, il routing di failover tra fornitori, controlli dei costi a livello di token e una gestione degli errori più elegante.
Pipeline di Sicurezza Componibile
Il gateway AI di Traefik ora supporta una pipeline di sicurezza multi-fornitore, permettendo alle organizzazioni di scegliere tra diversi fornitori di guardrail e combinarli. Il tempo totale di applicazione delle misure di sicurezza è determinato dal guard più lento, anziché dalla somma dei tempi.
La pipeline comprende quattro livelli:
- Regex Guard (NUOVO): Un framework per scrivere guardie personalizzate utilizzando il matching basato su regex, a velocità sub-millisecondo e senza dipendenze esterne.
- Content Guard (Microsoft Presidio): Rilevazione e mascheramento globale dei dati personali, supportando sia modelli di entità predefiniti che personalizzati.
- LLM Guard con NVIDIA NIMs: Rilevazione di jailbreak accelerata dalla GPU e sicurezza dei contenuti in oltre 22 categorie.
- LLM Guard con IBM Granite Guardian (NUOVO): Modelli di sicurezza open-source di IBM per la rilevazione di danni e controlli tematici che non sono ancora offerti da altri fornitori.
Esecuzione Parallela delle Guardie
Le guardie basate su LLM, che possono richiedere secondi per l’esecuzione, ora vengono eseguite in parallelo anziché in serie. Questo migliora l’efficienza e mantiene l’integrità dei flussi di lavoro.
Controlli Operativi
Il router di failover automatico consente il passaggio tra fornitori e modelli, ottimizzando i costi mentre tutte le politiche di sicurezza rimangono attive. La gestione dei token limita le richieste abusive prima che raggiungano l’LLM.
Importanza Attuale
Gli agenti IA non sono più sperimentali; si prevede che il 40% delle applicazioni aziendali avrà agenti IA entro la fine del 2026. Tuttavia, la governance a livello di infrastruttura non è ancora al passo con queste evoluzioni.
L’approccio infrastrutturale di Traefik è già in fase di adozione da parte di neocloud e fornitori di servizi. Le organizzazioni che hanno standardizzato su Traefik possono aggiornare facilmente le capacità del gateway AI e MCP senza necessità di ricostruzioni complesse.
Disponibilità
Traefik Hub v3.20 è ora disponibile come versione Early Access, con disponibilità generale prevista per la fine di aprile 2026.
