Un modo più intelligente e sicuro di gestire l’IA
Il Canada ha un problema con l’IA, ma non quello che ci si potrebbe aspettare. Il talento e la tecnologia sono presenti, con l’IA generativa che si prevede possa aggiungere circa 187 miliardi di dollari all’economia canadese entro il 2030. Tuttavia, le organizzazioni rimangono titubanti nell’adozione.
La situazione attuale
Secondo le statistiche, solo il 12,2% delle aziende canadesi ha integrato l’IA nelle proprie operazioni nell’ultimo anno, posizionando il Canada tra i paesi con le performance più basse a livello globale, aggravando ulteriormente le sfide esistenti in materia di produttività.
Le sfide nell’adozione dell’IA
Una parte significativa del problema è legata alla gestione dei costi energetici e delle performance. Gli strumenti di IA come i modelli di linguaggio di grandi dimensioni e i sistemi di deep learning richiedono una potenza di calcolo massiccia per elaborare le richieste. Si stima che la domanda globale di elettricità dai data center potrebbe più che raddoppiare entro il 2030, con l’IA come principale motore di questo aumento.
Per le organizzazioni che gestiscono l’IA su larga scala, ogni richiesta diventa una decisione aziendale importante. Ogni richiesta di IA comporta un costo che aumenta quando sono richieste risposte più rapide, poiché maggiori risorse di calcolo e energia vengono consumate. Senza un modo efficiente per gestire questi compromessi, le aziende potrebbero trovarsi a pagare milioni in bollette mensili.
La soluzione di gestione dell’energia
Una società ha intravisto un’opportunità in questa sfida, iniziando ad aiutare i data center a ottimizzare i costi energetici nei mercati elettrici deregolamentati. Hanno sviluppato strumenti per consentire agli operatori di rispondere in tempo reale, aumentando il calcolo quando l’energia è economica e riducendo il carico quando i prezzi aumentano.
Con l’emergere dell’IA generativa, l’azienda ha iniziato a esplorare come applicare la propria esperienza energetica ai carichi di lavoro dell’IA. Tuttavia, si sono trovati di fronte a un problema inaspettato: il routing delle richieste di IA attraverso più server sollevava questioni critiche di conformità riguardo a dove finisce esattamente il dato, specialmente per i clienti che gestiscono informazioni sensibili.
Controllo e governance
La governance è diventata un focus centrale durante la progettazione della nuova piattaforma. Gli utenti devono essere in controllo di dove e come i loro dati vengono instradati, ma molte aziende mancano degli strumenti per monitorare questo aspetto, portando spesso al fallimento dei progetti pilota di IA.
Molte aziende desiderano utilizzare l’IA, riconoscendone il potenziale, ma senza una chiara visibilità su dove vanno i loro dati, ritardano l’implementazione. Nel frattempo, i dipendenti, frustrati dai ritardi, utilizzano spesso strumenti di IA personali, aumentando i rischi per l’organizzazione.
Presentazione della piattaforma CLōD
Questa consapevolezza ha portato al lancio di CLōD, una piattaforma di inferenza IA progettata per fungere da gateway intelligente tra le aziende e i modelli utilizzati. CLōD offre un controllo completo su più dimensioni, inclusi gestione dei costi, ottimizzazione della latenza, instradamento dei modelli, comportamento dei modelli, governance, sicurezza, conformità, privacy ed efficienza energetica.
Gli utenti possono definire le proprie regole riguardo a quali dati possono lasciare l’ambiente aziendale, quali server possono instradare le richieste e come i modelli devono comportarsi per ciascuna richiesta. La piattaforma applica automaticamente queste regole, garantendo un controllo adeguato.
Ottimizzazione energetica e crescita futura
Il supporto a questi controlli sarà integrato con una capacità di ottimizzazione energetica in arrivo, progettata per gestire intelligentemente le risorse di calcolo in base ai prezzi energetici in tempo reale. Questo approccio consentirà alle organizzazioni di affrontare le preoccupazioni relative all’energia mentre aumentano l’adozione dell’IA.
Con l’aumento dell’uso dell’IA e le crescenti preoccupazioni energetiche, l’azienda mira a costruire un’infrastruttura decentralizzata per un’IA affidabile. La previsione di costi e comportamenti dell’IA consentirà alle organizzazioni di muoversi con maggiore fiducia, superando le incertezze che hanno ritardato l’adozione. Questo potrebbe rappresentare la differenza tra rimanere bloccati in modalità pilota e implementare effettivamente l’IA.
