A smarter, safer way to run AI? Vancouver’s LōD Technologies is betting on it
Kanada hat ein KI-Problem, aber nicht das, was man erwarten könnte.
Das Talent und die Technologie sind vorhanden, wobei allein generative KI bis 2030 voraussichtlich 187 Milliarden Dollar jährlich zur kanadischen Wirtschaft beitragen wird. Dennoch bleiben Organisationen bei der Einführung zögerlich.
Laut Statistik Kanada haben nur 12,2 Prozent der kanadischen Unternehmen im vergangenen Jahr KI in ihren Betrieb integriert. Das platziert Kanada unter den niedrigsten weltweit und verschärft die bestehenden Produktivitätsprobleme des Landes.
Herausforderungen bei der KI-Adoption
Was hält die Unternehmen zurück? Ein wesentlicher Teil hängt mit der Verwaltung der Energiekosten und der Leistung zusammen. KI-Tools wie große Sprachmodelle und KI-gesteuerte Analysen erfordern massive Rechenleistung zur Verarbeitung von Anfragen. Die Internationale Energieagentur schätzt, dass die globale Stromnachfrage von Rechenzentren bis 2030 mehr als doppelt so hoch sein könnte, wobei KI der wichtigste Treiber ist.
Für Organisationen, die KI in großem Maßstab betreiben, wird jede Anfrage zu einer wichtigen Geschäftsentscheidung. Jede KI-Anfrage bringt Kosten mit sich, die steigen, je schneller die Antworten benötigt werden, da mehr Rechenressourcen und Energie verbraucht werden. Für Unternehmen, die Tausende oder sogar Millionen von Anfragen über verschiedene Server abwickeln, können die Ausgaben schnell steigen.
Ohne eine effiziente Möglichkeit, diese Abwägungen zu verwalten, könnte man „Millionen an monatlichen Rechnungen zahlen“.
Kontrolle in die KI integrieren
Das Unternehmen sah in dieser Herausforderung eine Chance. Es begann 2021, Rechenzentren bei der Optimierung der Energiekosten in deregulierten Elektrizitätsmärkten zu helfen. Das Unternehmen entwickelte Werkzeuge, die es den Betreibern ermöglichen, in Echtzeit zu reagieren, mehr Rechenleistung zu nutzen, wenn Energie günstig ist, und diese zurückzufahren, wenn die Preise steigen.
Vor etwa zwei Jahren, als generative KI populär wurde, begann das Unternehmen zu erkunden, wie es sein Fachwissen im Energiemanagement auf KI-Workloads anwenden konnte.
Bei der Entwicklung von Lösungen stieß das Team jedoch auf ein unerwartetes Problem. Das Routing von KI-Anfragen über mehrere Server machte für die Effizienz Sinn, war jedoch für Kunden, die mit sensiblen Informationen umgingen, eine kritische Compliance-Frage. Wo genau landen die Daten?
„Governance wurde ein großes Augenmerk während der Entwicklung dieser Plattform“, sagte der CEO. „Benutzer sollten die Kontrolle darüber haben, wo und wie ihre Daten geroutet werden, aber die meisten Unternehmen haben nicht die Werkzeuge, um das zu verfolgen. Das ist einer der Hauptgründe, warum die meisten KI-Piloten scheitern.“
Diese mangelnde Kontrolle kann zu größeren Problemen führen. Viele Unternehmen erkennen das Potenzial der KI, zögern jedoch mit der Implementierung, da sie keine klare Sicht darauf haben, wohin ihre Daten gehen. Währenddessen warten die Mitarbeiter nicht. Viele verwenden frustriert persönliche Konten von KI-Tools, oft ohne Wissen des Arbeitgebers.
Die CLōD AI-Inferenzplattform
Diese Erkenntnis führte zur Einführung von CLōD, einer AI-Inferenzplattform, die früher in diesem Jahr gestartet wurde. CLōD ist darauf ausgelegt, als intelligentes Gateway zwischen Unternehmen und den Modellen, die sie nutzen, zu fungieren.
Im Gegensatz zu Werkzeugen, die sich entweder auf Governance oder Kostenoptimierung spezialisieren, bietet CLōD umfassende Kontrolle über mehrere Dimensionen, darunter Kostenmanagement, Latenzoptimierung, Modellrouting, Verhaltenssteuerung, Governance, Sicherheit, Compliance, Privatsphäre und Energieeffizienz. Benutzer definieren ihre eigenen Regeln darüber, welche Daten ihre Umgebung verlassen können, welche Server Anfragen routieren dürfen und wie Modelle pro Anfrage arbeiten sollen.
Die Plattform erfasst diese Regeln automatisch.
Vorhersagbarkeit für die KI-Adoption
Die Plattform bietet auch eine Energieoptimierungsfunktion, die bald live gehen wird. Sie soll die Rechenressourcen basierend auf den Echtzeit-Energiepreisen intelligent verwalten.
Das Unternehmen wurde für das erste AI for Energy-Accelerator-Programm ausgewählt. Über vier Monate arbeitete die Firma mit den Teams für Rechenzentren und KI zusammen, um den Ansatz der Plattform bezüglich Energieoptimierung und Governance zu verfeinern.
Das Unternehmen hat in den letzten Jahren von acht auf 18 Mitarbeiter zugenommen, und es wird eine weitere Finanzierungsrunde für 2026 angestrebt. Der CEO betont, dass der Erfolg des Unternehmens beweist, dass man in der Lage ist, als globales Innovationszentrum zu konkurrieren.
„Wir bauen eine dezentrale Infrastruktur für zuverlässige KI“, sagt der CEO. „Mit dem Wachstum der KI-Nutzung und den steigenden Energiebedenken sind wir hier, um das zu adressieren und zuverlässige KI-Rechenleistung der Öffentlichkeit und den Entwicklern zur Verfügung zu stellen.“
