08.07.2025
Agentic AI birgt enorme Chancen – und komplexe Risiken. Warum solide Software-Architektur wichtiger ist denn je, um KI robust und skalierbar zu integrieren.
Beim Techbier mit Joachim Huber, wurde uns klar: In der Welt der Agentic AI warten nicht nur spannende Möglichkeiten, sondern auch «echt harte Nüsse». Es ging darum, diese spezifischen Schwierigkeiten zu verstehen, bevor man voreilige Lösungen sucht.
Es war ein Abend voller technischer Einsichten und der Erkenntnis, dass selbst fortschrittliche künstliche Intelligenz ihre Infrastruktur braucht, die nicht immer einfach zu managen ist.
Large Language Models (LLMs) sind im Kern rechenintensive Einheiten, die analysieren, Schlüsse ziehen und planen können. Sie sind leistungsfähig, aber zustandslos.
Ein AI Agent bettet das LLM in eine Softwarekomponente ein und kann selbständig den Kontext für das LLM aufbauen, externe Programme oder Tools (APIs) nutzen, Aktionen ausführen und bei Bedarf auch menschliches Feedback einholen.
Dieser Prozess läuft in einer Schleife ab: Ausgelöst durch einen Input (Text, Bild, Ton) holt sich der KI Agent Informationen, verarbeitet diese und ruft weitere Tools (APIs) auf. Wenn die Qualität des Resultats als nicht genügend klassifiziert wird, wiederholt sich der Zyklus.
Mehrere solcher KI Agenten können sich zu einem Agentic AI System verbinden, um komplexe Aufgaben zu lösen: echtes Teamwork, auch bei der KI.
Die Firma Akka mutmasst, dass Agenten ordentlich Last erzeugen werden. Die Transaktionen pro Sekunde (TPS) könnten um das 100-fache steigen, und die Latenz könnte sich um das 15- bis 400-fache erhöhen. Und das Portemonnaie? Eine LLM-Interaktion könnte uns 10- bis 10’000-mal teurer zu stehen kommen als ein klassischer Request an eine SaaS-Datenbank.
Die Gründe sind vielfältig: LLMs sind zustandslos, brauchen ständig Kontext, sind stochastisch (also unberechenbar), unzuverlässig, oft langsam und eben teuer. Die Kernaussage des Abends war: Die Integration von LLMs in unsere Geschäftssoftware ist weniger ein reines AI-Problem, sondern primär eine Aufgabe des Software Engineerings.
Der Vorschlag ist daher, das LLM als «Black Box» zu behandeln - mit klar definierten Schnittstellen und bekannten Eigenschaften. So können sich AI-Spezialisten auf das Innere konzentrieren, während Software-Ingenieure die robuste Integration sicherstellen. Eine Art Denkerzelle für die KI, die man anbindet.
Die Struktur von Agentic Systems entspricht der eines verteilten Systems. Dabei wurde auch an die berüchtigten «Fallacies of distributed computing» erinnert - gängige Fehleinschätzungen wie die Annahme, das Netzwerk sei immer zuverlässig oder die Latenz sei null.
Das heisst, wir müssen mit fehlgeschlagenen Requests, langen Responsezeiten und Timeouts und unterschiedlichen Verarbeitungsgeschwindigkeiten von Komponenten umgehen können.
Konzeptionelle Werkzeuge, um mit diesen Herausforderungen umgehen zu können sind unter anderem asynchrone, nicht-blockierende Aufrufe, ereignisbasierte Streaming-Antworten und Mechanismen zur Lastregulierung (Backpressure).
Darüber hinaus sind robustes Fehlermanagement mit Wiederholungsversuchen, Circuit Breakern und Timeouts entscheidend. Replikation und Failover sind ebenfalls unerlässlich, wollen wir Datenverluste und die vollständiger Wiederholung aller teuren LLM-Calls vermeiden.
Bei Multi-Agenten-Systemen müssen wir uns zudem um persistente Workflows, distributed Tracing und Discovery & Mesh Networking kümmern, damit wir ein stabiles Fundament für unser AI-getriebenes System erhalten.
Für Szenarien, in denen die Komplexität verteilter Systeme das Standardmass sprengt, bieten Actor-Systeme wie Akka einen mächtigen Ansatz.
In einem Actor System kommunizieren Actors ausschliesslich über den Austausch von Nachrichten. Wenn ein Actor eine Nachricht erhält, kann er weitere Nachrichten senden, neue Actors erzeugen und sein eigenes Verhalten für die nächste Nachricht festlegen.
Dies entspricht der ursprünglichen Vision von Alan Kay zur objektorientierten Programmierung, bei der das «Messaging» im Mittelpunkt stand. Man könnte sagen: Actors sind OOP, aber richtig verstanden.
Die Vorteile von Actor-Systemen für KI-Anwendungen liegen in ihrer Fähigkeit, natürliche Nebenläufigkeit zu modellieren, da jeder Actor eigenständig arbeitet und Nachrichten asynchron verarbeitet, ganz ohne die Gefahr von Race Conditions.
Sie ermöglichen Verteilbarkeit und Skalierbarkeit, indem sie Actors nahtlos auf verschiedenen Nodes laufen lassen. Zudem bieten sie Fehlertoleranz durch Supervisor-Hierarchien nach dem «Let it crash»-Prinzip. Durch ihre modulare Architektur führen Actor-basierte Systeme zu gut strukturiertem, lose gekoppeltem Code.
Der Akka-Blueprint zeigt, wie all diese Konzepte zusammenkommen, um Agentic AI-Dienste effizient, elastisch und resilient zu machen. Er verbindet LLMs, Vektordatenbanken und andere Systeme elegant über Streaming-Endpunkte und robuste Konnektivität.
Doch obwohl Actor-Systeme wie Akka leistungsstark sind, kam unser Abend zu dem Schluss, dass sie für viele unserer aktuellen Kunden-Use-Cases in Bezug auf Agentic AI mit zu hohem Aufwand verbunden sind. Die zusätzliche Komplexität, die sie mit sich bringen, wiegt für die momentan bekannten Use Cases den Nutzen nicht auf.
Es ist ein Werkzeug für sehr hochskalierbare und fehlertolerante Szenarien, kein Allheilmittel für jede KI-Integration. Es ist ein Ansatz, wie man sehr robuste KI-Systeme baut, doch manchmal ist eine Schaufel effektiver als ein Bagger.
«Als Principal Architect begeistere ich mich für Architekturthemen und gestalte komplexe IT-Infrastrukturen von der Konzeption bis zur Umsetzung.»
