Autoren: Kevin Duss, Gerrit Merz und David Konatschnig
Wir sind im April um die halbe Welt gereist, um euch die neuesten News der Google Cloud Platform (GCP) nach Hause zu bringen.
TL;DR: Googles multimodales Gen AI Modell Gemini 1.5 Pro hat ein Kontextfenster von einer Million Token.
Ich wache auf. Ein Helikopter propellert gerade über unserem Zimmer im Motel 6. Ein Blick auf die Uhr. 3:00 AM. Ich schaue rüber zum Bett meiner Jungs. David und Gerrit schlafen seelenruhig. Süss. Und nicht selbstverständlich nach 2 Liter Monster Energy. Ich muss pinkeln. Nachdem ich drei falsche Lichtschalter betätige, erwische ich den richtigen und das WC-Licht geht an.
Die Jungs sind mittlerweile wach. Sie schauen mich verzeihend an. Denn wir wissen: Es ist Montag. Wir sind in Vegas. Und die beste Woche unseres Lebens hat gerade gestartet.
Fast-forward zur Opening Keynote der Google Cloud Next 2024 in einem Stadion gefüllt mit rund 30'000 Leuten. Der Raum verdunkelt sich. Die riesigen, von der Decke hängenden Bildschirme beginnen ein Video abzuspielen.
«At Google, AI isn’t a tomorrow thing. It’s a today thing.»
5 Sekunden nach Konferenzbeginn ist uns klar: Es wird sich alles um AI drehen. Für Google ist AI «the new way to cloud». Dieser Weg soll von Googles Star geebnet werden: Gemini 1.5 Pro.
Worin unterscheidet sich Gemini 1.5 Pro von anderen multimodalen Gen AI Modellen? A context window of 1 million tokens! Kein Track an der Next soll vergehen, an dem wir diese Zahl nicht mindestens einmal zu hören bekommen.
Eine Million Token lässt sich übersetzen in:
Sprich, Gemini 1.5 Pro kann sehr viel Information in einem Zug verarbeiten.
Sofort stellt sich die Frage, was man mit einem solchen Kontextfenster alles anstellen kann. Vieles, wie sich herausstellt.
Besonders zwei Einsatzmöglichkeiten lassen die Augen meiner beiden Begleiter glänzen. Bei David, alter begnadigter Platform Engineer, ist es Gemini Cloud Assist. Bei Gerrit, junger gewitzter Software Engineer, ist es Gemini Code Assist.
Gemini Cloud Assist unterstützt beim Designen, Betreiben und Troubleshooten von Anwendungen.
Cloud Assist kennt dank seiner Million Tokens den Kontext des aktuellen Google Projekts. Die daraus resultierenden Vorteile präsentiert Google anhand eines Webshops, der hohe Latenzzeiten aufweist.
Woher kommt die Latenz? Diese Frage wird an Cloud Assist gerichtet. Die erhaltene Antwort besteht nicht nur aus Worten. Sie enthält auch hilfreiche Diagramme, die Ausreisser in puncto Latenz aufzeigen. Nach einem kurzen Dialog mit Cloud Assist steht der Übeltäter fest: Eine Backend-Komponente kann nicht genügend skalieren. Cloud Assist zeigt bequemerweise den gcloud CLI Command direkt an, der diesen Missstand behebt.
Aktuell ist Cloud Assist noch in der Private Preview und nicht für die breite Masse zugänglich. Das ändert sich hoffentlich bald.
Gemini Code Assist ist Googles Pendant zu GitHubs Copilot.
Code Assist verspricht mit seiner Million Token, weitreichende Änderungen über ganze Codebases zu machen.
Das präsentiert Google in einer Live-Demo. In der Demo passt Code Assist Front- und Backend eines Webshops an. Hierfür muss die Entwicklerin nur die Fachanforderungen inkl. Mockup in den Chat des VS Code Plugins einfügen. Danach gilt es nur noch, die von Code Assist vorgeschlagenen Changes zu akzeptieren. Und der Karren läuft.
«Mein nächstes Ticket werde ich von Code Assist implementieren lassen, hehe», offenbart mir mein deutscher Kollege Gerrit.
Ich teste Gemini Code Assist in einem eigenen Projekt. «Ersetze String X mit String Y», prompte ich drauf los. Der Change sieht richtig aus, den mir Code Assist im Chat vorschlägt. Also akzeptiere ich ihn.
Code Assist scheint jedoch nicht in der Lage zu sein, den String zu ersetzen. Stattdessen fügt Code Assist den ganzen vorgeschlagenen Code-Block ein, wo mein Cursor gerade steht. Dies führt zu einem duplizierten und syntaktisch inkorrekten Code.
Daher liegt dem heutigen Code Assist wohl noch nicht die aktuellste Version des Gemini-Modells zugrunde. Sprich, Gerrit muss zumindest bei seinem nächsten Ticket noch selbst anpacken.
Neben Gemini Code Assist und Cloud Assist werden im Verlauf der Google Cloud Next 2024 rund 200 weitere Neuheiten angekündigt.
Als Ausgleich zu den zukunftsgerichteten «what’s next»-Präsentationen haben wir am zweiten Tag die Gelegenheit, uns mit verschiedenen Produkteteams zu treffen. Mit ihnen diskutieren wir aktuelle Herausforderungen von Kund:innen und wie wir diese bewältigen können.
Am späten Nachmittag des dritten und letzten Konferenztages schlendern wir nostalgisch durch die imposante Messehalle. Die Softwareanbieter haben angefangen, ihre Stände abzuräumen. Die Next 2024 kommt zu einem Ende.
Es war eine informationsgeladene Veranstaltung, die uns neue Denkanstösse für die Zukunft mit GCP gegeben hat. Nun haben David, Gerrit und ich noch zwei Nächte in Vegas, um unsere neuen Erkenntnisse sacken zu lassen und die perfekte Woche abzurunden.
Gerrit macht das erfolgreicher als David ⬇️.
