Wie Du die Grenzen von LLMs ausloten kannst

Eine effektive und simple Methode, um vom Modell präzisere und auf das eigene Problem zugeschnittene Antworten zu erhalten, ist das Prompt Engineering. "Prompts" bezieht sich hier auf die Eingabeaufforderungen. Die Prompts sollten dabei so modifiziert werden, dass sie dem LLM mehr Kontext bieten. Das Prompt Engineering ermöglicht somit, Stil und Ton zu steuern oder Fachwissen zu ergänzen, ohne tiefgreifende Änderungen am Modell vornehmen zu müssen. [4] Falls Du also beispielsweise ChatGPT fragst, wie ein bestimmter Text aufzufassen sei, kannst Du den Prompt mit Klassen wie “Positiv”, “Negativ” oder “Neutral” ergänzen, um spezifischere Antworten zu erhalten.

Sollte das Prompt Engineering nicht die erhofften Ergebnisse liefern, stehen uns weitere Ansätze zur Verfügung, um ein LLM für einen speziellen Anwendungsfall zu optimieren. Ein komplettes Neutraining des Modells ist dabei meist nicht notwendig. Es kann oft ausreichen, ein vorhandenes Basis-Modell gezielt auf unsere spezifischen Herausforderungen zuzuschneiden. Das kann beispielsweise bedeuten, das Modell auf domänenspezifische Begriffe zu trainieren oder seine Antworten so zu modifizieren, dass sie besser zum Kommunikationsstil Deines Unternehmens passen. Wenn es aber darum geht, die Leistung eines Modells für eine spezielle Aufgabe zu verbessern, kann das Modell mit aufgabenrelevanten Beispielen trainiert werden. Doch obwohl Feinabstimmung ein leistungsstarkes Werkzeug ist, bringt sie auch besondere Herausforderungen mit sich. Sie ist ressourcenintensiv und kann das Problem, dass dem Modell neue Daten nach dem letzten Trainingszeitpunkt unbekannt sind, nur sehr begrenzt lösen.

Ein alternativer Ansatz, der diese Hürden umgehen kann, ist die "Retrieval Augmented Generation". Dabei werden Modell und ursprünglicher Prompt nicht angepasst, stattdessen wird die Eingabe in das Modell mit relevanten Daten angereichert. Dazu ist folgendes nötig:

Die relevanten Daten (z.B. firmeninterne Dokumentationen) werden von verschiedenen Formaten, wie Word Dokumenten oder PDFs, zu Klartext konvertiert.
Der Text wird dann in kleinere Stücke unterteilt.
Jedes dieser Stücke wird in eine Sequenz aus Zahlen umgeschrieben und in einer Datenbank abgelegt. Dies ist der zentrale Schritt, denn Texte mit ähnlichem Inhalt haben auch ähnliche Sequenzen aus Zahlen. Diese Ähnlichkeiten können jetzt viel einfacher mathematisch ausgedrückt werden. Dies wiederum hilft uns dabei, relevante Textstellen zu finden.
Bei jedem Prompt wird nun diese Datenbank an numerischen Sequenzen durchsucht. Hier werden dem Prompt relevante Textstellen als Kontext beigefügt.