Max’ Erfolgsgeschichte und Herausforderungen mit dbt

Max konnte sein Team überzeugen dbt einzuführen. Von diesem Schritt hat er sich bedeutende Vorteile erhofft, aber wurde dbt diesen in der Praxis auch gerecht? Ein halbes Jahr nach der Einführung wagt Max einen ersten Rückblick.

Er fasst seine Erfahrungen zu den Vorteilen, aber auch Herausforderungen bei der Nutzung von dbt im Folgenden zusammen. Starten wir mit den Vorteilen:

dbt in der Praxis: Vorteile und Möglichkeiten

Lineage:
Durch die Nutzung von dbt sind alle Abhängigkeiten innerhalb der Datenplattform einfach feststellbar und visualisierbar.
Verweise auf andere Tabellen beispielsweise werden nicht hart-codiert, sondern als Referenz auf ein dbt Objekt beschrieben. Auf diese Weise kann dbt einen Graphen erstellen, in welchem es alle Objekte inklusive ihrer Abhängigkeiten untereinander darstellt.
Will Max eine Änderung an einer Tabelle durchführen, ist so nun einfach ersichtlich, welche anderen Objekte davon abhängen und durch die Änderungen potenziell beeinflusst werden.
Ein weiterer Vorteil der Lineage ist die Flexibilität beim Aktualisieren von Tabellen. Wird zum Beispiel Tabelle A für einen Report genutzt und soll dieser zu einem bestimmten Zeitpunkt den aktuellen neuesten Stand anzeigen, so kann dbt mit einer Aktion erkennen, von welchen anderen Tabellen diese Tabelle abhängt und alle gemeinsam updaten, sodass der Report zuverlässig die neuesten Daten berücksichtigt.
Modularisierung und Wiederverwendbarkeit:
In klassischen DWHs sind Datentransformationen oftmals von monolithischer Natur, beispielsweise in langen SQL-Skripten verwaltet und entsprechend schwer zu pflegen.
dbt hingegen unterstützt die Modularisierung von wiederholt genutzten Funktionalitäten durch den Einsatz von Macros und Templates. Max war positiv überrascht, wie schnell seine Kolleg:innen Modularisierungen umgesetzt haben, da der Nutzen für sie intuitiv spürbar war.
Das Resultat ist ein besser wartbarer und lesbarer Code. Gleichzeitig werden Fehlerquellen reduziert, da Funktionalitäten nicht an verschiedenen Stellen mehrfach umgesetzt werden müssen.
Datenqualität:
Innerhalb von dbt kann man für alle seine Objekte Dokumentationen pflegen und sie mit Metadaten anreichern. Darüber hinaus bietet dbt eine Reihe von Datentests an, welche von einfachen Bedingungen (not null / unique) bis hin zu komplexeren Zusammenhängen reichen.
Speziellere Tests können auch selbst definiert werden. Kurzum, alles, was als SQL Query darstellbar ist, kann auch als Datentest benutzt werden.
Max’ Team hat schrittweise mit der Dokumentation und ersten generischen Tests begonnen. dbt unterstützt das Team dabei, indem es sicherstellt, dass die Qualitätsstandards im Entwicklungsprozess gelebt werden. Das Team definiert dazu Mindestanforderungen, die dbt beispielsweise in CI-Pipelines automatisch überprüft und durchsetzt.

dbt in der Praxis: Nachteile und Herausforderungen

Neben den genannten Vorteilen hat Max auch Herausforderungen bei der Einführung von dbt beobachtet.

Skillset:
In erster Linie werden Datentransformationen in dbt in SQL beschrieben, wodurch die Einstiegshürden für Max und seine Kolleg:innen gering waren. Das Nutzen von dbt erfordert darüber hinaus jedoch ein erweitertes technisches Skillset.
In der dbt Community hat sich der Begriff des «Analytics Engineer» gebildet, der beschreibt, dass man nun auch verstärkt Know-how im Bereich Versionskontrolle (git und Einsatz eines git flow), sowie CI/CD Pipelines benötigt.
Hier musste Max’ Team Know-how aufbauen, konnte aber auch von einem Wissenstransfer innerhalb der Organisation und von Fredi profitieren, da vieles davon bereits in Software Engineering Teams etabliert war.
dbt verzeiht keine Abkürzungen:
Wenn das dbt-Projekt während der Entwicklung eines neuen Features in einem unsauberen Zustand ist, beispielsweise weil eine Abhängigkeit zu einer anderen Tabelle noch nicht definiert ist oder man eine zyklische Abhängigkeit eingebaut hat, dann verweigert dbt das Kompilieren des Projekts.
Dadurch können eine Vielzahl von dbt-Befehlen nicht ausgeführt werden, bis das zugrundeliegende Problem korrigiert ist. Für die Entwickler:innen mag dies im ersten Moment mühsam sein, dies sorgt aber gleichzeitig dafür, dass die Qualität hochgehalten wird.

Zusammenfassend findet Max, dass die Herausforderungen zwar nicht zu vernachlässigen sind, jedoch teilweise eine logische Konsequenz aus gewissen Vorteilen sind, die dbt in einem Datenprojekt mit sich bringt.