Szenario: Wie BigQuery Omni mit Azure interagiert

Lasst uns für den Rest dieses Blogs ein fiktives Beispiel zur Veranschaulichung benutzen. Die Schweizer Privatbank “Fairy Tale Financials” setzt für ihre Eigenentwicklungen und die Data Analytics Plattform auf Google Cloud. Das zentrale CRM System läuft allerdings auf Microsoft Azure. Wie können die Daten des CRM in der Data Analytics Plattform auf Google Cloud analysiert und mit anderen Daten, die bereits in Google Cloud vorhanden sind, verknüpft werden? In Prä-BigQuery Omni-Zeiten boten sich zwei klassische Wege an:

Datentransfer/ETL: Die CRM Daten können von Azure nach Google Cloud transferiert werden. Viele Data Analytics Lösungen bieten diese Funktionalität an. Oft sind aber zusätzliche ETL Tools oder Skripte nötig, um die Daten zu exportieren und in ein unterstütztes Format zu transformieren. Auch muss sichergestellt werden, dass die Daten regelmässig aktualisiert werden. Dadurch steigt die Komplexität und der Betriebsaufwand der Lösung. Zusätzlich hat die Erfahrung gezeigt, dass bei grossen oder sich schnell ändernden Daten auch die Performance der Lösung nicht mehr zufriedenstellend ist.
Query Federation: Unter Query Federation versteht man die Möglichkeit mehrere Datensilos abzufragen ohne vorher alle Daten an einen zentralen Ort transferieren zu müssen. Dabei wird die Anfrage nach Quelle aufgeteilt und die Teilabfragen an die jeweiligen Quellen gesendet. In unserem Beispiel würde der Teil einer Abfrage, welche CRM Daten betrifft, herausgelöst und direkt an die CRM Datenbank in Azure geschickt. So müssten nur die Abfrageergebnisse von Azure nach Google Cloud transferiert werden und nicht die ganze Datenbank. Obwohl dieser Ansatz schon seit vielen Jahren verfolgt wird, konnte er nur in wenigen Situationen den erhofften Erfolg bringen. Oft leidet die Performance, weil dann doch grössere Datenmengen transferiert werden müssen oder die unterstützten Features beschränkt sind.

Müssen wir uns nun entscheiden, welche dieser Lösungen für uns das «kleinere Übel» ist? Oder gibt es eine bessere Lösung für dieses Problem?