Mit dbt Core On-Premise<\/strong> haben wir eine L\u00f6sung realisiert, die eine Fachabteilung aus der Abh\u00e4ngigkeit starrer IT-Release-Zyklen befreit. In diesem Use Case zeigen wir, wie ein moderner Data Stack auch ohne Cloud-Zwang in einer hochregulierten Infrastruktur funktioniert.<\/p>\n\n\n\n Cloud-First ist heute das Mantra vieler Data Engineers. Snowflake, BigQuery, Databricks \u2013 die Tools sind m\u00e4chtig. Aber was passiert, wenn man diese Tools nicht nutzen darf? In unserem aktuellen Projekt bewegen wir uns im Bereich Abrechnungsdienstleistungen im Gesundheitswesen. Das bedeutet: Sensible Daten und strikte Regularien. Die Cloud ist hier keine Option, \u201eOn-Premise\u201c ist das Gesetz. Unsere Aufgabe war es, in diesem restriktiven Umfeld eine moderne, agile und vor allem wartbare Data-Warehouse-L\u00f6sung zu entwerfen. Wie wir das mit einem MS SQL Server, einem bestehenden Oracle-Monolithen und dbt Core gel\u00f6st haben, erz\u00e4hlen wir in diesem Use Case.<\/p>\n\n\n\n Unser Kunde nutzt f\u00fcr das bisherige Reporting die Produktive Datenbank ihres ERP Systems \u2013 das R\u00fcckgrat des Unternehmens. Dieses wird von von einem anderen verpartnerten Abrechnungsdienstleister zur Verf\u00fcgung gestellt und von mehreren Unternehmen verwendet. Es ist extrem stabil \u2013 aber genau da lag das Problem. \u2022 Quelle: <\/strong>Oracle Produktive Datenbank (ReadOnly Zugriff). Anstatt gegen Windm\u00fchlen zu k\u00e4mpfen und das Oracle-System \u00e4ndern zu wollen, haben wir uns f\u00fcr den Aufbau eines eigenst\u00e4ndigen Data Warehouse entschieden. Wir l\u00f6sen die Datenanalyse vom operativen System, indem wir die relevanten Daten aus Oracle in den MS SQL Server \u00fcberf\u00fchren und dort eine unabh\u00e4ngige Datenplattform aufbauen.<\/p>\n\n\n\n Die Transformation und Orchestrierung \u00fcbernimmt dabei komplett dbt (data build tool)<\/strong>. Viele denken bei dbt sofort an die Cloud, aber es ist (in der Core-Version) auch ein fantastisches Werkzeug f\u00fcr On-Prem-Szenarien.<\/p>\n\n\n\n Der erste Schritt war die Br\u00fccke zwischen den Welten. Wir haben im MS SQL Server einen Linked Server zur Oracle-Datenbank eingerichtet.Tech-Note: Das klingt einfacher, als es war. Die Treiber-Konfiguration war hakelig. Der Durchbruch gelang, als wir auf dem SQL Server einen System DSN (Data Source Name) anlegten und den Linked Server dar\u00fcber verbanden. Seitdem l\u00e4uft die Verbindung stabil.<\/p>\n\n\n\n Wir nutzen dbt nicht nur f\u00fcr die Modellierung, sondern auch zur Steuerung der Datentransfers (ELT). Da wir riesige Tabellen nicht t\u00e4glich voll laden k\u00f6nnen, setzen wir auf inkrementelle Strategien:<\/p>\n\n\n\n Unsere dbt-Struktur folgt einem klaren Muster:<\/p>\n\n\n\n 1. Raw: <\/strong>Hier landen die gespiegelten Daten 1:1.<\/p>\n\n\n\n 2. Staging: <\/strong>Aktuell sind das reine select * Views auf die Raw-Daten. Das klingt banal, ist aber unsere Versicherung. Sollten wir sp\u00e4ter \u201eschmutzige\u201c Rohdaten bereinigen m\u00fcssen, k\u00f6nnen wir das hier tun, ohne die Downstream-Modelle zu ver\u00e4ndern.<\/p>\n\n\n\n 3. Data Marts:<\/strong> Hier entsteht der Mehrwert. Wir modellieren aktuell Use-Case-basiert. Das hei\u00dft: Ein Dashboard in Tableau bekommt genau eine, performante Tabelle.<\/p>\n\n\n\n Wie entwickelt man so etwas ohne Cloud-IDE? Ganz klassisch:<\/p>\n\n\n\n Das Projekt steht zwar noch relativ am Anfang, aber der Nutzen wurde schnell sichtbar:<\/p>\n\n\n\n Das Projekt wurde von unserem Team \u2013 Core Data Analysten und DSC Data Analysten<\/strong> \u2013 erfolgreich realisiert.<\/p>\n\n\n\n <\/p>\n\n\n\nDer Reporting-Flaschenhals: Wenn die IT langsamer ist als der Business-Bedarf.<\/h3>\n\n\n\n
Die Anforderungen an das Reporting \u00e4nderten sich schneller, als die zentrale IT neue Features liefern konnte. Unsere Ansprechpartnerin (die selbst SQL beherrscht) brauchte Freiheit f\u00fcr Analysen, ohne auf Release-Zyklen warten zu m\u00fcssen.<\/p>\n\n\n\nDie Infrastruktur-Vorgaben:<\/h3>\n\n\n\n
\u2022 Ziel: <\/strong>MS SQL Server (vorhanden und von den Gremien freigegeben, volle Kontrolle).
\u2022 Tooling: <\/strong>dbt Core (Open Source).
\u2022 Netzwerk: <\/strong>Alles lokal, keine Cloud-Dienste.<\/p>\n\n\n\nDie L\u00f6sung: Ein hybrides On-Premise Data Warehouse mit dbt Core.<\/h3>\n\n\n\n
1. Verbindung: Linked Server & System DSN<\/h4>\n\n\n\n
2. Mirroring & Inkrementelle Loads<\/h4>\n\n\n\n
\n
3. Die Layer: Raw, Staging und Marts<\/h4>\n\n\n\n
Schritt f\u00fcr Schritt: Daten-Mirroring von Oracle zu MS SQL Server.<\/h3>\n\n\n\n
\n
Das Ergebnis: Volle Analyse-Freiheit f\u00fcr das Fach-Team.<\/h3>\n\n\n\n
\n