Datenanbindung & Workflows
Datenabrufe als Workflows beschreiben und Ergebnisse als unveränderliche Snapshots ablegen. Jede Aktualisierung hinterlässt eine Version.
Ein Satz, den Sie kennen
Können wir den Bericht vom letzten Monat mit den damaligen Daten neu erzeugen?
Warum das passiert
Daten wandern per manuellem Export und Tabellenkalkulation, in Dateien namens „final“ und „final 2“. Ändern sich die Daten, kann niemand ihren früheren Stand rekonstruieren, und kommt vorgelagert eine Spalte hinzu, fehlt nachgelagert still eine Zeile.
So macht es Shuzi
Wie wirr die Quelle auch ist,
sie landet immer gleich.
Datenbanken, APIs und hochgeladene Dateien werden per Workflow abgerufen, transformiert und zusammengeführt und als unveränderliche, versionierte Snapshots abgelegt. Jede Aktualisierung ist eine neue Version, eine fehlerhafte lässt sich zurückrollen.
Quellen
- PostgreSQL
- SQL Server
- REST API
- CSV · XLSX
Workflow
- 01Extrahieren
- 02Transformieren
- 03Per Schlüssel zusammenführen
Snapshots
- v13parquet unveränderlich
- v12parquet
- v11parquet
snapshot v13 · parquet · immutable
- 01
Abrufe per Workflow
Abrufe und Transformationen visuell orchestrieren. Daten aus verschiedenen Quellen werden zuerst in verwaltete Snapshots synchronisiert und dann gemeinsam analysiert.
- 02
Unveränderliche Versionen
Ein veröffentlichter Snapshot wird nie bearbeitet. Er ist nachvollziehbar und lässt sich zurückrollen, und eine referenzierte Version wird nie versehentlich gelöscht.
- 03
Lesen und Schreiben getrennt
Nur der Scheduler schreibt; Abfragen lesen von einem schreibgeschützten Replikat. Die API ändert nie unbemerkt Daten.
Im Detail
Viele Quellen
Datenbanken, Datei-Upload und API-Abrufe, mit SSH-Sprungrechnern für Produktionsdatenbanken.
Primärschlüssel-Regeln
Primärschlüsselspalten dürfen nicht leer sein, damit ein Stapel mit nicht passenden Spaltennamen nicht still zu einer einzigen Zeile verschmilzt.
Inkrementelles Zusammenführen
Inkrementell per Primärschlüssel zusammenführen, Aktualisierungen planen, Fortschritt und Fehlerursachen einsehen.
Versionsreferenzen
Referenzen von Modellen, Abfragen und Exporten werden erfasst, sodass die Bereinigung nie eine genutzte Version löscht.
Bringen Sie Ihre Datenvom Wirrwarr zur Klarheit.
Probieren Sie es zuerst mit Beispieldaten aus, dann bringen Sie Ihre eigenen mit.