Ingestion et workflows
Écrivez vos collectes de données sous forme de workflows et déposez les résultats en instantanés immuables. Chaque actualisation laisse une version.
Une phrase que vous avez déjà entendue
Peut-on relancer le rapport du mois dernier avec les données de l'époque ?
Pourquoi cela arrive
Les données circulent par exports manuels et tableurs, dans des fichiers nommés « final » et « final 2 ». Quand les données changent, personne ne sait reconstituer leur état d'origine, et quand une colonne apparaît en amont, une ligne disparaît discrètement en aval.
La méthode Shuzi
Quelle que soit la source,
elle atterrit de la même façon.
Bases de données, API et fichiers téléversés sont collectés, transformés et fusionnés par des workflows, puis déposés en instantanés immuables et versionnés. Chaque actualisation crée une nouvelle version, et une mauvaise peut être annulée.
Sources
- PostgreSQL
- SQL Server
- REST API
- CSV · XLSX
Workflow
- 01Extraire
- 02Transformer
- 03Fusionner par clé
Instantanés
- v13parquet immuable
- v12parquet
- v11parquet
snapshot v13 · parquet · immutable
- 01
Collecte par workflows
Orchestrez visuellement collectes et transformations. Les données de sources différentes sont d'abord synchronisées en instantanés gérés, puis analysées ensemble.
- 02
Versions immuables
Un instantané publié n'est jamais modifié. Il se retrace, s'annule, et une version référencée n'est jamais supprimée par erreur.
- 03
Lecture et écriture séparées
Seul l'ordonnanceur écrit ; les requêtes lisent une réplique en lecture seule. L'API ne modifie jamais les données dans votre dos.
Dans le détail
Nombreuses sources
Bases de données, téléversement de fichiers et collecte par API, avec rebond SSH pour les bases de production.
Règles de clé primaire
Les colonnes de clé primaire ne peuvent pas être nulles : un lot aux noms de colonnes incohérents ne peut pas fusionner en silence en une seule ligne.
Fusion incrémentale
Fusion incrémentale par clé primaire, actualisations planifiables, avancement et causes d'échec visibles.
Références de versions
Les références des modèles, requêtes et exports sont enregistrées : le nettoyage ne supprime jamais une version utilisée.
Faites passer vos donnéesdu désordre à la clarté.
Essayez d'abord avec des données d'exemple, puis apportez les vôtres.