Ingestão e fluxos de trabalho
Escreva as cargas de dados como fluxos de trabalho e grave os resultados como instantâneos imutáveis. Cada atualização deixa uma versão.
Uma frase que você já ouviu
Dá para refazer o relatório do mês passado com os dados daquela época?
Por que isso acontece
Os dados circulam por exportações manuais e planilhas, em arquivos chamados “final” e “final 2”. Quando os dados mudam, ninguém consegue reproduzir como eram, e quando uma coluna surge a montante, uma linha some em silêncio a jusante.
Como a Shuzi faz
Por mais bagunçada que seja a fonte,
ela pousa sempre do mesmo jeito.
Bancos de dados, APIs e arquivos enviados são extraídos, transformados e mesclados por fluxos de trabalho e gravados como instantâneos imutáveis e versionados. Cada atualização é uma nova versão, e uma ruim pode ser revertida.
Fontes
- PostgreSQL
- SQL Server
- REST API
- CSV · XLSX
Fluxo de trabalho
- 01Extrair
- 02Transformar
- 03Mesclar por chave
Instantâneos
- v13parquet imutável
- v12parquet
- v11parquet
snapshot v13 · parquet · immutable
- 01
Cargas por fluxo de trabalho
Orquestre visualmente extrações e transformações. Dados de fontes diferentes são primeiro sincronizados em instantâneos gerenciados e depois analisados em conjunto.
- 02
Versões imutáveis
Um instantâneo publicado nunca é editado. Pode ser rastreado e revertido, e uma versão referenciada nunca é apagada por engano.
- 03
Leitura e escrita separadas
Só o agendador escreve; as consultas leem de uma réplica somente leitura. A API nunca altera dados pelas suas costas.
Em detalhe
Muitas fontes
Bancos de dados, envio de arquivos e extração por API, com saltos SSH para bancos de produção.
Regras de chave primária
Colunas de chave primária não podem ser nulas, então um lote com nomes de coluna divergentes não consegue se fundir em silêncio em uma única linha.
Mesclagem incremental
Mesclagem incremental por chave primária, atualizações agendáveis, com andamento e causas de falha visíveis.
Referências de versão
As referências de modelos, consultas e exportações são registradas, então a limpeza nunca apaga uma versão em uso.
Leve seus dadosdo emaranhado à clareza.
Experimente primeiro com dados de exemplo e depois traga os seus.