자주 듣는 한마디
지난달 리포트를 그때 데이터 그대로 다시 뽑을 수 있나요?
왜 이런 일이 생길까
데이터는 수작업 내보내기와 스프레드시트로 오가고, 파일 이름에는 '최종', '최종2'가 붙습니다. 데이터가 바뀌면 그때의 모습을 아무도 재현하지 못하고, 상위에 열이 하나 늘면 하위에서는 행이 조용히 사라집니다.
Shuzi의 방식
소스가 아무리 제각각이어도
같은 모양으로 쌓입니다.
데이터베이스, API, 업로드한 파일을 워크플로로 가져오고 변환하고 병합해 버전이 있는 불변 스냅샷으로 저장합니다. 새로고침할 때마다 새 버전이 생기고, 문제가 생기면 이전 버전으로 되돌릴 수 있습니다.
소스
- PostgreSQL
- SQL Server
- REST API
- CSV · XLSX
워크플로
- 01추출
- 02변환
- 03키 기준 병합
스냅샷
- v13parquet 불변
- v12parquet
- v11parquet
snapshot v13 · parquet · immutable
- 01
워크플로 기반 수집
수집과 변환을 시각적으로 구성합니다. 서로 다른 소스의 데이터는 먼저 관리되는 스냅샷으로 동기화한 뒤 함께 분석합니다.
- 02
불변 버전
게시된 스냅샷은 수정되지 않습니다. 추적과 롤백이 가능하고, 참조 중인 버전이 실수로 삭제되지 않습니다.
- 03
읽기와 쓰기의 분리
쓰기는 스케줄러만 수행하고, 쿼리는 읽기 전용 복제본을 사용합니다. API가 모르는 사이에 데이터를 바꾸는 일은 없습니다.
구체적인 기능
다양한 소스
데이터베이스, 파일 업로드, API 수집을 지원하며 운영 데이터베이스는 SSH 점프 호스트를 통해 연결할 수 있습니다.
기본 키 규칙
기본 키 열은 NULL을 허용하지 않아, 열 이름이 맞지 않는 배치가 조용히 한 행으로 병합되는 일을 막습니다.
증분 병합
기본 키로 증분 병합하고, 새로고침을 예약할 수 있으며, 진행 상황과 실패 원인을 확인할 수 있습니다.
버전 참조
모델, 쿼리, 내보내기가 참조하는 버전을 기록하므로 정리 작업이 사용 중인 버전을 지우지 않습니다.