常听到的一句话
上个月的报表,能按当时的数据再出一份吗?
为什么会这样
取数靠人手导出、表格流转,文件名里写着“最终版”“最终版 2”。数据变了,没人能还原当时的样子;上游多了一列,下游悄悄少了一行。
梳子怎么做
来源再杂,
也落成同一种样子。
数据库、接口、上传文件,经工作流取数、转换、合并,落成带版本的不可变快照。每次刷新都是新的一版,出了问题回到上一版。
来源
- PostgreSQL
- SQL Server
- REST API
- CSV · XLSX
工作流
- 01取数
- 02转换
- 03按主键合并
快照
- v13parquet 不可变
- v12parquet
- v11parquet
snapshot v13 · parquet · immutable
- 01
工作流取数
可视化编排取数与转换。跨来源的数据先同步成受管理的快照,再联合分析。
- 02
不可变版本
发布后的快照不再改动,可追溯、可回滚,被引用的版本不会被误删。
- 03
写读分离
写入只经调度器,查询走只读副本。接口不会在你不知情时改动数据。
具体能力
多种来源
数据库、文件上传、接口取数;生产库可经 SSH 跳板连接。
主键约束
主键列不允许为空,避免列名对不上时整批数据悄悄并成一行。
增量合并
按主键增量合并,刷新计划可定时,进度与失败原因可见。
版本引用
模型、查询与导出对快照的引用会被记录,回收时不误伤。