梳子

数据接入与工作流

把取数写成工作流,结果落成不可变快照。每一次刷新都有版本可查。

常听到的一句话

上个月的报表,能按当时的数据再出一份吗?

为什么会这样

取数靠人手导出、表格流转,文件名里写着“最终版”“最终版 2”。数据变了,没人能还原当时的样子;上游多了一列,下游悄悄少了一行。

梳子怎么做

来源再杂,
也落成同一种样子。

数据库、接口、上传文件,经工作流取数、转换、合并,落成带版本的不可变快照。每次刷新都是新的一版,出了问题回到上一版。

workflow · revenue_daily示例数据

来源

  • PostgreSQL
  • SQL Server
  • REST API
  • CSV · XLSX

工作流

  1. 01取数
  2. 02转换
  3. 03按主键合并

快照

  • v13parquet 不可变
  • v12parquet
  • v11parquet

snapshot v13 · parquet · immutable

  1. 01

    工作流取数

    可视化编排取数与转换。跨来源的数据先同步成受管理的快照,再联合分析。

  2. 02

    不可变版本

    发布后的快照不再改动,可追溯、可回滚,被引用的版本不会被误删。

  3. 03

    写读分离

    写入只经调度器,查询走只读副本。接口不会在你不知情时改动数据。

具体能力

  • 多种来源

    数据库、文件上传、接口取数;生产库可经 SSH 跳板连接。

  • 主键约束

    主键列不允许为空,避免列名对不上时整批数据悄悄并成一行。

  • 增量合并

    按主键增量合并,刷新计划可定时,进度与失败原因可见。

  • 版本引用

    模型、查询与导出对快照的引用会被记录,回收时不误伤。

让数据,从乱到清楚。

先在示例里试一遍,再带上你自己的数据。