出处：https://www.bilibili.com/video/BV1jbXKBGECC/ spark_agent_learn.py 结构图 · 纯文字版 这是 spark_agent_learn_guide.md 里 9 张 Mermaid 图的纯文字对照版：不依赖任何渲染器，任何编辑器里都能读。约定：缩进表示"属于/由谁产生"，-> 表示"然后/流向"，[?] 表示判断分支。全文只用函数名、类名、常量名定位，不用行号。 图 1 · 全局架构（10 个部件与数据流） 图 2 · 主循环（含 5 个 Ho…
在现代数据平台中，数据处理链路通常可以抽象成： 如果数据采集使用 SeaTunnel，调度使用 DolphinScheduler，数据仓库使用 ClickHouse、Doris、Snowflake、BigQuery 等，那么还有一个非常关键的问题： 谁负责把这些原始数据转换成真正可以被业务使用的数据模型？ 过去几年，这个问题几乎可以直接回答： dbt。 但现在，一个非常值得关注的竞争者出现了： SQLMesh。 两者表面上都可以写 SQL、建立模型、管理 DAG、执行测试，因此很多人会把 SQLMesh 简单理解为…
dbt中文教程文档见下： 本教程面向制造业工厂数据治理场景，基于 dbt + DuckDB 构建从源系统到数仓分层（ODS/DWD/DWS/ADS）的配置与加工实践。 文档目录 01 dbt 工程配置说明 工程：dbt_factory/（通用制造工厂数据中台）。数仓库 data/dwh.duckdb，源库 data/raw.duckdb（只读挂载）。实测：dbt build 全量 402/402 全部通过（详见 docs/run_report.md）。 1. 环境准备 1.1 软件版本（实测） 组件 版本 说明 P…