/%E6%95%B0%E6%8D%AE%E8%A1%80%E7%BC%98/ Recent content in 数据血缘 on 老张开工了 Hugo zh-cn Sun, 19 Apr 2026 00:00:00 +0000 /posts/2026/04/etl-metadata/ Sun, 19 Apr 2026 00:00:00 +0000 /posts/2026/04/etl-metadata/ 元数据到底是什么 元数据就是"关于数据的数据"。听起来像绕口令，但道理很简单：你的 ETL 管道每天处理几百张表、几千个字段、几十个任务。当有人问"这张表的数据从哪来的"或者"这个字段的转换规则是什么"时，你需要一个系统来回答这些问题。这个系统就是元数据管理。 元数据分为三个层次： 技术元数据 技术元数据描述数据处理的技术细节： 数据库连接信息 表的 schema（字段名、类型、约束） 分区和文件路径 ETL 任务的调度配置 数据量和大小 # 典型的表级技术元数据 table_metadata = { "table_name": "fact_orders", "database": "dw_prod", "schema": "public", "columns": [ {"name": "order_id", "type": "BIGINT", "nullable": False, "pk": True}, {"name": "user_id", "type": "BIGINT", "nullable": False, "fk": "dim_users"}, {"name": "amount", "type": "DECIMAL(12,2)", "nullable": False}, {"name": "status", "type": "VARCHAR(20)", "nullable": False}, {"name": "created_at", "type": "TIMESTAMP", "nullable": False}, ], "partitions": ["dt"], "format": "parquet", "location": "s3://dw-prod/orders/", "row_count": 50000000, "last_refreshed": "2026-04-19 03:15:00", } 业务元数据 业务元数据回答"这是什么意思"的问题：