/%E7%BB%BC%E5%90%88%E5%BA%94%E7%94%A8/ Recent content in 综合应用 on 老张开工了 Hugo zh-cn Wed, 29 Apr 2026 00:00:00 +0000 /posts/2026/04/etl-project/ Wed, 29 Apr 2026 00:00:00 +0000 /posts/2026/04/etl-project/ 项目概述 经过前面 14 篇文章的学习，你已经掌握了 ETL 的各个核心环节：数据抽取、转换、加载、SQL 技巧、Python 开发、现代工具链和工作流编排。现在是时候把它们全部串联起来了。 本章是一个端到端的实战项目。我们将为一个电商平台构建完整的数据管道，从原始数据采集到业务指标计算，全部自动化运行。 场景设定 假设你在一家中型电商公司工作。公司有以下几个数据源： MySQL 业务数据库：存储订单、用户、商品信息 CSV 文件：存储在 S3 上的每日营销费用数据 REST API：第三方物流服务商的运单状态接口 你的任务是把这些数据汇集到 PostgreSQL 数据仓库中，清洗转换后生成业务报表，并每天自动运行。 技术栈 环节 工具 用途 数据抽取 Python + SQLAlchemy + requests 从数据库、API、文件抽取数据 数据加载 Python + PostgreSQL 加载到数据仓库 数据转换 dbt 在仓库内完成转换 工作流编排 Airflow 调度整个流程 数据质量 dbt test + Great Expectations 数据验证 监控告警 Airflow + Slack 失败通知 第一步：项目结构 ecommerce-etl/ ├── dags/ # Airflow DAG 定义 │ └── ecommerce_pipeline.py ├── dbt_project/ # dbt 项目 │ ├── dbt_project.