/%E5%BC%80%E6%BA%90%E5%B7%A5%E5%85%B7/ Recent content in 开源工具 on 老张开工了 Hugo zh-cn Sat, 25 Apr 2026 00:00:00 +0000 /posts/2026/04/etl-tools/ Sat, 25 Apr 2026 00:00:00 +0000 /posts/2026/04/etl-tools/ 现代开源 ETL 生态 如果你在 2015 年问一个数据工程师用什么做 ETL，答案很可能是 Informatica 或 DataStage。到了 2026 年，答案已经完全不同。开源工具链的成熟让数据团队可以用更低的成本搭建媲美商业产品的数据管道。 现代开源 ETL 栈的核心是两个工具：Airbyte 负责 Extract 和 Load，dbt 负责 Transform。这个组合被称为"ELT 模式"——先把原始数据加载到目标仓库，再在仓库内部完成转换。相比传统 ETL，ELT 利用数据仓库的计算能力做转换，避免了大量数据传输。 Airbyte：数据集成层 什么是 Airbyte？ Airbyte 是一个开源的数据集成平台，提供从各种数据源到目标存储的连接器。它的核心理念是"连接器优先"——社区已经贡献了 300 多个预建连接器，覆盖数据库、API、文件存储、SaaS 应用等常见数据源。 核心概念 Source（源）：数据从哪里来。可以是 PostgreSQL、MySQL、MongoDB 等数据库，也可以是 Stripe、Salesforce、Google Analytics 等 SaaS 服务，还可以是 S3、GCS 等文件存储。 Destination（目标）：数据到哪里去。常见的目标包括 Snowflake、BigQuery、Redshift、PostgreSQL、S3 等。 Connection（连接）：定义 Source 和 Destination 之间的数据流。一个连接包含同步频率、同步模式、流的选择等配置。 Sync Mode（同步模式）：Airbyte 支持多种同步策略： 模式 说明 适用场景 Full Refresh - Replace 每次全量覆盖 小表、字典表 Full Refresh - Append 每次全量追加 不可变日志 Incremental - Append 增量追加新数据 事件表、日志表 Incremental - Deduped 增量追加并去重 订单表、用户表 部署 Airbyte # 使用 Docker Compose 快速部署 mkdir airbyte && cd airbyte wget https://raw.