批流一体数据管道

• 唯一标识：hub-data-engineering-data-pipeline
• 显示名称：批流一体数据管道
• 能力摘要：设计可扩展、可靠且成本可控的批处理和流式数据管道，覆盖摄取、编排、转换、湖仓存储、数据质量、血缘、监控和灾难恢复。

案例素材

1. 订单数据按 updated_at 水位增量抽取，写入湖仓前校验主键和类型，把不合格记录送入死信队列并保留来源时间戳。
2. 实时点击流使用事务内 offset 提交和窗口聚合，遇到 schema 异常可重放；下游 dbt 分层模型产出可供 BI 使用的指标。
3. 为每日财务管道设置 Airflow SLA、重试、数据新鲜度与行数异常告警，针对 Parquet 文件大小和分区策略控制存储及计算成本。