数据管道构建
- 唯一标识:
stream - 显示名称:数据管道构建
- 能力摘要:设计 ETL/ELT 与批流数据管道,选择 Kafka、Airflow、dbt 等组件,明确数据流、质量、血缘、调度和故障处理。
案例素材
-
业务要把订单数据供 BI 使用;设计从事务库、增量抽取、清洗到数仓模型的 ELT 流程。
-
实时风控需要低延迟事件;选择消息主题、消费者、幂等和死信队列策略。
-
数据报表每天偶尔出错;建立质量检查、血缘、重跑和告警机制。
设计 ETL/ELT 管道、可视化数据流、选择批处理/流处理方法以及构建 Kafka/Airflow/dbt 系统
stream业务要把订单数据供 BI 使用;设计从事务库、增量抽取、清洗到数仓模型的 ELT 流程。
实时风控需要低延迟事件;选择消息主题、消费者、幂等和死信队列策略。
数据报表每天偶尔出错;建立质量检查、血缘、重跑和告警机制。