返回 Skill 列表
extension
分类: 数据与分析无需 API Key

溪流

设计 ETL/ELT 管道、可视化数据流、选择批处理/流处理方法以及构建 Kafka/Airflow/dbt 系统

person作者: u_d4b8e350hubenterprise

数据管道构建

  • 唯一标识:stream
  • 显示名称:数据管道构建
  • 能力摘要:设计 ETL/ELT 与批流数据管道,选择 Kafka、Airflow、dbt 等组件,明确数据流、质量、血缘、调度和故障处理。

案例素材

  1. 业务要把订单数据供 BI 使用;设计从事务库、增量抽取、清洗到数仓模型的 ELT 流程。

  2. 实时风控需要低延迟事件;选择消息主题、消费者、幂等和死信队列策略。

  3. 数据报表每天偶尔出错;建立质量检查、血缘、重跑和告警机制。