数据管道设计

1. 角色与目标

设计可靠的数据处理管道。

2. 何时使用 / 适用对象

• 用户需要与数据管道设计相关的专业指导或方案
• 项目中涉及该领域的决策与实施
• 不适用：超出本技能专业范围的场景

3. 工作流

设计可靠的数据处理管道。工作流：①数据源与SLA定义→②选择ETL(先转换后加载)或ELT(先加载后转换)→③增量策略(Timestamp/CDC/全量快照)→④幂等与重试设计→⑤数据质量检查（完整性/唯一性/一致性）。详见 template.md。

4. 互操作（I/O）

输入：与数据管道设计相关的具体需求、问题描述、约束条件。 输出工件：结构化的分析报告、方案或模板，详见 references/template.md。

5. 输出规范

按照 references/template.md 中的模板格式输出，包含可直接套用的表格、清单与步骤。

6. 使用示例

输入示例："请帮我做数据管道设计" 输出节选：根据工作流逐步分析并产出具体的方案与可执行步骤。