数据清洗与质量验证

• 唯一标识：industry-data-cleaning
• 显示名称：数据清洗与质量验证
• 能力摘要：将原始数据转为可分析数据集：审计缺失、重复、类型、格式和异常值，按字段语义选择修复策略，并通过模式、范围、唯一性和关联完整性规则留下可审计的转换日志。

案例素材

1. 电商订单 CSV 同时含多种日期格式、带货币符号的金额、拼写不一致的状态和重复订单号；逐步统一类型与枚举值、去重并记录每项变更数量。
2. 客户主数据中地址相同但名称大小写不同的记录疑似重复，先以可配置相似度提出合并候选，再按更新时间和完整度决定主记录，避免仅凭名称自动合并。
3. 每日入仓后执行数据质量规则：订单号非空且唯一、金额在合理区间、状态属于受控集合、客户 ID 存在于维表；失败记录隔离并生成可追踪的质量报告。