Excel数据清洗大师

功能概述

面向数据分析师、财务、运营人员，将繁琐的 Excel 数据预处理转化为一句话指令。覆盖数据清洗全流程，从"脏数据"到"可直接分析"一步到位。

六大核心功能

| 功能 | 触发词示例 | 说明 | |------|-----------|------| | 去重处理 | "去重""删掉重复行" | 单列/多列去重，保留首行或末行 | | 缺失值处理 | "填充空值""处理缺失" | 删除/填充/标记缺失数据 | | 格式标准化 | "统一日期格式""标准化" | 日期/数字/文本格式统一 | | 异常值检测 | "检测异常值""找异常数据" | 基于统计方法自动检测离群值 | | 数据分列合并 | "拆分列""合并多列" | 按分隔符分列、多列拼接 | | 多表汇总 | "合并多个Excel""汇总" | 同结构多表纵向合并或按键横向合并 |

使用方法

一、去重处理

用户指令示例：

"帮我把这个表格的去重，按姓名列"
"删掉订单号重复的行，保留第一条"
"A列和B列同时相同的才算重复，去掉它们"

执行策略：

读取 Excel 文件，识别所有列名
根据用户指定的列执行去重
默认保留首次出现的行，可配置保留最后一次
输出去重报告：

## 去重报告

| 项目 | 数值 |
|------|------|
| 原始行数 | 12,450 |
| 重复行数 | 387 |
| 去重后行数 | 12,063 |
| 去重列 | 姓名、手机号 |
| 策略 | 保留首次出现 |

二、缺失值处理

用户指令示例：

"把空白的单元格填0"
"删除有缺失值的行"
"年龄列的空值填平均值，备注列的空值填'无'"

支持策略：

| 策略 | 说明 | 适用场景 | |------|------|---------| | 删除含空行 | 删除任意列为空的行 | 关键字段不允许缺失 | | 固定值填充 | 指定值填充所有空单元格 | 明确知道默认值 | | 统计值填充 | 数值列填均值/中位数，文本列填众数 | 需要保持数据分布 | | 前向填充 | 用上一行的值填充 | 时间序列数据 | | 标记填充 | 填空值并新增一列标记哪些行被填充 | 需要保留缺失记录 |

三、格式标准化

用户指令示例：

"把日期列统一成 yyyy-mm-dd 格式"
"金额列去掉货币符号，只保留数字"
"手机号统一成11位，去掉空格和横线"

支持操作：

| 类型 | 操作 | 示例 | |------|------|------| | 日期 | 统一格式 | 2026/7/5n → 2026-07-05n | | 数字 | 去符号/千分位 | ￥1,234.56n → 1234.56n | | 文本 | 去空格/统一大小写 | 张三 n →张三n | | 手机号 | 格式化 | 138-1234-5678n → 13812345678n | | 身份证 | 校验+格式化 | 校验18位、提取生日性别 |

四、异常值检测

用户指令示例：

"帮我检测金额列有没有异常值"
"找出成绩列中偏离平均分超过3个标准差的数据"

检测方法：

| 方法 | 适用场景 | 说明 | |------|---------|------| | IQR法 | 通用数值列 | Q1-1.5×IQR 到 Q3+1.5×IQR 之外视为异常 | | Z-score法 | 正态分布数据 | 超过3个标准差标记异常 | | 绝对值阈值 | 有明确上下限 | 如分数0-100、年龄0-150 | | 重复模式 | 文本列 | 值与列名相同、全空行等 |

五、数据分列与合并

用户指令示例：

"把地址列按省/市/区分成三列"
"把姓和名两列合并为全名"
"按逗号拆分标签列"

六、多表汇总

用户指令示例：

"把1月到6月的销售报表合并到一个文件"
"把这3个Excel按员工ID合并"

支持模式：

纵向合并：同结构多表追加行
横向合并：按指定键列（如ID）拼接不同字段
文件夹批量：自动识别目录下所有xlsx文件

输出规范

每次清洗完成后，输出结构化报告：

## 📊 数据清洗报告

**原始文件**：销售数据.xlsx
**输出文件**：销售数据_已清洗.xlsx

**清洗操作记录**：
| 操作 | 详情 | 影响行数 |
|------|------|---------|
| 去重 | 按订单号列，保留首行 | -387 行 |
| 缺失值填充 | 金额列填0，备注列填"无" | 56 行 |
| 日期格式化 | yyyy-mm-dd | 全部 |
| 异常值检测 | IQR法检测金额列 | 12 个异常值 |

**数据概览**：
- 清洗前：12,450 行 × 15 列
- 清洗后：12,063 行 × 15 列
- 数据完整率：98.7%（提升 3.2%）

安全约束

清洗前自动备份原始文件（文件名加 _原始备份 后缀）
不修改原始文件，输出新的已清洗文件
超过10万行数据时先采样展示预览，确认后全量处理

依赖要求

依赖 AI Agent 平台提供的文件读写能力和 Python 执行环境（pandas, openpyxl）。

限制说明

仅支持 .xlsx / .xls / .csv 格式
单文件建议不超过 50 万行（性能考虑）
异常值检测为统计方法，不保证业务含义100%正确，需人工复核
合并单元格、复杂格式可能丢失（建议先简化格式）

版本历史

| 版本 | 日期 | 更新内容 | |------|------|---------| | 1.0.0 | 2026-07-18 | 初始版本，六大核心功能 |