Excel/CSV 数据清洗与转换专家

多格式导入、智能清洗规则链、去重合并、格式转换、导出报表的本地化工具。

快速上手

# 1. 安装依赖
python scripts/install_deps.py

# 2. 验证 CLI
python scripts/main.py --help

# 3. 数据质量检查
python scripts/main.py validate -f data.csv

# 4. 执行数据清洗
python scripts/main.py clean -f data.csv --drop-duplicates --drop-na

# 5. 格式转换
python scripts/main.py convert -f data.csv -t xlsx

# 6. 合并多个文件
python scripts/main.py merge -f file1.csv file2.csv -f file3.csv

功能概览

| 命令 | 描述 | 输出 | |------|------|------| | validate | 数据质量检查 | JSON 报告 | | clean | 数据清洗（去重、空值、异常值） | 清洗后的 CSV | | convert | 格式转换 | Excel/CSV/JSON | | merge | 多文件合并 | 合并后的 CSV | | filter | 数据过滤 | 过滤后的 CSV | | stats | 数据统计摘要 | 统计报告 |

安装依赖

python scripts/install_deps.py

依赖项:

• pandas - 数据处理核心
• openpyxl - Excel 读写支持
• pyarrow - 高效 Parquet 支持（可选）

目录结构

data-cleaning-expert/
├── SKILL.md              # 技能描述文件
├── README.md             # 本文档
├── scripts/
│   ├── main.py           # CLI 入口
│   ├── install_deps.py   # 依赖安装脚本
│   └── core/
│       ├── data_validator.py  # 数据验证器
│       ├── cleanup_rules.py   # 清洗规则引擎
│       ├── filter_stats.py    # 过滤与统计
│       ├── converter.py       # 格式转换器
│       ├── config_manager.py  # 配置管理
│       └── exporter.py        # 导出器
├── references/           # 参考文档
└── examples/             # 示例文件

示例数据

# 运行示例
python scripts/main.py validate -f examples/sample_data.csv
python scripts/main.py clean -f examples/sample_data.csv --drop-duplicates