CSV 数据清洗工具

导入数据前的标配动作：去重、去空格、删空行。本工具纯标准库实现，不需要 pandas，小到几 MB 的表格直接拖进来洗。

用法

脚本位于 scripts/clean_csv.py。

# 去重 + 去空格 + 删空行，输出到新文件
python scripts/clean_csv.py raw.csv -o clean.csv --dedup --strip --drop-empty

# 从 stdin 读、stdout 写（可接管道）
cat raw.csv | python scripts/clean_csv.py - --strip --delimiter ";"

选项

• --dedup：按整行去重（保留首次出现）；
• --strip：去除每个单元格首尾空白；
• --drop-empty：删除全为空的行；
• --delimiter：指定分隔符，默认逗号（处理分号/Tab 表格时用）。

版权与安全

工具只读写你指定的本地文件，不联网。清洗结果中若含个人信息，请遵守相关数据处理规范，切勿外传未脱敏数据。