shield_lock
金大哥
← 返回 Skill 列表
extension
分类: 数据与分析无需 API Key

阿拉丁·Excel 数据工坊｜零依赖清洗·去重·透视·校验·合并·体检·越洗越懂你

阿拉丁·Excel 数据工坊把「拿到一份脏乱的 Excel/CSV/TSV，想洗成干净可用的数据——却卡在装 Office、装 WPS、绑飞书、调付费 API、各种 pandas 依赖冲突」升级成一条纯本地零依赖工具链：多源导入(xlsx/csv/tsv)与逐列类型推断、整行/按列去重、trim 规整、缺失值填充(0/均值/前向)、透视表(一维/二维)、规则校验(非空/唯一/范围/正则/枚举)、类 VLOOKUP 合并两表、可视化数据体检报告(HTML 交互 + Markdown + JSON)。新增「复盘反哺闭环」：用 excel_retro.py 把每次清洗的常用链路与数据质量画像沉淀成验证库，下次只需 --playbook 一键套用历史最常用组合、--suggest 一键获得智能校验建议，越洗越懂你的数据脾气、越用越省事。比常见单厂商/单点方案更轻：不需要任何安装、账号或联网。触发词：Excel 清洗、Excel 去重、Excel 数据清洗、Excel 转 CSV、CSV 清洗、表格去重、表格合并、VLOOKUP、数据透视表、Excel 透视、数据校验、表格校验、表格规整、缺失值填充、数据体检、Excel 报告、表格质量、Excel 自动化、零依赖 Excel、离线 Excel、办公自动化、数据预处理、阿拉丁 Excel、aladin excel、excel clean、excel dedup、data cleaning、pivot table、data validation、data quality report、offline data cleaning、table merge、spreadsheet cleaner。

person作者: user_d18c97eahubcommunity
download下载资源包

阿拉丁·Excel 数据工坊（aladin-excel-forge）

阿拉丁出品。你用 aladin-pdf-forge 把 PDF 解析成了结构化数据、excel-chart-builder 把干净数据画成了图表——但两者之间缺了一块最痛的「表格入口层」：脏数据怎么洗？怎么去重？怎么透视？怎么校验？ 市面上 Excel 向需求很旺，可常见的几款工具要么必须绑飞书账号，要么必须装 Office/WPS，没有一款纯本地、零依赖、零账号就能把 Excel/CSV/TSV 洗干净的工坊。这个技能把表格数据工程收口成一套纯本地、零依赖、离线可用的工具链：你给一份表格（或一整个目录），它产出清洗后数据 + 透视表 + 校验报告 + 可视化数据体检 HTML，并把干净数据顺手喂给 excel-chart-builder 画图。

它解决什么痛点

用户在市面上能找到的"Excel 向"工具大多有硬依赖：

| 常见工具 / 单点方案 | 只做 | 卡在哪 | |------------------|------|--------| | 依赖飞书账号的表格同步工具 | 表格同步到多维表 | 必须绑飞书账号/MCP，离线不可用 | | 依赖 Office/WPS 的表格读写工具 | 调 Office/WPS 读写表格 | 必须装 Office/WPS，无安装则不可用 | | excel-chart-builder（自家） | 把数据画成图 | 只画图，不做数据清洗/透视/校验 | | 各类 pandas 脚本 | 灵活处理 | 需 pip install pandas openpyxl，环境易冲突 |

本技能 = Excel 数据工程全链路，脚本零依赖（仅 Python 标准库）、纯本地、离线可用，且比上述方案多出 清洗 + 去重 + 透视 + 校验 + 合并 + 数据体检报告。

与常见单点 / 单厂商工具 + 自家 aladin 系列的差异化

| 能力 | 依赖飞书账号的同步工具 | 依赖 Office/WPS 的读写工具 | excel-chart-builder（自家） | 阿拉丁·Excel 数据工坊(本款) | |------|--------------------|--------------------|--------------------|-------------------------------| | 零依赖 / 离线 | ✗(需飞书) | ✗(需Office) | ✓ | ✓ 纯标准库 | | Excel/CSV/TSV 导入 | 部分 | ✓ | ✓ | ✓ 含类型推断 | | 清洗 / trim / 缺失填充 | ✗ | ✗ | ✗ | ✓ | | 整行 / 按列去重 | ✗ | ✗ | ✗ | ✓ | | 透视表(一维/二维) | ✗ | 部分 | ✗ | ✓ | | 规则校验(非空/唯一/范围/正则/枚举) | ✗ | ✗ | ✗ | ✓ | | 类 VLOOKUP 合并两表 | ✗ | 部分 | ✗ | ✓ | | 数据体检报告(HTML/MD/JSON) | ✗ | ✗ | ✗ | ✓ | | 画图 | ✗ | ✗ | ✓ | 联动 chart-builder |

何时触发

  • "帮我把这份 Excel 清洗一下 / 去个重" / "CSV 里有重复行要去掉"
  • "把 A 表和 B 表按 id 合并（VLOOKUP）" / "两表关联"
  • "做个透视表，按地区统计销售额" / "Excel 透视"
  • "校验一下这列手机号格式对不对 / 年龄有没有超范围" / "数据校验"
  • "表格里缺的值帮我补上（填 0 / 均值）" / "缺失值填充"
  • "给我出一份数据质量体检报告" / "这份表质量怎么样"
  • "把这一堆 Excel/CSV 批量洗一遍" / "目录里所有表格清洗"
  • 用户给出表格路径或目录，想落地成干净数据（→ 联动 excel-chart-builder 画图、aladin-doc-forge 出文档）

何时不触发

  • 用户要生成/创建图表（柱状/折线/饼图）——用 excel-chart-builder，本款只做数据工程不画图
  • 用户要联网同步到飞书多维表——用对应同步技能，本款是离线本地处理
  • 用户要写回复杂 Excel 样式/公式（带格式模板回填）——本款写出的是最小合法 xlsx（数值/文本），不保样式
  • 用户要搜索/安装别人的技能——用 find skill / skillhub install
  • 用户要审计技能安全——用 aladin-secure-forge

能力边界

能做：

  • 多源导入：xlsx / csv / tsv（自动识别编码 utf-8-sig / gbk），含表头自动识别、逐列类型推断（整数/小数/百分比/日期/布尔/文本/空）、逐列统计（缺失率/唯一值/最值/样例）
  • 清洗：trim 首尾空格、删除全空行/全空列、缺失值填充（0 / 均值 / 前向填充）、类型强制标注
  • 去重：整行去重、按指定列组合去重（保留首条）
  • 透视：一维（行维度+值+聚合）或二维（再加列维度），聚合支持 sum/mean/count/min/max/first
  • 校验：规则驱动——非空(not_null)、唯一(unique)、范围(range)、正则(regex)、枚举(in)，输出问题行列明细
  • 合并：类 VLOOKUP，按 key 把右表字段关联进左表（left/inner）
  • 报告：可视化数据体检 HTML（交互式表格 + 指标卡 + 操作流水 + 校验明细 + 透视预览）、Markdown 报告、JSON 摘要
  • 批量：--dir 递归扫描整目录表格

不能做：

  • 不能写回带格式的 Excel（不保留原样式/公式/条件格式，写出最小合法 xlsx）
  • 不能做图表（画图交给 excel-chart-builder）
  • 不能联网同步（飞书/云盘同步不在范围）
  • 不能保证任意畸形 xlsx 100% 解析（极少数加密/损坏文件可能失败，会报 FAIL 不中断整批）
  • 不能绕过 skillhub 安全审核

输入输出规范

输入（任选其一）：

  • --file：单个 xlsx/csv/tsv
  • --dir：目录（批量处理其中所有 xlsx/csv/tsv）
  • 输出统一写入 --out 目录

输出（每个文件一套，位于 --out）：

  • <stem>_ir.json：导入中间表示（表头/类型/统计/质量初判）
  • <stem>_clean.csv（或 .xlsx）：清洗后明细
  • <stem>_clean_ir.json：更新后的 IR（含校验结果）
  • <stem>_pivot.csv：透视表（可选）
  • <stem>_ops.json：操作流水日志
  • <stem>_report.html：可视化数据体检报告（交互）
  • <stem>_report.md：Markdown 报告
  • <stem>_report.json：结构化摘要
  • manifest.json：批量处理清单

工作流

Step 1：导入归一（excel_ingest.py）

PY="C:/Users/adam/.workbuddy/binaries/python/versions/3.13.12/python.exe"
SKILL="<本技能目录>"
# 单个文件
"$PY" "$SKILL/scripts/excel_ingest.py" --file "./data.xlsx" --out ./build
# 或整目录批量
"$PY" "$SKILL/scripts/excel_ingest.py" --dir "./tables" --out ./build

产出 <stem>_ir.json + manifest.json（批量）。

Step 2：清洗 / 去重 / 透视 / 校验 / 合并（excel_clean.py）

# 去重 + 规整 + 缺失填 0
"$PY" "$SKILL/scripts/excel_clean.py" --ir ./build/data_ir.json --out ./build \
    --dedup full --trim --fill 0

# 透视：按地区统计销售额总和，再按季度分列
"$PY" "$SKILL/scripts/excel_clean.py" --ir ./build/data_ir.json --out ./build \
    --pivot "row=地区;val=销售额;agg=sum;col=季度" --xlsx

# 校验规则
"$PY" "$SKILL/scripts/excel_clean.py" --ir ./build/data_ir.json --out ./build \
    --validate ./build/rules.json

# 合并两表（类 VLOOKUP）：左表为已加载的 --ir，right 指定右表
"$PY" "$SKILL/scripts/excel_clean.py" --ir ./build/orders_ir.json --out ./build \
    --merge "right=users_ir.json;on=user_id;how=left"

算子可叠加，按顺序执行；结果分别写出 _clean / _pivot 与 _ops.json。

Step 3：生成数据体检报告（excel_report.py）

"$PY" "$SKILL/scripts/excel_report.py" --ir ./build/data_clean_ir.json \
    --ops ./build/data_ops.json --pivot ./build/data_pivot.csv --out ./build

产出 _report.html（在浏览器打开即可交互查看）、_report.md、_report.json。

Step 4：由 Hy3 完成数据洞察（可选）

读取 _report.md / _report.json，基于字段质量、校验问题与透视结果，由 Hy3 模型生成：一句话数据结论 + 3 个关键发现 + 建议的后续处理动作，回填或随报告一并交付。

Step 5：复盘反哺闭环（excel_retro.py）—— 越洗越懂你的数据

前面四步把一份表洗干净了，但每份表洗完就丢，下次还要重复敲同一串参数、重复踩同一类坑。这一步把"经验"留下来：

# ① 记录本次清洗（喂操作日志 + 清洗后 IR，可选 --rules 校验规则）
"$PY" "$SKILL/scripts/excel_retro.py" add \
    --ops ./build/data_ops.json --ir ./build/data_clean_ir.json --out ./build

# ② 查看你这份数据的「脾气画像」与推荐默认链路
"$PY" "$SKILL/scripts/excel_retro.py" summary --out ./build

# ③ 下回丢新表进来前，先让工坊"把脉"给出智能清洗建议（不修改数据）
"$PY" "$SKILL/scripts/excel_retro.py" benchmark --ir ./build/new_ir.json --out ./build

# ④ 一键套用历史最常用组合，省去重复敲参数
"$PY" "$SKILL/scripts/excel_clean.py" --ir ./build/new_ir.json --out ./build --playbook

怎么越用越准：

  • add 把每次清洗的「常用链路（去重/规整/填充方式）+ 数据质量画像（缺失率、重复行、问题字段）」沉淀进本地验证库 excel_playbook.json；
  • 跑过几次后，summary 会画出你的数据脾气画像：哪些字段经常大片缺失、最常用的填充方式、平均每次删多少重复行，并给出推荐默认链路；
  • 下次只需 --playbook，excel_clean.py 自动套用历史最常用组合先洗一版给你看；强数据相关的校验规则它只给建议（--suggest / benchmark）不动手，安全可控；
  • benchmark 还会识别疑似手机号等字段，提示加正则校验。

验证库纯本地、零依赖、不联网，只落在你指定的 --out 目录里——你的数据画像不出本机。新手可先 seed 写入 4 条示例，立即看到效果。

复用资源

| 文件 | 用途 | 加载时机 | |------|------|----------| | references/usage-examples.md | 5 个完整场景（销售对账/客户去重/问卷清洗/跨表合并/复盘反哺闭环）+ 最佳实践 + FAQ | 用户要具体样例或落地参考时加载 | | references/validation-rules.md | 校验规则 JSON 格式与示例（非空/唯一/范围/正则/枚举） | 用户配置 --validate 时加载 | | references/pivot-guide.md | 透视表达式写法与一维/二维示例 | 用户用 --pivot 时加载 | | references/formula-cookbook.md | 常见表格运算公式（由 Hy3 语义转写）速查 | 用户要"帮我算一列同比/占比"类诉求时加载 | | references/closed-loop-playbook.md | 复盘反哺闭环操作手册（add/summary/benchmark/seed + --playbook/--suggest 全场景） | 用户启用"越洗越懂你"闭环时加载 |

重要约束

  • 零依赖：三脚本仅用 Python 标准库，离线可跑，不要求 pip 安装（→ Reliability）
  • 不编造数据：清洗严格基于表格实际内容，不去重时不丢非重复行、不臆造单元格（→ Trust）
  • 失败隔离：批量 --dir 逐文件处理，单文件失败记 FAIL 不中断整批（→ Reliability）
  • ** xlsx 最小合法**：写出的 xlsx 仅含数值/文本，不保样式；如需样式请用 WPS/Office 二次打开（→ Convention）
  • 校验不改数据：--validate 仅标注问题，不自动删除/修改，留给人决策（→ Trust）
  • 报告由 Hy3 填充洞察：数据结论/建议交由 Hy3 模型基于真实统计生成，不预置虚假结论（→ Trust）
  • 复盘数据不出本机：excel_playbook.json 验证库仅写在用户指定的 --out 目录，纯本地、零依赖、不联网，不上传任何数据画像（→ Trust / Privacy）
  • --playbook 安全收敛：自动套用仅覆盖 dedup/trim/fill 这类安全算子，强数据相关的校验/合并/类型强制只给建议（--suggest）不自动改，避免误伤（→ Reliability）
  • description 单行：禁用 YAML 多行语法，保持可发布（→ Convention）

与 aladin 工程链的关系

本技能是 aladin 工程链在「表格入口层」的延伸——在 pdf-forge(非结构化→结构化)、doc-forge(代码→文档)、chart-builder(数据→图) 之间，把最常见的"脏表格"先洗成干净数据：清洗产物可直接交给 excel-chart-builder 画图，校验报告可喂给 doc-forge 出质量文档，规整后的明细可交给 omni-note-forge 做成知识卡片。