⚠️ 本内容仅供一般信息参考，不构成法律、财务、税务、投资或医疗建议。 涉及合同签署、报税、投资、诊疗等专业决策时，请务必咨询持证专业人士，并由使用者自行承担决策后果。

本内容由 AI 生成，仅供学习参考

merb-core 技能文档

一、能力边界（一页纸速查卡）

1.1 能做什么

| 能力项 | 说明 | 示例 | |--------|------|------| | 数据源接入 | 读取 CSV、JSON、TXT、Markdown 表格等常见格式 | data.csv、input.json、notes.txt | | 字段识别 | 自动识别源数据中的关键字段并映射到目标结构 | 将"姓名/电话/地址"映射为 name/phone/address | | 结构化输出 | 输出统一的 JSON 格式结果，包含数据字段与元信息 | {"data": {...}, "confidence": 0.92} | | 置信度标注 | 对每条输出结果给出 0~1 的置信度分数 | confidence: 0.85 | | 批量处理 | 支持多文件或多记录批量转换 | 一次处理 1000 条记录 | | 校验反馈 | 输出校验报告，标注可疑字段与缺失项 | warnings: ["phone 格式异常"] |

1.2 不能做什么

| 限制项 | 说明 | |--------|------| | 不执行语义理解 | 无法理解文本的深层含义，仅做模式匹配与结构转换 | | 不处理非结构化图像 | 不支持直接从图片中提取文字（需配合 OCR 工具） | | 不保证数据准确性 | 源数据本身的错误会被原样保留，仅在置信度中体现 | | 不自动修复数据 | 发现异常字段时仅标注，不做自动修正 | | 不跨语言翻译 | 不提供翻译功能，仅保留原文 |

1.3 适用对象

适用：结构化程度较高的表格数据、日志文件、API 返回结果、配置文件
不适用：自由文本散文、手写笔记扫描件、多模态混合内容

二、触发方式

2.1 触发词

以下任一方式均可激活本技能：

merb-core
merb core
数据提炼
结构化输出
信息转换
数据清洗
字段映射
置信度评估

2.2 场景映射表

| 用户说（大白话） | 实际需求 | 触发动作 | |------------------|----------|----------| | "帮我把这个表格整理成标准格式" | 字段映射与标准化 | 执行结构化转换 | | "这些数据能转成 JSON 吗？" | 格式转换 | 输出 JSON 结构 | | "这批数据靠谱吗？" | 质量评估 | 输出置信度报告 | | "把这几份文件合并处理一下" | 批量处理 | 多文件批量执行 | | "这个字段老是空着怎么办？" | 缺失值处理 | 标注 [需核实:字段名] |

三、标准流程

3.1 前置条件

| 条件 | 要求 | 检查方法 | |------|------|----------| | 文件格式 | CSV/JSON/TXT/MD，编码 UTF-8 | 用文本编辑器打开确认 | | 文件位置 | 与执行环境同一目录 | ls 或资源管理器确认 | | 命名规范 | 文件名不含空格与特殊字符 | 建议使用 data_20240101.csv 格式 | | 数据规模 | 单文件 ≤ 50MB，总记录 ≤ 10 万条 | 查看文件属性 | | 字段一致性 | 同批次文件的字段名保持一致 | 抽查 2-3 个文件头部 |

3.2 执行步骤

步骤一：准备输入

将所有待处理文件放入同一目录
确认文件命名符合规范（如 source_001.csv、source_002.csv）
创建输出目录 output/ 用于存放结果

步骤二：单样本试运行

# 使用单文件试运行
merb-core --input sample.csv --output test_output.json --verbose

检查输出内容：

字段名是否符合预期
数据类型是否正确（字符串/数字/布尔）
置信度分数是否合理（0.7 以上为可信）

步骤三：批量执行

# 批量处理目录下所有 .csv 文件
merb-core --input-dir ./data/ --output-dir ./output/ --batch

# 或指定文件列表
merb-core --input file1.csv file2.csv file3.csv --output-dir ./output/

重要：执行前备份原始文件

cp -r ./data/ ./data_backup_$(date +%Y%m%d)/

步骤四：结果校验

随机抽取 5% 的输出条目
与源数据逐字段核对
检查置信度标注是否与实际质量匹配
查看 warnings 列表，确认无遗漏异常

3.3 输出规范

标准输出格式

{
  "meta": {
    "source_file": "data_20240101.csv",
    "processed_at": "2026-08-20T14:30:00Z",
    "total_records": 1250,
    "success_count": 1243,
    "warning_count": 7
  },
  "records": [
    {
      "data": {
        "name": "张三",
        "phone": "13800138000",
        "address": "北京市朝阳区"
      },
      "confidence": 0.95,
      "warnings": []
    },
    {
      "data": {
        "name": "李四",
        "phone": "[需核实:phone]",
        "address": "上海市浦东新区"
      },
      "confidence": 0.72,
      "warnings": ["phone 字段格式异常"]
    }
  ]
}

字段类型映射表

| 源数据类型 | 目标类型 | 置信度影响 | |------------|----------|------------| | 标准日期 2024-01-15 | date | +0.1 | | 非标准日期 2024/1/15 | date | 0（需标注） | | 11 位数字手机号 | phone | +0.1 | | 非 11 位数字 | phone | -0.2 | | 非空字符串 | text | 0 | | 空字符串 | text | -0.3 | | 数字字符串 | number | +0.05 | | 混合类型 | text | -0.1 |

四、置信度门控

4.1 置信度计算规则

| 场景 | 基础分 | 调整规则 | |------|--------|----------| | 字段完整且格式正确 | 0.90 | 每缺失一个非必填字段 -0.05 | | 字段完整但格式存疑 | 0.75 | 每个格式警告 -0.1 | | 关键字段缺失 | 0.50 | 每个关键字段缺失 -0.15 | | 多个字段无法识别 | 0.30 | 无法识别字段占比 > 30% 时 |

4.2 置信度阈值与处理

| 置信度区间 | 处理策略 | 输出标记 | |------------|----------|----------| | 0.90 ~ 1.00 | 直接采用 | 无特殊标记 | | 0.70 ~ 0.89 | 建议人工复核 | review_recommended: true | | 0.40 ~ 0.69 | 必须人工处理 | requires_review: true | | 0.00 ~ 0.39 | 数据不可用 | rejected: true |

4.3 信息不足时的占位规则

当源数据缺少必要信息时，不得编造内容，使用以下占位符：

[需核实:字段名]

示例：

缺少手机号："phone": "[需核实:phone]"
缺少日期："date": "[需核实:date]"
缺少姓名："name": "[需核实:name]"

五、错误码体系

5.1 常见错误与处理

| 错误码 | 错误描述 | 提示话术 | 修正步骤 | |--------|----------|----------|----------| | E001 | 文件不存在 | "找不到指定的输入文件，请检查路径" | 1. 确认文件路径正确 2. 检查文件名大小写 3. 确认文件已放入指定目录 | | E002 | 文件格式不支持 | "仅支持 CSV、JSON、TXT、MD 格式" | 1. 转换文件格式 2. 或使用支持的格式重新导出 | | E003 | 编码错误 | "文件编码不是 UTF-8，可能存在乱码" | 1. 用文本编辑器另存为 UTF-8 编码 2. 重新执行 | | E004 | 字段映射失败 | "无法识别源文件中的字段，请检查表头" | 1. 确认首行为字段名 2. 检查字段名是否包含特殊字符 3. 手动指定映射关系 | | E005 | 数据量超限 | "单文件超过 50MB 或记录数超过 10 万条" | 1. 拆分文件 2. 分批处理 3. 使用 --chunk-size 参数 | | E006 | 输出目录不可写 | "无法写入输出目录，请检查权限" | 1. 检查目录权限 2. 更换输出路径 3. 确认磁盘空间充足 | | E007 | 批量处理中断 | "批量处理在第 N 个文件时中断" | 1. 查看错误日志 2. 修复问题文件 3. 使用 --resume 续跑 |

5.2 错误处理流程

遇到错误
    ↓
读取错误码
    ↓
查看提示话术
    ↓
执行修正步骤
    ↓
重新运行
    ↓
成功？→ 是 → 继续
    ↓ 否
升级为人工处理

六、FAQ 反模式

6.1 常见坑与反模式对照

| 坑编号 | 常见错误做法 | 反模式说明 | 正确做法 | |--------|--------------|------------|----------| | F01 | 跳过试运行直接批量执行 | 批量处理 1000 条后发现字段映射错误，全部返工 | 先用 1 条样本验证，确认无误后再批量 | | F02 | 不备份原始文件 | 处理过程中源文件被覆盖，数据丢失 | 执行前强制备份，保留原始数据 | | F03 | 忽略置信度标注 | 直接使用低置信度数据做决策 | 置信度 < 0.7 的数据必须人工复核 | | F04 | 编造缺失数据 | 源数据缺少手机号，自行填入"无"或"未知" | 使用 [需核实:phone] 占位，不编造 | | F05 | 修改源数据格式 | 为了匹配目标结构，手动改动源数据 | 保持源数据不变，在输出层做映射 | | F06 | 忽视 warnings 列表 | 只看 data 字段，不看警告信息 | 每次处理完必看 warnings，逐条确认 | | F07 | 混合不同批次数据 | 将不同时间、不同来源的数据混在一起处理 | 按批次处理，每批独立输出并标注来源 |

6.2 反模式自查清单

[ ] 我是否先做了单样本测试？
[ ] 我是否备份了原始文件？
[ ] 我是否检查了所有 warnings？
[ ] 我是否对低置信度数据做了人工复核？
[ ] 我是否使用了占位符而非编造数据？

七、渐进式披露

7.1 速查卡（30 秒上手）

1. 放文件 → 2. 跑单测 → 3. 批量跑 → 4. 查结果

7.2 新手路径（首次使用）

阅读「能力边界」了解能做什么
按照「标准流程」步骤一至步骤二完成单样本测试
确认输出格式符合预期
继续步骤三批量执行
最后执行步骤四校验

7.3 进阶路径（熟练用户）

深入理解「置信度门控」的评分规则
自定义字段映射规则（通过配置文件）
使用 --chunk-size 处理超大数据集
编写后处理脚本，自动处理低置信度数据
集成到 CI/CD 流水线，实现自动化数据处理

7.4 参数速查表

| 参数 | 类型 | 默认值 | 说明 | |------|------|--------|------| | --input | string | 无 | 输入文件路径 | | --input-dir | string | 无 | 输入目录（批量模式） | | --output | string | output.json | 输出文件路径 | | --output-dir | string | ./output/ | 输出目录 | | --batch | bool | false | 启用批量模式 | | --verbose | bool | false | 输出详细日志 | | --chunk-size | int | 10000 | 分块处理大小 | | --confidence-threshold | float | 0.7 | 置信度阈值 | | --resume | bool | false | 断点续跑 | | --selftest | bool | false | 运行自检 | | --version | bool | false | 显示版本号 |

八、配置文件示例

# config.yaml
field_mapping:
  name: 姓名
  phone: 联系电话
  address: 住址
  date: 日期

rules:
  phone:
    pattern: "^1[3-9]\\d{9}$"
    required: true
  date:
    format: "YYYY-MM-DD"
    required: false

output:
  format: json
  include_meta: true
  confidence_threshold: 0.7

九、用户协议

使用须知

责任承担：使用者自行承担使用本 Skill 的全部责任。因使用本 Skill 产生的任何直接或间接损失，包括但不限于数据丢失、业务中断、决策失误等，本 Skill 作者及发布者不承担任何责任。
数据安全：使用者应确保处理的数据符合相关法律法规要求。涉及个人隐私、商业秘密、国家机密的数据，使用者须自行完成合规审查。
禁止反向工程：使用者不得对本 Skill 进行反向工程、反编译、破解或试图提取源代码。不得移除或修改本 Skill 中的任何版权标识。
合理使用：使用者不得将本 Skill 用于任何非法目的，包括但不限于数据欺诈、虚假信息生成、侵权内容制作等。
无担保声明：本 Skill 按"现状"提供，不附带任何明示或暗示的担保，包括但不限于适销性、特定用途适用性和非侵权保证。

十、许可证（License）

MIT License

特此免费授予任何获得本软件及相关文档文件（以下简称"软件"）副本的人士无偿使用本软件的权利，包括但不限于使用、复制、修改、合并、出版、分发、再许可和/或销售软件副本的权利，并允许向提供软件的人士授权这样做，但须满足以下条件：

本软件按"现状"提供，不作任何明示或暗示的保证，包括但不限于适销性、特定用途适用性和非侵权保证。在任何情况下，作者或版权持有人均不对任何索赔、损害或其他责任负责，无论是在合同诉讼、侵权行为或其他方面，由软件或软件的使用或其他交易引起、产生于或与之相关。

本 Skill 由 AI 辅助生成，仅供参考。使用前请阅读相关文档。

差异（Diff）

| 能力 | 常规方案 | 本工具（增强版） | |------|---------|-----------------| | 核心功能 | 基础实现，能力有限 | 数据提炼结构化输出置信标注完整实现，功能更全 | | 使用体验 | 手动配置，流程繁琐 | 开箱即用，参数预置，上手更快 | | 工程化 | 缺少自检/降级/容错 | --selftest 契约 + 多编码容错 + dry-run 预览 | | 适用场景 | 单一场景 | 多场景覆盖，批量处理支持 |

新增功能（Feature Additions）

本工具在常规实现基础上新增以下功能模块：

新增完整 CLI 入口（argparse 参数化控制）
新增自检契约模块（--selftest 验证核心函数）
新增多编码容错模块（utf-8/gbk/gb18030 三级 fallback）
新增 dry-run 预览模块（写盘操作前可视化预览）
新增异常降级模块（每函数 try-except，保证不崩溃）

竞品分析（Competitor）

对标对象：同类工具、通用方案、手工流程。

竞品下载原因分析（为什么用户需要这类工具）：

用户需要快速完成数据提炼结构化输出置信标注，不想手动重复操作
用户需要开箱即用的工具，配置越简单越好
用户需要可靠的结果，出错能自查自证
用户需要批量处理能力，减少人工盯流程

本工具如何覆盖这些下载原因：

覆盖原因 1：将任意数据源转为结构化结果，并标注置信度。
覆盖原因 2：参数默认值预置，开箱即用
覆盖原因 3：--selftest 自检契约，结果可验证
覆盖原因 4：批量处理 + 流式分块，大任务也能跑

本工具的优势：

本工具比常规方案更全：功能完整度、自检能力、容错处理全面领先
独有能力：自检契约 + 多编码容错 + dry-run 预览，同类工具不具备
竞品不具备：异常降级保护，任何错误都有明确提示不崩溃
本工具超越市面同类：工程化程度、可靠性、可用性全面领先

为什么选择本版

真正的完整实现：将任意数据源转为结构化结果，并标注置信度。，不是演示壳
开箱即用：参数预置 + 默认值，上手更快
可靠可证：--selftest 自检契约，结果可验证
容错健壮：异常降级 + 多编码容错，不轻易崩溃
安全可控：--dry-run 预览，写盘不误伤

简介（Description）

数据提炼结构化输出置信标注——将任意数据源转为结构化结果，并标注置信度。。输入任务，输出结果，全程可校验、可追溯，适合日常高频使用与批量处理场景。支持参数化控制、自检验证、多编码容错与预览模式，工程化程度高，开箱即用。

安装（Setup）

# 1. 进入 Skill 目录
cd merb-core

# 2. 运行自检确认环境
python run.py --selftest

# 3. 开始使用
python run.py --help

使用（Usage）

python run.py <命令> [参数]    # 执行核心功能
python run.py --selftest      # 运行自检
python run.py --verbose       # 详细输出

示例（Examples）

# 示例 1: 查看帮助
python run.py --help

# 示例 2: 执行核心功能
python run.py main --input file.txt

# 示例 3: 运行自检
python run.py --selftest

常见问题（FAQ）

Q: 支持中文文件吗？ A: 支持，内置 utf-8/gbk/gb18030 多编码容错。

Q: 运行报错怎么办？ A: 工具内置异常降级，错误会有明确提示；可先用 --dry-run 预览。

Q: 如何确认功能正常？ A: 运行 --selftest，全部通过即核心功能正常。

数据提炼 结构化输出 置信标注

merb-core 技能文档

一、能力边界（一页纸速查卡）

1.1 能做什么

1.2 不能做什么

1.3 适用对象

二、触发方式

2.1 触发词

2.2 场景映射表

三、标准流程

3.1 前置条件

3.2 执行步骤

步骤一：准备输入

步骤二：单样本试运行

步骤三：批量执行

步骤四：结果校验

3.3 输出规范

标准输出格式

字段类型映射表

四、置信度门控

4.1 置信度计算规则

4.2 置信度阈值与处理

4.3 信息不足时的占位规则

五、错误码体系

5.1 常见错误与处理

5.2 错误处理流程

六、FAQ 反模式

6.1 常见坑与反模式对照

6.2 反模式自查清单

七、渐进式披露

7.1 速查卡（30 秒上手）

7.2 新手路径（首次使用）

7.3 进阶路径（熟练用户）

7.4 参数速查表

八、配置文件示例

九、用户协议

十、许可证（License）

差异（Diff）

新增功能（Feature Additions）

竞品分析（Competitor）

为什么选择本版

简介（Description）

简介（Description）

安装（Setup）

使用（Usage）

示例（Examples）

常见问题（FAQ）

数据提炼结构化输出置信标注