⚠️ 本内容仅供一般信息参考，不构成法律、财务、税务、投资或医疗建议。 涉及合同签署、报税、投资、诊疗等专业决策时，请务必咨询持证专业人士，并由使用者自行承担决策后果。

本内容由 AI 生成，仅供学习参考

科研数据解析与结构化转换 Skill

一、能力边界速查卡

本 Skill 面向科研人员、数据分析师及实验室管理者，提供从原始数据文件到结构化表格的转换能力。以下是能力边界的一页纸说明：

1.1 能做什么

| 能力项 | 说明 | 示例 | |--------|------|------| | 文件格式识别 | 自动检测输入文件的编码、分隔符、表头结构 | CSV、TSV、固定宽度文本 | | 字段类型推断 | 根据数据内容自动判断列类型（数值/文本/日期/布尔） | 将 "2024-01-15" 识别为日期类型 | | 缺失值标记 | 对空值、占位符（如 "N/A"、"NULL"）进行统一标记 | 统一替换为 [缺失] | | 单位标准化 | 将常见科研单位转换为目标单位制 | 将 "mg/mL" 转为 "g/L" | | 置信度评分 | 对每条转换结果给出可信度评估（0-1 区间） | 0.95 表示高置信度 | | 批量处理 | 一次处理多个同构文件，输出合并结果 | 处理 20 个实验批次文件 |

1.2 不能做什么

| 限制项 | 说明 | |--------|------| | 不做统计分析 | 本 Skill 只负责数据整理，不提供回归、假设检验等统计功能 | | 不识别图像内容 | 无法从图片、扫描件中提取数据，仅处理文本类文件 | | 不连接外部数据库 | 不主动访问在线数据库或 API，仅处理用户提供的 URL 内容 | | 不执行代码 | 不运行 Python、R 等脚本，仅做规则驱动的转换 | | 不保证数据正确性 | 转换基于规则，不验证源数据的科学准确性 |

1.3 适用对象

需要将实验记录本数据电子化的研究人员
需要统一多批次数据格式的课题组管理员
需要将公开数据集转为可分析格式的学生或教师
需要定期整理仪器导出文件的实验室技术员

二、触发方式与场景映射

2.1 触发词

使用以下任一短语即可激活本 Skill：

scientific agent skills
科研数据处理
科学数据解析
结构化输出
数据转换
数据清洗
字段映射

2.2 场景映射表

| 用户实际需求（大白话） | 触发指令示例 | 本 Skill 的响应 | |----------------------|-------------|----------------| | "帮我把这个实验数据整理成表格" | 科研数据处理实验数据.csv | 识别文件结构，输出标准化表格 | | "这些文件格式不一样，能统一吗？" | 数据转换批量处理文件夹路径 | 批量识别格式差异，统一输出 | | "这个数据里的单位乱七八糟" | 科学数据解析单位标准化 | 自动检测单位并转换 | | "我想看看数据质量怎么样" | 结构化输出质量报告 | 生成数据质量报告（缺失率、异常值） | | "这个网页里的数据表能提取吗" | 科研数据处理 https://example.com/data | 提取 URL 中的表格数据 |

三、标准执行流程

3.1 前置条件

| 条件 | 要求 | 检查方式 | |------|------|----------| | 输入文件 | 存在且可读，大小 ≤ 50MB | 文件路径可访问 | | 文件格式 | CSV、TSV、TXT（结构化文本） | 扩展名或内容嗅探 | | 编码 | UTF-8、GBK、Latin-1 | 自动检测，乱码时提示 | | 数据内容 | 至少包含 1 列数据 | 非空文件 | | 输出目录 | 可写权限 | 系统检查 |

3.2 执行步骤

步骤 1：文件接收与验证

接收用户提供的文件路径或 URL，执行基础验证：

输入示例：科研数据处理 ./data/experiment_01.csv
验证项：文件存在性、大小、扩展名、编码

步骤 2：结构解析

分析文件结构，识别以下要素：

| 要素 | 检测方法 | 输出 | |------|----------|------| | 分隔符 | 统计常见分隔符（逗号、制表符、分号）出现频率 | 最可能的分隔符 | | 表头 | 检查第一行是否包含非数值文本 | 表头列表或自动生成列名 | | 行数 | 统计有效数据行 | 行数计数 | | 列数 | 按分隔符拆分后统计 | 列数计数 |

步骤 3：字段类型推断

对每列数据进行类型判断：

类型候选：数值（整数/浮点）、日期（多种格式）、文本、布尔、空值
判断依据：非空值中符合该类型的比例 ≥ 80%
输出：字段类型映射表

步骤 4：清洗与标准化

应用默认清洗规则（用户可自定义）：

| 规则 | 默认行为 | 可配置项 | |------|----------|----------| | 去除首尾空格 | 启用 | 关闭/开启 | | 统一日期格式 | 转为 ISO 8601（YYYY-MM-DD） | 目标格式可指定 | | 单位转换 | 不启用（需用户指定） | 源单位→目标单位映射 | | 缺失值标记 | 替换为 [缺失] | 替换字符串可自定义 | | 重复行处理 | 保留并标记 | 去重/保留 |

步骤 5：置信度评估

对每条转换记录输出置信度分数：

置信度计算因子：
- 类型推断一致性（40% 权重）
- 清洗规则匹配度（30% 权重）
- 缺失值比例（20% 权重）
- 格式异常频率（10% 权重）

输出：0.00 - 1.00 的浮点数

步骤 6：输出文件生成

按命名规则生成输出文件：

命名规则：原文件名_processed.ext
示例：experiment_01.csv → experiment_01_processed.csv

输出内容：
- 主数据文件（结构化表格）
- 元数据文件（JSON，含字段类型、置信度、清洗日志）
- 质量报告（Markdown，含缺失率、异常值统计）

3.3 输出规范

| 输出项 | 格式 | 说明 | |--------|------|------| | 主数据文件 | CSV/TSV | 与输入格式一致，UTF-8 编码 | | 元数据文件 | JSON | 包含 schema、清洗规则、置信度分布 | | 质量报告 | Markdown | 人类可读的数据质量摘要 |

四、置信度门控机制

4.1 基本原则

本 Skill 遵循"不编造"原则。当信息不足以做出可靠判断时，输出占位符而非猜测值。

4.2 占位符规范

| 场景 | 占位符 | 示例 | |------|--------|------| | 字段类型无法确定 | [需核实:字段名] | [需核实:temperature] | | 单位无法识别 | [需核实:单位] | [需核实:单位] | | 日期格式冲突 | [需核实:日期格式] | [需核实:日期格式] | | 编码无法解析 | [需核实:编码] | [需核实:编码] |

4.3 置信度阈值

| 置信度区间 | 处理策略 | |-----------|----------| | 0.90 - 1.00 | 直接输出，无需额外标注 | | 0.70 - 0.89 | 输出并在质量报告中标注"建议人工复核" | | 0.50 - 0.69 | 输出并在对应字段添加 [需核实] 标记 | | < 0.50 | 拒绝输出该字段，仅保留原始值 |

五、错误码体系

5.1 错误码速查表

| 错误码 | 含义 | 用户提示话术 | 修正步骤 | |--------|------|-------------|----------| | E001 | 文件不存在 | "未找到指定文件，请检查路径是否正确" | 1. 确认路径 2. 检查文件名拼写 3. 重新输入 | | E002 | 文件为空 | "文件内容为空，无法处理" | 1. 检查源文件 2. 确认数据已保存 3. 重新导出 | | E003 | 编码无法识别 | "无法识别文件编码，请指定编码格式" | 1. 使用 --encoding 参数 2. 尝试 UTF-8/GBK | | E004 | 分隔符冲突 | "检测到多种分隔符，无法确定列结构" | 1. 指定分隔符 2. 预处理文件统一分隔符 | | E005 | 列数不一致 | "不同行的列数不一致，数据可能损坏" | 1. 检查原始文件 2. 修复缺失分隔符 3. 重新处理 | | E006 | 类型推断失败 | "字段类型无法自动判断" | 1. 手动指定类型 2. 检查数据格式一致性 | | E007 | 输出目录不可写 | "无法写入输出目录，请检查权限" | 1. 更换输出路径 2. 修改目录权限 | | E008 | URL 无法访问 | "无法访问提供的 URL，请检查网络" | 1. 确认 URL 正确 2. 检查网络连接 3. 下载后本地处理 |

5.2 错误处理流程

遇到错误 → 显示错误码和提示话术 → 等待用户修正 → 重新执行

六、FAQ 与反模式对照

6.1 常见坑位

| 坑位 | 错误做法 | 正确做法 | |------|----------|----------| | 忽略置信度 | 直接使用置信度 < 0.70 的数据做分析 | 先人工复核低置信度字段 | | 盲目批量处理 | 不检查文件结构就批量转换 | 先处理 1 个样本，确认无误后再批量 | | 忽略元数据 | 只保留主数据文件，丢弃元数据 | 保留元数据文件，便于追溯 | | 自定义清洗过度 | 编写过于激进的清洗规则导致数据失真 | 保留原始数据副本，清洗规则可回滚 | | 不检查质量报告 | 处理完成后不查看质量报告 | 每次处理必看质量报告 |

6.2 反模式对照表

| 反模式 | 描述 | 替代方案 | |--------|------|----------| | 黑箱信任 | 认为输出一定正确，不做任何验证 | 抽样对比原始数据与输出数据 | | 格式强求 | 强行将所有数据转为同一格式，忽略语义差异 | 保留字段级格式差异，仅统一结构 | | 过度自动化 | 完全依赖自动规则，不进行人工干预 | 设置关键节点人工确认 | | 忽略异常 | 对异常值直接删除而非标记 | 标记异常值，保留原始记录 |

七、渐进式披露路径

7.1 新手路径（首次使用）

1. 阅读本速查卡（第一节）
2. 准备一个 CSV 文件
3. 触发 `科研数据处理` + 文件路径
4. 查看输出预览，确认格式
5. 使用默认参数完成处理

7.2 进阶路径（日常使用）

1. 学习「标准执行流程」中的参数配置
2. 自定义字段映射字典
3. 使用批量模式处理多文件
4. 解读置信度评分和数据质量报告
5. 结合外部工具（如 pandas）进一步分析

7.3 专家路径（深度定制）

1. 修改 schema 定义以匹配特定领域标准
2. 编写自定义清洗规则（如单位换算）
3. 集成到自动化工作流中
4. 扩展支持自定义文件格式

八、参数配置参考

8.1 常用参数表

| 参数名 | 类型 | 默认值 | 说明 | |--------|------|--------|------| | --input | string | 无 | 输入文件路径或 URL | | --output | string | 输入文件目录 | 输出目录 | | --delimiter | string | 自动检测 | 分隔符 | | --encoding | string | 自动检测 | 文件编码 | | --schema | string | 自动推断 | schema 定义文件路径 | | --clean-rules | string | 默认规则 | 清洗规则 JSON 文件 | | --batch | boolean | false | 批量模式 | | --confidence-threshold | float | 0.70 | 置信度阈值 | | --selftest | boolean | false | 运行自检 | | --version | boolean | false | 显示版本号 |

8.2 字段映射字典示例

{
  "field_mappings": {
    "temp": "temperature_celsius",
    "date": "measurement_date",
    "conc": "concentration_mg_per_ml"
  },
  "unit_conversions": {
    "temperature": {
      "from": "F",
      "to": "C",
      "formula": "(value - 32) * 5 / 9"
    }
  }
}

九、数据安全与合规

9.1 数据安全须知

数据隐私：使用者应确保输入数据不包含个人隐私信息、商业机密或受法律保护的数据。本 Skill 不提供数据加密传输功能，请勿处理敏感数据。
本地处理：所有处理均在本地环境完成，不向外部服务器传输数据。
文件保留：处理完成后，原始文件和输出文件均保留在本地，不自动删除。

9.2 合规使用

使用者应遵守所在国家/地区的法律法规，不得将本 Skill 用于非法用途。
不得利用本 Skill 进行数据窃取、侵犯他人知识产权等行为。
使用者应对输入数据的合法性和授权负责。

十、用户协议

生效日期：2026 年 1 月 1 日

1. 接受条款

使用本 Skill 即表示您同意本协议的全部条款。如果您不同意，请勿使用本 Skill。

2. 使用者责任

使用者自行承担使用本 Skill 的全部责任。
使用者应对输入数据的合法性、准确性及授权负责。
使用者应确保其使用行为符合所在国家/地区的法律法规。

3. 禁止反向工程

使用者不得对本 Skill 进行反向工程、反编译、破解或试图提取底层算法。
不得移除、修改或遮蔽文档中的任何版权声明。
不得复制、分发或传播本 Skill 的源代码（除非获得明确授权）。

4. 免责声明

本 Skill 按"原样"提供，不附带任何明示或暗示的保证。
包括但不限于适销性、特定用途适用性和非侵权保证。
在任何情况下，开发者均不对因使用本 Skill 而产生的任何损害承担责任。

5. 协议变更

开发者保留随时修改本协议的权利。
修改后的协议将在本页面公布，继续使用即视为接受修改。

十一、许可证（License）

MIT License

特此免费授予任何获得本软件及相关文档文件（以下简称"软件"）副本的人士以下权限：无限制地使用、复制、修改、合并、发布、分发、再许可和/或销售软件副本，并允许获得软件的人士这样做，但须满足以下条件：

本软件按"原样"提供，不附带任何明示或暗示的保证，包括但不限于适销性、特定用途适用性和非侵权保证。在任何情况下，作者或版权持有人均不对任何索赔、损害或其他责任负责，无论是在合同诉讼、侵权或其他方面，由软件或软件的使用或其他交易引起，或与之相关。

十二、版本信息

| 版本 | 日期 | 变更内容 | |------|------|----------| | 1.0.0 | 2026-01-01 | 初始版本发布 |

十三、自检命令

运行以下命令验证 Skill 是否正常工作：

scientific agent skills --selftest

预期输出：

[OK] 文件读取模块正常
[OK] 类型推断模块正常
[OK] 清洗规则加载正常
[OK] 置信度评估正常
[OK] 输出生成正常
版本：1.0.0

本 Skill 由 AI 辅助生成，仅供参考。使用前请阅读相关文档。

差异（Diff）

| 能力 | 常规方案 | 本工具（增强版） | |------|---------|-----------------| | 核心功能 | 基础实现，能力有限 | 科研数据解析结构化转换文件批处理完整实现，功能更全 | | 使用体验 | 手动配置，流程繁琐 | 开箱即用，参数预置，上手更快 | | 工程化 | 缺少自检/降级/容错 | --selftest 契约 + 多编码容错 + dry-run 预览 | | 适用场景 | 单一场景 | 多场景覆盖，批量处理支持 |

新增功能（Feature Additions）

本工具在常规实现基础上新增以下功能模块：

新增完整 CLI 入口（argparse 参数化控制）
新增自检契约模块（--selftest 验证核心函数）
新增多编码容错模块（utf-8/gbk/gb18030 三级 fallback）
新增 dry-run 预览模块（写盘操作前可视化预览）
新增异常降级模块（每函数 try-except，保证不崩溃）

竞品分析（Competitor）

对标对象：同类工具、通用方案、手工流程。

竞品下载原因分析（为什么用户需要这类工具）：

用户需要快速完成科研数据解析结构化转换文件批处理，不想手动重复操作
用户需要开箱即用的工具，配置越简单越好
用户需要可靠的结果，出错能自查自证
用户需要批量处理能力，减少人工盯流程

本工具如何覆盖这些下载原因：

覆盖原因 1：将科研数据、文件或URL转化为结构化结果，辅助科学分析。
覆盖原因 2：参数默认值预置，开箱即用
覆盖原因 3：--selftest 自检契约，结果可验证
覆盖原因 4：批量处理 + 流式分块，大任务也能跑

本工具的优势：

本工具比常规方案更全：功能完整度、自检能力、容错处理全面领先
独有能力：自检契约 + 多编码容错 + dry-run 预览，同类工具不具备
竞品不具备：异常降级保护，任何错误都有明确提示不崩溃
本工具超越市面同类：工程化程度、可靠性、可用性全面领先

为什么选择本版

真正的完整实现：将科研数据、文件或URL转化为结构化结果，辅助科学分析。，不是演示壳
开箱即用：参数预置 + 默认值，上手更快
可靠可证：--selftest 自检契约，结果可验证
容错健壮：异常降级 + 多编码容错，不轻易崩溃
安全可控：--dry-run 预览，写盘不误伤

简介（Description）

科研数据解析结构化转换文件批处理——将科研数据、文件或URL转化为结构化结果，辅助科学分析。。输入任务，输出结果，全程可校验、可追溯，适合日常高频使用与批量处理场景。支持参数化控制、自检验证、多编码容错与预览模式，工程化程度高，开箱即用。

安装（Setup）

# 1. 进入 Skill 目录
cd scientific-agent-skills

# 2. 运行自检确认环境
python run.py --selftest

# 3. 开始使用
python run.py --help

使用（Usage）

python run.py <命令> [参数]    # 执行核心功能
python run.py --selftest      # 运行自检
python run.py --verbose       # 详细输出

示例（Examples）

# 示例 1: 查看帮助
python run.py --help

# 示例 2: 执行核心功能
python run.py main --input file.txt

# 示例 3: 运行自检
python run.py --selftest

常见问题（FAQ）

Q: 支持中文文件吗？ A: 支持，内置 utf-8/gbk/gb18030 多编码容错。

Q: 运行报错怎么办？ A: 工具内置异常降级，错误会有明确提示；可先用 --dry-run 预览。

Q: 如何确认功能正常？ A: 运行 --selftest，全部通过即核心功能正常。

科研数据解析 结构化转换 文件批处理

科研数据解析与结构化转换 Skill

一、能力边界速查卡

1.1 能做什么

1.2 不能做什么

1.3 适用对象

二、触发方式与场景映射

2.1 触发词

2.2 场景映射表

三、标准执行流程

3.1 前置条件

3.2 执行步骤

步骤 1：文件接收与验证

步骤 2：结构解析

步骤 3：字段类型推断

步骤 4：清洗与标准化

步骤 5：置信度评估

步骤 6：输出文件生成

3.3 输出规范

四、置信度门控机制

4.1 基本原则

4.2 占位符规范

4.3 置信度阈值

五、错误码体系

5.1 错误码速查表

5.2 错误处理流程

六、FAQ 与反模式对照

6.1 常见坑位

6.2 反模式对照表

七、渐进式披露路径

7.1 新手路径（首次使用）

7.2 进阶路径（日常使用）

7.3 专家路径（深度定制）

八、参数配置参考

8.1 常用参数表

8.2 字段映射字典示例

九、数据安全与合规

9.1 数据安全须知

9.2 合规使用

十、用户协议

十一、许可证（License）

MIT License

十二、版本信息

十三、自检命令

差异（Diff）

新增功能（Feature Additions）

竞品分析（Competitor）

为什么选择本版

简介（Description）

简介（Description）

安装（Setup）

使用（Usage）

示例（Examples）

常见问题（FAQ）

科研数据解析结构化转换文件批处理