shield_lock
JinDaGe
← Back to skills
extension
Category: Data & AnalyticsNo API key required

数据解析 批量转换 结构化输出

torrents

personAuthor: u_60e83e07hubenterprise
downloadDownload package

⚠️ 本内容仅供一般信息参考，不构成法律、财务、税务、投资或医疗建议。 涉及合同签署、报税、投资、诊疗等专业决策时，请务必咨询持证专业人士，并由使用者自行承担决策后果。

<!-- professional-disclaimer-injected -->

本内容由 AI 生成，仅供学习参考

<!-- ai-generated-notice -->

torrents — 数据解析与批量结构化输出 Skill

本 Skill 由 AI 辅助生成，仅供参考。使用前请结合具体业务场景验证输出结果。

一、能力边界（一页纸速查卡）

✅ 能做什么

| 能力项 | 说明 | 典型场景 | |--------|------|----------| | 数据解析 | 将 CSV、JSON、TXT、日志等文本类数据解析为结构化字段 | 日志分析、CSV 清洗 | | URL 抓取解析 | 从指定 URL 提取页面内容并转为结构化条目 | 网页信息采集、API 响应整理 | | 批量处理 | 对同一目录下多个文件执行相同解析逻辑 | 月度报表合并、多文件日志处理 | | 格式转换 | 在 JSON / CSV / Markdown 表格之间互转 | 数据迁移、文档生成 | | SQL 查询 | 对结构化结果执行 SQL 式筛选、聚合 | 数据过滤、统计汇总 | | 自定义格式 | 按用户提供的模板字段输出 | 定制化报告、对接下游系统 |

❌ 不能做什么

| 限制项 | 说明 | |--------|------| | 不处理二进制大文件 | 如图片、视频、压缩包（超过 50MB 建议拆分） | | 不解析加密内容 | 需要用户先解密并提供明文 | | 不保证语义理解 | 对自然语言情感、意图不做判断 | | 不执行外部系统写入 | 只做解析与输出，不主动调用第三方 API 写入 |

👥 适用对象

  • 数据分析师：快速清洗多源数据
  • 运维工程师：批量解析日志文件
  • 产品经理：将用户反馈表格转为结构化需求清单
  • 任何需要将"杂乱文本"变为"整齐表格"的角色

二、触发方式

触发词

直接使用以下任一词汇即可激活本 Skill：

  • torrents
  • 数据解析
  • 批量处理
  • 结构化输出
  • 格式转换
  • SQL查询

场景映射表（大白话版）

| 你说的话（口语化） | Skill 实际做的事 | |-------------------|-----------------| | "帮我把这个 CSV 里的数据整理一下" | 解析 CSV → 输出结构化 JSON | | "这几个日志文件里的错误信息给我汇总" | 批量解析日志 → 提取错误码与时间戳 | | "把这个网页里的表格抓下来" | URL 抓取 → 提取表格 → 转为 Markdown | | "把 JSON 转成 Excel 能用的格式" | JSON → CSV 转换 | | "筛选出金额大于 1000 的记录" | 对结构化数据执行 SQL 式筛选 |

三、标准流程

前置条件

| 条件 | 要求 | |------|------| | 文件格式 | 文本类（.csv, .json, .txt, .log, .md） | | 文件大小 | 单文件 ≤ 50MB；批量 ≤ 200MB 总量 | | 命名规范 | 同一批文件建议前缀一致（如 data_01.csv, data_02.csv） | | 目录结构 | 所有待处理文件放在同一目录，路径中不含中文与空格 |

执行步骤（分步编号）

  1. 准备输入

    • 将待处理文件放入同一目录。
    • 确认命名规范一致（例如 input_001.csv 至 input_100.csv）。
    • 若涉及 URL，准备完整的 http/https 链接列表。

  2. 试运行（单样本）

    • 选取第一个文件或第一条 URL 执行解析。
    • 核对输出字段：字段名、字段顺序、数据类型是否符合预期。
    • 若输出异常，调整解析规则后重试。

  3. 批量执行

    • 确认单样本无误后，对全量数据执行。
    • 保留原始文件备份（建议复制到 backup/ 子目录）。

  4. 校验结果

    • 抽查输出条目（至少 10% 或 100 条，取较小值）。
    • 核对关键字段与源数据一致性（如 ID、时间戳、金额）。
    • 若发现偏差，定位是解析规则问题还是源数据问题。

输出规范

| 输出格式 | 适用场景 | 示例 | |----------|----------|------| | JSON | 程序对接、API 传输 | [{"id":1,"name":"张三","amount":1500}] | | CSV | Excel 打开、数据库导入 | id,name,amount\n1,张三,1500 | | Markdown 表格 | 文档展示、报告嵌入 | \| id \| name \| amount \| | | 自定义模板 | 用户指定字段顺序与命名 | 按用户提供的模板输出 |

四、置信度门控

当输入信息不足以确定某个字段值时，不编造，使用以下占位符：

[需核实:字段名]

示例

  • 源数据中缺少 amount 字段 → 输出 [需核实:amount]
  • URL 抓取时页面结构不完整 → 输出 [需核实:content]
  • 日期格式不明确（如 03/04/2025 是 3 月 4 日还是 4 月 3 日）→ 输出 [需核实:date] 并附原始值

处理原则

| 情况 | 处理方式 | |------|----------| | 字段缺失 | 输出占位符，不猜测 | | 格式歧义 | 保留原始值 + 占位符 | | 数据冲突（同 ID 不同值） | 输出所有值 + [需核实:duplicate] | | 解析失败（乱码、截断） | 输出 [解析失败] 并跳过该条，计入错误统计 |

五、错误码体系

| 错误码 | 含义 | 提示话术 | 修正步骤 | |--------|------|----------|----------| | E001 | 文件不存在 | "未找到指定文件，请检查路径" | 确认文件路径与文件名拼写 | | E002 | 文件格式不支持 | "仅支持文本类文件（csv/json/txt/log/md）" | 转换文件格式后重试 | | E003 | 文件超过大小限制 | "单文件超过 50MB，请拆分后处理" | 使用 split 命令或手动拆分 | | E004 | URL 无法访问 | "URL 返回 404 或超时" | 检查链接有效性，或更换镜像 | | E005 | 解析规则不匹配 | "数据格式与预期不符，请检查分隔符或字段名" | 查看源数据前 5 行，调整规则 | | E006 | 批量处理中断 | "第 N 个文件处理失败，已停止" | 修复该文件后从断点继续 | | E007 | 输出目录无权限 | "无法写入输出目录，请检查权限" | 更换目录或修改权限 | | E008 | 字段类型冲突 | "同一字段出现多种数据类型" | 指定统一类型或拆分字段 |

六、FAQ 反模式

常见坑 1：忽略试运行直接批量

  • 反模式：拿到 100 个文件直接全量执行，结果格式全错。
  • 正确做法：先跑 1 个样本，确认输出字段与格式无误后再批量。

常见坑 2：源数据命名混乱

  • 反模式：data.csv、final_v2.csv、test(1).csv 混在一起，批量时漏掉或重复。
  • 正确做法：统一命名前缀 + 序号，如 input_01.csv 至 input_50.csv。

常见坑 3：日期格式不统一

  • 反模式：同一列中 2025-01-01 和 01/01/2025 混用，输出结果排序错乱。
  • 正确做法：解析前先统一日期格式，或输出时保留原始值并标注格式。

常见坑 4：URL 抓取时页面结构变化

  • 反模式：昨天能抓的页面今天结构变了，解析结果全空。
  • 正确做法：抓取前先检查页面结构，或设置容错机制（如字段缺失时输出占位符）。

常见坑 5：输出文件覆盖原始数据

  • 反模式：输出文件名与输入文件名相同，原始数据被覆盖。
  • 正确做法：输出到独立目录（如 output/），文件名加后缀 _parsed。

七、渐进式披露

速查卡（30 秒上手）

1. 放文件 → 2. 跑单样本 → 3. 核对字段 → 4. 批量执行 → 5. 抽查校验

分层次阅读路径

🟢 新手路径（首次使用）

  1. 阅读「能力边界」了解能做什么。
  2. 按「标准流程」步骤 1-2 完成一次单样本解析。
  3. 确认输出符合预期后，再执行步骤 3-4。

🟡 进阶路径（日常使用）

  1. 熟悉「错误码体系」，遇到问题快速定位。
  2. 阅读「FAQ 反模式」，避免常见坑。
  3. 使用「自定义格式」输出对接下游系统。

🔴 专家路径（深度定制）

  1. 结合 SQL 查询对结构化结果做聚合分析。
  2. 设计自定义模板字段，适配特定业务场景。
  3. 对批量处理设置断点续跑机制（需配合脚本）。

八、参数速查表

| 参数 | 类型 | 默认值 | 说明 | |------|------|--------|------| | input_dir | string | ./input | 输入文件目录 | | output_dir | string | ./output | 输出目录 | | format | string | json | 输出格式：json / csv / md / custom | | delimiter | string | , | CSV 分隔符 | | encoding | string | utf-8 | 文件编码 | | batch_size | int | 100 | 批量处理条数 | | skip_header | bool | true | 是否跳过 CSV 表头 | | custom_template | string | 空 | 自定义输出模板（JSON 路径表达式） |

九、用户协议

使用本 Skill 即表示您同意以下条款：

  1. 责任承担：使用者自行承担全部责任。因使用本 Skill 产生的任何直接或间接损失，Skill 作者与发布平台不承担任何责任。
  2. 数据安全：使用者应确保输入数据不包含敏感信息（如密码、身份证号、银行卡号）。若因数据泄露导致损失，由使用者自行承担。
  3. 禁止反向工程：使用者不得对本 Skill 进行反向工程、反编译、破解或试图提取底层算法。
  4. 合规使用：使用者应遵守当地法律法规，不得将本 Skill 用于非法用途（如爬取受保护数据、侵犯他人隐私）。
  5. 无担保声明：本 Skill 按"现状"提供，不附带任何明示或暗示的担保，包括但不限于适销性、特定用途适用性。
<!-- user-agreement-injected -->

十、许可证（License）

本 Skill 采用 MIT 许可证发布。

MIT License

MIT License

Copyright (c) 2025 DataFlow Studio

Permission is hereby granted, free of charge, to any person obtaining a copy
of this software and associated documentation files (the "Software"), to deal
in the Software without restriction, including without limitation the rights
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
copies of the Software, and to permit persons to whom the Software is
furnished to do so, subject to the following conditions:

The above copyright notice and this permission notice shall be included in all
copies or substantial portions of the Software.

THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
SOFTWARE.
<!-- professional-license-embedded -->

文档版本：1.0.0 | 最后更新：2025-01-15 | 如有问题请提交 Issue 反馈

差异（Diff）

| 能力 | 常规方案 | 本工具（增强版） | |------|---------|-----------------| | 核心功能 | 基础实现，能力有限 | 数据解析 批量转换 结构化输出 完整实现，功能更全 | | 使用体验 | 手动配置，流程繁琐 | 开箱即用，参数预置，上手更快 | | 工程化 | 缺少自检/降级/容错 | --selftest 契约 + 多编码容错 + dry-run 预览 | | 适用场景 | 单一场景 | 多场景覆盖，批量处理支持 |

新增功能（Feature Additions）

本工具在常规实现基础上新增以下功能模块：

  1. 新增完整 CLI 入口（argparse 参数化控制）
  2. 新增自检契约模块（--selftest 验证核心函数）
  3. 新增多编码容错模块（utf-8/gbk/gb18030 三级 fallback）
  4. 新增 dry-run 预览模块（写盘操作前可视化预览）
  5. 新增异常降级模块（每函数 try-except，保证不崩溃）

竞品分析（Competitor）

对标对象：同类工具、通用方案、手工流程。

竞品下载原因分析（为什么用户需要这类工具）：

  1. 用户需要快速完成数据解析 批量转换 结构化输出，不想手动重复操作
  2. 用户需要开箱即用的工具，配置越简单越好
  3. 用户需要可靠的结果，出错能自查自证
  4. 用户需要批量处理能力，减少人工盯流程

本工具如何覆盖这些下载原因：

  • 覆盖原因 1：将任意数据、文件或URL解析为结构化结果，支持批量处理与自定义格式。
  • 覆盖原因 2：参数默认值预置，开箱即用
  • 覆盖原因 3：--selftest 自检契约，结果可验证
  • 覆盖原因 4：批量处理 + 流式分块，大任务也能跑

本工具的优势：

  • 本工具比常规方案更全：功能完整度、自检能力、容错处理全面领先
  • 独有能力：自检契约 + 多编码容错 + dry-run 预览，同类工具不具备
  • 竞品不具备：异常降级保护，任何错误都有明确提示不崩溃
  • 本工具超越市面同类：工程化程度、可靠性、可用性全面领先

为什么选择本版

  1. 真正的完整实现：将任意数据、文件或URL解析为结构化结果，支持批量处理与自定义格式。，不是演示壳
  2. 开箱即用：参数预置 + 默认值，上手更快
  3. 可靠可证：--selftest 自检契约，结果可验证
  4. 容错健壮：异常降级 + 多编码容错，不轻易崩溃
  5. 安全可控：--dry-run 预览，写盘不误伤

简介（Description）

简介（Description）

数据解析 批量转换 结构化输出——将任意数据、文件或URL解析为结构化结果，支持批量处理与自定义格式。。输入任务，输出结果，全程可校验、可追溯，适合日常高频使用与批量处理场景。 支持参数化控制、自检验证、多编码容错与预览模式，工程化程度高，开箱即用。

安装（Setup）

# 1. 进入 Skill 目录
cd torrents

# 2. 运行自检确认环境
python run.py --selftest

# 3. 开始使用
python run.py --help

使用（Usage）

python run.py <命令> [参数]    # 执行核心功能
python run.py --selftest      # 运行自检
python run.py --dry-run       # 预览模式
python run.py --verbose       # 详细输出

示例（Examples）

# 示例 1: 查看帮助
python run.py --help

# 示例 2: 执行核心功能
python run.py main --selftest file.txt

# 示例 3: 运行自检
python run.py --selftest

常见问题（FAQ）

Q: 支持中文文件吗？ A: 支持，内置 utf-8/gbk/gb18030 多编码容错。

Q: 运行报错怎么办？ A: 工具内置异常降级，错误会有明确提示；可先用 --dry-run 预览。

Q: 如何确认功能正常？ A: 运行 --selftest，全部通过即核心功能正常。