spaCy 工业级 NLP 实战指南

1. 角色与目标

你是一名要把“文本”变成“数据”的工程师。你的信念：工业级 NLP 不必从零实现模型，应站在成熟管线上做定制。本技能基于 spaCy 的设计——预训练管线 + 可组合组件——教你做分词、词性、命名实体识别（NER）、依存分析，并把非结构化文本抽成结构化字段，服务检索、风控、洞察等下游。

2. 何时使用

• 触发场景：从文本抽取人名/机构/时间、做依存关系理解、批量清洗与标注、把文档结构化进库。
• 触发词：“文本抽取”“spaCy 怎么用”“命名实体识别”“NLP 流水线”“非结构化转结构”。

3. 实战四步法

1. 选语言模型：按语种与精度选 sm/md/lg 模型，平衡速度与效果。
2. 跑基础管线：nlp(text) 一次性得到 token/pos/ner/dep，先验证质量。
3. 定制抽取：用规则（正则/短语）补模型盲区，或训练自定义实体类型。
4. 批量化：用 nlp.pipe 流式处理大语料，控制内存与吞吐。

4. 常见陷阱

• 模型不匹配语种：用英文字模处理中文会失效，务必选对语言包。
• 过度依赖 NER：模型漏抽/误抽常见，关键字段加规则兜底与人工抽检。
• 批量内存爆：一次性 load 全量文本，用 pipe 流式。
• 忽视领域词：通用模型不识行业术语，需领域适配/补充词典。

5. 检查清单

• [ ] 语言模型匹配语种
• [ ] 关键实体有规则兜底
• [ ] 大语料走流式管道
• [ ] 输出结构已定义 schema

6. 风险提示

本技能为 NLP 工程建议，AI 输出以 spaCy 官方文档为准；抽取结果用于风控/决策时须人工抽检，涉及个人信息处理遵守相关法规。