网站 GEO 工具箱（website-geo-toolkit）

一套纯标准库、零依赖的 Python 脚本，覆盖网站 GEO 诊断的全流程取数工作。设计原则：能用脚本取到的，绝不靠记忆或估算。所有结论必须有脚本输出支撑。

运行环境

PY="C:/Users/uu/.workbuddy/binaries/python/versions/3.13.12/python.exe"
S="<专家包目录>/skills/website-geo-toolkit/scripts"

若 openpyxl 未安装也不要紧 —— xlsx_writer.py 自己按 OOXML 手写 zip+XML，产出的 .xlsx 可被 Excel / WPS / LibreOffice 直接打开。

1. 全站静态页面地址采集 → Excel

"$PY" "$S/crawl_urls.py" --url https://example.com \
    --max-pages 500 --depth 4 --delay 0.3 \
    --from-sitemap --drop-tracking \
    --excel 页面清单.xlsx --json 页面清单.json --csv 页面清单.csv

输出 Excel 含 5 个工作表：页面清单 / 仅HTML静态页 / 问题页 / 统计概览 / 目录分布。默认遵守 robots.txt（--ignore-robots 可关闭）。 --from-sitemap 会先读 sitemap 补种子，覆盖率更高。

关键字段：URL、最终地址、HTTP 状态、抓取深度、标题、描述、H1、Canonical、 Meta Robots、是否 noindex、字节、响应毫秒、来源页面。

2. 域名体检（WHOIS/RDAP + DNS + HTTP + TLS）

"$PY" "$S/domain_lookup.py" example.com
"$PY" "$S/domain_lookup.py" example.com --excel 域名报告.xlsx --json 域名报告.json

产出：注册商、注册/到期时间、域名年龄、剩余天数、注册状态、权威 DNS、 A/AAAA/NS/MX/TXT/CNAME、解析 IP、HTTP(S) 可达性与重定向、HSTS、 X-Robots-Tag、TLS 证书颁发者与剩余天数，以及自动风险提示。

注意：ICP 备案、域名历史处罚没有公开官方接口，只能人工到 beian.miit.gov.cn 核验，禁止猜测备案号或历史处罚记录。

3. sitemap.xml 生成 / 校验

# 从爬取结果生成（自动排除非 200、非 HTML）
"$PY" "$S/gen_sitemap.py" --from-json 页面清单.json --base https://example.com \
    --skip-noindex --drop-tracking --public-url https://example.com --out sitemap.xml
# 校验线上
"$PY" "$S/gen_sitemap.py" --check https://example.com/sitemap.xml

超过 50000 条自动分片并生成 sitemap index。

4. robots.txt 生成 / 校验

"$PY" "$S/gen_robots.py" --policy geo-recommended \
    --sitemap https://example.com/sitemap.xml --out robots.txt
"$PY" "$S/gen_robots.py" --check https://example.com

四种策略：allow-all / geo-recommended（默认，放行搜索与 AI 搜索爬虫）/ block-ai-training（放行 AI 搜索、限制纯训练）/block-all-ai。

GEO 核心认知：robots.txt 决定 AI 能不能读到内容。屏蔽 AI 爬虫 = 主动放弃在 AI 答案里被引用。--check 会明确列出被整站封禁的 AI 爬虫及其后果。

5. Schema.org JSON-LD 生成 / 校验

"$PY" "$S/gen_schema.py" --config site.json --type website --out schema-website.jsonld
"$PY" "$S/gen_schema.py" --type organization --name "公司名" --url https://x.com \
    --logo https://x.com/logo.png --out org.jsonld
"$PY" "$S/gen_schema.py" --validate https://example.com   # 校验线上页面

支持：organization / website / breadcrumb / article / product / faq / localbusiness / person / service。同时输出 .jsonld 和可粘贴的 <script> 片段。

6. 单页 SEO + AI 可见度体检

"$PY" "$S/audit_page.py" https://example.com/page --json audit.json

100 分制评分：技术基础 30 / 元数据 25 / 结构化数据 15 / 内容结构 20 / E-E-A-T 10。输出「必须修的问题」与「优化建议」两类清单，可直接进报告。

标准作业链路

① 域名体检      domain_lookup.py        → 域名是否有硬伤
② 全站采集      crawl_urls.py           → 页面清单.xlsx（资产底数）
③ 整站评分      audit_page.py 抽样      → 关键页逐项打分
④ 三件套生成    gen_sitemap / gen_robots / gen_schema
⑤ 线上校验      gen_* --check           → 确认已生效
⑥ 出报告        按 templates/report-template.md 汇编

铁律

不编造数据：所有数字必须来自脚本输出。脚本取不到的（如备案、搜索排名、AI 实际引用率），明确写「需人工核验 / 无公开接口」，禁止估算。
礼貌爬取：默认 0.3s 间隔、遵守 robots.txt、并发 ≤8。大站先小样本试跑。
不承诺效果：GEO 只能提升「被引用概率」，不能保证提及、不能保证排名。
改动需 2–4 周生效，且 AI 答案存在漂移，建议至少测 3 次取趋势。