free-web-search v14 联网搜索工具

基于 Playwright 浏览器实现的稳定搜索工具，意图识别 + 请求节流 + 结果质量评分 + 保留CSS修复。

v14 更新内容

✅ [关键修复] 保留CSS：之前拦截CSS导致Bing搜索结果标题文字丢失
✅ 意图识别+query改写：搜索质量差时自动改写query（城市游玩→景点推荐、今日价格→实时行情等）
✅ 改写仅在质量差时触发：先搜原始query，质量好就不改写，避免改写搞坏本来好的query
✅ 请求节流：两次Bing请求间隔≥3s，避免触发限流
✅ 限流检测+退避：0结果时递增等待重试，排除重试也0结果时停止
✅ --filter 回退：过滤后为空自动回退到不过滤结果
✅ 单域名排除重试：最多2轮，结果更好才替换
✅ DuckDuckGo国内快速失败：10s超时×1次
✅ --no-rewrite：禁用query改写（调试用）

核心能力

✅ 中文环境深度优化：强制 Bing 返回中文结果
✅ 反爬检测绕过：多层反检测措施（stealth.js）
✅ 全文抓取：支持按需抓取目标网页的完整正文内容
✅ Headless 模式：服务器可用，无需显示器

【核心必读】搜索Query优化规范

搜索效果的好坏，90%取决于Query是否合理，请严格遵循以下规则生成搜索词：

一、黄金原则

简洁精准：只保留核心关键词，用2-5个核心词组合，禁止长句、反问句、口语化描述
限定明确：需要时效性/领域/地区内容时，必须加上对应的限定词
格式正确：使用中文关键词 + 英文/数字限定词，禁止特殊符号、无意义助词

二、正确示例 vs 错误示例

| 搜索场景 | 正确Query（推荐） | 错误Query（禁止） | |----------|--------------------|--------------------| | 时效性新闻 | 2026年04月美伊局势最新 | 你能帮我查一下最近美国和伊朗之间发生了什么事吗 | | 技术教程 | Python 异步编程最佳实践 2026 | 我想学习一下Python的异步编程，有没有好的教程 | | 知识科普 | 中国大型邮轮花城号出坞最新消息 | 中国的那个大型邮轮花城号现在怎么样了 | | 本地内容 | 广东东莞今日天气 | 我现在在东莞，今天天气怎么样啊 | | 官方信息 | 华为云 ModelArts 官方文档 | 华为云的那个ModelArts的官网在哪里，文档怎么看 |

参数说明

| 参数名 | 类型 | 说明 | 默认值 | 取值限制 | |--------|------|------|--------|----------| | query | 字符串 | 【必填】搜索关键词 | - | 不能为空 | | max | 整数 | 最多返回的搜索结果条数 | 10 | 1-20 | | full | 整数 | 抓取前N条结果的网页全文 | 0 | 0-5 | | engine | 字符串 | 搜索引擎选择 | bing | bing/duckduckgo/auto | | filter | 布尔 | 过滤低质量域名 | false | - |

使用示例

# 基础搜索
python scripts/web_search.py "经济新闻 今日" --max=10

# 抓取前3条结果的全文
python scripts/web_search.py "经济新闻 最新" --full=3

# 使用 auto 模式（Bing 结果不足时切换 DuckDuckGo）
python scripts/web_search.py "技术教程" --engine=auto

# 过滤知乎等低质量域名
python scripts/web_search.py "某个话题" --filter

常见问题

搜索返回空结果

检查网络连接（VPN 可能影响 Bing 国内版）
尝试 --engine=duckduckgo 直接用 DuckDuckGo
检查 Query 是否过于冗长或口语化

浏览器启动失败

pip install playwright && playwright install chromium

全文抓取失败

某些网站有强反爬限制
知乎等域名在全文抓取时自动跳过

结果集中在单一域名

脚本会自动检测并警告 [WARN] 结果集中在单一域名
解决方案：换用更具体的关键词，避免歧义词

搜索关键词避坑指南

| ❌ 避免 | ✅ 推荐 | |---------|---------| | 民生新闻 | 住房医疗就业 或 社会政策百姓生活 | | 经济新闻 | 财经政策 GDP 或 A股沪指 | | 长护险 | 长期护理保险养老服务 |

服务器环境

脚本强制使用 headless=True，无需显示器
已添加服务器兼容的浏览器参数