article
README
🚀 MCP 服务器 - Oxylabs 抓取器
MCP 服务器 - Oxylabs 抓取器提供了基于 Oxylabs 的网页抓取和解封功能,能帮助用户轻松实现通用网站抓取和访问难以访问的网站。
🚀 快速开始
本项目需要先进行安装,安装完成后即可运行使用。
📦 安装指南
克隆仓库
git clone <git:url>
安装依赖项
进入 mcp-server-oxylabs 目录:
cd mcp-server-oxylabs
# 创建虚拟环境并激活
uv venv
source .venv/bin/activate # MacOS/Linux
# 或者
.venv/Scripts/activate # Windows
# 安装依赖项
uv sync
💻 使用示例
基础用法
运行项目:
make run
然后访问 MCP 检查器控制台 http://localhost:5173。你可能需要在检查器中添加环境变量 OXYLABS_USERNAME 和 OXYLABS_PASSWORD。
📚 详细文档
此服务器提供两个主要功能:
- oxylabs_scraper:使用 Oxylabs 网页抓取 API 进行通用网站抓取
- oxylabs_web_unblocker:使用 Oxylabs 网页解封器访问难以访问的网站
网页抓取 API 支持 JavaScript 渲染、解析结构化数据和清理为 Markdown 格式的 HTML。网页解封器 提供 JavaScript 渲染和清理后的 HTML,但不返回解析数据。
📄 许可证
此项目根据 MIT 许可证 发布。
🌟 关于 Oxylabs
Oxylabs 成立于 2015 年,是一家领先的网络情报收集平台,由最高业务、道德和合规标准驱动,帮助全球企业利用数据驱动的洞察力实现增长。
扫码联系在线客服