mcp-server-webscan

🚀 MCP 网页扫描服务器

MCP 网页扫描服务器是一个基于 Model Context Protocol (MCP) 的服务器，主要用于网页内容的抓取、分析和信息提取。它提供了一系列实用工具，能有效获取、分析并提取网页中的关键信息。

🚀 快速开始

MCP 网页扫描服务器为网页信息处理提供了便捷的解决方案，你可以按照以下步骤进行安装和使用。

✨ 主要特性

• 页面抓取：能够将网页转换为 Markdown 格式，极大地方便了后续的分析工作。
• 链接提取：可以从网页中精准提取并深入分析链接。
• 网站爬取：支持递归爬取网站内容，有助于全面发现信息。
• 错误处理：具备全面的错误处理机制，可处理无效参数、网络错误、内容解析错误、URL 验证等多种问题。

📦 安装指南

使用 Smithery 安装

# 使用Smithery进行安装的命令

构建

npm run build

💻 使用示例

开发模式

npm run dev

服务器启动

node index.ts

基础用法

安装说明

使用 Smithery 安装

# 使用Smithery进行安装的命令

手动安装

1. 克隆仓库：git clone <repository-url>
2. 进入目录：cd mcp-webscan-server
3. 安装依赖：npm install

高级用法

工具列表

1. fetch-page：

   • 用途：将网页转换为 Markdown 格式。
   • 参数：URL（必填）。
   • 返回值：提取的 Markdown 内容。

2. extract-links：

   • 用途：从网页中提取所有链接。
   • 参数：URL（必填）。
   • 返回值：提取的所有链接列表。

3. crawl-site：

   • 用途：递归爬取网站内容。
   • 参数：起始 URL（必填）、深度限制（可选）。
   • 返回值：爬取到的所有网页链接列表。

🔧 技术细节

项目结构图

├── src/
│   ├── initialize.ts
│   └── index.ts    # 主服务器入口文件
├── build/          # 编译后的 JavaScript（已更正）
├── node_modules/
├── .clinerules
├── .gitignore
├── Dockerfile
├── LICENSE
├── mcp-consistant-servers-guide.md
├── package.json
├── package-lock.json
├── README.md
├── RFC-2025-001-Refactor.md
├── smithery.yaml
└── tsconfig.json

🤝 贡献指南

步骤

• Fork 仓库
• 创建功能分支（例如：git checkout -b feature/amazing-feature）
• 提交更改（例如：git commit -m 'Add some amazing feature'）
• 推送到分支（例如：git push origin feature/amazing-feature）
• 提交 Pull Request

代码规范

• 遵循项目现有的编码风格。
• 确保新增功能通过现有测试用例。
• 提供详细的提交说明。

📄 许可证

本项目采用 MIT 许可证，详情请参阅 LICENSE 文件。