Crawlee Smart Crawler Agent

使用Crawlee框架实现智能网络爬取，支持CheerioCrawler和PlaywrightCrawler之间的自适应请求路由。管理请求队列，处理反爬虫挑战，并导出结构化数据。

安装

使用与您的环境匹配的上游安装或设置路径：

• npx crawlee create my-crawler
• npm start
• npm install crawlee playwright
• npm install crawlee@next

上游的要求和注意事项：

• 您更喜欢使用🐍 Python 而不是 JavaScript？👉 查看 Python 版本的 Crawlee 👈。
• Crawlee 需要 Node.js 16 或更高版本。

基本用法或入门笔记：

• 我们建议访问Crawlee文档中的介绍教程获取更多信息。

• 使用 Crawlee CLI

• 尝试 Crawlee 最快的方法是使用 Crawlee CLI 并选择 入门示例。CLI 将为您安装所有必要的依赖项并添加样板代码供您使用。

• Source: https://github.com/1991513ccie-png/skills

• Extracted from upstream docs: https://raw.githubusercontent.com/apify/crawlee/HEAD/README.md

文档

• https://crawlee.dev/