Crawl4AI LLM 就绪网络爬虫和刮取工具

Crawl4AI 是一个开源网络爬虫，可将任何网站转换为干净、适用于 LLM 的 Markdown 格式，用于 RAG 流水线、AI 代理和数据提取工作流程。它具备反机器人检测和深度爬取功能，能够处理大规模网页提取。

安装

使用与您的环境匹配的上游安装或设置路径：

• pip install -U crawl4ai
• pip install crawl4ai --pre
• Crawl4AI 提供灵活的安装选项，适用于各种使用场景。您可以将其作为 Python 包安装，也可以使用 Docker。
• pip install crawl4ai

来自上游的要求和注意事项：

• 
• ✨ 之前的 v0.7.8：稳定性和错误修复发布！修复了 11 个错误，解决了 Docker API 问题、LLM 提取改进、URL 处理修复和依赖更新。[发布说明 →](https://github.com/1991513ccie-png/skills
• 可部署到任何地方，无需密钥，支持 CLI 和 Docker，云友好

基本用法或入门笔记：

• 我将其开源是为了可用性，任何人都可以在没有门槛的情况下使用它。现在我正在构建平台以实现可负担性，任何人都可以运行严肃的爬取任务而无需花费太多。如果这符合您的需求，请加入我们，s...

• 🚀 快速开始

• 用于预发布版本

• Source: https://github.com/1991513ccie-png/skills

• Extracted from upstream docs: https://raw.githubusercontent.com/unclecode/crawl4ai/HEAD/README.md