星标数：87307★ Fork数：9103 《crawl4ai：面向 AI 智能体的开源爬虫与云端 API》

Crawl4AI Cloud 是一个托管的网页抓取、数据提取与搜索 API，面向 AI 智能体和数据管道。它可以把网页转换为干净的 Markdown 以供 RAG 使用，也可以提取结构化 JSON，或者搜索实时网页，全部只需一个 API 密钥。浏览器的运行和代理的管理都由 Crawl4AI 负责完成。

本仓库是驱动 Crawl4AI Cloud 的开源爬虫项目，采用 Apache-2.0 许可证。你可以用 Python 或 Docker 亲手运行它，也可以选择使用托管的云服务。

下面是本地安装并快速运行的命令：

pip install -U crawl4ai
crawl4ai-setup        # installs the browser, once

import asyncio
from crawl4ai import AsyncWebCrawler

async def main():
    async with AsyncWebCrawler() as crawler:
        result = await crawler.arun(url="https://news.ycombinator.com")
        print(result.markdown)

asyncio.run(main())

主要特点

• LLM 就绪的输出：智能 Markdown，保留标题、表格、代码块，并提供引用提示
• 结构化数据提取：支持 CSS/XPath 模式、正则提取、LLM 提取策略，可生成可复用的 schema
• 浏览器控制：持久化 profile、远程浏览器（CDP）、会话、代理与反检测隐身模式
• 爬取与抓取：深度爬取（BFS/DFS/最佳优先）、自适应爬取、URL 发现与批量抓取
• 部署灵活：本地用 Python 或 CLI 运行、用 Docker 自建服务端，或使用 Crawl4AI Cloud API 密钥

📊 本项目 GitHub 星标数：87307。最后更新：2026-11-04，发布：2026-10-14。项目地址：https://github.com/unclecode/crawl4ai