网站抓取
9 个工具都能做这件事:价格、是否已验证、端点并排,其中任意一个都能调用,按次计费。
- 抓取网站17.74 积分/成功从一次有边界的链接页面抓取返回 Markdown。
- 抓取网站35 积分/成功启动有界抓取,按已处理页面计费。
- 抓取网站140 积分/成功启动一次有范围上限的异步网站抓取,只为已完成的页面付费。
- 抓取网站按成功计价 · 价格见上游后台从起始 URL 跟踪链接,返回有数量上限的页面集合。
- 抓取网站1.68–3.36 积分/成功一次请求内梳理网站结构并从发现的页面中提取干净内容。
- 异步抓取网站14.01 积分/成功启动站点抓取,之后从任务状态中获取其 ZIP 下载 URL。
- 将整站抓取为后台任务52.61 积分/成功从起始 URL 开始,在站内按层级抓取,经过 include 与 exclude 过滤,在 max_pages 处截断;仅以任务形式运行。用 crawl4ai.web.scrape.job.status 轮询,用 crawl4ai.web.scrape.job.results 读取页面(url、level、title、status、links、markdown 或 html)。
- 异步抓取单个网页8.4 积分/成功启动一次有上限的单页 Markdown 抓取,并返回其任务 id。
- 网站抓取3.15 积分/成功抓取一个网站,在一次归一化响应中获取最多 10 个页面的干净文本内容,适合把站点喂给 LLM 与搜索索引。