网站抓取

9 个工具都能做这件事:价格、是否已验证、端点并排,其中任意一个都能调用,按次计费。

  • 抓取网站17.74 积分/成功从一次有边界的链接页面抓取返回 Markdown。已验证branddev.web.crawl
  • 抓取网站35 积分/成功启动有界抓取,按已处理页面计费。已验证firecrawl.web.crawl
  • 抓取网站140 积分/成功启动一次有范围上限的异步网站抓取,只为已完成的页面付费。已验证olostep.web.crawl
  • 抓取网站按成功计价 · 价格见上游后台从起始 URL 跟踪链接,返回有数量上限的页面集合。已验证spidercloud.web.crawl
  • 抓取网站1.68–​3.36 积分/成功一次请求内梳理网站结构并从发现的页面中提取干净内容。已验证tavily.web.crawl
  • 异步抓取网站14.01 积分/成功启动站点抓取,之后从任务状态中获取其 ZIP 下载 URL。已验证search1api.web.deepcrawl
  • 将整站抓取为后台任务52.61 积分/成功从起始 URL 开始,在站内按层级抓取,经过 include 与 exclude 过滤,在 max_pages 处截断;仅以任务形式运行。用 crawl4ai.web.scrape.job.status 轮询,用 crawl4ai.web.scrape.job.results 读取页面(url、level、title、status、links、markdown 或 html)。已验证crawl4ai.web.crawl
  • 异步抓取单个网页8.4 积分/成功启动一次有上限的单页 Markdown 抓取,并返回其任务 id。已验证scrapegraphai.web.crawl
  • 网站抓取3.15 积分/成功抓取一个网站,在一次归一化响应中获取最多 10 个页面的干净文本内容,适合把站点喂给 LLM 与搜索索引。已验证anyapi.web.crawl