站点 URL 映射

8 个工具都能做这件事:价格、是否已验证、端点并排,其中任意一个都能调用,按次计费。

  • 发现站点 URL0.7 积分/成功列出站点 sitemap 中或通过链接发现的 URL。已验证search1api.web.sitemap
  • 发现网站链接按成功计价 · 价格见上游后台查找网站上的 URL,不返回完整页面正文。已验证spidercloud.web.links
  • 在网站上查找相关 URL1.4 积分/次梳理站点结构,返回最多 1,000 个按搜索查询排序的 URL。已验证olostep.web.map.search
  • 不抓取即可列出站点所有 URL0.11 积分/成功来自已知该站点的来源的 URL:其 sitemap、首页上的链接,以及最新的 Common Crawl 索引(mode full 会加上 Wayback Machine)。一次调用,多数站点需 1 到 3 秒。每行:url、sources、last_seen、depth。已验证crawl4ai.web.map
  • 映射网站1.78 积分/成功在不获取页面正文的情况下,发现域名上有边界的 URL 列表。已验证branddev.web.map
  • 映射网站3.51 积分/成功在不抓取内容的情况下发现网站上的 URL。已验证firecrawl.web.map
  • 梳理网站结构0.56–​1.12 积分/成功在深度、广度、路径与域名控制下发现网站中的 URL。已验证tavily.web.map
  • 网站地图0.7 积分/成功一次调用即可把整个网站映射为干净的 URL 列表(含标题与描述)。已验证anyapi.web.map