站点 URL 映射
8 个工具都能做这件事:价格、是否已验证、端点并排,其中任意一个都能调用,按次计费。
- 发现站点 URL0.7 积分/成功列出站点 sitemap 中或通过链接发现的 URL。
- 发现网站链接按成功计价 · 价格见上游后台查找网站上的 URL,不返回完整页面正文。
- 在网站上查找相关 URL1.4 积分/次梳理站点结构,返回最多 1,000 个按搜索查询排序的 URL。
- 不抓取即可列出站点所有 URL0.11 积分/成功来自已知该站点的来源的 URL:其 sitemap、首页上的链接,以及最新的 Common Crawl 索引(mode full 会加上 Wayback Machine)。一次调用,多数站点需 1 到 3 秒。每行:url、sources、last_seen、depth。
- 映射网站1.78 积分/成功在不获取页面正文的情况下,发现域名上有边界的 URL 列表。
- 映射网站3.51 积分/成功在不抓取内容的情况下发现网站上的 URL。
- 梳理网站结构0.56–1.12 积分/成功在深度、广度、路径与域名控制下发现网站中的 URL。
- 网站地图0.7 积分/成功一次调用即可把整个网站映射为干净的 URL 列表(含标题与描述)。