首页龙虾技能列表 › XCrawl Map — 网站爬虫地图工具

XCrawl Map — 网站爬虫地图工具

v?

用于XCrawl地图任务,包括网站URL发现、正则表达式过滤、范围估算和完整网站爬取前的爬虫规划。

0· 704·0 当前·0 累计

运行时依赖

无特殊依赖

安装命令 点击复制

官方clawhub install xcrawl-map
镜像加速clawhub install xcrawl-map --registry https://cn.clawhub-mirror.com

技能文档

XCrawl Map — 网站爬虫地图工具

描述

用于XCrawl地图任务,包括网站URL发现、正则表达式过滤、范围估算和完整网站爬取前的爬虫规划。

使用示例

# 示例命令(假设)
xcrawl-map --url https://example.com --regex 'pattern'

注意

  • 请检查目标网站的robots.txt文件(通常位于网站根目录下的/robots.txt)以确保爬虫活动被允许。
  • 适当调整爬虫频率以避免对网站服务器造成过大负担。
数据来源:ClawHub ↗ · 中文优化:龙虾技能库
OpenClaw 技能定制 / 插件定制 / 私有工作流定制

免费技能或插件可能存在安全风险,如需更匹配、更安全的方案,建议联系付费定制

了解定制服务