运行时依赖
无特殊依赖
安装命令 点击复制
官方clawhub install xcrawl-map
镜像加速clawhub install xcrawl-map --registry https://cn.clawhub-mirror.com
技能文档
XCrawl Map — 网站爬虫地图工具
描述
用于XCrawl地图任务,包括网站URL发现、正则表达式过滤、范围估算和完整网站爬取前的爬虫规划。使用示例
# 示例命令(假设)
xcrawl-map --url https://example.com --regex 'pattern'
注意
- 请检查目标网站的
robots.txt文件(通常位于网站根目录下的/robots.txt)以确保爬虫活动被允许。 - 适当调整爬虫频率以避免对网站服务器造成过大负担。
数据来源:ClawHub ↗ · 中文优化:龙虾技能库
OpenClaw 技能定制 / 插件定制 / 私有工作流定制
免费技能或插件可能存在安全风险,如需更匹配、更安全的方案,建议联系付费定制