Tavily Crawl — 网站爬取与本地 Markdown 保存
v?爬取任意网站,保存页面为本地 Markdown 文件。适用于下载文档、知识库或网页内容以供离线访问或分析。
0· 442·0 当前·0 累计
by @matthew77
运行时依赖
无特殊依赖
安装命令 点击复制
官方clawhub install liang-tavily-crawl
镜像加速clawhub install liang-tavily-crawl --registry https://cn.clawhub-mirror.com
技能文档
Tavily Crawl 技能文档
简介
爬取任意网站,保存页面为本地 Markdown 文件。适用于下载文档、知识库或网页内容以供离线访问或分析。使用方法
- 安装:通过 MCP 平台安装 Tavily Crawl 技能
- 配置:输入目标网站 URL 和保存路径
- 执行:运行技能,等待爬取完成
示例
- 输入:
https://example.com/docs,保存路径:./local_docs - 输出:
./local_docs中包含 example.com/docs 的所有页面(以 Markdown 格式保存)
注意
- 请确保目标网站允许爬取
- 尊重网站的
robots.txt规则
数据来源:ClawHub ↗ · 中文优化:龙虾技能库
OpenClaw 技能定制 / 插件定制 / 私有工作流定制
免费技能或插件可能存在安全风险,如需更匹配、更安全的方案,建议联系付费定制