Scrape — 合规网页爬取
v?Scrape 技能提供合法的网页爬取功能,遵守 robots.txt 规则,实现请求率限制,并确保数据处理符合 GDPR 和 CCPA 规范,保护用户隐私。
7· 6,200·0 当前·0 累计
by @ivangdavila
运行时依赖
无特殊依赖
安装命令 点击复制
官方clawhub install scrape
镜像加速clawhub install scrape --registry https://cn.clawhub-mirror.com
技能文档
简介
Scrape 技能用于合规的网页爬取,遵守 robots.txt,限制请求率,且数据处理符合 GDPR 和 CCPA。用法
# 示例命令,实际使用可能有所不同
scrape --url=https://example.com --rate=1
配置选项
| 选项 | 描述 |
|---|---|
| --url | 目标 URL |
| --rate | 请求间隔(秒) |
# 原始 YAML frontmatter 保留,不翻译 title: Scrape Skill version: 1.0
注意
- 始终检查
robots.txt(如https://example.com/robots.txt) - 避免过快请求以不被封禁
数据来源:ClawHub ↗ · 中文优化:龙虾技能库
OpenClaw 技能定制 / 插件定制 / 私有工作流定制
免费技能或插件可能存在安全风险,如需更匹配、更安全的方案,建议联系付费定制