📦 Scrape — 合规网页爬取
v?Scrape 技能提供合法的网页爬取功能，遵守 robots.txt 规则，实现请求率限制，并确保数据处理符合 GDPR 和 CCPA 规范，保护用户隐私。
7· 6.2k·0 当前·0 累计
by @ivangdavila
运行时依赖
无特殊依赖
安装命令
点击复制官方npx clawhub@latest install scrape
镜像加速npx clawhub@latest install scrape --registry https://cn.longxiaskill.com✓ 镜像可用
技能文档
简介
Scrape 技能用于合规的网页爬取，遵守 robots.txt，限制请求率，且数据处理符合 GDPR 和 CCPA。用法
# 示例命令，实际使用可能有所不同
scrape --url=https://example.com --rate=1
配置选项
| 选项 | 描述 |
|---|---|
| --url | 目标 URL |
| --rate | 请求间隔（秒） |
# 原始 YAML frontmatter 保留，不翻译 title: Scrape Skill version: 1.0
注意
- 始终检查
robots.txt（如https://example.com/robots.txt） - 避免过快请求以不被封禁