首页龙虾技能列表 › Scrape — 合规网页爬取

Scrape — 合规网页爬取

v?

Scrape 技能提供合法的网页爬取功能,遵守 robots.txt 规则,实现请求率限制,并确保数据处理符合 GDPR 和 CCPA 规范,保护用户隐私。

7· 6,200·0 当前·0 累计

运行时依赖

无特殊依赖

安装命令 点击复制

官方clawhub install scrape
镜像加速clawhub install scrape --registry https://cn.clawhub-mirror.com

技能文档

简介

Scrape 技能用于合规的网页爬取,遵守 robots.txt,限制请求率,且数据处理符合 GDPR 和 CCPA。

用法

# 示例命令,实际使用可能有所不同
scrape --url=https://example.com --rate=1

配置选项

选项描述
--url目标 URL
--rate请求间隔(秒)

# 原始 YAML frontmatter 保留,不翻译 title: Scrape Skill version: 1.0

注意

  • 始终检查 robots.txt(如 https://example.com/robots.txt
  • 避免过快请求以不被封禁
数据来源:ClawHub ↗ · 中文优化:龙虾技能库
OpenClaw 技能定制 / 插件定制 / 私有工作流定制

免费技能或插件可能存在安全风险,如需更匹配、更安全的方案,建议联系付费定制

了解定制服务