首页龙虾技能列表 › openclaw-ultra-scraping — 强力网页爬取与数据提取(反反爬)

openclaw-ultra-scraping — 强力网页爬取与数据提取(反反爬)

v2.0.0

openclaw-ultra-scraping 是一款强力网页爬取、爬行和数据提取技能,具备隐匿反反爬能力(支持Cloudflare Turnstile、CAPTCHAs),适用于需要突破防爬措施的网站数据采集场景。该技能通过模拟真实浏览器行为和集成反CAPTCHA解决方案,帮助开发者高效获取目标网站数据。

0· 793·4 当前·4 累计
by @leoyeai (Leo Ye)·MIT-0
下载技能包
License
MIT-0
最后更新
2026/4/11
安全扫描
VirusTotal
无害
查看报告
OpenClaw
可疑
medium confidence
该技能基本实现了宣称的功能(带有反反爬的网页爬取),但需要以root权限运行安装脚本,下载网络包和浏览器,来源未知,存在一些不一致性,建议在沙盒环境中谨慎使用前测试。
评估建议
该技能实现了宣称的爬取功能,但安装过程需要以root权限运行脚本,安装系统包、pip包(scrapling[all])和下载浏览器,这些操作会修改主机并从网络下载代码。由于缺乏来源和主页,包的来源不明。安装前建议:(1)检查上游‘scrapling’项目(PyPI/GitHub)以确认作者和下载内容,(2)在隔离的VM或容器中运行安装脚本(不要在生产主机上以root运行),(3)注意绕过CAPTCHAs/Turnstile可能涉及第三方解析服务或某些司法管辖区的法律问题,(4)确认奇怪的apt包名并在可丢弃环境中测试安装。如果需要降低风险,优先选择使用预批准包的技能或不需要root权限和网络安装的技能。...
详细分析 ▾
用途与能力
技能名称/描述(隐匿爬取、Cloudflare绕过、截屏、爬行)与包含的代码和API文档相符。要求python3并安装浏览器/系统库对于全浏览器爬取是合理的。但是,技能需要root设置(apt-get、系统库、/opt安装),这是一个高影响力的操作,对于一个‘技能’来说,并且没有在声明的必需二进制文件中反映(没有提到apt或root)。清单元数据还显示版本不匹配和没有主页/来源,这降低了信任。
指令范围
SKILL.md 指示代理运行提供的安装脚本,然后调用捆绑的CLI或使用venv。运行时指令仅专注于爬取任务,不指示代理读取无关的本地文件或凭据。但是,安装步骤运行系统包安装和pip安装,这将从网络下载代码和浏览器二进制文件;SKILL.md 没有解释在‘scrapling install’期间联系的远程端点或可能在请求--solve-cloudflare时使用的外部服务(例如,CAPTCHA解析器)。
安装机制
安装是一个需要root权限的shell脚本(apt-get、python venv、pip安装'scrapling[all]',然后'scrapling install'下载浏览器)。这是一个中等到高风险的安装模式:它从PyPI下载包,可能在安装/运行时从外部源下载浏览器二进制文件。apt包名包括奇怪的后缀(例如,以't64'结尾的包),这可能是拼写错误或表明脚本在跨系统测试中未被测试。没有可验证的发布主机或校验和验证。
凭证需求
技能在清单中没有请求环境变量、秘密或外部凭据。代码也没有引用秘密环境变量。这与声明的目的相符:爬取通常不需要主机的凭据。(然而,一些反CAPTCHA流可能需要在运行时使用第三方解析器API密钥 — 没有声明。)
持久化与权限
安装脚本写入/opt/scrapling-venv并以root权限运行apt-get/pip。虽然‘always’为false并且技能不会强制在每个代理运行,但安装程序需要高级权限并进行系统范围的更改;对于用户安装的技能来说,这是一个显著的权限提升,应该仅在受控环境(VM/容器)中执行。
安全有层次,运行前请审查代码。

License

MIT-0

可自由使用、修改和再分发,无需署名。

运行时依赖

无特殊依赖

版本

latestv2.0.02026/3/5

更新生态系统链接到 myclaw.ai/skills

● 无害

安装命令 点击复制

官方npx clawhub@latest install openclaw-ultra-scraping
镜像加速npx clawhub@latest install openclaw-ultra-scraping --registry https://cn.clawhub-mirror.com

技能文档

介绍

强力网页爬取、爬行和数据提取技能,具备隐匿反反爬能力(支持Cloudflare Turnstile、CAPTCHAs)。

使用场景

适用于需要突破防爬措施的网站数据采集场景。

安装与运行

请参考原始SKILL.md(未翻译部分保持原样,仅示例)...

注意: 由于原始SKILL.md内容未提供,以上仅为示例。实际内容应根据原始SKILL.md进行翻译,保留代码块、命令行指令和Markdown格式不变。

数据来源:ClawHub ↗ · 中文优化:龙虾技能库
OpenClaw 技能定制 / 插件定制 / 私有工作流定制

免费技能或插件可能存在安全风险,如需更匹配、更安全的方案,建议联系付费定制

了解定制服务