Web Scraper Jina — 云端网页爬取工具(绕过 Cloudflare)
v1.0.1利用 r.jina.ai API 爬取任何网站,包括 Truth Social、Cloudflare Turnstile 等强保护网站。通过第三方代理服务绕过 Cloudflare 和其他反爬虫保护,支持获取受保护页面的清洁 Markdown 内容,免费使用。
0· 1,700·13 当前·13 累计
安全扫描
OpenClaw
可疑
medium confidence该技能内部逻辑一致,但明确鼓励绕过访问保护,来源未知,缺乏可追溯性,引发法律/滥用和信任担忧。
评估建议
该技能本质上是一个简短的教程,告诉代理使用第三方爬虫代理 (r.jina.ai) 获取页面,包括受反 bot 测量保护的页面。安装前,请考虑:1) 来源 — 出版商和主页未知,增加信任风险;2) 法律性和服务条款 — 故意规避保护可能违反网站服务条款或某些管辖区的法律;3) 隐私 — 获取的内容可能包含私人数据或触发您的账户的速率限制/阻塞;4) 依赖第三方代理 — 您的请求通过 r.jina.ai,请审查他们的条款和隐私政策;5) 更安全的替代方案 — 偏好官方 API、网站提供的 feeds 或获取明确许可。如果仍想使用,请避免提供凭据,限制在您有权限访问的公共内容上使用,并在受控环境中测试。如果需要更高的保证,请向出版商请求来源或请求使用维护者信任的后端或官方 API 的版本。...详细分析 ▾
ℹ 用途与能力
名称/描述与 SKILL.md 匹配:该技能简单地告诉代理将目标 URL 前缀为 https://r.jina.ai/ 以检索内容。声称的功能(爬取受保护的网站)完全委托给第三方 r.jina.ai 服务;该技能本身没有代码、安装或额外凭据。
⚠ 指令范围
指令明确建议绕过 Cloudflare、Turnstile 和其他保护,并列出目标网站(Truth Social 等)。虽然指令不请求本地文件、凭据或系统访问,但它们直接指示规避访问控制,并鼓励可能违反条款或非法的爬虫行为。
✓ 安装机制
仅指令的技能,没有安装规范和代码文件 — 该技能本身没有写入磁盘,因此在安装机制方面的技术风险很低。
✓ 凭证需求
没有请求环境变量、凭据或配置路径 — 该技能不要求秘密或无关权限。
✓ 持久化与权限
没有请求高级权限或始终开启的行为(always: false)。该技能不尝试修改其他技能或系统设置。
安装前注意事项
- 来源 — 出版商和主页未知,增加信任风险;
- 法律性和服务条款 — 故意规避保护可能违反网站服务条款或某些管辖区的法律;
- 隐私 — 获取的内容可能包含私人数据或触发您的账户的速率限制/阻塞;
- 依赖第三方代理 — 您的请求通过 r.jina.ai,请审查他们的条款和隐私政策;
- 更安全的替代方案 — 偏好官方 API、网站提供的 feeds 或获取明确许可。如果仍想使用,请避免提供凭据,限制在您有权限访问的公共内容上使用,并在受控环境中测试。如果需要更高的保证,请向出版商请求来源或请求使用维护者信任的后端或官方 API 的版本。
安全有层次,运行前请审查代码。
运行时依赖
无特殊依赖
版本
latestv1.0.12026/3/6
本版本未检测到任何更改。技能仍保持在 1.0.0 版本,功能和文档与之前相同。
● 无害
安装命令 点击复制
官方npx clawhub@latest install web-scraper-jina
镜像加速npx clawhub@latest install web-scraper-jina --registry https://cn.clawhub-mirror.com
技能文档
利用免费的 r.jina.ai API 爬取任何网站,绕过 Cloudflare 和其他保护。
功能
- 绕过 Cloudflare、Turnstile 和其他保护
- 支持 Truth Social、Bitget 等受保护网站
- 返回清洁的 Markdown 内容
- 免费使用
使用方法
简单地在任何 URL 前添加https://r.jina.ai/:
``https://r.jina.ai/https://truthsocial.com/@realDonaldTrump
https://r.jina.ai/https://bitget.com/events/poolx## 示例
获取 Trump 的 Truth Social 帖子:
curl -s "https://r.jina.ai/https://truthsocial.com/@realDonaldTrump"### 获取任何受保护页面:
curl -s "https://r.jina.ai/https://example.com"## 在代码中
python
import requests
def scrape(url):
return requests.get(f"https://r.jina.ai/{url}").text
``
用例
- 爬取 Truth Social、Gab、Gettr
- 绕过 Cloudflare 保护的网站
- 提取新闻文章内容
- 监控竞争对手
数据来源:ClawHub ↗ · 中文优化:龙虾技能库
OpenClaw 技能定制 / 插件定制 / 私有工作流定制
免费技能或插件可能存在安全风险,如需更匹配、更安全的方案,建议联系付费定制