首页龙虾技能列表 › Web Scraper Jina — 云端网页爬取工具(绕过 Cloudflare)

Web Scraper Jina — 云端网页爬取工具(绕过 Cloudflare)

v1.0.1

利用 r.jina.ai API 爬取任何网站,包括 Truth Social、Cloudflare Turnstile 等强保护网站。通过第三方代理服务绕过 Cloudflare 和其他反爬虫保护,支持获取受保护页面的清洁 Markdown 内容,免费使用。

0· 1,700·13 当前·13 累计
by @itonlyforfun-ai (itonlyforfun-AI)·MIT-0
下载技能包
License
MIT-0
最后更新
2026/3/6
安全扫描
VirusTotal
无害
查看报告
OpenClaw
可疑
medium confidence
该技能内部逻辑一致,但明确鼓励绕过访问保护,来源未知,缺乏可追溯性,引发法律/滥用和信任担忧。
评估建议
该技能本质上是一个简短的教程,告诉代理使用第三方爬虫代理 (r.jina.ai) 获取页面,包括受反 bot 测量保护的页面。安装前,请考虑:1) 来源 — 出版商和主页未知,增加信任风险;2) 法律性和服务条款 — 故意规避保护可能违反网站服务条款或某些管辖区的法律;3) 隐私 — 获取的内容可能包含私人数据或触发您的账户的速率限制/阻塞;4) 依赖第三方代理 — 您的请求通过 r.jina.ai,请审查他们的条款和隐私政策;5) 更安全的替代方案 — 偏好官方 API、网站提供的 feeds 或获取明确许可。如果仍想使用,请避免提供凭据,限制在您有权限访问的公共内容上使用,并在受控环境中测试。如果需要更高的保证,请向出版商请求来源或请求使用维护者信任的后端或官方 API 的版本。...
详细分析 ▾
用途与能力
名称/描述与 SKILL.md 匹配:该技能简单地告诉代理将目标 URL 前缀为 https://r.jina.ai/ 以检索内容。声称的功能(爬取受保护的网站)完全委托给第三方 r.jina.ai 服务;该技能本身没有代码、安装或额外凭据。
指令范围
指令明确建议绕过 Cloudflare、Turnstile 和其他保护,并列出目标网站(Truth Social 等)。虽然指令不请求本地文件、凭据或系统访问,但它们直接指示规避访问控制,并鼓励可能违反条款或非法的爬虫行为。
安装机制
仅指令的技能,没有安装规范和代码文件 — 该技能本身没有写入磁盘,因此在安装机制方面的技术风险很低。
凭证需求
没有请求环境变量、凭据或配置路径 — 该技能不要求秘密或无关权限。
持久化与权限
没有请求高级权限或始终开启的行为(always: false)。该技能不尝试修改其他技能或系统设置。
安装前注意事项
  1. 来源 — 出版商和主页未知,增加信任风险;
  2. 法律性和服务条款 — 故意规避保护可能违反网站服务条款或某些管辖区的法律;
  3. 隐私 — 获取的内容可能包含私人数据或触发您的账户的速率限制/阻塞;
  4. 依赖第三方代理 — 您的请求通过 r.jina.ai,请审查他们的条款和隐私政策;
  5. 更安全的替代方案 — 偏好官方 API、网站提供的 feeds 或获取明确许可。如果仍想使用,请避免提供凭据,限制在您有权限访问的公共内容上使用,并在受控环境中测试。如果需要更高的保证,请向出版商请求来源或请求使用维护者信任的后端或官方 API 的版本。
安全有层次,运行前请审查代码。

License

MIT-0

可自由使用、修改和再分发,无需署名。

运行时依赖

无特殊依赖

版本

latestv1.0.12026/3/6

本版本未检测到任何更改。技能仍保持在 1.0.0 版本,功能和文档与之前相同。

● 无害

安装命令 点击复制

官方npx clawhub@latest install web-scraper-jina
镜像加速npx clawhub@latest install web-scraper-jina --registry https://cn.clawhub-mirror.com

技能文档

利用免费的 r.jina.ai API 爬取任何网站,绕过 Cloudflare 和其他保护。

功能

  • 绕过 Cloudflare、Turnstile 和其他保护
  • 支持 Truth Social、Bitget 等受保护网站
  • 返回清洁的 Markdown 内容
  • 免费使用

使用方法

简单地在任何 URL 前添加 https://r.jina.ai/: ``https://r.jina.ai/https://truthsocial.com/@realDonaldTrump https://r.jina.ai/https://bitget.com/events/poolx
## 示例

获取 Trump 的 Truth Social 帖子:

curl -s "https://r.jina.ai/https://truthsocial.com/@realDonaldTrump"
### 获取任何受保护页面:
curl -s "https://r.jina.ai/https://example.com"
## 在代码中
python import requests def scrape(url): return requests.get(f"https://r.jina.ai/{url}").text
``

用例

  • 爬取 Truth Social、Gab、Gettr
  • 绕过 Cloudflare 保护的网站
  • 提取新闻文章内容
  • 监控竞争对手
数据来源:ClawHub ↗ · 中文优化:龙虾技能库
OpenClaw 技能定制 / 插件定制 / 私有工作流定制

免费技能或插件可能存在安全风险,如需更匹配、更安全的方案,建议联系付费定制

了解定制服务