首页龙虾技能列表 › Scrape Web — 网页抓取工具

Scrape Web — 网页抓取工具

v1.0.0

使用 Python + Scrapling 获取网页内容,支持简单选择器。

1· 1,800·6 当前·6 累计
by @jnmhub (李金木)·MIT-0
下载技能包
License
MIT-0
最后更新
2026/3/17
安全扫描
VirusTotal
无害
查看报告
OpenClaw
安全
high confidence
该技能做到了它所说的——使用Scrapling和httpx的小型Python抓取器——并且其文件、指令和要求与该目的一致。
评估建议
此技能与网页抓取工具内部一致。在安装之前,请注意:(1) 您需要Python环境,并将运行拉取第三方包的pip install命令(如果您需要审查供应链风险,请检查这些包);(2) 'scrapling install'通常下载浏览器二进制文件(Chromium),这会增加磁盘/网络活动;(3) 脚本将获取您给它的任何URL——避免抓取您无权访问的私有/内部资源或站点;以及(4) 技能本身不请求秘密,但注意不要将敏感URL或凭证传递给工具。如果您想要更高的保证,在运行安装命令之前审查scrapling包的安装步骤和来源。...
详细分析 ▾
用途与能力
名称/描述、SKILL.md和包含的Python脚本都一致:技能获取页面(httpx或Scrapling)并支持类似CSS的选择器。不请求无关的凭证、二进制文件或能力。
指令范围
运行时指令保持在抓取范围内:pip install scrapling[all]、scrapling install、pip install httpx,然后使用--url/--selector/--out运行脚本。注意:'scrapling install'可能下载浏览器组件(Chromium),StealthyFetcher将执行无头浏览器获取,这对于此功能是预期的,但会增加运行时副作用。
安装机制
注册表中没有正式的安装规范;SKILL.md指导操作员pip安装依赖项并运行'scrapling install'。这使用PyPI(正常),并可能通过scrapling下载浏览器二进制文件,这是预期的,但比纯HTTP库更重量级。
凭证需求
该技能在requires.env中声明'python',这不寻常(代码不读取'python'环境变量)。这似乎是对Python可用的检查,而不是秘密。不请求敏感凭证或无关的环境变量。
持久化与权限
该技能不始终启用,不请求提升的平台权限。它不修改其他技能或系统配置。允许自主调用(平台默认),但不与其他相关标志结合。
安全有层次,运行前请审查代码。

License

MIT-0

可自由使用、修改和再分发,无需署名。

运行时依赖

无特殊依赖

版本

latestv1.0.02026/3/17

1.1.0版引入了文档更新,用于改进使用和安装指南。- 添加了详细说明安装步骤和命令示例的SKILL.md。- 澄清了如何抓取网页内容、使用CSS选择器并将结果保存到文件。- 提供了特定依赖安装命令。

● 无害

安装命令 点击复制

官方npx clawhub@latest install scrape-web
镜像加速npx clawhub@latest install scrape-web --registry https://cn.clawhub-mirror.com

技能文档

使用 Scrapling 获取网页内容,返回纯文本或选择器结果。

安装依赖

pip install "scrapling[all]"
scrapling install
pip install httpx

用法

1) 直接抓取纯文本

python scripts/scrape_web.py --url "https://example.com"

2) 使用 CSS 选择器

python scripts/scrape_web.py --url "https://example.com" --selector "title::text"

3) 保存到文件

python scripts/scrape_web.py --url "https://example.com" --out "output.txt"

数据来源:ClawHub ↗ · 中文优化:龙虾技能库
OpenClaw 技能定制 / 插件定制 / 私有工作流定制

免费技能或插件可能存在安全风险,如需更匹配、更安全的方案,建议联系付费定制

了解定制服务