核心变更（v4.0）

v3.0 → v4.0 最大变化：全面弃用 web_fetch，改用 browser（CDP 协议）

工作流程概览

输入技术主题（+ 可选的用户补充链接）
    ↓
[Phase 1] 关键词扩展（中英双语）
    ↓
[Phase 2] 平台相关性评估 + 动态数量分配
    ↓
[Phase 3] 浏览器搜索（CDP 操控，模拟真人）
    ├─ 启动浏览器（独立 openclaw 实例 或 chrome-relay）
    ├─ 逐平台搜索：打开搜索页 → 输入关键词 → 获取结果列表
    ├─ 逐条打开：点击链接 → 等待加载 → snapshot 提取内容
    ├─ 记录每个平台的获取状态和原因
    └─ 用户补充链接：直接 navigate → snapshot
    ↓
[Phase 4] 内容分级整理（L1-L4）
    ↓
[Phase 5] 生成 HTML 报告
    ├─ 技术概览（200-1000字）
    ├─ 分级资源（带平台标签和可点击链接）
    ├─ 平台获取诊断面板
    └─ 平台统计明细

浏览器策略

浏览器选择

启动顺序

1. 优先使用 openclaw 默认浏览器（独立、干净）
如果平台需要登录（知乎文章、B站视频详情等），切换 chrome-relay
每个平台搜索完成后，关闭标签页释放资源

Phase 1: 关键词扩展

与 v3.0 一致，中英双语扩展：

示例：Kubernetes
中文:
  核心: ["Kubernetes", "K8s", "容器编排"]
  教程: ["Kubernetes入门", "K8s教程"]
  深度: ["Kubernetes架构", "K8s原理"]
英文:
  core: ["Kubernetes", "K8s", "container orchestration"]
  tutorial: ["Kubernetes tutorial", "K8s getting started"]
  advanced: ["Kubernetes architecture", "K8s deep dive"]

Phase 2: 平台相关性评估

与 v3.0 一致，根据主题动态评估每个平台的相关性和获取数量。

Phase 3: 浏览器搜索（核心变更）

3.1 搜索引擎策略

3.2 每个平台的搜索步骤

对于每个平台：
  1. browser(action="navigate", url=搜索URL)
  2. browser(action="snapshot") → 获取搜索结果列表
  3. 从 snapshot 中提取 Top N 个结果的标题和链接
  4. 对每个结果：
     a. browser(action="navigate", url=结果链接)
     b. browser(action="snapshot") → 获取文章内容
     c. 提取：标题、作者、发布时间、正文摘要
  5. 记录获取状态（成功条数、失败原因）
  6. 关闭多余标签页

3.3 关键操作示例

Google 搜索：

browser(action="navigate", url="https://www.google.com/search?q=Kubernetes+tutorial")
browser(action="snapshot")  → 获取搜索结果
# 从 snapshot 中提取链接
browser(action="navigate", url="第一个结果链接")
browser(action="snapshot")  → 获取文章内容

知乎搜索（需要 chrome-relay）：

browser(action="navigate", url="https://www.zhihu.com/search?type=content&q=Kubernetes",
        profile="chrome-relay")
browser(action="snapshot", profile="chrome-relay")  → 获取搜索结果
# 提取知乎文章链接（zhuanlan.zhihu.com/p/xxx）
browser(action="navigate", url="https://zhuanlan.zhihu.com/p/xxx",
        profile="chrome-relay")
browser(action="snapshot", profile="chrome-relay")  → 获取文章内容

B站搜索：

browser(action="navigate", url="https://search.bilibili.com/all?keyword=Kubernetes")
browser(action="snapshot")  → 获取视频列表（标题、播放量、UP主）
# 提取视频链接（bilibili.com/video/BVxxx）

3.4 内容提取策略

3.5 获取诊断（每个平台必须输出）

📊 平台获取诊断
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
✅ Google搜索    | 10条 | 独立浏览器，搜索结果正常
✅ 知乎          | 8条  | chrome-relay，站内搜索 + zhuanlan 直链
✅ GitHub        | 12条 | 独立浏览器，仓库搜索+API
✅ arXiv         | 5条  | 独立浏览器，搜索结果正常
✅ B站           | 6条  | 独立浏览器，视频列表正常
⚠️ CSDN          | 3条  | 独立浏览器，部分文章需VIP，跳过
❌ YouTube        | 0条  | 独立浏览器，地区限制无法加载
✅ HackerNews    | 4条  | 独立浏览器，Algolia搜索正常
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
总计: 48条 (7/8 平台成功)

3.6 用户补充链接处理

当用户发送额外链接时：

1. 识别 URL 的平台来源
browser(action="navigate", url=用户链接)
browser(action="snapshot") → 提取内容
分类到对应 Level
更新 HTML 报告（增量）

Phase 4: 内容分级

与 v3.0 一致：L1入门 / L2实践 / L3深度 / L4前沿

Phase 5: HTML 报告生成

与 v3.0 一致，使用 references/report-template.html 模板生成自包含 HTML。

性能优化

减少浏览器操作次数

• 批量提取：一次 snapshot 提取搜索页面的所有结果，而不是逐个点击
• 标签复用：在同一标签页中 navigate 不同页面，减少标签开关
• 跳过低质量：搜索结果中明显低质量的跳过不打开
• 并行标签：如果浏览器支持，可同时打开多个标签

超时和错误处理

- 页面加载超时（>15s）→ 标记失败，继续下一个
页面内容为空 → 尝试等待 2s 后重新 snapshot
弹窗/登录拦截 → 尝试关闭弹窗，或切换 chrome-relay
验证码 → 标记为"需人工干预"，跳过

与 v3.0 的完整对比

注意事项

• 浏览器资源管理：搜索完一个平台后关闭多余标签页，避免内存泄漏
• 搜索频率控制：不要短时间内对同一平台发起过多请求，间隔 2-3 秒
• 内容提取精度：snapshot 返回的是 accessibility tree，需要从中筛选有效内容
• cookie/登录态：需要登录的平台使用 chrome-relay，公开内容用独立浏览器
• 隐私保护：不在独立浏览器中输入任何账号密码

版本：v4.0.0 更新日期：2026-03-27 核心变更：全面弃用 web_fetch，改用 browser CDP 协议模拟真人搜索