AI工具 Skill技能库 关于道场

AI联网操作全场景指南：CDP浏览器+CDP Proxy实现小红书/微博等登录态网页抓取

一人堂 |2026-06-27

AI Agent联网操作的全面技能指南，涵盖WebSearch/WebFetch/CDP浏览器等多种工具的选择策略，以及CDP Proxy直连用户Chrome/Edge浏览器实现登录态抓取的完整教程。支持小红书、微信公众号等需要登录态的复杂平台，支持并行调研子Agent分治策略。

AI联网操作全场景指南：CDP浏览器+CDP Proxy实现小红书/微博等登录态网页抓取

【适用场景】

- 社交媒体内容获取：小红书笔记、微博内容、微信公众号等需要登录态才能访问的平台内容抓取 - 动态渲染页面操作：需要执行JavaScript才能加载内容的SPA页面、懒加载图片等内容 - 登录态数据获取：需要认证才能访问的个人数据面板、企业内部系统 - 多目标并行调研：同时调研多个独立目标（如竞品分析、多来源信息收集） - 复杂网页交互：多步骤表单提交、页面内导航、文件上传等GUI交互场景

【操作步骤】

第一步：明确任务成功标准

在开始联网操作前，先定义清楚任务成功标准： - 需要获取什么信息？ - 需要执行什么操作？ - 达到什么结果算完成？

这是后续所有判断的锚点。

第二步：选择联网工具

场景推荐工具
搜索摘要或关键词结果，发现信息来源WebSearch
URL已知，需要从页面定向提取特定信息WebFetch（小模型提取）
URL已知，需要原始HTML源码（meta、JSON-LD等）curl
小红书、微信公众号等反爬严格平台浏览器CDP（直接跳过静态层）
需要登录态或需要像人一样在浏览器内自由导航浏览器CDP

第三步：启动CDP Proxy

```bash

检查CDP模式可用性

node "${CLAUDE_SKILL_DIR}/scripts/check-deps.mjs" ```

要求：Node.js 22+（使用原生WebSocket）

按脚本输出处理： - `exit 0` → 继续 - `exit 2` → 询问用户偏好，写入配置文件 - `exit 1` → 按错误信息处理

第四步：使用CDP Proxy API进行浏览

```bash

列出用户已打开的tab

curl -s http://localhost:3456/targets

创建新后台tab

curl -s -X POST --data-raw 'https://example.com' http://localhost:3456/new

执行JS查询DOM

curl -s -X POST "http://localhost:3456/eval?target=ID" -d 'document.title'

点击元素

curl -s -X POST "http://localhost:3456/click?target=ID" -d 'button.submit'

截图

curl -s "http://localhost:3456/screenshot?target=ID&file=/tmp/shot.png"

关闭tab

curl -s "http://localhost:3456/close?target=ID" ```

【代码模板】

浏览器CDP操作核心API

```bash

导航（URL走POST body）

curl -s -X POST --data-raw 'https://example.com' "http://localhost:3456/navigate?target=ID"

后退

curl -s "http://localhost:3456/back?target=ID"

滚动（触发懒加载）

curl -s "http://localhost:3456/scroll?target=ID&y=3000" curl -s "http://localhost:3456/scroll?target=ID&direction=bottom"

文件上传

curl -s -X POST "http://localhost:3456/setFiles?target=ID" -d '{"selector":"input[type=file]","files":["/path/to/file.png"]}'

真实鼠标点击（触发文件对话框等）

curl -s -X POST "http://localhost:3456/clickAt?target=ID" -d 'button.upload' ```

并行调研子Agent分治策略

当任务包含多个独立调研目标时（如同时调研N个项目），分治给子Agent并行执行：

```markdown

子Agent Prompt写法：目标导向，而非步骤指令

- 必须在子Agent prompt中写「必须加载web-access skill并遵循指引」 - 子Agent有自主判断能力，主Agent职责是说清楚要什么 - 避免用暗示具体手段的动词（搜索/抓取/爬取），用描述目标的词（获取/调研/了解） ```

信息核实原则

信息类型一手来源
政策/法规发布机构官网
企业公告公司官方新闻页
学术声明原始论文/机构官网
工具能力/用法官方文档、源码

搜索引擎是定位工具，不是证明工具。找到来源后直接访问原文。

【复盘要点】

为什么CDP比传统爬虫更有效？

1. 登录态复用：直连用户日常浏览器，自动携带所有登录Cookie，无需单独登录 2. 动态内容支持：JavaScript渲染的内容直接执行获取，无需配置无头浏览器 3. 反爬绕过：模拟真实用户行为（真实鼠标点击、滚动），不易被检测 4. 并行高效：多标签页并行操作，子Agent分治策略大幅提升效率

注意事项

- 风险提示：部分站点对浏览器自动化检测严格，存在账号封禁风险，操作即视为接受 - 站点经验积累：操作中发现的平台特征、有效模式、已知陷阱应主动写入经验文件 - 内容核实：循环印证的多个二手报道不等于真实性，需追溯一手来源 - Tab管理：完成任务后必须关闭自己创建的tab，保留用户原有tab不受影响

来源：GitHub https://github.com/eze-is/web-access