2026-10-15 19:48:56 +08:00
|
|
|
|
---
|
|
|
|
|
|
name: Agent 路线与多源架构（2026-10-15）
|
2026-10-15 21:20:23 +08:00
|
|
|
|
description: dwg_review agent 的总目标、多源图纸分层架构（视觉为最大公约数）、工具层与 agent 层的正交分工、第一步多源证据层、截图去 UI、grounding 实测与后续路线
|
2026-10-15 19:48:56 +08:00
|
|
|
|
type: project
|
|
|
|
|
|
---
|
|
|
|
|
|
|
|
|
|
|
|
# Agent 路线与多源架构
|
|
|
|
|
|
|
|
|
|
|
|
## 总目标（用户 2026-10-15 明确）
|
|
|
|
|
|
|
|
|
|
|
|
实现 **AI 自动识别 + 评审 DWG 图纸**。分阶段：**先 MCP（已完成），再 agent（进行中）**。
|
|
|
|
|
|
最终要支持的图纸来源**不限于自家自定义实体**：
|
|
|
|
|
|
|
|
|
|
|
|
1. 自家软件的自定义实体 DWG；
|
|
|
|
|
|
2. **其他软件出的 DWG**（各种自定义实体）；
|
|
|
|
|
|
3. 将来 **PDF** 图纸；
|
|
|
|
|
|
4. 将来**纯图片**图纸。
|
|
|
|
|
|
|
|
|
|
|
|
## 架构分层（用户认可）
|
|
|
|
|
|
|
|
|
|
|
|
**核心洞察：视觉模型（VLM）是"最大公约数"**。DWG 自定义实体 / PDF / 图片本质是
|
|
|
|
|
|
"拿不到结构化数据时靠视觉理解"的同一件事——**任何图纸只要能渲染成图，VLM 就能审**。
|
|
|
|
|
|
所以结构化数据（ARX 读普通实体）是**增强**，视觉是**兜底**。
|
|
|
|
|
|
|
|
|
|
|
|
```
|
|
|
|
|
|
Agent 推理层（审查逻辑 / 清单 / 规则）
|
|
|
|
|
|
▲ 统一 evidence schema
|
|
|
|
|
|
感知适配层（能力从高到低降级）
|
|
|
|
|
|
CAD结构化(ARX) → CAD几何 → 离线解析(DWG/PDF) → 视觉(VLM)
|
|
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
|
|
- **MCP 工具层只管 CAD**（进程内能力）；**PDF / 图片在 agent 侧**（PyMuPDF / Pillow），
|
|
|
|
|
|
**不塞进 MCP**、不编 DLL。
|
|
|
|
|
|
- **统一证据模型 + 多源适配 + 能力降级**；agent 推理层不关心来源格式。
|
|
|
|
|
|
|
|
|
|
|
|
**How to apply**：新增"支持某格式"时，优先在 agent 侧感知层加适配器；只有"CAD 进程内的
|
|
|
|
|
|
正交感知能力"才考虑加 MCP 工具。
|
|
|
|
|
|
|
|
|
|
|
|
## 第一步已落地（2026-10-15，提交 `1c9fc72`）
|
|
|
|
|
|
|
|
|
|
|
|
**取证层多源化 + 视觉多图**：
|
|
|
|
|
|
|
|
|
|
|
|
- 新增 `dwg_review/evidence_model.py`：统一证据模型（`source_type` +
|
|
|
|
|
|
`images:[{b64,mime,label}]`），访问器 `evidence_images()` 兼容旧 `image_b64/image_mime`
|
|
|
|
|
|
单图字段（历史 evidence.json 仍可读）。
|
|
|
|
|
|
- `phases/evidence.py`：`collect()` 多源分发 seam（当前仅 CAD）、`capture_images()`
|
|
|
|
|
|
整体 + 等分象限多图（结束**复位视口**）、`sub_windows()`。
|
|
|
|
|
|
- 默认 `EVIDENCE_DETAIL_TILES=4` / `EVIDENCE_MAX_IMAGES=5`（每图框 5 图，**默认开启**）。
|
|
|
|
|
|
- 实测：真实 Plant 3D 图纸上多图让审查更细（多报出线型误用 `CENTER2`、图签块属性为空、
|
|
|
|
|
|
按 handle 定位的图层混用等）。
|
|
|
|
|
|
|
2026-10-15 21:20:23 +08:00
|
|
|
|
## 截图去 CAD 界面元素（2026-10-15，提交 `f8bd12d`）
|
|
|
|
|
|
|
|
|
|
|
|
`get_viewport_screenshot` 原先截 `adsw_acadDocWnd()` 客户区，含视口控件、ViewCube、滚动条，
|
|
|
|
|
|
污染截图并**误导 VLM**（曾把视口标签当成"需放大的内容"）。已修复：
|
|
|
|
|
|
|
|
|
|
|
|
- 改用 **`acedGetAcadDwgView()`** 只截图形区（排除滚动条/状态栏）。
|
|
|
|
|
|
- 截图期间临时置 **`NAVVCUBEDISPLAY=0`**（关 ViewCube）与 **`VPCONTROL=0`**（关视口控件），
|
|
|
|
|
|
用 RAII 守卫（`TempSysVarOff`）自动恢复原值，**不影响用户 CAD 界面设置**；
|
|
|
|
|
|
配合 `RedrawWindow(RDW_UPDATENOW)` 同步重绘。
|
|
|
|
|
|
- 实测：三项 UI 均消失，VLM 不再提界面元素。
|
|
|
|
|
|
|
|
|
|
|
|
**残留（无解，已知）**：绘图区右上角仍有**绘图窗口**的最小化/最大化/关闭按钮——由 AutoCAD
|
|
|
|
|
|
画在图形区内的固有 UI，**无系统变量可关**。它很小且在角落，实测未影响 VLM。
|
|
|
|
|
|
（区别于应用窗口的按钮；用户最初要清的是 视口控件/ViewCube/滚动条，不含此项。）
|
|
|
|
|
|
|
|
|
|
|
|
## grounding 实测（2026-10-15）
|
|
|
|
|
|
|
|
|
|
|
|
用 `verify_grounding.py` 拿真实截图问 `deepseek-flash`"哪里要放大"：**grounding 可用**——
|
|
|
|
|
|
给出的归一化坐标**区域级定位准确**（放大后确实套住目标，如图签栏、图框角），
|
|
|
|
|
|
但**语义描述略有偏差**（把图签栏说成"状态栏"）。结论：可支撑"按区域放大"，但**位置对、语义别全信**。
|
|
|
|
|
|
|
2026-10-15 19:48:56 +08:00
|
|
|
|
## 后续路线（未做）
|
|
|
|
|
|
|
|
|
|
|
|
1. **VLM 主动放大（自适应取证）**：复用受控只读取证子循环，让 VLM 请求放大看不清处。
|
2026-10-15 21:20:23 +08:00
|
|
|
|
- 两条路径：① 按实体 `zoom_to_entity(handle)`（可靠）；② 按区域（把 VLM 归一化坐标映射成
|
|
|
|
|
|
WCS）——**grounding 已实测可用**（见上节）。
|
2026-10-15 19:48:56 +08:00
|
|
|
|
- 必须设**迭代上限 + 兜底**；**不把"看清没"完全交给 VLM**（会过度自信/幻觉）。
|
|
|
|
|
|
- 现有 `zoom_to_window`/`zoom_to_entity`/`get_viewport_screenshot` 已在只读白名单，
|
|
|
|
|
|
**无需新增工具**。
|
|
|
|
|
|
2. **PDF / 图片源**：在 `phases/evidence.collect()` 加分支，产出**同形** evidence
|
|
|
|
|
|
（`window=None`、结构化空信封、`images` 带 label）；规划阶段抽象"审查单元"
|
|
|
|
|
|
（CAD=图框 / PDF=页 / 图片=单）；批注对非 CAD 源降级（`annotator` 已天然跳过无 handle 的 issue）。
|
|
|
|
|
|
3. **审图规范接入**：清单升级为规范库。
|
