一、Web 爬虫与目标发现
# Web 爬虫与目标发现
在渗透测试的侦查阶段，Web 爬虫是发现攻击面的核心手段。
通过系统化的页面爬取和内容分析，提取 URL、参数、表单、API 端点等信息，
为后续的漏洞测试提供完整的目标列表。

---

## 1. 爬虫在渗透测试中的位置

```
侦查阶段
├── 被动侦查
│   ├── 子域名枚举
│   ├── DNS 记录收集
│   └── 搜索引擎 Dork
├── 主动侦查
│   ├── 端口扫描 ← 确定 Web 服务端口
│   ├── Web 爬虫 ← 发现页面和参数 (本技能)
│   ├── 目录扫描 ← 发现隐藏路径
│   └── 指纹识别 ← 确定技术栈
└── 产出: 攻击面地图
```

爬虫产出直接驱动后续测试：

- URL + 参数 → 注入测试（SQL/XSS/命令注入等）
- 表单 → CSRF 测试...