反爬虫对抗（Anti-Crawling）
反爬虫对抗是爬虫开发者与目标网站之间围绕数据获取与保护的技术博弈。随着前端技术和安全手段的演进，对抗手段从简单的请求头检测发展到多维度的行为分析和指纹识别。
反爬虫检测体系
第一层：请求检测
- User-Agent 验证: 检测 HTTP 请求头中的浏览器标识
- Referer 检查: 验证请求来源是否合法
- Cookie/Session 校验: 检查会话状态是否完整
- 请求频率限制: 基于 IP/Token 的速率控制（Rate Limiting）
- IP 黑名单: 检测到异常行为后封禁 IP
第二层：浏览器环境检测
- WebDriver 检测: 检查
navigator.webdriver属性 - 浏览器指纹: Canvas/WebGL/Font/Audio 指纹识别
- CDP 检测: 检测 Chrome DevTools Protocol 连接
- 自动化特征: 检查浏览器启动参数和插件
第三层：行为分析
- 鼠标轨迹: 分析鼠标移动的加速度和曲线
- 点击模式: 检测点击间隔和位置分布
- 页面滚动: 分析滚动行为是否自然
- 时间模式: 访问时间段和间隔是否符合人类模式
爬虫对抗策略
请求层伪装
- User-Agent 池轮换（维护常用浏览器 UA 列表）
- 完整的请求头构造（Accept、Accept-Language、Accept-Encoding）
- Cookie 管理和 Session 维持
- 请求间隔随机化
IP 代理管理
- 代理池搭建：HTTP/HTTPS/SOCKS5 代理
- IP 轮换策略：按请求数/时间轮换
- 可用性检测：代理健康检查机制
- 代理分级：不同质量代理用于不同场景
浏览器自动化反检测
- Playwright 启动参数优化
- JavaScript 注入清除自动化特征
- 使用真实浏览器用户数据目录
- 随机化行为模式
详见 Browser_Automation 的反检测章节。
验证码应对
| 验证码类型 | 应对方案 |
|---|---|
| 图形验证码 | OCR 识别（Tesseract/CRNN） |
| 滑块验证码 | 轨迹模拟 + OpenCV 缺口识别 |
| 点选验证码 | 目标检测 + 坐标计算 |
| 短信/邮箱验证 | 验证码接收平台 API |
| 极验/GeeTest | 行为轨迹模拟 + 参数逆向 |
核心原则
爬虫对抗的核心矛盾是 效率 vs 隐蔽性。追求极致效率（高并发、低延迟）必然降低隐蔽性；反之追求完全模拟人类行为则牺牲效率。实际工程中需要在二者之间找到平衡点，而非追求任一极端。
法律边界
- 遵守目标网站的
robots.txt - 不绕过程序性访问限制（中国《网络安全法》《数据安全法》）
- 不采集个人隐私数据
- 控制访问频率，不造成对方服务器压力
关联连接
- Web_Scraping — 网络爬虫核心概念
- Browser_Automation — 浏览器自动化技术
- 摘要-crawler-tutorial — CrawlerTutorial 爬虫教程摘要
- Social_Media_Scraping — 社交平台数据采集场景