大规模网络爬取：何时以及为何使用公共代理

代理轮换只是权宜之计，并非根本解决方案。大多数爬取操作之所以失败，是因为它们将IP地址视为反机器人系统衡量的唯一信号。而现实是，现代机器人管理器——Akamai Bot Manager、Cloudflare Turnstile、Datadome——所采集的指纹远不止你的源IP。一个轮换的免费公共代理池在面对这些系统时几乎毫无用处，甚至往往会让情况变得更糟。

IP轮换的假象

当你每次请求都轮换IP时，你就是在向网站宣告自己是一个爬虫。人类浏览模式表现为粘性会话——单个IP持续几分钟或几小时，浏览器指纹一致，请求间隔可预测。使用带有requests对象和轮换代理列表的Session等工具会破坏所有这些信号。当TLS参数、HTTP/2设置和时序保持不变时，Akamai的X-Akamai-Device-Fingerprint头部和Cloudflare的cf-request-id关联可以将来自不同IP的请求联系起来。Datadome的JavaScript挑战会检测无头浏览器的痕迹，这些痕迹在代理更换后依然存在。轮换IP而不轮换完整的客户端指纹，就像换了车牌却开着同一辆车——收费站摄像头仍然会标记你。

对于低速率、低流量的爬取，针对仅使用基本IP速率限制的网站（例如，每分钟10次请求的限制，无JavaScript挑战），单个住宅IP通常就足够了。多年来，我使用一个静态IP和礼貌的time.sleep(2)来爬取政府数据门户和公共API。无需代理。规则很简单：如果网站在50次请求后没有提供挑战页面或验证码，你就不需要轮换。

超越IP地址：指纹识别

反机器人系统现在每次请求会收集数十个信号。User-Agent字符串很容易伪造，但Accept-Language、Sec-CH-UA、Connection和Accept-Encoding的顺序则不然。更关键的是，TLS指纹识别——标准化为JA3哈希（参见JA3）——通过密码套件顺序和TLS扩展列表来识别客户端库。Python的requests库（通过urllib3）生成的JA3哈希与Chrome 124不同。Cloudflare的Turnstile和Datadome都会检查JA3。在保持相同TLS栈的情况下轮换IP，会使每个请求看起来都像是同一个自动化客户端，只是在不同的出口节点之间跳转。免费代理加剧了这一问题，因为它们通常运行过时的OpenSSL版本，或使用已被列入黑名单的类似机器人的TLS配置。

HTTP/2指纹识别更进一步。SETTINGS帧、窗口更新值和流并发参数构成了一个独特的“HTTP/2指纹”，Akamai的Bot Manager会跨会话跟踪它。一个不轮换HTTP/2实现的轮换代理池很容易被聚类。规避这些检查的唯一方法是使用真实的浏览器引擎（Puppeteer、Playwright）或精心构造的TLS/HTTP栈来模拟特定浏览器版本——即便如此，你还需要在给定会话的请求之间保持相同的指纹。

免费公共代理池的经济性

根据我的测试，免费公共代理列表的失败率在60%到80%之间。大多数代理要么一开始就不可用，要么被主机限速，要么已被主要反机器人系统标记。从公共目录中抓取的免费SOCKS5代理的平均寿命不到15分钟。维护一个500个代理的轮换池意味着你每小时要消耗数千个IP，并且80%的请求要么超时，要么返回403。带宽不可靠，延迟峰值常见，许多免费代理还会注入广告或修改响应体。付费住宅代理网络（例如Bright Data、Oxylabs）提供95%以上的成功率和粘性会话选项，但成本为每GB 10-20美元。从规模上看，只有当你需要绕过高价值目标的IP封锁时，住宅代理才划算。对于其他所有情况，一个干净的IP配合适当的请求节奏，其表现优于混乱的免费代理池。

轮换何时真正有效

代理轮换对一种特定威胁有效：基于IP的速率限制，每个IP独立重置。如果网站使用简单的X-Forwarded-For检查或每个IP的令牌桶，每次请求后轮换即可绕过限制。这在较小的电商网站和从未更新反爬检测的遗留API中很常见。在这种情况下，即使是免费代理池也能工作——但前提是你实现了重试逻辑，能够丢弃失败的代理并快速循环使用新的代理。

以下是一个使用requests和带轮换的重试循环的最小Python示例。它假设在proxy_list中有一个代理URL列表，以及一个目标url：

import requests
from itertools import cycle

proxy_pool = cycle(proxy_list)
max_retries = 5

for attempt in range(max_retries):
    proxy = next(proxy_pool)
    try:
        resp = requests.get(
            url,
            proxies={"http": proxy, "https": proxy},
            timeout=10,
            headers={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) ..."}
        )
        if resp.status_code == 200:
            break
    except (requests.ConnectionError, requests.Timeout):
        continue
else:
    raise RuntimeError("All proxies failed")

这种模式仅在网站的检测纯粹基于IP时才有效。在请求之间添加一个time.sleep(random.uniform(1,3))来模拟人类的时间间隔。对于运行Turnstile或Datadome的网站，这段代码每次都会失败——无论使用什么代理，挑战页面都会返回403或验证码。在这种情况下，你需要一个带有真实指纹的无头浏览器，而不是轮换的IP列表。

粘性会话——为一组相关请求保持相同的IP——通常比每次请求轮换更有效。许多电商网站期望一个浏览会话使用单个IP（例如，添加商品到购物车、结账）。在会话中途轮换会触发欺诈标记。使用代理池，但为每个会话分配一个IP，而不是每个请求。免费代理很少支持粘性会话，因为同一个IP会被多个用户重复使用；你会看到会话数据交叉污染。付费住宅代理提供与自然浏览行为一致的粘性会话时长（5-30分钟）。

只有在了解目标检测栈的情况下才选择轮换。首先使用单个IP进行测试。只有在遇到速率限制时才添加轮换。永远不要在生产环境中依赖免费代理——它们的失败率在工程时间和数据丢失方面造成的损失，将超过一个便宜的住宅代理方案。