Web Scraping Quy mô Lớn: Khi nào và Tại sao Sử dụng Proxy Công cộng

Xoay proxy là một cái nạng, không phải giải pháp. Hầu hết các hoạt động thu thập dữ liệu thất bại vì chúng coi địa chỉ IP là tín hiệu duy nhất mà hệ thống chống bot đo lường. Thực tế là các trình quản lý bot hiện đại — Akamai Bot Manager, Cloudflare Turnstile, Datadome — lấy dấu vân tay nhiều hơn nhiều so với IP nguồn của bạn. Một nhóm proxy công cộng miễn phí xoay vòng hầu như không mang lại lợi ích gì trước các hệ thống đó, và thường khiến mọi thứ tồi tệ hơn.

Ảo Tưởng Về Xoay IP

Khi bạn xoay IP trên mỗi yêu cầu, bạn tự tố cáo mình là một scraper. Các mẫu duyệt web của con người cho thấy các phiên cố định — một IP duy nhất trong vài phút hoặc vài giờ, dấu vân tay trình duyệt nhất quán và khoảng thời gian yêu cầu có thể dự đoán được. Các công cụ như requests với một đối tượng Session và danh sách proxy xoay vòng phá vỡ tất cả các tín hiệu đó. Header X-Akamai-Device-Fingerprint của Akamai và tính năng tương quan cf-request-id của Cloudflare có thể liên kết các yêu cầu từ các IP khác nhau khi các tham số TLS, cài đặt HTTP/2 và thời gian vẫn giống hệt nhau. Thử thách JavaScript của Datadome kiểm tra các dấu hiệu của trình duyệt không đầu tồn tại sau khi thay đổi proxy. Xoay IP mà không xoay toàn bộ dấu vân tay của client giống như thay biển số xe nhưng vẫn lái cùng một chiếc xe — camera thu phí vẫn gắn cờ bạn.

Đối với việc thu thập dữ liệu tốc độ thấp, khối lượng thấp trên các trang web chỉ sử dụng giới hạn tốc độ dựa trên IP cơ bản (ví dụ: giới hạn 10 yêu cầu mỗi phút không có thử thách JavaScript), một IP dân cư duy nhất thường là đủ. Tôi đã chạy các scraper trong nhiều năm chống lại các cổng dữ liệu chính phủ và API công cộng chỉ với một IP tĩnh và một time.sleep(2) lịch sự. Không cần proxy. Quy tắc rất đơn giản: nếu trang web không phục vụ trang thử thách hoặc CAPTCHA sau 50 yêu cầu, bạn không cần xoay vòng.

Vượt Ra Ngoài Địa Chỉ IP: Định Danh Vân Tay

Các hệ thống chống bot hiện nay thu thập hàng chục tín hiệu cho mỗi yêu cầu. Chuỗi User-Agent rất dễ giả mạo, nhưng Accept-Language, Sec-CH-UA, Connection và thứ tự Accept-Encoding thì không. Quan trọng hơn, định danh vân tay TLS — được chuẩn hóa trong hàm băm JA3 (xem JA3) — xác định thư viện client bằng thứ tự bộ mật mã và danh sách tiện ích mở rộng TLS. Thư viện requests của Python (thông qua urllib3) tạo ra hàm băm JA3 khác biệt so với Chrome 124. Cloudflare Turnstile và Datadome đều kiểm tra JA3. Xoay IP trong khi giữ nguyên ngăn xếp TLS khiến mọi yêu cầu trông giống như cùng một client tự động, chỉ nhảy giữa các nút thoát. Proxy miễn phí càng làm trầm trọng thêm vì chúng thường chạy các phiên bản OpenSSL cũ hoặc sử dụng cấu hình TLS giống bot đã bị đưa vào danh sách đen.

Định danh vân tay HTTP/2 còn đi xa hơn. Khung SETTINGS, giá trị cập nhật cửa sổ và các tham số đồng thời luồng tạo thành một "dấu vân tay HTTP/2" duy nhất mà Akamai Bot Manager theo dõi qua các phiên. Một nhóm proxy xoay vòng không đồng thời xoay việc triển khai HTTP/2 thì rất dễ bị phân cụm. Cách duy nhất để vượt qua các kiểm tra này là sử dụng một công cụ trình duyệt thực (Puppeteer, Playwright) hoặc một ngăn xếp TLS/HTTP được chế tạo cẩn thận để bắt chước một phiên bản trình duyệt cụ thể — và ngay cả khi đó, bạn cần duy trì cùng một dấu vân tay qua các yêu cầu từ một phiên nhất định.

Kinh Tế Của Các Nhóm Proxy Công Cộng Miễn Phí

Danh sách proxy công cộng miễn phí có tỷ lệ thất bại từ 60–80% trong thử nghiệm của tôi. Hầu hết các proxy hoặc đã chết ngay từ đầu, bị máy chủ giới hạn băng thông, hoặc đã bị các trình quản lý bot lớn gắn cờ. Tuổi thọ trung bình của một proxy SOCKS5 miễn phí được lấy từ một thư mục công cộng là dưới 15 phút. Duy trì một nhóm xoay vòng 500 proxy đồng nghĩa với việc bạn đốt cháy hàng nghìn IP mỗi giờ, và 80% yêu cầu của bạn hoặc hết thời gian chờ hoặc trả về mã 403. Băng thông không đáng tin cậy, độ trễ tăng đột biến là phổ biến, và nhiều proxy miễn phí chèn quảng cáo hoặc sửa đổi nội dung phản hồi. Các mạng proxy dân cư trả phí (ví dụ: Bright Data, Oxylabs) cung cấp tỷ lệ thành công trên 95% và các tùy chọn phiên cố định, nhưng với chi phí $10–$20 mỗi GB. Ở quy mô lớn, toán học nghiêng về proxy dân cư chỉ khi bạn cần vượt qua các chặn dựa trên IP trên các mục tiêu giá trị cao. Đối với mọi thứ khác, một IP sạch duy nhất với tốc độ yêu cầu phù hợp sẽ vượt trội hơn một nhóm hỗn loạn miễn phí.

Khi Xoay Vòng Thực Sự Có Hiệu Quả

Xoay proxy có hiệu quả đối với một mối đe dọa cụ thể: giới hạn tốc độ dựa trên IP được đặt lại theo từng IP. Nếu một trang web sử dụng kiểm tra X-Forwarded-For đơn giản hoặc token bucket theo từng IP, xoay vòng sau mỗi yêu cầu sẽ vượt qua giới hạn. Điều này phổ biến trên các trang thương mại điện tử nhỏ hơn và API kế thừa chưa bao giờ cập nhật phát hiện bot của chúng. Trong những trường hợp đó, ngay cả một nhóm proxy miễn phí cũng hoạt động — nhưng chỉ khi bạn triển khai logic thử lại loại bỏ các proxy thất bại và luân chuyển qua các proxy mới một cách nhanh chóng.

Dưới đây là một ví dụ Python tối thiểu sử dụng requests và một vòng lặp thử lại với xoay vòng. Nó giả định một danh sách các URL proxy trong proxy_list và một url mục tiêu:

import requests
from itertools import cycle

proxy_pool = cycle(proxy_list)
max_retries = 5

for attempt in range(max_retries):
    proxy = next(proxy_pool)
    try:
        resp = requests.get(
            url,
            proxies={"http": proxy, "https": proxy},
            timeout=10,
            headers={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) ..."}
        )
        if resp.status_code == 200:
            break
    except (requests.ConnectionError, requests.Timeout):
        continue
else:
    raise RuntimeError("All proxies failed")

Mẫu này chỉ hoạt động khi phát hiện của trang web hoàn toàn dựa trên IP. Thêm một time.sleep(random.uniform(1,3)) giữa các yêu cầu để bắt chước thời gian của con người. Đối với các trang web chạy Turnstile hoặc Datadome, mã này sẽ thất bại mọi lúc — trang thử thách sẽ trả về 403 hoặc CAPTCHA bất kể proxy nào. Trong những trường hợp đó, bạn cần một trình duyệt không đầu với dấu vân tay thực, không phải danh sách IP xoay vòng.

Các phiên cố định (sticky session) — giữ cùng một IP cho một tập hợp các yêu cầu liên quan — thường hiệu quả hơn xoay vòng theo từng yêu cầu. Nhiều trang thương mại điện tử mong đợi một IP duy nhất cho một phiên duyệt web (ví dụ: thêm mặt hàng vào giỏ hàng, thanh toán). Xoay vòng giữa phiên sẽ kích hoạt cờ gian lận. Sử dụng một nhóm proxy nhưng gán một IP cho mỗi phiên, không phải mỗi yêu cầu. Proxy miễn phí hiếm khi hỗ trợ phiên cố định vì cùng một IP được nhiều người dùng sử dụng lại; bạn sẽ thấy dữ liệu phiên bị nhiễm chéo. Proxy dân cư trả phí cung cấp thời lượng phiên cố định (5–30 phút) phù hợp với hành vi duyệt web tự nhiên.

Chỉ chọn xoay vòng khi bạn hiểu ngăn xếp phát hiện của mục tiêu. Kiểm tra với một IP duy nhất trước. Chỉ thêm xoay vòng nếu bạn gặp giới hạn tốc độ. Và đừng bao giờ dựa vào proxy miễn phí cho sản xuất — tỷ lệ thất bại của chúng sẽ khiến bạn tốn kém hơn về thời gian kỹ thuật và dữ liệu bị mất so với một gói dân cư giá rẻ.