Proxy cho đào tạo AI: cách thu thập hàng triệu dữ liệu cho mô hình mà không bị chặn

Đào tạo các mô hình AI yêu cầu một khối lượng lớn dữ liệu — văn bản, hình ảnh, video, thông tin có cấu trúc từ các trang web. Vấn đề là khi phân tích hàng loạt, các trang web nhanh chóng chặn các địa chỉ IP, coi hoạt động này là của bot. Trong bài viết này, chúng ta sẽ phân tích cách tổ chức thu thập dữ liệu qua proxy, loại IP nào nên chọn cho các nhiệm vụ khác nhau và cách thiết lập cơ sở hạ tầng để hoạt động ổn định.

Tại sao cần proxy cho đào tạo AI

Các mô hình ngôn ngữ hiện đại như GPT, LLaMA hoặc Claude được đào tạo trên hàng tỷ token văn bản. Các mô hình thị giác máy tính yêu cầu hàng chục triệu hình ảnh. Các hệ thống gợi ý phân tích hành vi người dùng trên hàng ngàn trang web. Tất cả những dữ liệu này cần phải được lấy từ đâu đó.

Vấn đề chính là các trang web đang tích cực bảo vệ chống lại việc phân tích hàng loạt. Nếu bạn gửi hơn 100 yêu cầu mỗi phút từ một IP, bạn sẽ bị chặn sau 5-10 phút. Nguyên nhân của việc chặn:

• Giới hạn tốc độ: giới hạn số lượng yêu cầu từ một IP (thường là 10-60 yêu cầu mỗi phút)
• Hệ thống chống bot: Cloudflare, Akamai, PerimeterX phân tích hành vi và chặn hoạt động nghi ngờ
• Giới hạn địa lý: một phần nội dung chỉ có sẵn từ một số quốc gia nhất định
• Bảo vệ khỏi đối thủ: các chợ trực tuyến và các trang tổng hợp chặn việc thu thập giá cả và sản phẩm hàng loạt

Proxy giải quyết vấn đề này bằng cách phân phối các yêu cầu qua hàng ngàn địa chỉ IP khác nhau. Thay vì gửi 1000 yêu cầu từ một IP, bạn thực hiện 1-2 yêu cầu từ mỗi địa chỉ trong số 500-1000 địa chỉ khác nhau — điều này trông giống như hoạt động của người dùng bình thường.

Loại proxy nào nên chọn để thu thập dữ liệu

Đối với đào tạo AI, có ba loại proxy được sử dụng, mỗi loại có ưu điểm và hạn chế riêng. Việc lựa chọn phụ thuộc vào nguồn dữ liệu, khối lượng và ngân sách của dự án.

Proxy Datacenter: tốc độ cho khối lượng lớn

Proxy datacenter — là các địa chỉ IP của các máy chủ trong các nhà cung cấp đám mây (AWS, Google Cloud, Hetzner). Ưu điểm chính là tốc độ và chi phí thấp. Một IP datacenter có thể xử lý hàng trăm yêu cầu mỗi giây.

Phù hợp cho việc thu thập dữ liệu từ các nguồn không sử dụng bảo vệ nghiêm ngặt: API mở (GitHub, Wikipedia, Stack Overflow), cơ sở dữ liệu nhà nước, các trang tin tức không có Cloudflare, các ấn phẩm khoa học. Nếu trang web cung cấp dữ liệu mà không cần JavaScript-rendering và không kiểm tra fingerprint của trình duyệt — datacenter sẽ hoạt động tốt.

Nhược điểm — nhiều trang web duy trì danh sách đen các IP của datacenter. Instagram, Facebook, Google Search, các chợ lớn chặn IP datacenter gần như ngay lập tức. Đối với những nguồn này, cần sử dụng residential.

Proxy Residential: vượt qua mọi bảo vệ

Proxy residential sử dụng các địa chỉ IP của người dùng thực tế tại nhà. Đối với trang web, yêu cầu như vậy trông giống như một khách truy cập bình thường từ nhà. Điều này cho phép vượt qua Cloudflare, Akamai, thu thập dữ liệu từ mạng xã hội và các nền tảng bảo vệ.

Residential cần thiết cho: Instagram, Facebook, Twitter/X (thu thập bài viết, bình luận, hồ sơ), Google Search (phân tích kết quả tìm kiếm cho các mô hình NLP), các chợ (Amazon, eBay, Wildberries — sản phẩm, đánh giá, giá cả), các trang web có giới hạn địa lý (nội dung chỉ có sẵn từ một số quốc gia nhất định).

Chi phí cao hơn — thanh toán cho lưu lượng ($5-15 cho GB). Để tiết kiệm, hãy sử dụng residential chỉ cho các nguồn quan trọng, còn các trang web đơn giản hãy phân tích qua datacenter.

Proxy Mobile: cho các ứng dụng di động

Proxy di động sử dụng IP của các nhà mạng di động (4G/5G). Cần thiết hiếm khi — chủ yếu cho việc thu thập dữ liệu từ các ứng dụng di động (TikTok, ứng dụng Instagram, trò chơi di động) hoặc khi trang web phân biệt lưu lượng di động và máy tính để bàn.

Ưu điểm của các IP di động — các nhà mạng sử dụng CGNAT (một IP cho hàng trăm người dùng), do đó việc chặn các địa chỉ này không có lợi. Nhưng đối với hầu hết các nhiệm vụ đào tạo AI, residential là đủ.

Các loại nguồn dữ liệu và yêu cầu đối với proxy

Các loại dữ liệu khác nhau yêu cầu cách tiếp cận khác nhau đối với proxy. Hãy xem xét các nguồn phổ biến cho việc đào tạo các mô hình AI.

Dữ liệu văn bản cho các mô hình NLP

Để đào tạo các mô hình ngôn ngữ, thu thập văn bản từ các trang tin tức, diễn đàn, blog, mạng xã hội, Wikipedia và các nguồn chuyên biệt. Khối lượng — hàng chục terabyte văn bản.

Đặc điểm của việc phân tích văn bản — cần giữ cấu trúc (tiêu đề, đoạn văn, siêu dữ liệu). Sử dụng trình duyệt headless (Puppeteer, Playwright) cho các trang JavaScript hoặc các HTTP client đơn giản (requests, axios) cho các trang tĩnh.

Hình ảnh cho thị giác máy tính

Đào tạo các mô hình nhận diện yêu cầu hàng triệu hình ảnh có gán nhãn. Các nguồn: Google Images, Pinterest, Instagram, các kho hình ảnh chuyên biệt, các trang thương mại điện tử (hình ảnh sản phẩm).

Vấn đề — hình ảnh có kích thước lớn (kích thước trung bình 200-500 KB), do đó lưu lượng tiêu tốn nhanh chóng. Khi sử dụng proxy residential (thanh toán theo GB) điều này rất nghiêm trọng. Chiến lược tối ưu hóa: trước tiên thu thập URL hình ảnh qua residential, sau đó tải xuống các tệp qua datacenter hoặc trực tiếp (nếu CDN không kiểm tra referrer).

Dữ liệu có cấu trúc từ thương mại điện tử

Dữ liệu về sản phẩm, giá cả, đánh giá được sử dụng để đào tạo các hệ thống gợi ý và các mô hình định giá. Các nguồn: Amazon, eBay, Wildberries, Ozon, AliExpress.

Tất cả các chợ lớn đều sử dụng Cloudflare hoặc các hệ thống chống bot riêng. Cần thiết phải có proxy residential với xoay vòng. Thêm vào đó, việc có fingerprint trình duyệt đúng là rất quan trọng — sử dụng các công cụ như puppeteer-extra-plugin-stealth để che giấu tự động hóa.

Dữ liệu video và âm thanh

YouTube, TikTok, các nền tảng podcast — nguồn cho việc đào tạo các mô hình nhận diện giọng nói và video. Vấn đề — lưu lượng rất lớn (một video = hàng trăm MB). Đối với những nhiệm vụ như vậy, proxy residential không kinh tế.

Giải pháp: sử dụng residential chỉ để lấy siêu dữ liệu và liên kết đến video, còn tải xuống hãy thực hiện qua datacenter hoặc các công cụ đặc biệt như yt-dlp (chúng có khả năng vượt qua các giới hạn của YouTube mà không cần proxy).

Chiến lược xoay vòng IP cho các khối lượng khác nhau

Xoay vòng IP là yếu tố then chốt cho việc phân tích ổn định. Cài đặt sai sẽ dẫn đến việc bị chặn hoặc phải trả nhiều tiền cho lưu lượng.

Xoay vòng theo yêu cầu (proxy xoay vòng)

Mỗi yêu cầu đi qua một IP mới. Phù hợp cho việc phân tích hàng loạt các trang web khác nhau, khi không cần giữ phiên. Ví dụ, thu thập văn bản từ 10000 trang tin tức khác nhau — mỗi trang chỉ thấy 1-2 yêu cầu từ một IP.

import requests

# Proxy xoay vòng - mỗi yêu cầu là một IP mới
proxies = {
    'http': 'http://username:password@rotating.proxycove.com:12345',
    'https': 'http://username:password@rotating.proxycove.com:12345'
}

urls = ['https://site1.com', 'https://site2.com', ...]
for url in urls:
    response = requests.get(url, proxies=proxies)
    # Mỗi yêu cầu đi từ một IP mới
    parse_data(response.text)

Ưu điểm — bảo vệ tối đa khỏi việc bị chặn. Nhược điểm — không thể làm việc với các trang yêu cầu xác thực hoặc lưu cookies.

Xoay vòng theo thời gian (phiên cố định)

IP được giữ trong 5-30 phút, sau đó sẽ thay đổi. Phù hợp cho việc phân tích một trang web với phân trang, khi cần đi qua các trang 1, 2, 3... với việc giữ phiên.

import requests
import time

# Phiên cố định - IP được giữ trong 10 phút
session_id = generate_random_string()  # ID phiên duy nhất
proxies = {
    'http': f'http://username-session-{session_id}:password@sticky.proxycove.com:12345'
}

# Tất cả các yêu cầu trong vòng 10 phút đều từ một IP
for page in range(1, 100):
    url = f'https://site.com/catalog?page={page}'
    response = requests.get(url, proxies=proxies)
    parse_page(response.text)
    time.sleep(2)  # độ trễ giữa các yêu cầu

Cài đặt thời gian phiên tùy thuộc vào giới hạn tốc độ của trang web. Nếu giới hạn là 60 yêu cầu mỗi phút, hãy đặt phiên là 1-2 phút và không thực hiện quá 50 yêu cầu.

Pool IP tĩnh

Bạn nhận được danh sách từ 100-1000 IP và tự quản lý việc phân phối các yêu cầu. Phù hợp cho các kịch bản phức tạp, khi cần kiểm soát hoàn toàn: phân tích song song các phần khác nhau của trang web, cân bằng tải, logic xoay vòng tùy chỉnh.

import requests
from itertools import cycle

# Pool 500 IP tĩnh
ip_pool = [
    'http://user:pass@ip1.proxycove.com:12345',
    'http://user:pass@ip2.proxycove.com:12345',
    # ... 500 địa chỉ
]

proxy_cycle = cycle(ip_pool)

for url in urls:
    proxy = next(proxy_cycle)  # lấy IP tiếp theo từ pool
    response = requests.get(url, proxies={'http': proxy, 'https': proxy})
    parse_data(response.text)

Cách tiếp cận này mang lại sự linh hoạt tối đa, nhưng yêu cầu nhiều mã hơn để xử lý lỗi (nếu IP bị chặn, cần loại bỏ nó khỏi pool).

Vượt qua hệ thống chống bot khi phân tích

Proxy giải quyết vấn đề chặn IP, nhưng các trang web hiện đại phân tích hàng chục tham số để xác định bot. Ngay cả với IP residential, bạn cũng có thể bị chặn nếu fingerprint của trình duyệt cho thấy tự động hóa.

Những gì hệ thống chống bot kiểm tra

• User-Agent: phải tương ứng với trình duyệt thực (Chrome, Firefox), không chứa từ "headless" hoặc "bot"
• Headers: tập hợp các tiêu đề phải điển hình cho trình duyệt (Accept, Accept-Language, Accept-Encoding, Referer)
• TLS fingerprint: các tham số của kết nối SSL khác nhau giữa các trình duyệt và script
• JavaScript fingerprint: WebGL, Canvas, AudioContext, phông chữ, plugin, độ phân giải màn hình
• Hành vi: chuyển động chuột, tốc độ cuộn, nhấp chuột (đối với các trang sử dụng JavaScript-rendering)

Công cụ để che giấu tự động hóa

Để vượt qua bảo vệ tiên tiến, hãy sử dụng trình duyệt headless với các plugin che giấu:

// Puppeteer với plugin stealth
const puppeteer = require('puppeteer-extra');
const StealthPlugin = require('puppeteer-extra-plugin-stealth');
puppeteer.use(StealthPlugin());

const browser = await puppeteer.launch({
    headless: true,
    args: [
        '--proxy-server=http://username:password@residential.proxycove.com:12345',
        '--disable-blink-features=AutomationControlled'
    ]
});

const page = await browser.newPage();
// Thiết lập viewport thực tế
await page.setViewport({ width: 1920, height: 1080 });

// Thêm độ trễ ngẫu nhiên
await page.goto('https://protected-site.com');
await page.waitForTimeout(2000 + Math.random() * 3000);

const data = await page.evaluate(() => {
    return document.querySelector('.data').innerText;
});

await browser.close();

Đối với Python, hãy sử dụng Playwright với các cài đặt tương tự hoặc Selenium với undetected-chromedriver — thư viện tự động sửa đổi ChromeDriver để vượt qua phát hiện.

Vượt qua Cloudflare và các WAF khác

Cloudflare sử dụng thử thách JavaScript để kiểm tra trình duyệt. Các HTTP client đơn giản (requests, axios) không thể vượt qua nó. Các giải pháp:

• Trình duyệt headless: Puppeteer/Playwright với plugin stealth vượt qua hầu hết các thử thách
• Giải pháp có sẵn: các thư viện như cloudscraper (Python) hoặc puppeteer-extra-plugin-recaptcha
• Dịch vụ vượt qua: API chuyên dụng (FlareSolverr, Anti-Captcha) giải quyết các thử thách cho bạn

Quan trọng: ngay cả với fingerprint đúng, hãy tạo khoảng nghỉ giữa các yêu cầu. Gửi 100 yêu cầu mỗi giây với fingerprint trình duyệt hoàn hảo vẫn trông đáng ngờ. Tốc độ tối ưu — 10-30 yêu cầu mỗi phút từ một IP.

Kiến trúc cơ sở hạ tầng cho thu thập dữ liệu

Khi thu thập dữ liệu cho đào tạo AI ở quy mô công nghiệp, cần một kiến trúc được thiết kế hợp lý. Một script đơn giản trên một máy chủ không thể xử lý việc phân tích hàng terabyte dữ liệu.

Các thành phần của hệ thống thu thập

Ví dụ về kiến trúc trên Python

# worker.py - tiến trình phân tích
import redis
import requests
import json
from datetime import datetime

# Kết nối với Redis (hàng đợi tác vụ)
queue = redis.Redis(host='redis-server', port=6379)
# Pool proxy
proxies_pool = load_proxies_from_config()

while True:
    # Lấy tác vụ từ hàng đợi
    task = queue.blpop('parsing_queue', timeout=5)
    if not task:
        continue
    
    url = task[1].decode('utf-8')
    proxy = get_next_proxy(proxies_pool)
    
    try:
        response = requests.get(
            url, 
            proxies={'http': proxy, 'https': proxy},
            timeout=30,
            headers={'User-Agent': get_random_user_agent()}
        )
        
        # Phân tích dữ liệu
        data = parse_html(response.text)
        
        # Lưu vào S3
        save_to_s3(data, f'data/{datetime.now().isoformat()}/{hash(url)}.json')
        
        # Ghi lại thành công
        log_success(url, proxy)
        
    except Exception as e:
        # Khi có lỗi, trả lại tác vụ vào hàng đợi
        queue.rpush('parsing_queue', url)
        log_error(url, proxy, str(e))
        mark_proxy_as_failed(proxy)

Kiến trúc như vậy cho phép mở rộng theo chiều ngang — chỉ cần thêm các máy chủ mới với worker. Khi một worker bị rơi, các worker khác vẫn tiếp tục hoạt động.

Công cụ cho tự động hóa thu thập

Để phân tích công nghiệp, sử dụng các framework chuyên biệt, giải quyết các nhiệm vụ điển hình ngay từ đầu.

Scrapy — framework cho Python

Scrapy — công cụ phổ biến nhất cho web scraping trên Python. Ngay từ đầu hỗ trợ: phân tích song song (hàng trăm yêu cầu đồng thời), tự động retry khi có lỗi, middleware cho xoay vòng proxy và User-Agent, xuất ra JSON, CSV, XML, cơ sở dữ liệu.

# settings.py - cài đặt Scrapy với proxy
ROTATING_PROXY_LIST = [
    'http://user:pass@proxy1.proxycove.com:12345',
    'http://user:pass@proxy2.proxycove.com:12345',
    # ... danh sách proxy
]

DOWNLOADER_MIDDLEWARES = {
    'rotating_proxies.middlewares.RotatingProxyMiddleware': 610,
    'rotating_proxies.middlewares.BanDetectionMiddleware': 620,
}

# Độ song song
CONCURRENT_REQUESTS = 100
DOWNLOAD_DELAY = 0.5  # độ trễ giữa các yêu cầu

Scrapy phù hợp cho các trang tĩnh (HTML không có JavaScript). Đối với các trang động, hãy sử dụng Scrapy + Splash (trình duyệt headless) hoặc chuyển sang Playwright.

Crawlee — framework cho Node.js

Crawlee (trước đây là Apify SDK) — tương tự như Scrapy cho JavaScript. Ưu điểm — làm việc natively với Puppeteer và Playwright, xoay vòng proxy tích hợp, quản lý hàng đợi tự động, tốc độ phân tích thích ứng (chậm lại khi có lỗi).

import { PlaywrightCrawler, ProxyConfiguration } from 'crawlee';

const proxyConfiguration = new ProxyConfiguration({
    proxyUrls: [
        'http://user:pass@proxy1.proxycove.com:12345',
        'http://user:pass@proxy2.proxycove.com:12345',
    ],
});

const crawler = new PlaywrightCrawler({
    proxyConfiguration,
    maxConcurrency: 50,
    requestHandler: async ({ page, request }) => {
        await page.waitForSelector('.data');
        const data = await page.$$eval('.item', items => 
            items.map(item => ({
                title: item.querySelector('h2').innerText,
                price: item.querySelector('.price').innerText
            }))
        );
        await saveData(data);
    },
});

await crawler.run(['https://site.com/catalog']);

Apache Nutch — cho việc crawling quy mô lớn

Nếu cần thu thập dữ liệu từ toàn bộ internet (như các công cụ tìm kiếm), hãy sử dụng Apache Nutch. Đây là một crawler phân tán, hoạt động trên Hadoop. Có thể xử lý petabyte dữ liệu, tự động phát hiện các trang mới qua các liên kết, hỗ trợ chính sách crawling (robots.txt, sitemap.xml).

Nutch khó cài đặt hơn, nhưng không thể thiếu cho việc thu thập các bộ dữ liệu giống như Common Crawl. Để làm việc với proxy, hãy sử dụng plugin proxy-rotator.

Tối ưu hóa tốc độ và chi phí

Việc thu thập dữ liệu cho đào tạo AI là một công việc tốn kém. Với khối lượng lên tới terabyte, chi phí cho proxy có thể lên tới hàng chục nghìn đô la mỗi tháng. Hãy xem xét cách tối ưu hóa chi phí mà không làm giảm chất lượng.

Kết hợp các loại proxy

Đừng sử dụng residential cho tất cả các nhiệm vụ. Chia các nguồn thành ba loại:

• Không có bảo vệ: proxy datacenter ($0.5-2/IP) — API mở, các trang web đơn giản, cơ sở dữ liệu nhà nước
• Bảo vệ trung bình: residential rotating ($5-10/GB) — các trang tin tức có Cloudflare, diễn đàn
• Bảo vệ cao: residential sticky sessions ($10-15/GB) — mạng xã hội, các chợ

Ví dụ: bạn phân tích 100 trang tin tức. 70 trong số đó hoạt động mà không có Cloudflare — hãy sử dụng datacenter. 30 có bảo vệ — residential. Tiết kiệm sẽ đạt 60-70% ngân sách cho proxy.

Cache các yêu cầu

Nếu bạn phân tích một trang web nhiều lần (ví dụ, thu thập tin tức hàng ngày), hãy cache các trang không thay đổi. Sử dụng Redis hoặc lưu trữ cục bộ cho cache HTML.

import hashlib
import redis

cache = redis.Redis(host='localhost', port=6379)

def fetch_with_cache(url, proxies):
    # Kiểm tra cache
    cache_key = hashlib.md5(url.encode()).hexdigest()
    cached = cache.get(cache_key)
    
    if cached:
        return cached.decode('utf-8')
    
    # Nếu không có trong cache - thực hiện yêu cầu
    response = requests.get(url, proxies=proxies)
    html = response.text
    
    # Lưu vào cache trong 24 giờ
    cache.setex(cache_key, 86400, html)
    return html

Tối ưu hóa lưu lượng

Khi sử dụng proxy residential (thanh toán theo GB), việc giảm thiểu lưu lượng là rất quan trọng:

• Tắt tải hình ảnh, CSS, phông chữ nếu không cần thiết (trong Puppeteer: page.setRequestInterception)
• Sử dụng nén (gzip, brotli) — hầu hết các proxy đều hỗ trợ
• Chỉ phân tích các phần cần thiết — không tải toàn bộ trang nếu chỉ cần một khối
• Đối với API, hãy sử dụng JSON thay vì HTML (tiết kiệm 5-10 lần lưu lượng)

Phân phối tải theo thời gian

Nhiều trang web có tải khác nhau trong suốt cả ngày. Phân tích vào ban đêm (theo giờ máy chủ của trang web) — ít có khả năng bị giới hạn tốc độ. Cũng cần xem xét các ngày cuối tuần — vào thứ Bảy và Chủ nhật, bảo vệ có thể yếu hơn.

Theo dõi các chỉ số

Theo dõi các chỉ số chính để tối ưu hóa:

Kết luận

Việc thu thập dữ liệu để đào tạo các mô hình AI là một nhiệm vụ phức tạp, yêu cầu lựa chọn proxy đúng, thiết lập xoay vòng, vượt qua các bảo vệ và tối ưu hóa chi phí. Các điểm chính:

• Đối với các nguồn đơn giản (API, trang web không có bảo vệ), hãy sử dụng proxy datacenter — chúng nhanh và rẻ
• Đối với các nền tảng được bảo vệ (mạng xã hội, chợ, trang web có Cloudflare), cần thiết phải có proxy residential
• Thiết lập xoay vòng tùy thuộc vào nhiệm vụ: theo yêu cầu cho việc phân tích hàng loạt các trang web khác nhau, phiên cố định cho việc làm việc với một trang web
• Sử dụng trình duyệt headless với các plugin che giấu để vượt qua hệ thống chống bot
• Xây dựng kiến trúc có thể mở rộng với hàng đợi tác vụ và các worker song song
• Tối ưu hóa chi phí: kết hợp các loại proxy, cache các yêu cầu, giảm thiểu lưu lượng

Với cài đặt đúng, bạn sẽ có thể thu thập hàng terabyte dữ liệu một cách ổn định và tiết kiệm. Bắt đầu với một dự án thử nghiệm nhỏ trên 10-20 nguồn, tinh chỉnh quy trình, sau đó mở rộng lên quy mô công nghiệp.

Nếu bạn có kế hoạch thu thập dữ liệu từ các nền tảng được bảo vệ (mạng xã hội, thương mại điện tử, các trang web có hệ thống chống bot), chúng tôi khuyên bạn nên sử dụng proxy residential — chúng đảm bảo mức độ tin cậy cao và tỷ lệ chặn tối thiểu. Đối với các nguồn đơn giản và API, proxy datacenter là đủ, cung cấp tốc độ tối đa với chi phí thấp.