Jika parser bekerja di bawah akun yang terotorisasi, mengganti IP hampir selalu berarti logout instan, captcha atau pemblokiran sesi. Platform melihat ketidakcocokan "sidik jari" koneksi dan sesi yang hilang — dan menghapus cookie. Dalam artikel ini, kita akan membahas 4 skema teruji yang memungkinkan mengganti IP dan tetap mempertahankan otorisasi, plus kode kerja di Python.
Mengapa sesi hilang saat mengganti IP
Sesi terotorisasi bukan hanya cookie dengan session_id. Platform modern (marketplace, media sosial, akun bank) mengaitkan sesi dengan serangkaian parameter: alamat IP, User-Agent, sidik jari TLS, geolokasi berdasarkan IP, kadang-kadang dengan sidik jari Canvas/WebGL dari browser. Begitu salah satu dari parameter ini berubah secara drastis — misalnya, IP melompat dari pusat data Moskow ke IP negara lain — sistem anti-fraud menganggap ini perilaku mencurigakan dan mengatur ulang sesi, meminta login ulang atau menampilkan captcha.
Ini sangat kritis untuk tugas di mana parsing dilakukan dari akun yang terotorisasi: mengumpulkan harga di Wildberries melalui akun pribadi penjual, memantau pesaing di Ozon dengan otorisasi, parsing bagian tertutup Avito, mengumpulkan data dari Instagram atau VK melalui API dengan token. Dalam setiap kasus ini, kombinasi "akun + IP + cookie" harus tetap stabil sepanjang sesi, dan tidak berubah pada setiap permintaan, seperti yang sering dilakukan dalam parsing biasa tanpa otorisasi.
Dari sini muncul aturan utama: rotasi IP saat parsing terotorisasi harus terkelola, bukan acak. Di bawah ini — empat skema yang menyelesaikan tugas ini dengan berbagai keseimbangan kompleksitas dan keandalan.
Skema 1: Sesi lengket (pengikatan IP ke akun)
Skema yang paling sederhana dan paling andal adalah mengikat satu IP yang sama ke satu akun atau satu sesi selama periode kerja (dari beberapa menit hingga beberapa jam), dan mengganti IP hanya ketika sesi sudah berakhir secara alami (logout, kedaluwarsa token, perubahan akun yang direncanakan).
Secara teknis, ini diimplementasikan melalui port lengket di penyedia proxy: Anda mendapatkan satu endpoint yang mempertahankan satu IP keluar yang sama selama waktu yang ditentukan (biasanya dari 1 hingga 30 menit, kadang-kadang hingga beberapa jam), dan kemudian IP berubah secara otomatis. Untuk tugas dengan otorisasi, yang paling cocok adalah proxy residensial — mereka memberikan IP nyata dari penyedia rumah yang tidak terdaftar dalam daftar hitam pusat data dan terlihat seperti pengguna biasa, yang sangat penting untuk akun bank, akun pribadi marketplace dan media sosial.
Aturannya sederhana: satu akun = satu IP lengket selama seluruh siklus hidup sesi. Jika perlu untuk parsing 50 akun secara bersamaan — Anda mengangkat 50 sesi lengket dengan IP yang berbeda, masing-masing bekerja dengan set cookie mereka sendiri dan tidak beririsan dengan yang lain. Ini adalah prinsip yang sama yang digunakan oleh spesialis SMM di browser anti-deteksi Dolphin Anty atau AdsPower saat mengelola puluhan akun klien: satu profil browser = satu IP tetap = set cookie mereka sendiri, yang tidak bercampur dengan yang lain.
Skema 2: Kumpulan cookie + IP sebagai pasangan tunggal
Jika tugas memerlukan rotasi IP (misalnya, untuk tidak terjebak dalam batas laju satu sesi), tetapi
perlu mempertahankan beberapa keadaan terotorisasi secara paralel — skema "kumpulan pasangan" diterapkan.
Ideanya: Anda masuk N kali dengan kredensial yang berbeda (atau dari IP awal yang berbeda), menyimpan
untuk setiap sesi kombinasi cookies + IP + User-Agent,
dan pada setiap permintaan berikutnya, Anda menggunakan pasangan yang sama dengan yang digunakan untuk membuat sesi dari awal.
Dalam praktiknya, ini terlihat seperti ini: di database atau di Redis, ada tabel dengan format "id sesi → cookies → IP proxy → User-Agent → waktu penggunaan terakhir". Sebelum setiap permintaan, parser mengambil pasangan yang tersedia dari kumpulan, membuat permintaan melalui IP yang terkait, memperbarui cookie dari respons dan menyimpannya kembali di catatan yang sama. Jika sesi kedaluwarsa (server mengembalikan pengalihan ke login) — pasangan ditandai sebagai tidak valid, dihapus dari kumpulan, dan yang baru dibuat melalui login ulang.
Skema ini dapat diskalakan dengan baik secara horizontal: semakin banyak pasangan "cookies + IP" dalam kumpulan, semakin tinggi total kapasitas parser tanpa risiko pemblokiran. Untuk tugas ini, nyaman menggunakan proxy pusat data di mana kecepatan lebih penting daripada anonimitas — misalnya, saat parsing katalog terbuka setelah otorisasi, ketika platform itu sendiri tidak terlalu agresif dalam mendeteksi sidik jari, dan titik sempitnya adalah kecepatan penelusuran katalog.
Skema 3: Pengikatan sidik jari melalui pendekatan anti-deteksi
Skema ketiga diperlukan ketika platform memeriksa tidak hanya IP dan cookie, tetapi juga sidik jari browser yang lengkap: Canvas, WebGL, font, zona waktu, bahasa sistem, resolusi layar. Ini khas untuk media sosial (Instagram, TikTok, VK) dan beberapa marketplace dengan anti-fraud yang canggih. Dalam hal ini, kombinasi perlu diperluas menjadi "IP + cookies + sidik jari" dan disimpan sebagai satu kesatuan — jika tidak, bahkan dengan IP yang benar dan cookie yang valid, sesi tetap akan hilang karena ketidakcocokan sidik jari browser.
Dalam praktiknya, ini diselesaikan melalui browser headless dengan sidik jari yang terkelola (Playwright, Puppeteer dengan plugin stealth) atau melalui browser anti-deteksi seperti Dolphin Anty, Multilogin, GoLogin atau Octo Browser, di mana setiap profil diberikan set parameter sidik jari mereka sendiri, IP tetap mereka melalui integrasi proxy yang terpasang dan penyimpanan cookie mereka sendiri. Profil login sekali, dan kemudian cukup diluncurkan kembali dengan parameter yang sama — sesi terus berjalan, karena platform melihat "perangkat" yang sama pada IP yang sama.
Untuk parsing media sosial dan aplikasi seluler melalui API, pada tahap ini sering beralih ke proxy seluler — IP operator dengan CGNAT jarang menimbulkan kecurigaan pada sistem yang mengharapkan lalu lintas dari jaringan seluler, dan menggabungkan IP dengan sidik jari yang diperlukan memberikan ketahanan sesi yang terbaik.
Skema 4: Re-otorisasi yang terkontrol
Skema keempat — tidak mencoba mempertahankan satu sesi selamanya, tetapi sebelumnya menyematkan logika re-otorisasi terjadwal dalam parser saat mengganti IP. Ini adalah opsi yang paling memakan waktu, tetapi juga yang paling tahan banting: daripada memindahkan cookie lama ke IP baru (yang hampir selalu mengarah pada pemblokiran), parser saat mengganti IP sendiri memulai login baru — memasukkan login/sandi (atau menggunakan refresh-token), mendapatkan cookie baru di bawah IP baru dan melanjutkan pekerjaan dari awal.
Skema ini wajib di mana API mendukung OAuth2 dengan refresh-token (banyak marketplace dan akun iklan, seperti Google Ads API, TikTok Ads API): saat mengganti IP, Anda cukup menukar refresh-token dengan access-token baru, tanpa perlu memasukkan sandi lagi. Jika tidak ada refresh-token — Anda harus meniru alur login penuh: mendapatkan CSRF-token dari halaman login, mengirimkan login/sandi, melewati captcha atau 2FA yang mungkin, menyimpan cookie baru.
Kekurangan skema ini — risiko login yang sering dapat terlihat mencurigakan dan memicu pemblokiran akun, sehingga biasanya dikombinasikan dengan skema 1: IP berubah jarang dan hanya secara sinkron dengan re-otorisasi terjadwal, bukan pada setiap permintaan.
Perbandingan 4 skema
| Skema | Kompleksitas | Keandalan | Kapan diterapkan |
|---|---|---|---|
| Sesi lengket | Rendah | Tinggi | 1 akun — 1 IP, volume kecil |
| Kumpulan cookie + IP | Sedang | Sedang-tinggi | Parsing massal dengan beberapa akun |
| Pengikatan sidik jari | Tinggi | Tinggi | Media sosial, anti-fraud canggih |
| Re-otorisasi | Tinggi | Sangat tinggi | API dengan refresh-token, rotasi IP yang sering |
Kode: sesi + proxy lengket di Python
Di bawah ini adalah contoh dasar menggunakan requests.Session,
yang menyimpan cookie dan bekerja melalui satu proxy lengket yang sama selama seluruh sesi.
Sesi menyimpan cookie secara otomatis, dan pengikatan ke IP dicapai melalui port lengket penyedia proxy,
yang mengembalikan satu IP keluar yang sama untuk semua permintaan dalam jendela waktu yang ditentukan.
import requests
# port lengket mempertahankan satu IP yang sama, selama sesi masih hidup
PROXY = {
"http": "http://login:[email protected]:8000",
"https": "http://login:[email protected]:8000",
}
session = requests.Session()
session.proxies.update(PROXY)
session.headers.update({
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) Chrome/124.0.0.0 Safari/537.36"
})
# login — cookie akan disimpan secara otomatis dalam session.cookies
login_payload = {"login": "[email protected]", "password": "secret"}
resp = session.post("https://example.com/login", data=login_payload)
assert resp.status_code == 200
# permintaan selanjutnya menggunakan cookie yang sama dan IP yang sama
page = session.get("https://example.com/cabinet/orders")
print(page.status_code, len(page.text))
Untuk skema dengan kumpulan pasangan cookie + IP, nyaman menyimpan status di Redis — ini memungkinkan untuk mengskalakan parser ke beberapa pekerja tanpa tumpang tindih sesi:
import json
import redis
import requests
r = redis.Redis(host="localhost", port=6379, db=0)
def get_session_pair(account_id):
raw = r.get(f"session:{account_id}")
if raw:
data = json.loads(raw)
session = requests.Session()
session.cookies.update(data["cookies"])
session.proxies.update({"http": data["proxy"], "https": data["proxy"]})
return session
return None
def save_session_pair(account_id, session, proxy_url):
data = {
"cookies": session.cookies.get_dict(),
"proxy": proxy_url,
}
r.set(f"session:{account_id}", json.dumps(data), ex=3600)
Untuk opsi dengan pengikatan sidik jari melalui Playwright, cukup login sekali dan simpan storage_state — ini mencakup tidak hanya cookie, tetapi juga localStorage/sessionStorage, yang sangat penting untuk situs marketplace dan media sosial SPA:
from playwright.sync_api import sync_playwright
with sync_playwright() as p:
browser = p.chromium.launch(proxy={"server": "http://gate.proxycove.com:8000",
"username": "login", "password": "password"})
context = browser.new_context()
page = context.new_page()
page.goto("https://example.com/login")
page.fill("#login", "[email protected]")
page.fill("#password", "secret")
page.click("#submit")
page.wait_for_selector("#cabinet")
context.storage_state(path="session_state.json") # menyimpan sesi secara keseluruhan
browser.close()
# saat peluncuran berikutnya — IP yang sama + sesi yang sama
with sync_playwright() as p:
browser = p.chromium.launch(proxy={"server": "http://gate.proxycove.com:8000",
"username": "login", "password": "password"})
context = browser.new_context(storage_state="session_state.json")
page = context.new_page()
page.goto("https://example.com/cabinet")
Kesalahan umum
1. Rotasi IP pada setiap permintaan di dalam satu sesi terotorisasi. Ini adalah penyebab utama pemblokiran instan — sistem melihat bahwa satu session_id digunakan dengan puluhan IP berbeda dalam satu menit, dan memblokirnya sebagai tanda jelas otomatisasi.
2. Menyimpan hanya session_id tanpa User-Agent dan header lainnya. Jika cookie diperoleh dengan satu User-Agent, tetapi digunakan dengan yang lain — ini juga menjadi pemicu untuk anti-fraud, bahkan jika IP tidak berubah.
3. Mengabaikan geolokasi IP. Jika akun login dari Moskow, tetapi permintaan berikutnya berasal dari IP negara lain — sesi akan hampir selalu direset, terlepas dari validitas cookie.
4. Tidak ada penanganan sesi yang kedaluwarsa. Parser harus dapat membedakan "server mengembalikan halaman login" dari "server mengembalikan data yang diperlukan" dan secara otomatis memulai re-otorisasi, bukan terjatuh dengan kesalahan.
5. Penggunaan satu kumpulan proxy yang sama untuk akun yang berbeda tanpa pengikatan. Jika dua akun berbeda secara kebetulan mendapatkan IP keluar yang sama, platform dapat mengaitkan mereka — ini sangat berbahaya untuk agensi SMM yang mengelola puluhan akun klien secara bersamaan.
Daftar periksa sebelum memulai parser dengan otorisasi
- Skema yang dipilih sesuai dengan tingkat perlindungan platform (lengket / kumpulan / sidik jari / re-otorisasi)
- Setiap akun diberikan IP tetap selama masa hidup sesi
- Cookie dan session_id disimpan bersama dengan IP, User-Agent, dan header, bukan secara terpisah
- Pemeriksaan validitas sesi diimplementasikan sebelum setiap permintaan penting
- Re-otorisasi otomatis diatur saat sesi yang hilang terdeteksi
- Proxy dipilih sesuai dengan jenis platform: residensial untuk akun bank dan e-commerce, seluler untuk media sosial, pusat data untuk parsing cepat bagian terbuka
- Semua perubahan IP dan momen re-otorisasi dicatat untuk analisis pemblokiran
Kesimpulan
Kesimpulan utamanya sederhana: saat parsing dengan otorisasi, IP dan sesi harus berubah secara sinkron, bukan secara independen satu sama lain. Permulaan yang paling andal adalah skema sesi lengket, di mana satu akun terikat pada satu IP selama periode kerja. Untuk parsing massal di beberapa akun, kumpulan pasangan cookie + IP cocok, untuk media sosial dengan anti-fraud canggih — pengikatan sidik jari melalui browser anti-deteksi, dan untuk API dengan token — re-otorisasi terjadwal saat mengganti IP.
Jika Anda baru saja mengatur parser dengan otorisasi untuk marketplace atau akun pribadi, mulailah dengan proxy residensial dengan port lengket — mereka memberikan IP yang stabil pada waktu yang dibutuhkan dan risiko pemblokiran sesi yang minimal. Untuk parsing media sosial melalui API yang terotorisasi, lebih baik mempertimbangkan IP seluler, dan untuk penelusuran cepat katalog terbuka setelah login — ke proxy pusat data, yang dijelaskan di atas dalam teks.