Cara Mengatur Proxy Balik untuk Melindungi Situs dari Bot, Pemindai, dan Parser: Panduan Lengkap

Setiap hari situs Anda diserang oleh ratusan bot: beberapa mencuri harga dan konten, yang lain membebani server dengan permintaan, dan yang lainnya mencari kerentanan. Jika Anda memiliki toko online di Wildberries atau Ozon, menjalankan landing page untuk kampanye iklan di Facebook Ads, atau mengelola situs klien — masalah ini langsung terkait dengan Anda. Reverse proxy adalah garis pertahanan pertama yang dapat diatur tanpa pengetahuan teknis yang mendalam.

Apa itu reverse proxy dan bagaimana bedanya dengan proxy biasa

Kebanyakan orang mengenal proxy sebagai alat untuk mengganti alamat IP: Anda terhubung ke server proxy, dan situs melihat alamatnya alih-alih alamat Anda. Ini disebut proxy langsung (forward proxy) — ia melindungi pengguna.

Reverse proxy bekerja dari sisi yang berbeda. Ia berdiri di depan server Anda dan menerima semua permintaan masuk alih-alih server itu. Pengunjung berpikir bahwa mereka berkomunikasi langsung dengan situs Anda — tetapi sebenarnya mereka terlebih dahulu masuk ke server proxy, yang memeriksa permintaan, menyaring aktivitas mencurigakan, dan hanya kemudian meneruskan lalu lintas yang sah ke server nyata Anda.

Perbedaan utama dari proxy biasa juga terletak pada alamat IP nyata server Anda tetap tersembunyi. Penjahat dan bot tidak tahu di mana situs Anda berada secara fisik — mereka hanya melihat alamat reverse proxy. Ini sendiri memotong sebagian besar serangan.

Bagi pemilik toko online, pemasar, dan arbiter yang memiliki puluhan landing page, ini sangat penting: pesaing tidak akan dapat menemukan hosting asli Anda dan menyerangnya secara langsung, melewati perlindungan.

Mengapa bot dan pemindai berbahaya bagi bisnis Anda

Banyak pemilik situs meremehkan ancaman bot, menganggapnya sebagai "masalah teknis". Sebenarnya, ini adalah kerugian bisnis langsung. Mari kita bahas skenario konkret yang dihadapi pembaca kami.

Pengambilan harga oleh pesaing

Jika Anda menjual di marketplace atau memiliki toko online sendiri, pesaing dapat menjalankan pemindai yang setiap 15-30 menit mengambil harga Anda dan secara otomatis menampilkan harga mereka 1-2% lebih rendah. Anda kehilangan penjualan tanpa mengerti mengapa. Bot pemindai juga membebani server: ratusan permintaan per menit memperlambat situs untuk pembeli nyata, yang secara langsung mempengaruhi konversi.

Penipuan klik (click fraud)

Arbiter dan pemasar yang bekerja dengan Facebook Ads dan Google Ads secara teratur menghadapi peningkatan klik. Bot klik berpindah ke iklan Anda, menghabiskan anggaran tanpa konversi. Menurut penelitian, hingga 20-30% lalu lintas iklan di beberapa niche terdiri dari bot. Reverse proxy dengan aturan yang tepat membantu mengidentifikasi dan memblokir sumber-sumber tersebut.

Pemindai kerentanan

Pemindai otomatis seperti Shodan, Masscan, dan ratusan alat kurang dikenal lainnya terus-menerus menjelajahi seluruh internet mencari situs yang tidak terlindungi. Mereka memeriksa versi CMS yang usang, port terbuka, dan kata sandi standar. Jika situs Anda menggunakan WordPress atau platform populer lainnya — ia pasti sudah ada dalam basis data mereka. Tanpa perlindungan, ini hanya masalah waktu sebelum kerentanan ditemukan.

Serangan DDoS dan membebani server

Pesaing atau hanya orang yang tidak bersahabat dapat mengatur serangan yang dapat menjatuhkan situs Anda pada waktu yang paling tidak tepat — misalnya, selama periode diskon atau kampanye iklan aktif. Bahkan DDoS kecil dengan beberapa ribu permintaan per detik dapat "menjatuhkan" hosting murah.

Bagaimana reverse proxy melindungi situs: mekanisme kerja

Reverse proxy melindungi situs di beberapa tingkat. Memahami tingkat ini akan membantu Anda mengatur sistem dengan benar dan tidak melewatkan langkah-langkah penting.

Tingkat 1 — Menyembunyikan IP nyata

Begitu Anda mengarahkan lalu lintas melalui reverse proxy, alamat IP nyata server Anda tidak lagi publik. Bot dan penyerang tidak dapat mengakses server secara langsung — mereka terhalang oleh proxy. Ini sangat penting untuk perlindungan dari DDoS: bahkan jika penjahat mengetahui domain situs Anda, mereka tidak akan dapat menyerang server dengan melewati perlindungan.

Tingkat 2 — Analisis dan penyaringan permintaan

Setiap permintaan masuk diperiksa berdasarkan beberapa parameter: User-Agent (browser/bot mana yang membuat permintaan), frekuensi permintaan dari satu IP, geolokasi, pola perilaku. Bot biasanya membuat permintaan terlalu cepat, menggunakan string User-Agent yang tidak standar, atau datang dari alamat IP pusat data yang dikenal. Reverse proxy dapat melacak dan memblokir semua ini.

Tingkat 3 — Pembatasan laju (rate limiting)

Manusia nyata tidak dapat melihat 500 halaman situs dalam satu menit. Reverse proxy memungkinkan Anda menetapkan batas: misalnya, tidak lebih dari 60 permintaan per menit dari satu IP. Jika seseorang melebihi batas — mereka akan mendapatkan pemblokiran sementara atau pemeriksaan CAPTCHA. Ini secara efektif menghentikan sebagian besar pemindai dan pemindai tanpa merugikan pengunjung biasa.

Tingkat 4 — Cache dan pengurangan beban

Reverse proxy menyimpan konten statis (gambar, CSS, JavaScript) dan menyajikannya langsung, tanpa menghubungi server Anda. Akibatnya, bahkan jika bot berhasil melewati filter, mereka mendapatkan halaman yang di-cache — beban pada server nyata minimal. Selain itu, ini mempercepat situs untuk pengunjung nyata, yang berdampak positif pada SEO dan konversi.

Tingkat 5 — Terminasi SSL/TLS

Reverse proxy menangani enkripsi lalu lintas. Server Anda bekerja lebih cepat, karena tidak menghabiskan sumber daya untuk mengenkripsi setiap permintaan. Dan pengunjung melihat koneksi aman HTTPS — ini penting baik untuk kepercayaan maupun untuk peringkat di Google.

Tinjauan solusi: Cloudflare, Nginx, Caddy — mana yang dipilih

Ada beberapa solusi populer untuk mengatur reverse proxy. Pilihan tergantung pada tingkat teknis Anda, anggaran, dan skala tugas.

Bagi sebagian besar pemilik situs, pemasar, dan arbiter yang tidak ingin berurusan dengan pengaturan server, Cloudflare adalah pilihan optimal. Tarif gratis menutupi 90% tugas perlindungan dari bot dan pemindai. Dari sini kita akan memulai panduan langkah demi langkah.

Pengaturan Cloudflare sebagai reverse proxy: langkah demi langkah

Cloudflare adalah layanan cloud yang menjadi reverse proxy untuk situs Anda setelah mengganti server DNS dengan mudah. Tidak perlu pemrograman, tidak perlu akses ke server — hanya pengaturan di browser.

Langkah 1 — Pendaftaran dan penambahan situs

Kunjungi cloudflare.com dan buat akun. Setelah masuk, klik tombol "Add a Site" dan masukkan domain situs Anda (misalnya, myshop.ru). Pilih tarif gratis Free — untuk memulai, ini lebih dari cukup.

Cloudflare secara otomatis akan memindai catatan DNS Anda dan menunjukkan daftar mereka. Periksa bahwa semua catatan ada (biasanya ini adalah catatan A dengan IP server dan catatan MX untuk email). Klik "Continue".

Langkah 2 — Mengganti server DNS di registrar domain

Cloudflare akan memberikan Anda dua alamat nameserver — sesuatu seperti alex.ns.cloudflare.com dan diana.ns.cloudflare.com. Masuk ke panel kontrol registrar domain Anda (RU-CENTER, Reg.ru, Namecheap, dll.) dan ganti nameserver saat ini dengan dua alamat ini.

Pembaruan DNS memerlukan waktu antara 15 menit hingga 48 jam. Begitu semuanya diperbarui, seluruh lalu lintas ke situs Anda akan mulai melewati server Cloudflare — reverse proxy akan berfungsi secara otomatis.

Langkah 3 — Mengaktifkan mode "Under Attack" jika perlu

Di panel Cloudflare, pergi ke bagian Security → Overview. Di sini Anda melihat tingkat perlindungan (Security Level). Untuk sebagian besar situs, tingkat "Medium" cocok. Jika situs mengalami serangan aktif — sementara waktu beralih ke "Under Attack Mode": semua pengunjung akan melewati pemeriksaan JS, yang biasanya tidak dapat dilalui oleh bot.

Langkah 4 — Mengatur Mode Pertarungan Bot

Pergi ke Security → Bots. Aktifkan saklar "Bot Fight Mode" — ini adalah perlindungan dasar dari bot otomatis yang tersedia secara gratis. Cloudflare secara otomatis mengidentifikasi dan memblokir lalu lintas dari bot berbahaya yang dikenal, menggunakan basis data dari miliaran permintaan.

Di tarif berbayar (Pro dan lebih tinggi) tersedia Super Bot Fight Mode dengan pengaturan yang lebih rinci: Anda dapat mengatur perilaku untuk bot pencari (Googlebot, Yandexbot harus dilewatkan!), untuk bot yang terverifikasi (pemantauan uptime) dan untuk permintaan otomatis yang mencurigakan.

Langkah 5 — Membuat aturan firewall (Firewall Rules)

Pergi ke Security → WAF → Firewall Rules dan buat aturan sesuai kebutuhan Anda. Berikut beberapa contoh aturan yang sebaiknya ditambahkan segera:

Langkah 6 — Mengatur Rate Limiting

Di bagian Security → WAF → Rate limiting rules buat aturan pembatasan frekuensi permintaan. Misalnya: tidak lebih dari 100 permintaan per 1 menit dari satu alamat IP. Jika batas terlampaui — tampilkan CAPTCHA atau blokir sementara. Ini menghentikan sebagian besar pemindai yang mencoba dengan cepat mengumpulkan semua halaman situs Anda.

Pengaturan Nginx reverse proxy: konfigurasi dasar

Jika Anda memiliki server VPS sendiri (misalnya, di Timeweb, Selectel, atau DigitalOcean), Anda dapat mengatur Nginx sebagai reverse proxy. Ini memberikan lebih banyak kontrol dan fleksibilitas, meskipun memerlukan keterampilan dasar bekerja dengan baris perintah.

Skema tipikal: Anda memiliki server utama dengan aplikasi (misalnya, toko online di port 8080), dan server terpisah atau server yang sama dengan Nginx di port 80/443, yang menerima seluruh lalu lintas dan meneruskannya ke aplikasi.

Konfigurasi dasar Nginx sebagai reverse proxy dengan perlindungan dari bot terlihat seperti ini:

server {
    listen 80;
    server_name mysite.ru www.mysite.ru;

    # Pengalihan ke HTTPS
    return 301 https://$host$request_uri;
}

server {
    listen 443 ssl;
    server_name mysite.ru www.mysite.ru;

    ssl_certificate /etc/letsencrypt/live/mysite.ru/fullchain.pem;
    ssl_certificate_key /etc/letsencrypt/live/mysite.ru/privkey.pem;

    # Pemblokiran User-Agent kosong (bot tanpa UA)
    if ($http_user_agent = "") {
        return 403;
    }

    # Pemblokiran pemindai yang dikenal berdasarkan User-Agent
    if ($http_user_agent ~* (sqlmap|nikto|nmap|masscan|zgrab|python-requests)) {
        return 403;
    }

    # Pembatasan laju — menerapkan zona pembatasan
    limit_req zone=one burst=20 nodelay;

    # Meneruskan permintaan ke server nyata
    location / {
        proxy_pass http://127.0.0.1:8080;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;

        # Menyembunyikan informasi tentang server nyata
        proxy_hide_header X-Powered-By;
        proxy_hide_header Server;
    }
}

# Penentuan zona Pembatasan Laju (tambahkan di blok http)
# limit_req_zone $binary_remote_addr zone=one:10m rate=60r/m;

Perhatikan direktif proxy_hide_header — ini menyembunyikan header yang mengungkapkan informasi tentang server nyata Anda dan CMS. Ini menyulitkan pekerjaan pemindai kerentanan: mereka tidak tahu apa yang sebenarnya mereka cari.

Zona limit_req_zone membatasi setiap alamat IP hingga 60 permintaan per menit. Parameter burst=20 memungkinkan lonjakan sementara (pengguna nyata dapat membuka beberapa halaman dengan cepat), tetapi beban tinggi yang berkepanjangan akan diblokir.

Aturan pemblokiran bot dan pemindai: daftar periksa

Setelah pengaturan dasar reverse proxy, gunakan daftar periksa ini untuk memastikan bahwa perlindungan diatur secara komprehensif. Setiap poin adalah vektor serangan terpisah yang perlu ditutup.

✅ Perlindungan dasar (wajib untuk semua)

• Mode Pertarungan Bot diaktifkan di Cloudflare (atau analog di solusi lain)
• Pembatasan laju diatur: tidak lebih dari 60-100 permintaan per menit dari satu IP
• Permintaan dengan User-Agent kosong diblokir
• Pemindai yang dikenal diblokir: sqlmap, nikto, nmap, masscan
• Header Server dan X-Powered-By disembunyikan (tidak menunjukkan versi server dan CMS)
• HTTPS diatur, HTTP secara otomatis mengalihkan ke HTTPS
• IP nyata server tidak terlihat di basis data publik (Shodan, Censys)

✅ Perlindungan lanjutan (untuk situs yang sering diserang)

• Honeypot diatur — halaman tersembunyi yang hanya dilihat oleh bot (pengguna nyata tidak mengunjungi). IP yang mengunjungi honeypot secara otomatis diblokir
• Pemeriksaan integritas browser diaktifkan (Browser Integrity Check di Cloudflare)
• CAPTCHA diatur untuk lalu lintas mencurigakan (tidak untuk semua — hanya untuk yang mencurigakan)
• Geoblocking negara-negara yang tidak diharapkan mendapatkan lalu lintas yang sah
• Pemantauan log: pengaturan peringatan saat terjadi lonjakan kesalahan 403/429
• Pemblokiran rentang IP dari penyedia cloud besar (AWS, Azure, GCP) — sebagian besar bot beroperasi dari cloud
• robots.txt diatur dengan larangan untuk bot agresif

✅ Perlindungan halaman spesifik

• Halaman masuk (/admin, /wp-admin, /login) — Pembatasan laju yang ketat (5-10 percobaan per menit) dan otentikasi dua faktor
• API-endpoints — otorisasi wajib melalui API-key atau token
• Halaman dengan harga — pemeriksaan tambahan untuk permintaan yang sering (perlindungan dari pemindahan data)
• Formulir pendaftaran/pengajuan — CAPTCHA atau perangkap honeypot yang tidak terlihat untuk bot

Proxy untuk pemantauan: bagaimana memeriksa perlindungan situs Anda

Setelah mengatur reverse proxy, penting untuk memastikan bahwa perlindungan berfungsi dengan benar dan tidak memblokir pengguna nyata. Di sini, proxy biasa membantu — Anda sendiri menjadi "pengguna eksternal" dan memeriksa perilaku situs.

Mengapa pemasar dan arbiter perlu memeriksa situs mereka melalui proxy

Bayangkan situasi: Anda telah mengatur perlindungan dari bot, mengaktifkan geoblocking, dan tiba-tiba menyadari bahwa konversi menurun. Mungkin Anda secara tidak sengaja memblokir pengguna nyata dari wilayah atau perangkat tertentu. Anda dapat memeriksa ini dengan mengunjungi situs melalui proxy dari berbagai negara dan dengan berbagai jenis koneksi.

Untuk tugas semacam ini, proxy seluler sangat cocok — mereka meniru koneksi dari perangkat seluler nyata melalui operator seluler. Jika aturan pemblokiran Anda melewatkan lalu lintas seluler dengan benar, berarti pengguna biasa dengan smartphone tidak terpengaruh oleh perlindungan.

Skenario praktis untuk pemeriksaan

Skenario 1 — Memeriksa ketersediaan geografi. Anda menjalankan iklan di Facebook Ads untuk audiens dari beberapa wilayah Rusia. Melalui proxy dengan IP dari Novosibirsk, Yekaterinburg, dan Krasnodar, periksa bahwa landing page terbuka dengan benar, tidak menunjukkan CAPTCHA, dan memuat dengan cepat.

Skenario 2 — Uji Pembatasan Laju. Buka beberapa tab melalui satu proxy dan cepat beralih antar halaman. Jika Anda mendapatkan pemblokiran saat berperilaku normal — ambang batas terlalu rendah, perlu dinaikkan.

Skenario 3 — Memeriksa dari berbagai jenis IP. Cobalah untuk masuk melalui proxy pusat data (meniru bot/server) — jika perlindungan Anda berfungsi, permintaan semacam itu harus mendapatkan CAPTCHA atau pemblokiran. Kemudian masuk melalui proxy residensial (meniru pengguna rumah biasa) — akses harus bebas.

Skenario 4 — Pemeriksaan oleh pesaing. Jika Anda ingin memeriksa seberapa sulit untuk memindai situs Anda, coba lakukan sendiri melalui alat sederhana. Jika pemindai mendapatkan pemblokiran setelah 10-20 permintaan — perlindungan berfungsi. Jika mengumpulkan data tanpa hambatan — perlu memperketat aturan.

Pemantauan efektivitas perlindungan

Di Cloudflare, pergi ke bagian Security → Overview — di sini Anda melihat grafik permintaan yang diblokir, jenis ancaman, dan geografi serangan. Perhatikan:

• Peningkatan tajam dalam permintaan yang diblokir — tanda serangan aktif atau pemindahan data
• Persentase tinggi lalu lintas dari satu negara — mungkin perlu menambahkan geoblocking
• Peningkatan kesalahan 403/429 di log — periksa apakah pengguna nyata tidak diblokir
• Permintaan rutin ke /admin, /wp-login.php — upaya peretasan, perkuat perlindungan jalur ini

Kesimpulan: reverse proxy bukanlah opsi, tetapi kebutuhan

Reverse proxy telah lama berhenti menjadi alat hanya untuk korporasi besar. Saat ini, bahkan toko online kecil, landing page untuk kampanye arbiter, atau situs agensi SMM memerlukan perlindungan dasar dari bot, pemindai, dan pemindai pesaing.

Kesimpulan kunci dari panduan ini: Cloudflare — awal tercepat tanpa pengetahuan teknis, Nginx — kontrol maksimum jika Anda memiliki server sendiri. Dalam kedua kasus, perlindungan dasar dapat diatur dalam 30-60 menit dan menutupi 80-90% ancaman tipikal. Jangan lupa untuk memeriksa bahwa bot yang berguna (Googlebot, Yandexbot) tetap dalam daftar putih, dan pengguna nyata tidak menderita akibat aturan yang terlalu agresif.

Satu hal terpisah bagi mereka yang menggunakan proxy dalam pekerjaan mereka: jika Anda memeriksa kampanye iklan, memantau pesaing, atau menguji ketersediaan situs Anda dari berbagai wilayah — untuk tugas ini, proxy residensial adalah yang paling cocok. Mereka memiliki alamat IP dari pengguna rumah nyata, sehingga melewati sebagian besar sistem perlindungan seperti pengunjung biasa, dan memberikan gambaran objektif tentang apa yang dilihat audiens Anda.