Jika Anda menjalankan aktor di Apify untuk mengambil data dari Wildberries, Ozon, Amazon, atau Google Maps, cepat atau lambat pertanyaannya akan muncul: membayar untuk Apify Proxy bawaan atau menghubungkan kumpulan alamat IP sendiri. Pada volume besar, perbedaan biaya bisa mencapai puluhan ribu rubel per bulan. Dalam artikel ini, kita akan membahas bagaimana harga lalu lintas dihitung di Apify, kapan proksi sendiri lebih menguntungkan, dan bagaimana cara teknis menghubungkannya ke aktor — dengan contoh kode.
Apa itu aktor Apify dan mengapa mereka membutuhkan proksi
Apify adalah platform untuk menjalankan scraper (aktor) siap pakai tanpa perlu membangun infrastruktur sendiri. Di Apify Store terdapat ratusan aktor siap pakai: pengambil data Amazon, Google Maps Scraper, Instagram Scraper, aktor untuk mengumpulkan kartu produk dari Wildberries dan Ozon. Sebagian besar dari mereka memerlukan proksi, karena situs target dengan cepat memblokir alamat IP pusat data Apify saat melakukan permintaan massal.
Proksi dalam aktor menyelesaikan tiga tugas: menghindari pembatasan geo (misalnya, perlu mengumpulkan harga khusus untuk wilayah "Moskwa" di Wildberries), mengurangi frekuensi captcha dan pemblokiran sementara, serta mendistribusikan beban di antara banyak IP, meniru perilaku pengguna biasa, bukan bot. Tanpa proksi, sebagian besar aktor untuk pengambilan data dari marketplace tidak akan berjalan, atau akan mengumpulkan data dengan kesalahan setelah beberapa menit beroperasi.
Apify memiliki solusi bawaan — Apify Proxy, yang dapat dihubungkan dengan satu baris kode. Ini nyaman untuk memulai, tetapi ada nuansa: pembayaran dilakukan berdasarkan lalu lintas per GB, dan saat melakukan pengambilan data secara teratur atau dalam volume besar, tagihan cepat meningkat. Itulah sebabnya pengguna berpengalaman dari platform ini semakin sering menghubungkan proksi mereka sendiri ke aktor daripada menggunakan yang bawaan.
Bagaimana Apify Proxy bawaan bekerja dan penetapan biayanya
Apify Proxy menawarkan tiga jenis IP: pusat data, residensial (melalui kumpulan mitra) dan
proksi Google SERP untuk pengambilan hasil pencarian. Penghubungan sangat sederhana — cukup
tentukan parameter useApifyProxy: true
dalam konfigurasi aktor, dan platform akan secara otomatis merotasi IP untuk setiap permintaan atau sesi.
Masalah dalam model pembayaran: lalu lintas proksi residensial dalam Apify dikenakan biaya per gigabyte, dan harga per GB untuk solusi bawaan biasanya lebih tinggi daripada penyedia proksi langsung, karena Apify menambahkan markup untuk integrasi dan pengelolaan kumpulan. Untuk peluncuran pengujian kecil (beberapa ribu permintaan per bulan) ini tidak kritis. Tetapi jika aktor beroperasi dalam mode pemantauan — misalnya, mengambil harga di Wildberries setiap jam untuk 5000 SKU — konsumsi lalu lintas meningkat secara eksponensial, dan proksi bawaan menjadi item biaya termahal dalam proyek, bahkan melebihi biaya rencana Apify itu sendiri.
Nuansa tambahan: kumpulan bawaan Apify adalah umum untuk semua klien platform. Ini berarti, bahwa alamat IP mungkin sudah "terpapar" oleh pengguna lain yang juga mengambil data dari situs yang sama. Ini meningkatkan risiko captcha dan pemblokiran terutama di marketplace dengan perlindungan anti-bot yang ketat, seperti Ozon dan Avito.
Kapan kumpulan proksi sendiri lebih murah: perhitungan dengan angka
Untuk memahami kapan beralih ke proksi sendiri dibenarkan, perlu membandingkan dua variabel: biaya lalu lintas di Apify Proxy dan biaya volume yang sama dari penyedia proksi langsung, ditambah waktu yang dihabiskan untuk integrasi dan pemeliharaan kumpulan sendiri.
Praktik menunjukkan tiga skenario:
- Pengambilan data sekali (hingga 1 GB lalu lintas per bulan) — Apify Proxy bawaan lebih menguntungkan: tidak ada gunanya menghabiskan waktu untuk mengatur kumpulan sendiri untuk pengambilan data kecil sekali.
- Pemantauan reguler (5–50 GB per bulan) — titik peralihan. Di sini sudah perlu dihitung: jika aktor beroperasi setiap hari dan mengumpulkan kartu produk dari Wildberries atau Ozon, konsumsi lalu lintas dengan proksi bawaan meningkat lebih cepat daripada dengan kumpulan sendiri dengan biaya tetap per IP atau tarif tanpa batas.
- Pengambilan data industri (dari 50 GB per bulan, puluhan aktor, beberapa sumber) — kumpulan sendiri hampir selalu lebih murah, karena ada kemungkinan untuk bernegosiasi tentang harga langsung untuk lalu lintas atau jumlah IP, tanpa markup dari platform perantara.
Contoh sederhana perhitungan: jika aktor setiap hari memproses 10.000 kartu produk, dan setiap halaman rata-rata memiliki ukuran 300 KB termasuk gambar dan skrip (tanpa optimasi pemuatan sumber daya), dalam sebulan akan terkumpul sekitar 90 GB lalu lintas. Dengan tarif Apify Proxy untuk lalu lintas residensial, total biaya sering kali melebihi biaya volume yang sama dari penyedia proksi pihak ketiga satu setengah hingga dua kali lipat. Jika aktor diatur untuk memblokir pemuatan gambar dan skrip pihak ketiga (yang mudah dilakukan melalui konfigurasi Puppeteer/Playwright), berat lalu lintas yang sebenarnya berkurang drastis, dan penghematan dari beralih ke proksi sendiri menjadi semakin terlihat.
Jenis proksi apa yang harus dihubungkan ke aktor
Pemilihan jenis proksi secara langsung bergantung pada situs mana yang diambil oleh aktor dan seberapa sensitif situs tersebut terhadap lalu lintas bot.
| Jenis proksi | Kapan digunakan di Apify | Risiko pemblokiran |
|---|---|---|
| Proksi pusat data | Pengambilan data dari situs tanpa perlindungan anti-bot yang ketat, sumber seperti API, katalog statis | Tinggi di marketplace dengan perlindungan |
| Proksi residensial | Wildberries, Ozon, Amazon, Google Maps Scraper — situs yang mendeteksi IP pusat data | Rendah dengan rotasi yang tepat |
| Proksi seluler | Pengambilan data dari media sosial (Instagram, TikTok) melalui aktor Apify, di mana diperlukan "kebersihan" IP maksimum | Minimal |
Untuk pengambilan data dari marketplace seperti Wildberries dan Ozon, pilihan optimal adalah proksi residensial, karena mereka menggunakan IP nyata dari penyedia rumah dan jarang terjebak dalam filter anti-bot yang ketat. Untuk sumber yang kurang terlindungi (RSS, katalog terbuka, situs perusahaan) cukup dengan IP pusat data — mereka lebih murah dan lebih cepat.
Cara menghubungkan proksi Anda ke aktor: kode dan pengaturan
Sebagian besar aktor di Apify dibangun di atas Crawlee (sebelumnya Apify SDK) dan mendukung pengiriman
daftar proksi sendiri melalui parameter proxyConfiguration.
Alih-alih menggunakan kumpulan bawaan, Anda dapat menentukan array alamat proksi Anda.
import { Actor } from 'apify';
import { CheerioCrawler, ProxyConfiguration } from 'crawlee';
await Actor.init();
// Mengirimkan daftar proksi sendiri alih-alih useApifyProxy
const proxyConfiguration = new ProxyConfiguration({
proxyUrls: [
'http://user:[email protected]:12345',
'http://user:[email protected]:12345',
'http://user:[email protected]:12345',
],
});
const crawler = new CheerioCrawler({
proxyConfiguration,
maxRequestsPerCrawl: 5000,
async requestHandler({ request, $, log }) {
const title = $('title').text();
log.info(`Halaman yang diambil: ${title}`);
await Actor.pushData({ url: request.url, title });
},
});
await crawler.run(['https://www.wildberries.ru/catalog/...']);
await Actor.exit();Jika kumpulan proksi Anda mendukung rotasi di sisi penyedia (sebagian besar layanan residensial bekerja seperti ini, termasuk kumpulan dengan rotasi berdasarkan sesi atau permintaan), cukup tentukan satu endpoint dengan parameter sesi dalam URL — maka rotasi IP akan terjadi secara otomatis tanpa perlu secara manual mencantumkan ratusan alamat.
Untuk aktor di Python (misalnya, jika Anda menjalankan skrip kustom melalui Apify SDK untuk Python) penghubungan terlihat mirip:
import requests
proxies = {
"http": "http://user:[email protected]:12345",
"https": "http://user:[email protected]:12345",
}
response = requests.get(
"https://www.ozon.ru/category/...",
proxies=proxies,
headers={"User-Agent": "Mozilla/5.0"},
timeout=15
)
print(response.status_code)
print(response.text[:500])Poin penting: saat beralih ke proksi sendiri, pastikan untuk mengatur rotasi sesi dan jeda antara permintaan secara manual — Apify Proxy bawaan melakukannya secara otomatis, tetapi saat menghubungkan kumpulan eksternal, logika ini perlu ditulis dalam kode aktor atau dalam konfigurasi crawler.
Tabel perbandingan: bawaan vs proksi sendiri
| Kriteria | Apify Proxy (bawaan) | Kumpulan proksi sendiri |
|---|---|---|
| Kecepatan penghubungan | Satu baris kode, tanpa pengaturan | Memerlukan 15-30 menit untuk integrasi |
| Biaya pada volume kecil | Lebih menguntungkan | Berlebihan untuk peluncuran jarang |
| Biaya dari 10-50 GB/bulan | Meningkat sebanding dengan lalu lintas | Lebih menguntungkan, sering kali model tetap |
| "Kebersihan" kumpulan IP | Kumpulan umum, kemungkinan tumpang tindih dengan klien lain | Kumpulan khusus atau rotasi untuk kebutuhan Anda |
| Fleksibilitas geo-targeting | Set negara/wilayah yang terbatas | Pemilihan kota/wilayah tertentu untuk marketplace |
| Kontrol atas rotasi | Otomatis, tanpa pengaturan | Dapat disesuaikan secara manual sesuai pola yang diperlukan |
Kasus: pengambilan data dari marketplace dalam praktik
Pemantauan harga di Wildberries. Penjual yang memantau harga pesaing untuk 3000-10000 SKU beberapa kali sehari biasanya memulai dengan Apify Proxy bawaan, tetapi setelah bulan pertama dengan tagihan besar untuk lalu lintas, mereka beralih ke proksi residensial dengan pengikatan ke wilayah. Ini tidak hanya mengurangi biaya, tetapi juga memungkinkan mereka melihat harga seperti yang dilihat oleh pembeli dari kota tertentu — yang sangat penting, karena Wildberries menunjukkan harga yang berbeda tergantung pada gudang dan wilayah pengiriman.
Pengumpulan kartu produk di Ozon. Ozon secara aktif menggunakan analisis perilaku dan dengan cepat memblokir IP pada pola permintaan yang monoton. Aktor yang bekerja melalui kumpulan umum Apify Proxy lebih sering menghadapi captcha karena IP yang sama digunakan secara bersamaan oleh pengguna lain dari platform untuk tugas serupa. Beralih ke kumpulan proksi residensial khusus dengan logika rotasi sendiri dan jeda acak antara permintaan mengurangi frekuensi captcha beberapa kali lipat.
Pengambilan data dari Google Maps dan ulasan. Untuk tugas yang tidak memerlukan spesifikasi geo (misalnya, mengumpulkan data kontak perusahaan di seluruh negeri), sering kali cukup menggunakan proksi pusat data — mereka lebih cepat daripada residensial dan jauh lebih murah pada volume besar, jika situs target tidak menerapkan perlindungan anti-bot yang agresif.
Daftar periksa pemilihan proksi untuk proyek Apify
- Hitung volume lalu lintas nyata aktor dalam sebulan (permintaan × berat rata-rata halaman)
- Bandingkan volume ini dengan tarif Apify Proxy bawaan — jika lebih dari 5-10 GB secara teratur, pertimbangkan alternatif
- Tentukan seberapa sensitif situs target terhadap bot — marketplace seperti Ozon memerlukan IP residensial
- Periksa apakah perlu pengikatan geo ke wilayah tertentu (relevan untuk Wildberries dan Ozon)
- Atur rotasi sesi dan jeda antara permintaan secara manual saat beralih ke kumpulan eksternal
- Matikan pemuatan sumber daya yang tidak perlu (gambar, font, pelacak) di aktor — ini akan mengurangi konsumsi lalu lintas terlepas dari jenis proksi
- Uji kumpulan pada volume kecil sebelum memindahkan semua aktor ke konfigurasi baru
Kesimpulan
Apify Proxy bawaan adalah awal yang nyaman untuk tugas sekali dan peluncuran pengujian kecil, tetapi pada pengambilan data reguler atau industri dari marketplace, biayanya dengan cepat melebihi biaya untuk kumpulan proksi sendiri. Beralih memerlukan sedikit lebih banyak pengaturan di awal — menulis rotasi, sesi, dan konfigurasi proksi dalam kode aktor — tetapi terbayar dalam bulan pertama pada volume dari 10-50 GB lalu lintas.
Jika aktor Anda mengumpulkan data dari Wildberries, Ozon, atau Amazon, pertimbangkan untuk menggunakan proksi residensial — mereka memberikan risiko pemblokiran yang rendah dan memungkinkan Anda menetapkan wilayah yang diperlukan untuk tampilan harga yang akurat. Untuk sumber yang kurang terlindungi tanpa perlindungan anti-bot yang ketat, proksi pusat data yang lebih terjangkau dapat digunakan, dan untuk pengambilan data dari aplikasi seluler dan media sosial melalui aktor Apify, pertimbangkan proksi seluler — mereka memberikan "kebersihan" IP maksimum dengan risiko deteksi yang minimal.