Hugging Face adalah pusat terbesar untuk model AI, dataset, dan ruang kerja. Namun, pengguna dari Rusia, China, dan sejumlah negara lain sering menghadapi pemblokiran: halaman tidak dimuat, pengunduhan model terputus, API mengembalikan kesalahan 403. Jika Anda bekerja dengan jaringan saraf dan memerlukan akses stabil ke repositori — proxy menyelesaikan masalah ini dengan cepat dan tanpa pengaturan yang rumit.
Mengapa Hugging Face tidak tersedia: penyebab pemblokiran
Sebelum mengatur proxy, penting untuk memahami mengapa masalah akses terjadi. Penyebabnya bisa bervariasi, dan dari situ tergantung solusi mana yang tepat untuk Anda.
Pemblokiran geografis oleh penyedia layanan. Di Rusia, sejumlah penyedia internet memblokir atau memperlambat lalu lintas ke sumber daya luar negeri atas permintaan regulator. Hugging Face secara berkala terkena batasan semacam ini — terutama server CDN-nya, melalui mana file model dengan ukuran dari beberapa gigabyte hingga ratusan GB diunduh.
Firewall perusahaan. Jika Anda bekerja di perusahaan atau universitas, administrator jaringan mungkin memblokir akses ke repositori eksternal. Ini terutama berlaku untuk lembaga pemerintah dan perusahaan besar, di mana kebijakan keamanan melarang pengunduhan file dari sumber yang tidak dikenal.
Batasan dari Hugging Face itu sendiri. Pada tahun 2024, platform ini memberlakukan batasan untuk sejumlah wilayah dalam mengunduh model tertentu — terutama yang termasuk dalam kontrol ekspor AS. Model yang diberi label "restricted" mungkin memerlukan verifikasi akun atau bahkan tidak dapat diakses dari alamat IP tertentu.
Ketidakstabilan koneksi dan pemutusan. Bahkan jika tidak ada pemblokiran formal, pengalihan lalu lintas dari Rusia ke server Hugging Face di AS dan Eropa bisa sangat tidak stabil, sehingga pengunduhan model 20 GB terus-menerus terputus. Proxy dengan server di AS atau Eropa memperbaiki masalah ini — lalu lintas berjalan melalui saluran yang stabil.
Pembatasan berdasarkan IP. Hugging Face membatasi jumlah permintaan dari satu alamat IP. Jika Anda secara otomatis mengunduh beberapa model berturut-turut atau menggunakan skrip untuk mengunduh dataset secara massal, platform dapat sementara memblokir IP Anda. Rotasi proxy menyelesaikan masalah ini.
Penting: VPN bukanlah hal yang sama dengan proxy. VPN mengenkripsi semua lalu lintas perangkat dan sering memperlambat koneksi. Proxy bekerja pada tingkat aplikasi atau skrip tertentu, yang lebih nyaman untuk mengunduh file besar dan otomatisasi.
Apa yang diberikan proxy saat bekerja dengan Hugging Face
Server proxy bertindak sebagai perantara antara komputer Anda dan server Hugging Face. Alih-alih koneksi langsung (yang mungkin diblokir atau tidak stabil), permintaan dilakukan melalui server proxy yang terletak di negara dengan akses normal.
Berikut adalah apa yang secara konkret diberikan dalam praktik:
- Pengunduhan file besar yang stabil. Model seperti LLaMA 3, Mistral, Stable Diffusion memiliki ukuran dari 4 hingga 150+ GB. Melalui proxy dengan server di Eropa atau AS, pengunduhan dilakukan tanpa terputus, karena saluran ke Hugging Face pendek dan stabil.
- Melawan pemblokiran geografis penyedia layanan. Penyedia Anda hanya melihat lalu lintas ke server proxy — bukan ke Hugging Face. Pemblokiran teratasi secara otomatis.
- Perubahan IP untuk menghindari pembatasan. Jika perlu mengunduh banyak model atau dataset berturut-turut, rotasi proxy memungkinkan Anda menghindari pemblokiran sementara berdasarkan IP.
- Bekerja di server tanpa GUI. Proxy mudah diatur melalui variabel lingkungan — ini nyaman untuk bekerja di server jarak jauh, dalam wadah Docker, Jupyter notebooks, dan pipeline CI/CD.
- Akses ke model yang dibatasi. Beberapa model hanya tersedia dari IP negara tertentu. Proxy dengan geolokasi yang diperlukan membuka akses ke mereka.
Pada saat yang sama, proxy tidak memerlukan perubahan dalam kode proyek Anda — cukup satu kali mengatur pengaturan dalam sistem atau lingkungan, dan semua alat (huggingface_hub, transformers, git-lfs) akan mulai bekerja melalui proxy secara otomatis.
Jenis proxy apa yang cocok untuk mengunduh model
Tidak semua proxy cocok untuk bekerja dengan Hugging Face. Mari kita bahas jenis utama dan penerapannya untuk tugas ini.
| Jenis Proxy | Kecepatan | Stabilitas | Untuk Hugging Face | Kapan memilih |
|---|---|---|---|---|
| Data Center (DC) | ⚡ Tinggi | ✅ Tinggi | ✅ Sangat Baik | Pengunduhan model massal, skrip, CI/CD |
| Residental | 🔄 Sedang | ✅ Tinggi | ✅ Baik | Akses ke model yang dibatasi, menghindari pemeriksaan |
| Mobile | 🔄 Sedang | ⚠️ Tergantung | ⚠️ Berlebihan | Tidak diperlukan untuk tugas ini |
| Gratis | ❌ Rendah | ❌ Rendah | ❌ Tidak cocok | Tidak cocok untuk pekerjaan serius di mana pun |
Untuk sebagian besar tugas dengan Hugging Face, pilihan optimal adalah proxy data center. Mereka memberikan kecepatan pengunduhan maksimum (penting saat mengunduh model berukuran puluhan GB), koneksi stabil, dan IP tetap. Untuk mengunduh model seberat 30 GB, perbedaan antara proxy lambat dan cepat adalah perbedaan antara 2 jam dan 20 menit.
Proxy Residental berguna jika Anda menghadapi situasi di mana Hugging Face memblokir IP data center (ini terjadi untuk beberapa model yang dibatasi). IP residensial terlihat seperti pengguna rumah biasa dan jarang menimbulkan kecurigaan pada sistem perlindungan platform.
Proxy mobile untuk mengunduh model berlebihan — mereka lebih mahal, dan keuntungan penggunaannya (kepercayaan tinggi platform terhadap IP mobile) tidak diperlukan di sini. Hugging Face bukanlah jejaring sosial dengan perlindungan anti-spam, jadi cukup gunakan proxy DC biasa atau proxy residensial.
Pengaturan proxy untuk akses melalui browser
Jika Anda hanya perlu membuka situs Hugging Face, menjelajahi model, atau mengunduh file secara manual melalui antarmuka web — atur proxy di browser. Ini adalah opsi paling sederhana.
Opsi 1: Ekstensi untuk browser (untuk tugas sekali saja)
Instal ekstensi FoxyProxy (Firefox) atau Proxy SwitchyOmega (Chrome/Edge). Setelah instalasi:
- Buka pengaturan ekstensi
- Tambahkan profil proxy baru
- Tentukan jenis: HTTP atau SOCKS5
- Masukkan alamat server (host) dan port
- Jika proxy memerlukan otorisasi — masukkan nama pengguna dan kata sandi
- Simpan profil dan aktifkan
- Buka huggingface.co — situs harus dimuat
Opsi 2: Pengaturan sistem proxy (untuk Windows)
Jika Anda ingin proxy berfungsi untuk seluruh komputer (termasuk browser, skrip Python, dan aplikasi lainnya):
- Buka Pengaturan → Jaringan dan Internet → Proxy
- Aktifkan "Gunakan proxy"
- Masukkan alamat dan port
- Di kolom pengecualian, tambahkan localhost dan 127.0.0.1
- Simpan pengaturan
💡 Tips: Untuk mengunduh model besar melalui browser, gunakan pengelola unduhan (misalnya, Free Download Manager) — ini mendukung melanjutkan pengunduhan saat koneksi terputus dan bekerja dengan pengaturan sistem proxy.
Pengaturan proxy untuk CLI dan lingkungan Python
Sebagian besar pengguna Hugging Face mengunduh model melalui command line atau skrip Python — menggunakan pustaka huggingface_hub, transformers atau langsung melalui git lfs. Untuk semua alat ini, proxy diatur melalui variabel lingkungan.
Langkah 1. Atur variabel lingkungan
Ini adalah cara paling universal — sebagian besar pustaka Python dan utilitas sistem secara otomatis mengambil variabel ini:
# Untuk Linux / macOS (di terminal atau ~/.bashrc / ~/.zshrc) export HTTP_PROXY="http://username:password@proxy-host:port" export HTTPS_PROXY="http://username:password@proxy-host:port" # Untuk Windows (di PowerShell) $env:HTTP_PROXY = "http://username:password@proxy-host:port" $env:HTTPS_PROXY = "http://username:password@proxy-host:port" # Untuk Windows (di CMD) set HTTP_PROXY=http://username:password@proxy-host:port set HTTPS_PROXY=http://username:password@proxy-host:port
Gantilah username:password@proxy-host:port dengan data nyata dari proxy Anda. Jika proxy tanpa otorisasi — cukup masukkan http://proxy-host:port.
Langkah 2. Unduh model melalui huggingface_hub
Setelah mengatur variabel lingkungan, perintah standar bekerja tanpa perubahan:
# Unduh model melalui CLI huggingface-cli download mistralai/Mistral-7B-v0.1 # Atau melalui Python from huggingface_hub import snapshot_download snapshot_download(repo_id="mistralai/Mistral-7B-v0.1")
Langkah 3. Pengaturan proxy langsung di Python (jika variabel lingkungan tidak berfungsi)
Dalam beberapa kasus — misalnya, di Jupyter Notebook atau saat menjalankan melalui IDE — variabel lingkungan mungkin tidak diteruskan. Maka atur proxy secara eksplisit dalam kode:
import os import requests from huggingface_hub import snapshot_download # Mengatur proxy melalui os.environ os.environ["HTTP_PROXY"] = "http://username:password@proxy-host:port" os.environ["HTTPS_PROXY"] = "http://username:password@proxy-host:port" # Sekarang unduh model — proxy akan diterapkan secara otomatis snapshot_download(repo_id="meta-llama/Meta-Llama-3-8B")
Pengaturan proxy untuk git lfs
Jika Anda mengkloning repositori melalui git (metode git clone), Anda perlu mengatur proxy untuk git secara terpisah:
# Pengaturan HTTP-proxy untuk git git config --global http.proxy http://username:password@proxy-host:port git config --global https.proxy http://username:password@proxy-host:port # Kloning repositori dengan model git clone https://huggingface.co/mistralai/Mistral-7B-v0.1 # Untuk menghapus proxy setelah digunakan git config --global --unset http.proxy git config --global --unset https.proxy
⚠️ Penting: git lfs (Large File Storage) menggunakan saluran terpisah untuk mengunduh file besar. Jika variabel lingkungan HTTP_PROXY diatur secara global — git lfs akan mengambilnya. Jika tidak — tambahkan ke .lfsconfig di root repositori.
Menggunakan proxy di Docker dan lingkungan server
Banyak insinyur ML bekerja dengan model dalam wadah Docker atau di server jarak jauh (AWS, GCP, Hetzner, server sendiri). Jika server berada di Rusia atau negara lain dengan akses terbatas ke Hugging Face — proxy perlu diatur di tingkat wadah atau sistem.
Opsi 1: Mengirim proxy ke Docker melalui variabel lingkungan
Saat menjalankan wadah, kirim variabel lingkungan melalui flag -e:
docker run -it \ -e HTTP_PROXY="http://username:password@proxy-host:port" \ -e HTTPS_PROXY="http://username:password@proxy-host:port" \ -e NO_PROXY="localhost,127.0.0.1" \ python:3.11 bash
Opsi 2: Proxy di Dockerfile
Jika proxy diperlukan pada tahap pembuatan gambar (misalnya, untuk mengunduh model selama docker build):
FROM python:3.11
# Mengatur proxy untuk pembuatan
ARG HTTP_PROXY
ARG HTTPS_PROXY
ENV HTTP_PROXY=$HTTP_PROXY
ENV HTTPS_PROXY=$HTTPS_PROXY
RUN pip install huggingface_hub transformers
# Mengunduh model saat pembuatan
RUN python -c "from huggingface_hub import snapshot_download; snapshot_download('mistralai/Mistral-7B-v0.1')"
Jalankan pembuatan dengan mengirim proxy:
docker build \ --build-arg HTTP_PROXY="http://username:password@proxy-host:port" \ --build-arg HTTPS_PROXY="http://username:password@proxy-host:port" \ -t my-ml-app .
Opsi 3: Pengaturan proxy di tingkat server (Ubuntu/Debian)
Jika Anda ingin proxy berfungsi untuk semua pengguna dan proses di server — tambahkan pengaturan ke konfigurasi sistem:
# Tambahkan ke /etc/environment HTTP_PROXY="http://username:password@proxy-host:port" HTTPS_PROXY="http://username:password@proxy-host:port" NO_PROXY="localhost,127.0.0.1,::1" # Terapkan perubahan source /etc/environment
Setelah itu, semua perintah — pip install, huggingface-cli download, wget, curl — akan secara otomatis menggunakan proxy.
Untuk tugas server, di mana kecepatan pengunduhan file besar sangat penting, proxy data center sangat cocok — mereka memberikan bandwidth tinggi dan koneksi stabil, yang sangat penting saat mengunduh model seberat 20–100+ GB.
Checklist: cara memeriksa apakah proxy berfungsi dengan benar
Sebelum memulai pengunduhan model berat, pastikan proxy diatur dengan benar. Berikut adalah checklist cepat untuk pemeriksaan:
1. Periksa apakah proxy berfungsi
# Periksa melalui curl — harus mengembalikan IP server proxy, bukan IP nyata Anda
curl -x http://username:password@proxy-host:port https://api.ipify.org
# Periksa melalui Python
import requests
proxies = {"http": "http://username:password@proxy-host:port",
"https": "http://username:password@proxy-host:port"}
r = requests.get("https://api.ipify.org", proxies=proxies)
print(r.text) # Harus mengeluarkan IP proxy, bukan IP Anda
2. Periksa ketersediaan Hugging Face melalui proxy
curl -x http://username:password@proxy-host:port https://huggingface.co/api/models?limit=1 # Hasil yang diharapkan: JSON dengan data model (status 200)
3. Periksa kecepatan pengunduhan
# Unduh file uji kecil dan ukur kecepatannya curl -x http://username:password@proxy-host:port \ -o /dev/null \ --progress-bar \ "https://huggingface.co/bert-base-uncased/resolve/main/config.json"
✅ Checklist sebelum mengunduh model:
- IP proxy ditampilkan saat memeriksa melalui api.ipify.org
- API Hugging Face mengembalikan status 200
- Kecepatan pengunduhan file uji > 5 MB/s (untuk kenyamanan kerja)
- Variabel HTTP_PROXY dan HTTPS_PROXY diatur di lingkungan yang diperlukan
- Untuk git — pengaturan proxy ditulis melalui git config
- Untuk Docker — variabel dikirim melalui -e atau ARG
- NO_PROXY berisi localhost dan 127.0.0.1
Kesalahan umum dan cara menghindarinya
Kami mengumpulkan masalah paling umum yang dihadapi saat mengatur proxy untuk Hugging Face, serta cara penyelesaiannya.
Kesalahan 1: SSL certificate verify failed
Beberapa proxy (terutama yang perusahaan) menangkap lalu lintas HTTPS dan mengganti sertifikat SSL. Pustaka Python tidak mempercayai sertifikat semacam itu dan mengeluarkan kesalahan.
Solusi: Gunakan proxy berkualitas yang tidak menangkap SSL. Jika ini adalah proxy perusahaan — tambahkan sertifikat root perusahaan ke dalam daftar yang dipercaya melalui variabel REQUESTS_CA_BUNDLE.
Kesalahan 2: Proxy berfungsi di browser, tetapi tidak di Python
Pengaturan sistem proxy Windows tidak selalu diteruskan ke Python. Browser membacanya, tetapi Python tidak.
Solusi: Secara eksplisit atur variabel lingkungan HTTP_PROXY dan HTTPS_PROXY sebelum menjalankan skrip atau tambahkan di awal file Python melalui os.environ.
Kesalahan 3: Pengunduhan dimulai, tetapi terputus di tengah
Proxy dengan batas lalu lintas atau koneksi yang tidak stabil dapat memutus pengunduhan file besar.
Solusi: Gunakan proxy tanpa batas lalu lintas. Pustaka huggingface_hub mendukung melanjutkan pengunduhan — jika pengunduhan terputus, jalankan perintah lagi dengan jalur yang sama, dan itu akan dilanjutkan dari tempat terhenti.
Kesalahan 4: 407 Proxy Authentication Required
Proxy memerlukan otorisasi, tetapi tidak diteruskan dalam permintaan.
Solusi: Pastikan bahwa dalam URL proxy, nama pengguna dan kata sandi ditulis dengan benar: http://login:password@host:port. Jika kata sandi mengandung karakter khusus (@, #, %) — encode mereka melalui URL-encoding.
Kesalahan 5: Proxy berfungsi, tetapi Hugging Face tetap tidak tersedia
Ini berarti bahwa server proxy itu sendiri berada di wilayah yang diblokir atau memiliki masalah dengan pengalihan ke Hugging Face.
Solusi: Periksa geolokasi server proxy. Untuk akses ke Hugging Face, pilih proxy dengan server di AS, Jerman, Belanda, atau negara Eropa lainnya. Hindari proxy dari Rusia, China, Iran — mereka mungkin memiliki batasan yang sama.
Kesalahan 6: Variabel lingkungan tidak disimpan setelah reboot
Jika Anda mengatur variabel melalui export di terminal — mereka hanya berfungsi di sesi saat ini.
Solusi: Tambahkan baris export HTTP_PROXY=... ke file ~/.bashrc atau ~/.zshrc (Linux/macOS) atau di variabel lingkungan sistem Windows melalui "Properti Sistem".
Kesimpulan
Mengatur proxy untuk Hugging Face adalah tugas yang tidak rumit yang menyelesaikan beberapa masalah sekaligus: menghindari pemblokiran geografis, pengunduhan model berat yang stabil, menghindari pembatasan, dan akses ke repositori yang dibatasi. Keuntungan utama dari pendekatan melalui variabel lingkungan adalah universalitas: sekali diatur, semua alat (huggingface_hub, transformers, git lfs, curl) bekerja melalui proxy secara otomatis.
Untuk sebagian besar tugas — mengunduh model, bekerja dengan skrip, lingkungan server — pilihan optimal adalah proxy data center: mereka memberikan kecepatan maksimum dan stabilitas saat mengunduh file besar. Namun, jika Anda memerlukan akses ke model dengan batasan berdasarkan geolokasi atau platform memblokir IP data center — pertimbangkan proxy residensial dengan geolokasi yang diperlukan: mereka terlihat seperti pengguna rumah biasa dan hampir tidak menimbulkan pemblokiran.
Aturan utama saat bekerja dengan Hugging Face melalui proxy adalah — pilih server di AS atau Eropa Barat, periksa koneksi sebelum mengunduh model berat, dan jangan lupa tentang variabel NO_PROXY, agar lalu lintas lokal berjalan langsung.