Proxys für Hugging Face: So laden Sie KI-Modelle aus gesperrten Regionen ohne Einschränkungen herunter

```html

Hugging Face ist das größte Hub für KI-Modelle, Datensätze und Räume. Doch Nutzer aus Russland, China und einer Reihe anderer Länder stoßen regelmäßig auf Blockaden: Die Seite lädt nicht, der Modell-Download bricht ab, die API gibt einen Fehler 403 zurück. Wenn Sie mit neuronalen Netzen arbeiten und einen stabilen Zugang zu Repositories benötigen, lösen Proxys dieses Problem schnell und ohne komplizierte Einstellungen.

Warum Hugging Face nicht verfügbar ist: Gründe für Blockaden

Bevor Sie einen Proxy einrichten, ist es wichtig zu verstehen, warum es Probleme mit dem Zugang gibt. Die Gründe können unterschiedlich sein, und davon hängt ab, welche Lösung für Sie geeignet ist.

Geoblockierung durch den Anbieter. In Russland blockieren oder verlangsamen einige Internetanbieter den Verkehr zu ausländischen Ressourcen auf Anordnung der Regulierungsbehörden. Hugging Face fällt gelegentlich unter solche Einschränkungen – insbesondere seine CDN-Server, über die Dateien von Modellen mit einem Gewicht von mehreren Gigabyte bis hin zu Hunderten von GB übertragen werden.

Unternehmensfirewalls. Wenn Sie in einem Unternehmen oder einer Universität arbeiten, können Netzwerkadministratoren den Zugang zu externen Repositories blockieren. Dies ist besonders relevant für staatliche Einrichtungen und große Unternehmen, in denen die Sicherheitsrichtlinien das Herunterladen von Dateien aus unbekannten Quellen verbieten.

Einschränkungen von Hugging Face selbst. Im Jahr 2024 führte die Plattform Einschränkungen für eine Reihe von Regionen beim Download bestimmter Modelle ein – insbesondere für solche, die unter den Exportkontrollen der USA stehen. Modelle mit dem Vermerk "restricted" können eine Verifizierung des Kontos erfordern oder von bestimmten IP-Adressen aus überhaupt nicht verfügbar sein.

Instabilität der Verbindung und Abbrüche. Selbst wenn es keine formale Blockierung gibt, kann die Routenführung des Verkehrs aus Russland zu den Hugging Face-Servern in den USA und Europa so instabil sein, dass der Download eines 20 GB großen Modells ständig unterbrochen wird. Proxys mit Servern in den USA oder Europa beheben dieses Problem – der Verkehr läuft über einen stabilen Kanal.

Rate Limiting nach IP. Hugging Face begrenzt die Anzahl der Anfragen von einer IP-Adresse. Wenn Sie automatisch mehrere Modelle hintereinander herunterladen oder Skripte für den Massen-Download von Datensätzen verwenden, kann die Plattform Ihre IP vorübergehend blockieren. Die Rotation von Proxys löst dieses Problem.

Wichtig: VPN ist nicht dasselbe wie ein Proxy. VPN verschlüsselt den gesamten Verkehr des Geräts und verlangsamt oft die Verbindung. Ein Proxy arbeitet auf der Ebene einer bestimmten Anwendung oder eines Skripts, was beim Herunterladen großer Dateien und bei der Automatisierung praktischer ist.

Was Proxys bei der Arbeit mit Hugging Face bieten

Ein Proxy-Server fungiert als Vermittler zwischen Ihrem Computer und den Hugging Face-Servern. Anstatt eine direkte Verbindung (die blockiert oder instabil sein kann) herzustellen, erfolgt die Anfrage über den Proxy-Server, der sich in einem Land mit normalem Zugang befindet.

Das bringt konkret Folgendes in der Praxis:

• Stabiler Download großer Dateien. Modelle wie LLaMA 3, Mistral, Stable Diffusion wiegen zwischen 4 und 150+ GB. Über einen Proxy mit einem Server in Europa oder den USA erfolgt der Download ohne Unterbrechungen, da der Kanal zu Hugging Face kurz und stabil ist.
• Umgehung der Geoblockierungen des Anbieters. Ihr Anbieter sieht nur den Verkehr zum Proxy-Server – nicht zu Hugging Face. Die Blockierung wird automatisch umgangen.
• IP-Wechsel zur Umgehung von Rate Limiting. Wenn Sie viele Modelle oder Datensätze hintereinander herunterladen müssen, ermöglicht die Rotation von Proxys, vorübergehende IP-Blockierungen zu vermeiden.
• Arbeiten auf Servern ohne GUI. Proxys lassen sich einfach über Umgebungsvariablen einrichten – das ist praktisch für die Arbeit auf Remote-Servern, in Docker-Containern, Jupyter-Notebooks und CI/CD-Pipelines.
• Zugang zu restricted-Modellen. Einige Modelle sind nur von IPs bestimmter Länder aus verfügbar. Proxys mit der erforderlichen Geolokation eröffnen den Zugang zu ihnen.

Dabei erfordert der Proxy keine Änderungen am Code Ihres Projekts – es genügt, die Einstellungen einmal im System oder in der Umgebung festzulegen, und alle Tools (huggingface_hub, transformers, git-lfs) beginnen automatisch über den Proxy zu arbeiten.

Welche Proxy-Typen für den Download von Modellen geeignet sind

Nicht alle Proxys sind gleich gut für die Arbeit mit Hugging Face geeignet. Lassen Sie uns die Haupttypen und ihre Anwendbarkeit für diese Aufgabe untersuchen.

Für die meisten Aufgaben mit Hugging Face ist die optimale Wahl ein Proxy aus Rechenzentren. Sie bieten die maximale Downloadgeschwindigkeit (wichtig beim Herunterladen von Modellen mit mehreren Dutzend GB), eine stabile Verbindung und eine feste IP. Für den Download eines 30 GB großen Modells beträgt der Unterschied zwischen einem langsamen und einem schnellen Proxy den Unterschied zwischen 2 Stunden und 20 Minuten.

Residential Proxys sind nützlich, wenn Sie feststellen, dass Hugging Face die IPs von Rechenzentren blockiert (das passiert bei einigen restricted-Modellen). Residential IPs sehen aus wie normale Heimnutzer und wecken seltener Verdacht bei den Schutzsystemen der Plattform.

Mobile Proxys sind für den Download von Modellen überflüssig – sie sind teurer, und die Vorteile ihrer Nutzung (hohes Vertrauen der Plattform in mobile IPs) sind hier nicht erforderlich. Hugging Face ist kein soziales Netzwerk mit Antispam-Schutz, daher genügen normale DC- oder Residential-Proxys.

Proxy für den Zugriff über den Browser einrichten

Wenn Sie einfach die Hugging Face-Website öffnen, Modelle erkunden oder eine Datei manuell über die Weboberfläche herunterladen möchten, richten Sie den Proxy im Browser ein. Dies ist die einfachste Option.

Option 1: Browsererweiterung (für einmalige Aufgaben)

Installieren Sie die Erweiterung FoxyProxy (Firefox) oder Proxy SwitchyOmega (Chrome/Edge). Nach der Installation:

1. Öffnen Sie die Einstellungen der Erweiterung
2. Fügen Sie ein neues Proxy-Profil hinzu
3. Geben Sie den Typ an: HTTP oder SOCKS5
4. Geben Sie die Adresse des Servers (Host) und den Port ein
5. Wenn der Proxy mit Authentifizierung ist – geben Sie Benutzername und Passwort ein
6. Speichern Sie das Profil und aktivieren Sie es
7. Öffnen Sie huggingface.co – die Seite sollte geladen werden

Option 2: Systemeinstellungen für Proxys (für Windows)

Wenn Sie möchten, dass der Proxy für den gesamten Computer funktioniert (einschließlich Browser, Python-Skripte und andere Anwendungen):

1. Öffnen Sie Einstellungen → Netzwerk und Internet → Proxyserver
2. Aktivieren Sie "Proxyserver verwenden"
3. Geben Sie die Adresse und den Port ein
4. Fügen Sie in das Ausnahmeliste localhost und 127.0.0.1 hinzu
5. Speichern Sie die Einstellungen

Proxy für CLI und Python-Umgebung einrichten

Die meisten Nutzer von Hugging Face laden Modelle über die Kommandozeile oder Python-Skripte herunter – mit Hilfe der Bibliotheken huggingface_hub, transformers oder direkt über git lfs. Für all diese Tools wird der Proxy über Umgebungsvariablen eingerichtet.

Schritt 1. Umgebungsvariablen festlegen

Dies ist die universellste Methode – die meisten Python-Bibliotheken und System-Utilities erfassen diese Variablen automatisch:

# Für Linux / macOS (im Terminal oder ~/.bashrc / ~/.zshrc)
export HTTP_PROXY="http://username:password@proxy-host:port"
export HTTPS_PROXY="http://username:password@proxy-host:port"

# Für Windows (in PowerShell)
$env:HTTP_PROXY = "http://username:password@proxy-host:port"
$env:HTTPS_PROXY = "http://username:password@proxy-host:port"

# Für Windows (in CMD)
set HTTP_PROXY=http://username:password@proxy-host:port
set HTTPS_PROXY=http://username:password@proxy-host:port

Ersetzen Sie username:password@proxy-host:port durch die tatsächlichen Daten Ihres Proxys. Wenn der Proxy ohne Authentifizierung ist – geben Sie einfach http://proxy-host:port an.

Schritt 2. Modell über huggingface_hub herunterladen

Nach dem Festlegen der Umgebungsvariablen funktionieren die Standardbefehle ohne Änderungen:

# Modell über CLI herunterladen
huggingface-cli download mistralai/Mistral-7B-v0.1

# Oder über Python
from huggingface_hub import snapshot_download
snapshot_download(repo_id="mistralai/Mistral-7B-v0.1")

Schritt 3. Proxy direkt in Python einrichten (wenn Umgebungsvariablen nicht funktionieren)

In einigen Fällen – z. B. in Jupyter Notebook oder beim Start über eine IDE – können die Umgebungsvariablen nicht übergeben werden. Dann richten Sie den Proxy explizit im Code ein:

import os
import requests
from huggingface_hub import snapshot_download

# Proxy über os.environ festlegen
os.environ["HTTP_PROXY"] = "http://username:password@proxy-host:port"
os.environ["HTTPS_PROXY"] = "http://username:password@proxy-host:port"

# Jetzt das Modell herunterladen – der Proxy wird automatisch angewendet
snapshot_download(repo_id="meta-llama/Meta-Llama-3-8B")

Proxy für git lfs einrichten

Wenn Sie ein Repository über git klonen (Methode git clone), müssen Sie den Proxy für git separat einrichten:

# HTTP-Proxy für git einrichten
git config --global http.proxy http://username:password@proxy-host:port
git config --global https.proxy http://username:password@proxy-host:port

# Klonen des Repositories mit dem Modell
git clone https://huggingface.co/mistralai/Mistral-7B-v0.1

# Um den Proxy nach der Verwendung zu entfernen
git config --global --unset http.proxy
git config --global --unset https.proxy

Verwendung von Proxys in Docker und Serverumgebungen

Viele ML-Ingenieure arbeiten mit Modellen in Docker-Containern oder auf Remote-Servern (AWS, GCP, Hetzner, eigene Server). Wenn der Server in Russland oder einem anderen Land mit eingeschränktem Zugang zu Hugging Face ist, muss der Proxy auf Container- oder Systemeebene eingerichtet werden.

Option 1: Proxy in Docker über Umgebungsvariablen übergeben

Beim Starten des Containers übergeben Sie die Umgebungsvariablen mit dem Flag -e:

docker run -it \
  -e HTTP_PROXY="http://username:password@proxy-host:port" \
  -e HTTPS_PROXY="http://username:password@proxy-host:port" \
  -e NO_PROXY="localhost,127.0.0.1" \
  python:3.11 bash

Option 2: Proxy im Dockerfile

Wenn der Proxy während des Build-Prozesses benötigt wird (z. B. zum Herunterladen eines Modells während docker build):

FROM python:3.11

# Proxy für den Build festlegen
ARG HTTP_PROXY
ARG HTTPS_PROXY
ENV HTTP_PROXY=$HTTP_PROXY
ENV HTTPS_PROXY=$HTTPS_PROXY

RUN pip install huggingface_hub transformers

# Modell während des Builds herunterladen
RUN python -c "from huggingface_hub import snapshot_download; snapshot_download('mistralai/Mistral-7B-v0.1')"

Starten Sie den Build mit der Übergabe des Proxys:

docker build \
  --build-arg HTTP_PROXY="http://username:password@proxy-host:port" \
  --build-arg HTTPS_PROXY="http://username:password@proxy-host:port" \
  -t my-ml-app .

Option 3: Proxy auf Serverebene einrichten (Ubuntu/Debian)

Wenn Sie möchten, dass der Proxy für alle Benutzer und Prozesse auf dem Server funktioniert – fügen Sie die Einstellungen in die Systemkonfiguration ein:

# Fügen Sie in /etc/environment hinzu
HTTP_PROXY="http://username:password@proxy-host:port"
HTTPS_PROXY="http://username:password@proxy-host:port"
NO_PROXY="localhost,127.0.0.1,::1"

# Änderungen anwenden
source /etc/environment

Danach verwenden alle Befehle – pip install, huggingface-cli download, wget, curl – den Proxy automatisch.

Für serverseitige Aufgaben, bei denen die Geschwindigkeit beim Herunterladen großer Dateien wichtig ist, sind Rechenzentrums-Proxys gut geeignet – sie bieten eine hohe Bandbreite und eine stabile Verbindung, was beim Herunterladen von Modellen mit einem Gewicht von 20–100+ GB entscheidend ist.

Checkliste: So überprüfen Sie, ob der Proxy richtig funktioniert

Bevor Sie den Download eines schweren Modells starten, stellen Sie sicher, dass der Proxy korrekt eingerichtet ist. Hier ist eine schnelle Checkliste zur Überprüfung:

1. Überprüfen Sie, ob der Proxy überhaupt funktioniert

# Überprüfung über curl – sollte die IP des Proxy-Servers zurückgeben, nicht Ihre echte IP
curl -x http://username:password@proxy-host:port https://api.ipify.org

# Überprüfung über Python
import requests
proxies = {"http": "http://username:password@proxy-host:port",
           "https": "http://username:password@proxy-host:port"}
r = requests.get("https://api.ipify.org", proxies=proxies)
print(r.text)  # Sollte die IP des Proxys ausgeben, nicht Ihre

2. Überprüfen Sie die Verfügbarkeit von Hugging Face über den Proxy

curl -x http://username:password@proxy-host:port https://huggingface.co/api/models?limit=1
# Erwartetes Ergebnis: JSON mit Modellinformationen (Status 200)

3. Überprüfen Sie die Downloadgeschwindigkeit

# Laden Sie eine kleine Testdatei herunter und messen Sie die Geschwindigkeit
curl -x http://username:password@proxy-host:port \
  -o /dev/null \
  --progress-bar \
  "https://huggingface.co/bert-base-uncased/resolve/main/config.json"

Typische Fehler und wie man sie vermeidet

Wir haben die häufigsten Probleme gesammelt, die bei der Einrichtung von Proxys für Hugging Face auftreten, und die Lösungen dafür.

Fehler 1: SSL-Zertifikat-Überprüfung fehlgeschlagen

Einige Proxys (insbesondere Unternehmensproxys) fangen HTTPS-Verkehr ab und ersetzen das SSL-Zertifikat. Python-Bibliotheken vertrauen einem solchen Zertifikat nicht und geben einen Fehler aus.

Lösung: Verwenden Sie qualitativ hochwertige Proxys, die SSL nicht abfangen. Wenn es sich um einen Unternehmensproxy handelt – fügen Sie das Root-Zertifikat des Unternehmens über die Variable REQUESTS_CA_BUNDLE zu den vertrauenswürdigen hinzu.

Fehler 2: Proxy funktioniert im Browser, aber nicht in Python

Die Systemeinstellungen für Proxys in Windows werden nicht immer an Python übergeben. Der Browser liest sie, Python jedoch nicht.

Lösung: Setzen Sie die Umgebungsvariablen HTTP_PROXY und HTTPS_PROXY explizit vor dem Ausführen des Skripts oder fügen Sie sie am Anfang der Python-Datei über os.environ hinzu.

Fehler 3: Der Download beginnt, bricht aber in der Mitte ab

Proxys mit Datenverkehrslimits oder instabilen Verbindungen können den Download großer Dateien unterbrechen.

Lösung: Verwenden Sie Proxys ohne Datenverkehrslimit. Die Bibliothek huggingface_hub unterstützt das Fortsetzen des Downloads – wenn der Download unterbrochen wurde, starten Sie den Befehl erneut mit dem gleichen Pfad, und er wird an der Stelle fortgesetzt, an der er gestoppt wurde.

Fehler 4: 407 Proxy-Authentifizierung erforderlich

Der Proxy erfordert eine Authentifizierung, die jedoch nicht in der Anfrage übergeben wird.

Lösung: Stellen Sie sicher, dass Benutzername und Passwort im Proxy-URL korrekt angegeben sind: http://login:password@host:port. Wenn das Passwort spezielle Zeichen enthält (@, #, %) – kodieren Sie sie über URL-Encoding.

Fehler 5: Proxy funktioniert, aber Hugging Face ist trotzdem nicht verfügbar

Das bedeutet, dass der Proxy-Server sich in einer blockierten Region befindet oder Probleme mit der Routenführung zu Hugging Face hat.

Lösung: Überprüfen Sie die Geolokation des Proxy-Servers. Um auf Hugging Face zuzugreifen, wählen Sie Proxys mit Servern in den USA, Deutschland, den Niederlanden oder anderen europäischen Ländern. Vermeiden Sie Proxys aus Russland, China, dem Iran – sie können die gleichen Einschränkungen haben.

Fehler 6: Umgebungsvariablen werden nach dem Neustart nicht gespeichert

Wenn Sie die Variablen über export im Terminal festgelegt haben – funktionieren sie nur in der aktuellen Sitzung.

Lösung: Fügen Sie die Zeilen export HTTP_PROXY=... in die Datei ~/.bashrc oder ~/.zshrc (Linux/macOS) oder in die Systemeinstellungen für Umgebungsvariablen in Windows über "Systemeigenschaften" ein.

Fazit

Die Einrichtung eines Proxys für Hugging Face ist eine unkomplizierte Aufgabe, die mehrere Probleme gleichzeitig löst: Umgehung von Geoblockierungen, stabiler Download schwerer Modelle, Umgehung von Rate Limiting und Zugang zu restricted-Repositories. Der entscheidende Vorteil des Ansatzes über Umgebungsvariablen ist die Universalität: Einmal eingerichtet, funktionieren alle Tools (huggingface_hub, transformers, git lfs, curl) automatisch über den Proxy.

Für die meisten Aufgaben – das Herunterladen von Modellen, die Arbeit mit Skripten, serverseitige Umgebungen – ist die optimale Wahl Rechenzentrums-Proxys: Sie bieten maximale Geschwindigkeit und Stabilität beim Herunterladen großer Dateien. Wenn Sie jedoch Zugang zu Modellen mit eingeschränktem Zugang aufgrund der Geolokation benötigen oder die Plattform die IPs von Rechenzentren blockiert – ziehen Sie Residential Proxys mit der erforderlichen Geolokation in Betracht: Sie sehen aus wie normale Heimnutzer und lösen praktisch keine Blockierungen aus.

Die wichtigste Regel bei der Arbeit mit Hugging Face über Proxys ist – wählen Sie einen Server in den USA oder Westeuropa, überprüfen Sie die Verbindung, bevor Sie schwere Modelle herunterladen, und vergessen Sie nicht die Variable NO_PROXY, damit der lokale Verkehr direkt läuft.