Proxy con password senza autorizzazione: gateway locale

Hai acquistato un proxy, hai ricevuto una stringa del tipo login:password@host:port, e il programma richiede solo "indirizzo e porta". Situazione familiare: Chrome con il flag --proxy-server, impostazioni di sistema Windows e Android, vecchio parser, Selenium-grid, utility senza campo per la password. La soluzione è la stessa da molti anni: gateway locale: un piccolo proxy sulla tua macchina che accetta connessioni senza password e inserisce automaticamente il login quando si connette al vero proxy. Analizziamo quattro strumenti collaudati, i comandi per ciascuno e gli errori su cui di solito si perdono tempo e denaro.

Perché i programmi "non capiscono" i proxy con password

Ci sono due modi per autenticarsi con il provider del proxy: tramite login e password (Basic Auth) o tramite whitelist IP. La seconda opzione risolve il problema, ma funziona solo se hai un IP esterno statico: spesso non è disponibile per la connessione Internet domestica e mobile, e per le funzioni cloud cambia ad ogni avvio. Abbiamo confrontato entrambi i metodi in dettaglio nella guida all'autenticazione del proxy.

Con login e password ci scontriamo con i limiti dei programmi stessi:

Chrome e Chromium. Il flag --proxy-server secondo la documentazione di Chromium accetta schema, host e porta (ad esempio, --proxy-server="foopy:8080") — non ci sono campi per le credenziali in questa sintassi. In una finestra normale del browser verrà mostrata una finestra di dialogo con la password, ma in modalità headless e nei test automatici non c'è nessuno che possa compilarla.
Impostazioni di sistema. Nella configurazione manuale del proxy di Windows e nelle impostazioni Wi-Fi sulla maggior parte delle versioni Android ci sono solo host e porta. La password verrà richiesta da un'applicazione specifica, oppure non potrà essere inserita da nessuna parte.
Software vecchio e personalizzato. Molti strumenti e librerie supportano i proxy, ma senza autenticazione, o si rompono con caratteri speciali nella password.
Programmi senza supporto proxy. Utility da console che non leggono né variabili d'ambiente né impostazioni.

Il gateway locale risolve tutti e quattro i casi: il programma vede il proxy 127.0.0.1:8080 senza password, mentre il gateway inoltra il traffico al provider già con il login.

Come funziona lo schema

Sulla tua macchina (o VPS, dove funziona il parser) viene avviato un server proxy leggero che ascolta una porta locale, ad esempio 127.0.0.1:8080.
Nel file di configurazione del gateway è specificato il proxy "genitore" (upstream) — indirizzo del provider, login e password.
Il programma si connette alla porta locale senza autenticazione.
Il gateway apre una connessione con il provider, passa l'autenticazione e inoltra il traffico. Per il sito appari con l'indirizzo IP del provider, non con il tuo.

HTTPS, in questo caso, non viene decrittografato: tramite un proxy HTTP, il browser stabilisce un tunnel utilizzando il metodo CONNECT, e il gateway semplicemente inoltra i byte crittografati.

Opzione 1: gost — un comando, senza configurazioni

gost (GO Simple Tunnel) — un file eseguibile su Go per Windows, macOS e Linux. Questo è il modo più veloce per avviare un gateway. In gost, il flag -L definisce il servizio locale, -F — il nodo attraverso cui inoltrare il traffico. Le credenziali sono specificate direttamente nell'indirizzo del nodo:

gost -L http://127.0.0.1:8080 -F socks5://LOGIN:PASSWORD@HOST:PORT

Ora qualsiasi programma può utilizzare il proxy HTTP 127.0.0.1:8080 senza password. Se nella password ci sono caratteri speciali (@, :, #), la documentazione di gost suggerisce di passarli tramite il parametro auth in base64:

echo -n LOGIN:PASSWORD | base64
gost -L http://127.0.0.1:8080 -F socks5://HOST:PORT?auth=<risultato_base64>

Nota: se è specificato auth, il login e la password scritti direttamente nell'indirizzo verranno ignorati da gost. Più flag -F consecutivi formano una catena di più proxy.

Quando usarlo: è necessario "collegare" rapidamente un browser o uno script a un proxy, senza installare pacchetti e modificare configurazioni.

Opzione 2: 3proxy — molte porte su una macchina

3proxy — un server proxy compatto con configurazione in un unico file. La direttiva chiave è parent; secondo la documentazione, la sua sintassi è: parent <weight> <type> <ip> <port> <username> <password>, e deve essere posizionata dopo la regola allow. La configurazione minima del gateway:

auth iponly
allow * 127.0.0.1
parent 1000 http HOST PORT LOGIN PASSWORD
proxy -p8080 -i127.0.0.1

Cosa è importante qui:

auth iponly — senza password, ma con verifica tramite ACL; la regola allow * 127.0.0.1 consente solo connessioni locali.
Il peso 1000 significa "sempre tramite questo genitore". Pesi inferiori a 1000 vengono utilizzati da 3proxy per raccogliere catene casuali.
Tipo di genitore: http, connect, socks4, socks5 e altri — scegli il protocollo fornito dal provider.
-i127.0.0.1 lega il servizio all'interfaccia locale. Per impostazione predefinita, 3proxy accetta connessioni su tutte le interfacce.

Un trucco utile: ripetere il blocco allow / parent / proxy più volte con porte diverse e diversi account del provider. In questo modo si ottiene "porta = proxy separato": 127.0.0.1:8081 — USA, :8082 — Germania e così via. Questo formato è compreso da quasi qualsiasi software, incluso quello in cui i proxy vengono inseriti come elenco "host:port".

Quando usarlo: decine di profili o flussi, ognuno con la propria uscita.

Opzione 3: Squid — se hai bisogno di cache e log

Squid è più pesante, ma offre caching, log dettagliati e ACL flessibili. Il provider è specificato come nodo genitore tramite cache_peer, e la direttiva never_direct allow all impedisce a Squid di accedere a Internet direttamente bypassando il genitore:

http_port 127.0.0.1:3128
cache_peer HOST parent PORT 0 no-query default login=LOGIN:PASSWORD
never_direct allow all

Dettagli dalla documentazione di Squid:

La porta ICP è impostata su 0, se il genitore non la supporta — i proxy commerciali non ce l'hanno.
In login= sono ammesse sequenze di escape URL (ad esempio, %20 per uno spazio), quindi il carattere % nella password deve essere scritto come %%.
Senze never_direct, Squid potrebbe decidere che è più vantaggioso andare direttamente al sito, e la richiesta verrà inviata con il tuo vero IP. Questo è il peggior scenario per il parsing e il multi-accounting.

Quando usarlo: ufficio o team, dove è necessario un registro di chi va dove, o richieste ripetute agli stessi risorse.

Opzione 4: proxychains-ng — per programmi senza supporto proxy

Se un programma non supporta affatto i proxy, proxychains-ng (Linux e macOS) può aiutare. Intercetta le chiamate di rete del programma e incapsula le sue connessioni TCP nel proxy. Supporta SOCKS4a, SOCKS5 e HTTP, con autenticazione — login e password per SOCKS e Basic per HTTP. La riga nella sezione [ProxyList] ha il formato tipo ip porta [login password]:

strict_chain
proxy_dns
tcp_read_time_out 15000
tcp_connect_time_out 8000

[ProxyList]
http HOST PORT LOGIN PASSWORD

Avvio: proxychains4 curl https://api.ipify.org — nella risposta ci sarà l'IP del provider, non il tuo.

strict_chain — tutti i proxy dell'elenco vengono utilizzati in ordine, e se uno non è disponibile, non ci sarà connessione. Più sicuro di dynamic_chain, che salta i nodi morti.
proxy_dns — le richieste DNS passano anche attraverso il proxy. Senza questo, il provider della tua connessione Internet vede quali domini stai richiedendo, e il sito potrebbe notare una discrepanza tra la geolocalizzazione DNS e l'IP.
La configurazione viene cercata in ordine: file da -f o variabile PROXYCHAINS_CONF_FILE, poi ./proxychains.conf, ~/.proxychains/proxychains.conf e /etc/proxychains.conf.

Limitazioni, di cui parlano gli stessi autori: solo TCP (UDP e ICMP non vengono proxyizzati), possibili malfunzionamenti con programmi che generano molti processi, e su macOS la protezione SIP non consente di intercettare programmi di sistema.

Quale strumento scegliere: breve guida

Un browser o uno script, serve "subito" — gost.
Molti profili, ognuno con il proprio IP o paese — 3proxy con porta separata per account.
Team, registro delle richieste, cache — Squid.
Programma senza impostazioni proxy — proxychains-ng.

Cinque errori che costano di più

Il gateway ascolta tutte le interfacce. Hai avviato gost con -L http://:8080 su VPS — e hai ottenuto un proxy aperto per tutto Internet sulle tue gigabyte. I scanner di proxy aperti li trovano rapidamente. Specifica sempre 127.0.0.1, e se il gateway è utilizzato da altre macchine — chiudi la porta con un firewall. Abbiamo scritto di come i botnet trovano rapidamente porte aperte sui server con parser nel report del worm CARBONATO.
Perdita di dati bypassando il gateway. Squid senza never_direct, proxychains senza proxy_dns, un browser che si connette direttamente tramite WebRTC/UDP, — tutto questo rivela il vero IP. Controlla il risultato su un servizio di identificazione IP e su un test di perdite DNS.
Un solo gateway per tutti gli account. Se 30 profili anti-detect si connettono a una porta con una sola sessione sticky, tutti avranno lo stesso IP — questo è un percorso diretto per il legame degli account. Distribuisci i profili su porte diverse o utilizza i parametri di sessione del provider.
Caratteri speciali nella password. @ e : rompono l'analisi degli indirizzi del tipo login:pass@host. Utilizza il parametro base64 in gost, l'escaping in Squid o genera una password senza caratteri speciali.
Il gateway è un hop in più e un punto di errore. Sulla macchina locale, il ritardo è quasi nullo, ma se il gateway si trova in un altro data center, a ogni richiesta si aggiunge un ritardo di rete. Tieni il gateway vicino al programma e configura l'avvio automatico (systemd, servizio Windows), altrimenti dopo il riavvio del server il parser andrà silenziosamente nel nulla.

Quali proxy impostare dietro il gateway

Al gateway non importa che tipo di proxy ci sia dietro — la scelta dipende dal compito:

Proxy residenziali — per il parsing di siti protetti, marketplace e profili anti-detect: gli IP degli utenti domestici suscitano meno sospetti presso gli anti-bot.
Proxy mobili — per social media e applicazioni, dove il controllo è più severo: dietro un IP di un operatore mobile (tramite CGNAT) di solito si connettono molti abbonati reali, e bloccarlo è rischioso per la piattaforma stessa.
Proxy di data center — per compiti voluminosi senza protezione rigorosa: controlli di disponibilità, API, test. I più economici per gigabyte.

Se il proxy ha rotazione, la logica di cambio IP è solitamente definita dal provider — tramite parametri nel login o impostazioni nel pannello. Il gateway non la rompe: trasmette il login così com'è. È quindi conveniente avviare più porte con parametri di sessione diversi — una con un nuovo IP per ogni richiesta, un'altra con un IP fisso per 30 minuti.

Conclusione

Un proxy con login e password è adatto a qualsiasi programma, se si inserisce un gateway locale tra di essi. gost risolve il compito con un solo comando, 3proxy è comodo per "porta = profilo", Squid — per team con registro, e proxychains-ng collega anche software che non sa nulla dei proxy. Le regole principali: ascoltare solo 127.0.0.1, vietare connessioni dirette bypassando il genitore e controllare che il sito veda l'IP del provider, non il tuo.