Discussione Come aggirare facilmente i blocchi per IP sul web senza usare una VPN

0xbro

Super Moderatore
24 Febbraio 2017
4,471
180
3,822
1,825
Ultima modifica da un moderatore:
In questo articolo tratteremo come risolvere il problema del blocco IP utilizzando il servizio "Web Unlocker" offerto da Bright Data, in modo da non doversi più preoccupare di VPN e IP dinamici.​

Web Unlocker - Il servizio che eviterà il blocco del tuo indirizzo IP​

unlocker.png



1    Il problema

In questo periodo storico sempre più motori di ricerca o apparecchiature server stanno implementando misure di sicurezza basate sul blocco di un IP o di un determinato fingerprint. Un esempio lampante è Google, il quale dopo qualche ricerca "insolita" (tramite google dorks, per esempio) mette l'IP del richiedente in uno stato di soft-ban, finchè non viene risolto il reCaptcha da loro proposto.​

newCaptchaAnchor.gif

Altri siti, come ad esempio TikTok o Epic Games, bannano direttamente l'IP in caso di eccessivo traffico o di presunto traffico malevolo, rendendo molto difficile la scansione (o addirittura l'attacco) di questi ultimi.​

8pbtSGR.jpg


Una delle possibili soluzioni per ovviare al problema potrebbe essere quella di usare una VPN, ma si dovrebbe mettere in piedi un meccanismo di switch automatico dell' IP ad ogni blocco da parte del target. Una seconda alternativa potrebbe essere l'utilizzo di Tor, ma anche in questo caso non è sempre fattibile dato che molto spesso gli IP abbinati a Tor vengono già blacklistati di default dai vari siti online.​

Come fare allora?

2    La soluzione: Web Unlocker

La soluzione la mette a disposizione Bright Data (formerly Luminati Networks) tramite la feature "Web Unlocker", il primo tool di sblocco automatico di siti web per raggiungere i target con tassi di successo senza precedenti.

U7NOFHh.png


Bright Data permette di avere un vasto range di indirizzi IP di vario tipo (Data Server, Residential, Mobile, etc.) da cui poter uscire, ruotando ed inviando le varie richieste attraverso decine di browser fingerprints in maniera del tutto automatica, gestendo lo sblocco dal ban o soft-ban in maniera autonoma con un success rate del 100%!​

8GFzCjk.png


Una classica ma altrettanto semplice richiesta effettuabile tramite Bright Data potrebbe essere la seguente
Codice:
curl -k --proxy lum-customer-<id>-zone-<zone_name>-unblocker:<password>@zproxy.lum-superproxy.io:22225 https://example.com
ma ovviamente non è il solo modo per poter usufruiure del servizio.




3    Use cases:

Per quanto la funziona di Web Unlock (combinata con i numerosi proxy messi a disposizione) possa non sembrare un "Game Changer", essa in realtà semplifica drasticamente tantissime tipologie di attività e casi di utilizzo. Analizziamone assieme qualcuna:​

3.1    Web Data Extraction

Usare molteplici IP residenziali in rotazione tra di loro permette di estrarre dati da siti web di tutto il mondo in maniera accurata e sicura.
Oggi, per rimanere competitivi e offrire ai consumatori i migliori prodotti o prezzi possibili, le aziende hanno bisogno di dati, dati che una volta erano disponibili apertamente ma che ora, invece, quasi ogni azienda raccoglie (o compra) in qualche determinata forma, autonomamente. Le aziende si concentrano sulla raccolta dei dati il più accurati e critici possibile, in modo da favorire la loro crescita ed esposizione. L'estrazione dei dati può consistere nella raccolta di dati dai siti web (in modo da ottenere informazioni sui prezzi, per esempio), nella scansione di documenti pubblici per la conoscenza legale o nello scraping dei social media per ottenere i dati delle persone.
web-scraping.png

3.2    SEO monitoring

Che si tratti di rank tracking, di controllare le traduzioni dei propri siti web, le inserzioni locali o l'indice Google mobile-first, il parametro accuratezza è vitale. Il web opera attraverso i confini e avere accesso agli IP specifici di diversi paesi, città, ISP e ASN può fare un'enorme differenza nei risultati. Capire come si classifichi un record e se il suo contenuto appare nella posizione giusta e nella lingua giusta può fare la differenza tra una strategia di marketing di successo o meno. Smetti di lavorare per tentativi ed errori. Ora hai il mezzo giusto per vedere i tuoi risultati in tempo reale.
giphy.gif

3.3    Search Engine Crawler

Con a disposizione IP provenienti da tutto il mondo, scansionare il web e fare crawling e non è mai stato più comodo. E' possibile collezionare dati tramite Google, Bing, Yahoo ecc. ed ottenere informazioni sui siti visitati dall'altra parte del globo. Immagina identificare tutti i siti online che utilizzano un determinato CMS, che espongono una determinata pagina o che magari siano vulnerabili all'ultimo exploit pubblicato una settimana fa... Trovare e avere queste informazioni ora p possibile!
Search-engine-crawlers.png

3.4    Website Testing

Avere a disposizione molteplici IP è sicuramente un vantaggio quando si tratta di testare siti web, in quanto consente di non venir bannati, di vedere il target da molteplici punti di vista (in base alla regione, all'User-Agent, ecc.) e di controllare le sue performance in base alla propria posizione nel mondo. E' ideale sia per penetration tester che per sviluppatori e permette di emulare veri e propri utenti provenienti da tutte le parti del globo, ognuno differente da un altro. Immaginare testare tutte le directory o i file esposti da un sito web e, nel mentre, cambiare ogni volta IP e fingerprint. Risulterà impossibile ricollegare tutte queste informazioni ad un unico utente e bloccarlo. Possiamo finalmente concentrarci sulle analisi senza doverci preoccupare di venir bloccati... finalmente!
2-2-720x450.png

3.5    Altri Use Cases

Ci sono anche altri use cases che non affronteremo in questo articolo per ragioni di tempo. In caso foste interessati, vi invito a informarmi maggiormente su tutte le altre possibilità d'uso tramite il sito ufficiale. Chissà che non troviate la soluzione al vostro problema leggendo tutte le varie soluzioni che il servizio può offrire!​
 
Il servizio è veramente molto interessante, peccato costi uno sproposito. Per dire il pacchetto starter per 200 minuti lo fanno pagare 500$, certo è un servizio innovativo e magari nel futuro i costi potrebbero abbattersi, ma ad oggi potrei dire che è proibitivo.
 

Web Unlocker - Il servizio che eviterà il blocco del tuo indirizzo IP​

unlocker.png



1    Il problema

In questo periodo storico sempre più motori di ricerca o apparecchiature server stanno implementando misure di sicurezza basate sul blocco di un IP o di un determinato fingerprint. Un esempio lampante è Google, il quale dopo qualche ricerca "insolita" (tramite google dorks, per esempio) mette l'IP del richiedente in uno stato di soft-ban, finchè non viene risolto il reCaptcha da loro proposto.​

newCaptchaAnchor.gif

Altri siti, come ad esempio TikTok o Epic Games, bannano direttamente l'IP in caso di eccessivo traffico o di presunto traffico malevolo, rendendo molto difficile la scansione (o addirittura l'attacco) di questi ultimi.​

8pbtSGR.jpg


Una delle possibili soluzioni per ovviare al problema potrebbe essere quella di usare una VPN, ma si dovrebbe mettere in piedi un meccanismo di switch automatico dell' IP ad ogni blocco da parte del target. Una seconda alternativa potrebbe essere l'utilizzo di Tor, ma anche in questo caso non è sempre fattibile dato che molto spesso gli IP abbinati a Tor vengono già blacklistati di default dai vari siti online.​

Come fare allora?

2    La soluzione: Web Unlocker

La soluzione la mette a disposizione Bright Data (formerly Luminati Networks) tramite la feature "Web Unlocker", il primo tool di sblocco automatico di siti web per raggiungere i target con tassi di successo senza precedenti.

U7NOFHh.png


Bright Data permette di avere un vasto range di indirizzi IP di vario tipo (Data Server, Residential, Mobile, etc.) da cui poter uscire, ruotando ed inviando le varie richieste attraverso decine di browser fingerprints in maniera del tutto automatica, gestendo lo sblocco dal ban o soft-ban in maniera autonoma con un success rate del 100%!​

8GFzCjk.png


Una classica ma altrettanto semplice richiesta effettuabile tramite Bright Data potrebbe essere la seguente
Codice:
curl -k --proxy lum-customer-<id>-zone-<zone_name>-unblocker:<password>@zproxy.lum-superproxy.io:22225 https://example.com
ma ovviamente non è il solo modo per poter usufruiure del servizio.




3    Use cases:

Per quanto la funziona di Web Unlock (combinata con i numerosi proxy messi a disposizione) possa non sembrare un "Game Changer", essa in realtà semplifica drasticamente tantissime tipologie di attività e casi di utilizzo. Analizziamone assieme qualcuna:​

3.1    Web Data Extraction

Usare molteplici IP residenziali in rotazione tra di loro permette di estrarre dati da siti web di tutto il mondo in maniera accurata e sicura.
Oggi, per rimanere competitivi e offrire ai consumatori i migliori prodotti o prezzi possibili, le aziende hanno bisogno di dati, dati che una volta erano disponibili apertamente ma che ora, invece, quasi ogni azienda raccoglie (o compra) in qualche determinata forma, autonomamente. Le aziende si concentrano sulla raccolta dei dati il più accurati e critici possibile, in modo da favorire la loro crescita ed esposizione. L'estrazione dei dati può consistere nella raccolta di dati dai siti web (in modo da ottenere informazioni sui prezzi, per esempio), nella scansione di documenti pubblici per la conoscenza legale o nello scraping dei social media per ottenere i dati delle persone.
web-scraping.png

3.2    SEO monitoring

Che si tratti di rank tracking, di controllare le traduzioni dei propri siti web, le inserzioni locali o l'indice Google mobile-first, il parametro accuratezza è vitale. Il web opera attraverso i confini e avere accesso agli IP specifici di diversi paesi, città, ISP e ASN può fare un'enorme differenza nei risultati. Capire come si classifichi un record e se il suo contenuto appare nella posizione giusta e nella lingua giusta può fare la differenza tra una strategia di marketing di successo o meno. Smetti di lavorare per tentativi ed errori. Ora hai il mezzo giusto per vedere i tuoi risultati in tempo reale.
giphy.gif

3.3    Search Engine Crawler

Con a disposizione IP provenienti da tutto il mondo, scansionare il web e fare crawling e non è mai stato più comodo. E' possibile collezionare dati tramite Google, Bing, Yahoo ecc. ed ottenere informazioni sui siti visitati dall'altra parte del globo. Immagina identificare tutti i siti online che utilizzano un determinato CMS, che espongono una determinata pagina o che magari siano vulnerabili all'ultimo exploit pubblicato una settimana fa... Trovare e avere queste informazioni ora p possibile!
Search-engine-crawlers.png

3.4    Website Testing

Avere a disposizione molteplici IP è sicuramente un vantaggio quando si tratta di testare siti web, in quanto consente di non venir bannati, di vedere il target da molteplici punti di vista (in base alla regione, all'User-Agent, ecc.) e di controllare le sue performance in base alla propria posizione nel mondo. E' ideale sia per penetration tester che per sviluppatori e permette di emulare veri e propri utenti provenienti da tutte le parti del globo, ognuno differente da un altro. Immaginare testare tutte le directory o i file esposti da un sito web e, nel mentre, cambiare ogni volta IP e fingerprint. Risulterà impossibile ricollegare tutte queste informazioni ad un unico utente e bloccarlo. Possiamo finalmente concentrarci sulle analisi senza doverci preoccupare di venir bloccati... finalmente!
2-2-720x450.png

3.5    Altri Use Cases

Ci sono anche altri use cases che non affronteremo in questo articolo per ragioni di tempo. In caso foste interessati, vi invito a informarmi maggiormente su tutte le altre possibilità d'uso tramite il sito ufficiale. Chissà che non troviate la soluzione al vostro problema leggendo tutte le varie soluzioni che il servizio può offrire!​

Molto utile a sapersi, thanks!