Discussione Consiglio servizio Rotating proxies

[dragon99]

Ciao a tutti,
ho fatto un programma per fare scraping però ho bisogno un ip diverso per ogni richiesta altrimenti mi bloccano (materiale pubblico, nulla di illegale ^_^).
Non mi servono particolari api (il programma apri il browser e simula la navigazione).
Ci sono una montagna di servizi e nessuno offre periodo di test gratuito, non ho voglia di leggermi la documentazione di ognuno,
Avete esperienze? Potete consigliarmi qualche servizio?

Grazie

 

[PyCode]

Ciao a tutti,
ho fatto un programma per fare scraping però ho bisogno un ip diverso per ogni richiesta altrimenti mi bloccano (materiale pubblico, nulla di illegale ^_^).
Non mi servono particolari api (il programma apri il browser e simula la navigazione).
Ci sono una montagna di servizi e nessuno offre periodo di test gratuito, non ho voglia di leggermi la documentazione di ognuno,
Avete esperienze? Potete consigliarmi qualche servizio?

Grazie

Ciao, SE puoi anche evitare l'apertura del browser, il mio consiglio è quello di mantenere su un file esterno una lista di proxy server e prima di collegarsi al sito desiderato, estrarre a random uno degli IP presenti nel file.
Magari fai anche lo spoofing dello user-agent altrimenti salta subito fuori che è un bot.
Se invece l'uso del browser è d'obbligo, fai la stessa cosa cercando qualche libreria adatta in modo da poter effettuare il settaggio proxy in modo automatico.

 

[Hastro]

Ciao a tutti,
ho fatto un programma per fare scraping però ho bisogno un ip diverso per ogni richiesta altrimenti mi bloccano (materiale pubblico, nulla di illegale ^_^).
Non mi servono particolari api (il programma apri il browser e simula la navigazione).
Ci sono una montagna di servizi e nessuno offre periodo di test gratuito, non ho voglia di leggermi la documentazione di ognuno,
Avete esperienze? Potete consigliarmi qualche servizio?

Grazie

Hmm ... potresti condividere con noi qualche dettaglio? L'apertura del browser è necessaria? Che linguaggio hai utilizzato per la creazione del tuo programma?

 

[dragon99]

Innanzitutto grazie a tutti.
Ho usato Java, l'apertura del browser è necessaria perché non ho trovato soluzioni migliori ^_^
E' molto lento ma almeno riesco ad aprire la pagina e navigarci all'interno (ho bisogno di alcune azioni per interagire con Javascript) per far mostrare i contenuti che mi servono.

Non vorrei usare liste proxy che si trovano in rete perché spesso sono indirizzi già bannati di default.
Ci sono tanti servizi ma devo trovare il più economico e che serva al mio scopo, per ora stavo valutando questo

 

[PyCode]

Visto che l'apertura del browser ti è obbligatoria, ti consiglio selenium. È una libreria utilizzabile anche con Java e ti consente di impostare i proxy
Di seguito ti riporto il link della documentazione:

org.openqa.selenium

www.selenium.dev

 

[dragon99]

Sì, uso selenium per aprire il browser e compiere le azioni.
Sono alle prese su come non far riconoscere che sto usando selenium... qua c'è una bella discussione:

Can a website detect when you are using Selenium with chromedriver?

I've been testing out Selenium with Chromedriver and I noticed that some pages can detect that you're using Selenium even though there's no automation at all. Even when I'm just browsing manually j...

stackoverflow.com

 

[PyCode]

Interessante