Discussione Amazon Web Scraping Evitare Captcha

RedFame

Utente Bronze
7 Agosto 2017
6
0
22
Salve a tutti, spero questa sia la sezione giusta per postare la mia domanda. Dovrei far sviluppare un bot che si occupi di web scraping, in particolare su Amazon.it. Purtroppo dopo un tot di richieste Amazon inizia a chiedere dei captcha per accedere ad ogni singola pagina del suo sito. Per risolvere questo problema avevo pensato di usare dei proxy, ma quelli disponibili online sono tutti molto lenti. Volevo sapere se c'è la possibilità di creare diversi proxy avendo a disposizione soltanto un pc dedicato a ciò, magari usando delle macchine virtuali, secondo voi è fattibile?
Grazie mille
 

0xbro

Moderatore
24 Febbraio 2017
3,468
2,595
959
Salve a tutti, spero questa sia la sezione giusta per postare la mia domanda. Dovrei far sviluppare un bot che si occupi di web scraping, in particolare su Amazon.it. Purtroppo dopo un tot di richieste Amazon inizia a chiedere dei captcha per accedere ad ogni singola pagina del suo sito. Per risolvere questo problema avevo pensato di usare dei proxy, ma quelli disponibili online sono tutti molto lenti. Volevo sapere se c'è la possibilità di creare diversi proxy avendo a disposizione soltanto un pc dedicato a ciò, magari usando delle macchine virtuali, secondo voi è fattibile?
Grazie mille
No purtroppo non è fattibile perchè le macchine virtuali escono tutte dalla stessa rete (quella di casa tua, suppongo), perciò hanno tutte lo stesso IP. Potresti provare a utilizzare forse, e ripeto forse, diverse VPN, non sono sicuro della fattibilità però. In alternativa puoi spendere qualche euro e provare a valutare servizi di proxy vari come per esempio BrightData
 

RedFame

Utente Bronze
7 Agosto 2017
6
0
22
No purtroppo non è fattibile perchè le macchine virtuali escono tutte dalla stessa rete (quella di casa tua, suppongo), perciò hanno tutte lo stesso IP. Potresti provare a utilizzare forse, e ripeto forse, diverse VPN, non sono sicuro della fattibilità però. In alternativa puoi spendere qualche euro e provare a valutare servizi di proxy vari come per esempio BrightData
Peccato, quindi l'unico modo per avere a disposizione diversi proxy è ricorrere a siti terzi?
 
Banner pubblicitario per Bright Data su Inforge.net azienda di vendita Proxy, Data Collector e Content Unlocker
DOWNLOAD