Discussione Amazon Web Scraping Evitare Captcha

[RedFame]

Salve a tutti, spero questa sia la sezione giusta per postare la mia domanda. Dovrei far sviluppare un bot che si occupi di web scraping, in particolare su Amazon.it. Purtroppo dopo un tot di richieste Amazon inizia a chiedere dei captcha per accedere ad ogni singola pagina del suo sito. Per risolvere questo problema avevo pensato di usare dei proxy, ma quelli disponibili online sono tutti molto lenti. Volevo sapere se c'è la possibilità di creare diversi proxy avendo a disposizione soltanto un pc dedicato a ciò, magari usando delle macchine virtuali, secondo voi è fattibile?
Grazie mille

 

[0xbro]

Salve a tutti, spero questa sia la sezione giusta per postare la mia domanda. Dovrei far sviluppare un bot che si occupi di web scraping, in particolare su Amazon.it. Purtroppo dopo un tot di richieste Amazon inizia a chiedere dei captcha per accedere ad ogni singola pagina del suo sito. Per risolvere questo problema avevo pensato di usare dei proxy, ma quelli disponibili online sono tutti molto lenti. Volevo sapere se c'è la possibilità di creare diversi proxy avendo a disposizione soltanto un pc dedicato a ciò, magari usando delle macchine virtuali, secondo voi è fattibile?
Grazie mille

No purtroppo non è fattibile perchè le macchine virtuali escono tutte dalla stessa rete (quella di casa tua, suppongo), perciò hanno tutte lo stesso IP. Potresti provare a utilizzare forse, e ripeto forse, diverse VPN, non sono sicuro della fattibilità però. In alternativa puoi spendere qualche euro e provare a valutare servizi di proxy vari come per esempio BrightData

 

[RedFame]

No purtroppo non è fattibile perchè le macchine virtuali escono tutte dalla stessa rete (quella di casa tua, suppongo), perciò hanno tutte lo stesso IP. Potresti provare a utilizzare forse, e ripeto forse, diverse VPN, non sono sicuro della fattibilità però. In alternativa puoi spendere qualche euro e provare a valutare servizi di proxy vari come per esempio BrightData

Peccato, quindi l'unico modo per avere a disposizione diversi proxy è ricorrere a siti terzi?

 

[0xbro]

Peccato, quindi l'unico modo per avere a disposizione diversi proxy è ricorrere a siti terzi?

Per avere dei proxy di qualità penso di sì, quelli pubblici sono usati da cani e porci, spesso sono addirittura blacklistati