Domanda Web Scraping : Lista delle API?

[Albymaster]

Ciao a tutti ragazzi
Mi chiedo da un pò di tempo se sia possibile ottenere una lista di tutte le API utilizzate da un sito specifico. Ultimamente stavo usando BURP pro e ho notato che man mano che si va a visitare un sito, attraverso uno scanning passivo, è possibile ottenere una specie di Site Map che comprende i nomi delle API richiamate. Il problema è che io vorrei farlo in maniera automatizzata e senza utilizzare altri software a pagamento( non intendo che voglio per forza farlo con BURP, ma che non posso spendere per comprare altri software). Anche perché se il "visitare il sito" viene fatto in maniera manuale, si rischia di non utilizzare tutte le API del sito.
Sapreste aiutarmi? Per ora cercando online ho trovato molte opinioni contrastanti. Alcuni post vecchi parlavano del fatto che non ci fossero ancora tool automatici per farlo, però si parla di post di circa 6-7 anni fa. Altri dicevano che se c'è un antiCSRF token , i tool automatizzati verrebbero bloccati.

Grazie e buona giornata a tutti

 

[0xbro]

Burp è molto malleabile, si riescono a bypassare token anti CSRF e fare tante altre cose interessanti.
Anzichè usare un crawler passivo, siccome utilizzi burp pro puoi creare una nuova scan, o ancora meglio crawl + scan, e vedere se si riesce ad enumerare altre API, magari sfruttando una API già trovata e fuzzando su quella, oppure usandola come punto di partenza.
Solitamente le API hanno anche una sorta di wiki, una pagina che mostra tutte le API utilizzate dal sito. Non sempre è pubblicamente esposta, ma magari enumerando un po' riesci a trovarla. Una volta che hai trovato tutte le API puoi utilizzare dei plugin come wsdler o simili che prendo in input la definizione di una API e automaticamente generano la richiesta da inviare al server

 

[Albymaster]

Uso burp da neanche un mese quindi ho ancora tante cose da imparare
L'unico problema principale, da quello che ho potuto vedere, è che burp ha problemi a superare il login in certe tipologie di applicativi web che magari sfruttano molto JavaScript. Infatti se provo a fare una scan aggiungendo delle credenziali valide mi dice che non è stato possibile trovare la form di login.

 

[0xbro]

Uso burp da neanche un mese quindi ho ancora tante cose da imparare
L'unico problema principale, da quello che ho potuto vedere, è che burp ha problemi a superare il login in certe tipologie di applicativi web che magari sfruttano molto JavaScript. Infatti se provo a fare una scan aggiungendo delle credenziali valide mi dice che non è stato possibile trovare la form di login.

In quel caso ti conviene fare il login a mano, prendere il cookie e far partire la scansione da una richiesta che già ha il cookie impostato, in quel modo dovrebbe (in teoria) comportarsi come se già fossi autenticato

 

[Albymaster]

Scusa ma in che senso? Parli di utilizzare la chrome extension di Burp e quindi fare "Use recorded login sequences"?
Se intendi quella, ci ho già provato purtroppo e non va, sempre stesso errore.. non trova la form. In ogni caso so che è un problema noto. Ho letto che molte persone hanno il mio stesso problema e ho scritto anche al supporto di Burp, ma nada. Ora come ora sto limitando il tutto alla visita a mano, sfruttando le live scan per la mappatura. Diciamo che facendo manualmente non sempre si riesce a coprire il 100% dell'applicativo.