Domanda Risolto A cosa serve il file "robots.txt"?

[$Jobe]

Ciao a tutti, mi sono imbattuto nei robots.txt di un sito web
Qualcuno saprebbe spiegare cosa sono?quale è il loro scopo e come posso usarli nella mia pagina?
Grazie mille

 

[zipippino]

E' semplicemente un file txt posizionato nella directory principale del tuo webserver che contiene al suo interno le regole che i bot dei motori di ricerca devono rispettare nell'indicizzare il tuo sito.
Maggiori informazioni da Big G

 

[$Jobe]

Oh grazie mille, ora leggo il tutto