motori di ricerca diretta di un grande , a volte addirittura schiacciante quantità di traffico la maggior parte siti web ' . Come il più grande del gruppo , Google è fondamentale per il successo di qualsiasi sito . Per farlo funzionare correttamente , ha bisogno di essere la scansione del tuo sito regolarmente . Anche dopo aver impostato il file robots.txt requisito richiesto per Google di scansione del tuo sito , è necessario verificare il crawl di Google per garantire che funzioni . È possibile farlo dal tuo account Strumenti per i Webmaster . Cose che ti serviranno 
 Webmaster Tools conto 
 Mostra più istruzioni 
 1 
 Accedi al tuo account Webmaster Tool ( link in Risorse ) . Per provare Google crawl , è necessario iscriversi a questo strumento gratuito , se non l'hai già. 
 2 
 Selezionare " Configurazione del sito ", quindi " Accesso crawler ". 
 
 3 
 Fare clic sulla scheda "Test robots.txt " . 
 4 
 doppio controllare che tutte le informazioni ( l'URL del sito , file robots.txt ) è corretto , quindi fare clic su "Test . "