Creato da pastuweb.com
Share My Page
My Social Accounts
Account FaceBook Account LinkedIn Account Twitter Account Google Plus Account Git Hub

Possiamo decidere per svariate ragioni di riservatezza o altro, che alcune pagine o alcune sezioni non vengano indicizzate da nessun motore di ricerca o anche solo da alcuni di essi. 

Es: pagine di amministrazione e sezione di ADMIN

Tutto è questo è possibile ottenerlo attraverso il File Robots.txt che si mette nel ROOT del sito, cioè nella cartella principale.

http://sito.it/robots.txt.

Il file è composto da alcuni campi:

  • User-agent: qui si mette il nome dello spider al quale intendiamo inibire e non l'accesso. Con il simbolo * si riferisce a tutti gli spider.
  • Disallow: indicheremo cosa NON vogliamo sia prelevato dallo spider.
  • Allow: è il contrario

Alcuni motori di ricerca NON SEGUONO questo tipo di indicazioni.

Usare sempre e comunque il Robots.txt nel momento in cui si desidera che una pagina non venga indicizzata, ma usare anche i <meta tag>

Average (1 Vote)
The average rating is 5.0 stars out of 5.