#En primer lugar un ejemplo de archivo robots.txt que excluye TODAS las busquedas a TODOS los robots:
#User-agent: *    # aplicable a todos
#Disallow: /      # impide la indexacion de todas las paginas
# Establecemos total libertad para webcrawler
# Ya que dejamos Disallow vacio
User-agent: *
Crawl-delay: 60
Visit-time: 0300-0700	
# En cambio lycra y BadBot
# tiene prohibido integramente el acceso
User-agent: lycra
User-agent: BadBot
User-agent: webcrawler
Disallow: /
# El resto de bots (seņalado mediante *)
# tiene prohibido el acceso a los directorios
# /tmp y /log; libertad para el resto.
#User-agent: *
#Disallow: /tmp
#Disallow: /logs
# Permitir trabajar a los botsde  2 am a 7:45 am
# Las horas son siempre Greenwitch
Visit-time: 0300-0700		
# Un documento CADA  30 minutos
#Request-rate: 1/30m		
# Combinado: 1 doc cada 10 minutos
# y solo de una  a 5 tarde
#Request-rate: 1/10m 1300-1659
#Mediante las directivas "Disallow" especificamos los directorios o archivos concretos que deseamos excluir. Por ejemplo:
#Disallow: /admin  # afecta a /help.html y a  /help/index.html
#Disallow: /help/ # afecta a /help/index.html  pero no a  /help.html.