Bloquear acceso a pagina o directorio con robots txt

En esta ocasión vamos a ver como bloquear el acceso a una pagina o directorio utilizando el poderoso y a la vez peligroso fichero robots.txt.


Todos los motores de búsqueda esperan encontrar el fichero en la raíz de tu sitio y en él puedes ordenar si indexar o no y con qué reglas, desde una página a directorios completos.

Solo tienes que crear un documento de texto y llamarlo robots.txt ahora vamos a ver las configuraciones mas usadas para este fichero:

Bloquear todo el sitio web

User-agent: *
Disallow: /

Bloquear un fichero o página del sitio web

User-agent: *
Disallow: /ejemplo.php

Bloquear un directorio del sitio web

User-agent: *
Disallow: /admin/

Si te a gustado el tema compártelo en tus redes sociales!