Portada » Lenguaje PHP » Bloquear a los buscadores mediante robots.txt

Bloquear a los buscadores mediante robots.txt

Bloquear a los buscadores mediante robots.txt. En ocasiones no queremos que los motores de búsqueda en general no indexen nuestro sitio web porque está en fase de desarrollo y podemos modificar el archivo robots.txt que se encuentra en la raíz del sitio web y/o crearlo.
Además, debemos de agregar las siguientes líneas de código.

User-agent: *

Disallow: /

Bloquear a los buscadores mediante robots.txt

Con esta integración todo nuestro sitio web estará fuera de los buscadores.

En inicios de una página web puede interesarnos que los buscadores no indexen nuestro sitio web en páginas o directorios, porque están en desarrollo.

Bloquear a los buscadores mediante robots.txt
Bloquear a los buscadores mediante robots.txt

¿Cómo podemos decirle a Google que no indexe mi sitio web?

Lo podemos hacer mediante el fichero robots.txt

Nota.- Todos los motores de búsqueda en primera instancia buscan el fichero robots.txt en la raíz de tu sitio para obedecer las reglas que el usuario indique.

Tipos de bloqueo con robots.txt

Existen varias formas de bloqueo de nuestro sitio web para que no aparezcan en los resultados de los buscadores, a continuación, veremos varias formas de implementación.

Bloquear todo el sitio web

Al momento de iniciar el desarrollo de nuestro sitio web es importante decir a los buscadores que aun no indexen nuestro sitio web y podemos hacerlo de la siguiente manera. Además, no olvidar de quitar estas líneas de código cuando nuestro sitio web este terminada,

Contenido de /robots.txt

User-agent: *
Disallow: /

Bloquear un fichero o página del sitio web

Si deseamos bloquear algún archivo en específico debemos de indicarle a nuestro fichero robots.txt para que bloquee tal fichero como en el siguiente ejemplo.
strong>Contenido de /robots.txt

User-agent: *
Disallow: /download.php

Bloquear un directorio del sitio web

En ocasiones deseamos mantener al margen de los buscadores alguna carpeta, por ejemplo, la carpeta descargas de nuestro sitio web.

Para bloquear a los buscadores solo debemos de agregar estas simples lineas de código.
Contenido de /robots.txt

User-agent: *
Disallow: /backend/

WordPress: bloquear página web

Las integraciones vistas en líneas superiores también funcionan con el CMS WordPress y en ajustes de WordPress también posee la opción de bloquear a los buscadores web o en todo caso podemos usar algún plugin para tal objetivo.

En resumen

Hay que saber que estas integraciones influyen en todos los buscadores y están en ellos acatar o no estas indicaciones. En general, todos acatan estas solicitudes y serán bloqueados

Por lo tanto, tu página no será indexada por los motores de búsqueda y no será visible en los buscadores de resultados.

¿De cuánta utilidad te ha parecido este contenido?

¡Haz clic en una estrella para puntuarlo!

Promedio de puntuación 0 / 5. Recuento de votos: 0

Hasta ahora, ¡no hay votos!. Sé el primero en puntuar este contenido.

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Scroll al inicio
Esta web utiliza cookies propias para su correcto funcionamiento. Contiene enlaces a sitios web de terceros con políticas de privacidad ajenas que podrás aceptar o no cuando accedas a ellos. Al hacer clic en el botón Aceptar, acepta el uso de estas tecnologías y el procesamiento de tus datos para estos propósitos.
Privacidad