Indicar a los motores de búsqueda que no se indexe una URL

Para indicar a los motores de búsqueda que una URL específica no se indexe en tu sitio web, puedes agregarla al archivo robots.txt de la siguiente manera:

Abre el archivo robots.txt en tu editor de texto favorito. Si no tienes un archivo robots.txt en tu sitio web, puedes crear uno en la raíz del directorio principal de tu sitio web o en el caso de que utilices Wordpress utilizar un plugin como Rankmath o Yoast.

Agrega la siguiente línea al archivo robots.txt para bloquear el acceso de los robots de búsqueda a la URL que deseas evitar que se indexe:

User-agent: *
Disallow: /ruta-de-la-URL-que-deseas-bloquear/

Reemplaza «/ruta-de-la-URL-que-deseas-bloquear/» con la ruta de la URL que deseas bloquear.

Por ejemplo, si deseas bloquear la URL «https://www.pc-solucion.com/pagina-bloqueada/», la línea debería ser la siguiente:

User-agent: *
Disallow: /pagina-bloqueada/

Guarda el archivo robots.txt y súbelo al directorio raíz de tu sitio web utilizando FTP o el panel de control de tu proveedor de hosting.

Ten en cuenta que algunos motores de búsqueda pueden ignorar las instrucciones en el archivo robots.txt, por lo que es importante que también uses otras técnicas como agregar la etiqueta «noindex» a la página o bloquear la URL con una contraseña.

En el caso de querer bloquear varias URLs en tu sitio web, puedes agregar varias líneas de «Disallow» en tu archivo robots.txt. Cada línea de «Disallow» bloqueará una URL o un grupo de URLs específicas puedes poner este código:

User-agent: *
Disallow: /pagina-bloqueada-1/
Disallow: /pagina-bloqueada-2/

De esta manera, los robots de los motores de búsqueda no podrán acceder ni indexar las URL que has especificado.

Es importante tener en cuenta que las instrucciones en el archivo robots.txt solo son una sugerencia para los motores de búsqueda, y algunos robots pueden ignorar estas instrucciones o indexar las páginas que deseas bloquear si encuentran enlaces a ellas desde otros sitios web.