Gestionar el archivo robots.txt
Es un método para evitar que ciertos bots que analizan los sitios web u otros robots que investigan todo o una parte del acceso de un sitio Web, público o privado, agreguen información innecesaria a los resultados de búsqueda
Puedes gestionar el archivo robots.txt desde tu sitio web de mybooking. Para hacerlo sigue los siguientes pasos.
- Accede al panel de control de tu página web
- Accede a los ajustes y haz un click sobre la opción robots.txt
- A continuación puedes editar el contenido del archivo robots.txt añadiendo las líneas que escribas en el editor o bien sustituyendo el contenido completo.
- Podrás acceder al contenido del fichero robots.txt desde tu sitio web para confirmar que ha añadido los cambios.
Sitemap: http://localhost:10004/sitemap.xml
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
User-agent: GPTBot
Disallow: /