¿Que es Robots.txt?

¿Qué es Robots.txt?

Robots.txt es un archivo de texto que permite que un sitio web proporcione instrucciones para los robots de rastreo web.

Los motores de búsqueda como Google utilizan estos rastreadores web, a veces llamados robots web, para archivar y categorizar sitios web. Los robots Mosts están configurados para buscar un archivo robots.txt en el servidor antes de que lea cualquier otro archivo del sitio web. Hace esto para ver si el propietario de un sitio web tiene instrucciones especiales sobre cómo rastrear e indexar su sitio.

El archivo robots.txt contiene un conjunto de instrucciones que le solicitan al robot ignorar archivos o directorios específicos. Esto puede ser por razones de privacidad o porque el propietario del sitio web cree que el contenido de esos archivos y directorios es irrelevante para la categorización del sitio web en los motores de búsqueda.

Si un sitio web tiene más de un subdominio, cada subdominio debe tener su propio archivo robots.txt. Es importante tener en cuenta que no todos los bots aceptarán un archivo robots.txt. Algunos bots maliciosos incluso leerán el archivo robots.txt para encontrar a qué archivos y directorios deberían dirigirse primero. Además, incluso si un archivo robots.txt indica a los robots que ignoren una página específica del sitio, es posible que esas páginas sigan apareciendo en los resultados de búsqueda de las que están vinculadas por otras páginas rastreadas.

Puntuación de los visitantes
[Total: 1 Average: 5]