Parámetros del Archivo

Acceso General (Todos los Bots)

Dirección del Sitemap XML

Retardo de Rastreo (Crawl-delay)

Presets de Bloqueo por CMS

WordPress (Bloquea admin, includes y búsquedas) PrestaShop (Bloquea clases, controladores, carritos, busquedas) Joomla (Bloquea carpetas de administración, binarios y caché)

Bloquear bots específicos (Maliciosos o CDNs)

SemrushBot (Auditorías SEO de competidores) AhrefsBot (Rastreador de enlaces externos) YandexBot (Buscador Ruso) Baiduspider (Buscador Chino)

Resultado del archivo (robots.txt)

robots.txt Generator