Visual robots.txt File Generator & AI Bot Blocker
Generate customized robots.txt files in seconds. Configure search engine access, block intrusive AI scrapers, specify crawl delays, and link your XML sitemap.
Comment utiliser cet outil
- Set default crawl permissions and list disallowed directories.
- Toggle AI Bot Protection to disallow scrapers like GPTBot and ClaudeBot.
- Copy or download your robots.txt file ready to deploy to your root domain.
Foire aux questions
Where does the robots.txt file go on a website?
It must always reside in the top-level root directory (e.g., https://example.com/robots.txt) for web crawlers to discover it.
Outils associés
Simulateur SERP Google
Calcul précis de la largeur en pixels sur ordinateur et mobile pour éviter les titres coupés sur Google.
Schema JSON-LD & Standards IA
Générez des schémas JSON-LD valides et créez des fichiers robots.txt et llms.txt pour robots IA.
100% Confidentialité Locale
Analyse et génération instantanées dans votre navigateur sans envoi de données à des serveurs tiers.