Eine typische robots.txt könnte /admin/, /checkout/ und /api/ für alle Bots sperren, um Crawl-Budget für wichtige Inhalte zu sparen. Sie enthält auch den Pfad zur Sitemap: Sitemap: https://example.com/sitemap.xml
Die robots.txt liegt im Wurzelverzeichnis einer Website und steuert das Crawling. Sie kann Bereiche komplett sperren oder für bestimmte Bots freigeben. Wichtig: Sie verhindert nur das Crawling, nicht die Indexierung – für echte Sperrung braucht man noindex-Tags.
Marketing-Consultant und KI-Trainer mit über 20 Jahren Erfahrung im Marketing und Vertrieb. Spezialist für LinkedIn Marketing, Social Media Strategien und KI-gestütztes SEO. Ich gebe praxisorientierte Seminare und Workshops für deutsche Unternehmen.
📞 Telefon:
05425 – 95 49 97 3
📧 E-Mail:
dl@dlick.de
