jquery.app
Deutsch
EnglishDeutschFrancaisEspanol日本語Nederlands

SEO-Tools

Kostenlose X-Robots-Tag Header Generator

Erstelle X-Robots-Tag-HTTP-Header und Robots-Meta-Tags für Nicht-HTML-Dateien wie PDFs und Bilder.

Tool wird geladen...

Was ist X-Robots-Tag Header Generator?

X-Robots-Tag ist ein HTTP-Response-Header, der Suchmaschinen mitteilt, wie sie eine Ressource in ihrem Index behandeln sollen. Es ist das HTTP-Äquivalent des robots-Meta-Tags, funktioniert aber mit jedem Dateityp - PDFs, Bilder, Videos, Feeds, JSON-Responses und HTML-Seiten gleichermaßen.

Kurze Antwort

X-Robots-Tag ist ein HTTP-Header, der die Indexierung durch Suchmaschinen für jeden Dateityp steuert - PDFs, Bilder, Feeds und HTML. Verwenden Sie ihn, wenn Sie die Indexierungskontrolle über Nicht-HTML-Ressourcen benötigen.

Last updated: 2026-05-28

Einschränkungen

  • Einige Bots und Crawler ignorieren X-Robots-Tag vollständig. Es ist ein Hinweis, keine verbindliche Direktive.
  • Wenn eine Seite durch robots.txt blockiert wird, können Crawler den X-Robots-Tag-Header nicht sehen.
  • X-Robots-Tag ist kein offizieller IETF-Standard - es ist eine De-facto-Konvention.

Sources:MDN Web Docs · W3C Specifications · jquery.app on GitHub

So nutzt du dieses Tool

  1. Wählen Sie die Direktiven aus, die Sie anwenden möchten - häufige Kombinationen sind noindex und nofollow.
  2. Geben Sie optional einen User-Agent zur gezielten Crawler-Ansprache an.
  3. Kopieren Sie den HTTP-Header und/oder das HTML-meta-Tag in Ihre Serverkonfiguration oder Ihr Seiten-Markup.
  4. Testen Sie die Konfiguration mit einem HTTP-Client wie curl, um zu bestätigen, dass der Header gesendet wird.

Wofür du es nutzen kannst

  • PDFs und andere herunterladbare Dateien von der Indexierung auszuschließen.
  • Suchmaschinen-Caching sensibler Inhalte mit noarchive zu verhindern.
  • noimageindex zu einer Galerieseite hinzuzufügen, um die einzelne Bild-Indexierung zu verhindern.

Anwendungsfalle

Praxisbeispiele

Beispiel

PDF-Indexierung verhindern

Eine Site bietet PDF-Whitepaper hinter einem Formular an. Fügen Sie X-Robots-Tag: noindex, nofollow zu den PDF-Responses hinzu.

Beispiel

Bild-Assets schützen

Eine Stockfoto-Seite fügt X-Robots-Tag: noimageindex zu allen Bild-Responses hinzu. Die HTML-Seiten bleiben indexiert, aber einzelne Bilder erscheinen nicht in der Google-Bildersuche.

Haufige Fehler

  • Ein robots-Meta-Tag auf einer Seite zu setzen, aber gleichzeitig einen widersprüchlichen X-Robots-Tag-Header zu senden.
  • noindex auf einer Seite zu verwenden, die durch robots.txt blockiert wird - Suchmaschinen können die noindex-Direktive nicht sehen.
  • Zu vergessen, dass X-Robots-Tag für die gesamte HTTP-Response gilt.

Überprüfung

  1. Verwenden Sie das Google Search Console URL Inspection-Tool, um den Status indexierter Seiten zu bestätigen.
  2. Führen Sie curl -I https://ihreseite.de/pfad aus, um das X-Robots-Tag zu verifizieren.

FAQ

Fragen zu X-Robots-Tag Header Generator

Was ist der Unterschied zwischen robots.txt Disallow und X-Robots-Tag noindex?

robots.txt Disallow verhindert das Crawling. X-Robots-Tag noindex erlaubt Crawling, aber nicht die Aufnahme in den Index. Um eine Seite zu entfernen, verwenden Sie noindex und blockieren Sie NICHT mit robots.txt.

Funktioniert X-Robots-Tag bei Nicht-HTML-Dateien?

Ja, und das ist der Hauptvorteil gegenüber dem meta-Tag. X-Robots-Tag funktioniert mit PDFs, Bildern, Videos, Word-Dokumenten, RSS-Feeds und jeder anderen HTTP-Response.

Kann ich X-Robots-Tag für bestimmte User-Agents verwenden?

Ja. Die meisten Webserver unterstützen bedingte Header basierend auf dem User-Agent. Allerdings respektieren nicht alle Bots User-Agent-spezifische Direktiven.

Verwandte Tools

Weitere seo-tools

Auch ausprobieren

Auch ausprobieren