Alle Kollektionen
Onpage DE
Analyse
Mit der Robot Einstellung "Regeln für googlebot folgen" werden mehr Seiten gefunden und gecrawlt
Mit der Robot Einstellung "Regeln für googlebot folgen" werden mehr Seiten gefunden und gecrawlt

Mit der Robot Einstellung "Regeln für googlebot folgen" werden mehr Seiten gefunden und gecrawlt

Benjamin Weßel avatar
Verfasst von Benjamin Weßel
Vor über einer Woche aktualisiert

Symptom

  • Wenn in den Einstellungen unter Onpage > Analyse-Verwaltung > example.tld > Erweitert > Robot Einstellung die Option Regeln für googlebot folgen gesetzt ist, dann werden im Vergleich zu der Einstellung Regeln für * folgen in der Analyse mehr Seiten gefunden und gecrawlt

  • die Datei robots.txt enthält den folgenden Text:

User-agent: *
Disallow: /

Ursache

Der XOVI Crawler wird durch die Datei robots.txt geblockt.

Lösung

  • Passen Sie die robots.txt entsprechend an, um den XOVI Crawler zuzulassen

oder

  1. Loggen Sie sich auf suite.xovi.net ein

  2. navigieren Sie zu Onpage > Analyse-Verwaltung > example.tld > Erweitert

  3. setzen Sie die Option Robot Einstellung auf Anweisungen für robots ignorieren

  4. klicken Sie auf ANALYSE MIT GEÄNDERTEN EINSTELLUNGEN STARTEN

Hat dies Ihre Frage beantwortet?