Symptom

  • Wenn in den Einstellungen unter Onpage > Analyse-Verwaltung > example.tld > Erweitert > Robot Einstellung die Option Regeln für googlebot folgen gesetzt ist, dann werden im Vergleich zu der Einstellung Regeln für * folgen in der Analyse mehr Seiten gefunden und gecrawlt
  • die Datei robots.txt enthält den folgenden Text:
User-agent: *
Disallow: /

Ursache

Der XOVI Crawler wird durch die Datei robots.txt geblockt.

Lösung

  • Passen Sie die robots.txt entsprechend an, um den XOVI Crawler zuzulassen

oder

  1. Loggen Sie sich auf suite.xovi.net ein
  2. navigieren Sie zu Onpage > Analyse-Verwaltung > example.tld > Erweitert
  3. setzen Sie die Option Robot Einstellung auf Anweisungen für robots ignorieren
  4. klicken Sie auf ANALYSE MIT GEÄNDERTEN EINSTELLUNGEN STARTEN
War diese Antwort hilfreich für dich?