Symptom
Wenn in den Einstellungen unter Onpage > Analyse-Verwaltung > example.tld > Erweitert > Robot Einstellung die Option Regeln für googlebot folgen gesetzt ist, dann werden im Vergleich zu der Einstellung Regeln für * folgen in der Analyse mehr Seiten gefunden und gecrawlt
die Datei robots.txt enthält den folgenden Text:
User-agent: *
Disallow: /
Ursache
Der XOVI Crawler wird durch die Datei robots.txt geblockt.
Lösung
Passen Sie die robots.txt entsprechend an, um den XOVI Crawler zuzulassen
oder
Loggen Sie sich auf suite.xovi.net ein
navigieren Sie zu Onpage > Analyse-Verwaltung > example.tld > Erweitert
setzen Sie die Option Robot Einstellung auf Anweisungen für robots ignorieren
klicken Sie auf ANALYSE MIT GEÄNDERTEN EINSTELLUNGEN STARTEN