Symptom

  • Wenn in den Einstellungen unter Onpage > Analyse-Verwaltung > example.tld > Erweitert > Robot Einstellung die Option Regeln für googlebot folgen gesetzt ist, dann werden im Vergleich zu der Einstellung Regeln für * folgen in der Analyse mehr Seiten gefunden und gecrawlt

  • die Datei robots.txt enthält den folgenden Text:

User-agent: *
Disallow: /

Ursache

Der XOVI Crawler wird durch die Datei robots.txt geblockt.

Lösung

  • Passen Sie die robots.txt entsprechend an, um den XOVI Crawler zuzulassen

oder

  1. Loggen Sie sich auf suite.xovi.net ein

  2. navigieren Sie zu Onpage > Analyse-Verwaltung > example.tld > Erweitert

  3. setzen Sie die Option Robot Einstellung auf Anweisungen für robots ignorieren

  4. klicken Sie auf ANALYSE MIT GEÄNDERTEN EINSTELLUNGEN STARTEN

War diese Antwort hilfreich für dich?