Frage
Warum werden in einer Onpage Analyse HTTP-Fehler wie z.B. 404, 401, o.Ä. angezeigt, obwohl die verlinkten Seiten erreichbar sind?
Antwort
Ein Webbrowser verwendet GET die vom Webserver korrekt beantwortet werden.
XOVI verwendet HEAD Anfragen, um externe Links zu prüfen.
Im Onpage Bereich kann unter Onpage > HTTP-Header Analyse der HTTP Code der Domain geprüft werden.
Die Seiten, die in der Onpage Analyse mit einem HTTP Fehler angezeigt werden, antworteten auf HEAD Anfragen des XOVI Crawlers mit diesem HTTP Fehlercode.
Laut offizieller Spezifikation soll die Antwort eines GET mit der eines HEAD übereinstimmen:
The HEAD method is identical to GET except that the server MUST NOT
return a message-body in the response.
...
This method is often used for testing hypertext links for validity, accessibility, and recent modification.
Webserver / Anwendungen die diese Regeln nicht befolgen verhalten sich falsch.
Auf die korrekte Konfiguration von Webservern und Webanwendungen hat XOVI leider keinen Einfluss und kann demnach nur das anzeigen was vom verlinkten Webserver als Antwort zurück kommt.
GET Anfragen hätten massive Auswirkungen auf den Traffic, den der XOVI Crawler generiert und zusätzlich negative Auswirkungen auf die Geschwindigkeit des Onpage Crawls.