Frage
Warum dauert die Onpage Analyse so lange?
Antwort
In den Erweiterten Einstellungen einer Onpage-Analyse kann der Crawl-delay für jede Onpage-Analyse eingestellt werden. Das ist die Zeit, die der Crawler nach jedem Seiten-Request “schläft”.
In der Robots.txt kann auch die Eigenschaft
Crawl-delay
gesetzt werden - Bewirkt das gleiche wie in Punkt 1. beschrieben, nur dass dies für alle XOVI-Crawls geht (vorausgesetzt, es ist für den richtigen user-agent eingestellt)