tosdr.txt - Eine neue Möglichkeit deinen Dienst zu crawlen

Mit einer tosdr.txt, kannst du es uns vereinfachen dich zu crawlen. Platziere sie in dem Root-Verzeichnis, passe sie an deine Dokumente an und überlass uns den Rest. Beispiel tosdr.txt

Die Domain sieht richtig aus, drücke jetzt 'Validieren'!
Bitte vergewissere dich, dass du kein Protokoll und keinen Pfad in deiner Domain verwendest!