Erfassung durch Crawlers vermeiden

[syn-isti]

Hallo,

ich habe auf meinem NAS eine eher für internet Zwecke gedachte PHP-Anwendung (Wiki).

Da ich meinem Freunden die Bearbeitung ohne Registrierung, ohne Kennwörter erlauben möchte, möchte ich nicht, dass jemand ausser uns dieses Wiki findet:

Ich habe die Seite mit https bzw. mit Port 10001 eingerichtet. So sucht man eher selten.

Ich möchte aber auch nicht, dass Suchmaschinen die Seite irgendwo als Ergebnis einer Suche liefern. Wie kann man es verhindern bzw. was für Sicherheitsoptionen gibt es noch?

Danke für die Tipps.

I.

 

[jahlives]

Stichwort: robots.txt (http://de.wikipedia.org/wiki/Robots_Exclusion_Standard) Geht aber nur wenn sich die Crawler auch dran halten ;-) Die Grossen halten sich aber alle dran

 

[syn-isti]

Ok. Dann mache mal einen Test mit

User-agent: *
Disallow: /

(Und wie finde ich diese Datei?) (Terminal?)

 

[Tommes]

Man kann auch im HEAD-Bereich einer HTML Seite das Verhalten der Crawler steuern. Siehe hier...

Tommes

 

[joku]

Wie kann man es verhindern bzw. was für Sicherheitsoptionen gibt es noch?.

in der .htaccess das

ErrorDocument 403 403
ErrorDocument 404 404
#
Deny from .domain.tld

einfügen

Gruß Jo

 

[syn-isti]

Warum ist es sinnvoll bzw. wo finde ich diese Datei? Soll auch dieses von mir erstellt werden?

Eine zusätzliche Frage:

jemand kennt meine Domain. Was für Möglichkeiten hat er eine bestimmte Port zu finden. Die automatisierten Portscanner, die ich kenne, prüfen nur einen Bereich. Alles manuell anzupingen scheint mit sehr mühsam zu sein....

 

[joku]

Warum ist es sinnvoll bzw. wo finde ich diese Datei? Soll auch dieses von mir erstellt werden?

die robots.txt und .htaccess sind meist in der Wurzel von einem Webserver, sonst ertsellen

jemand kennt meine Domain. Was für Möglichkeiten hat er eine bestimmte Port zu finden.

Wer sowas macht, scannt ganze IP Bereiche und alle Ports, mit Software die es gibt.

Gruß Jo

 

[Tommes]

Anmerkung: Eine .htaccess mit Windows Bordmitteln zu erstellen (falls du ein Windows User bist) ist nicht ganz leicht. Schau dazu entweder mal hier nach oder nutze einen Editor wir Notepad++ !
Unter Linux/Unix hast du diese Pobleme nicht.

Tommes!