itst-Elfitst.net — 100 % β

Pro-bono-Beratung - Kostenlos, aber nicht umsonst.

Böse Bots finden

Via Bot-Trap - ./deifls-weblog: KLOTH.NET - Trap bad bots in a bot trap

Anhand einer robots.txt lässt sich herausfinden, welche Bots auf sie achten und welche nicht, in dem man in seiner robots.txt ein Verzeichnis mit Disallow markiert und dann zuschaut, welche Bots dieses Verzeichnis dennoch abrufen.

Diese Bots speichert man in einer Datei oder Datenbank und prüft mittels einem dynamischen Seitenelement in allem Seiten, ob der aktuelle Aufruf von einer gelisteten IP oder mit einem gelisteten UA-String* daherkommt. Wenn ja, gibts eine entsprechende Meldung und nicht den eigentlichen Inhalt der aufgerufenen Seite.

Natürlich sollte man die Liste von Zeit zu Zeit überprüfen und dynamisch vergebene IP’s löschen, sonst schließt man vielleicht jetzt gerade den Falschen aus - wenn er jedoch ein böser Bot ist, wird er eh wieder gelistet.

Damit lassen sich prima sich fiese Bots/Botbetreiber identifizieren. Das Blocken der Bots ist dabei natürlich nur eine Option, kein Muss. Vielleicht sollte man, eh man das tatsächlich scharf einsetzt, sowieso nur eine Weile beobachten, um ein Gefühl dafür zu bekommen.

Weiter kann man diese Technik in Kombination mit einer falschen aber existierenden E-Mail-Adresse dazu benutzen, Mail-Harvester zu identifizieren: in dem index.whatever-Dokument im per Disallow gesperrten Verzeichnis setzt man einen mailto:-Link auf diese Adresse und wartet ab. Wenn man Glück hat, sind die Absender-IP’s der Spammails mit denen eines Bots identisch. Wenn nicht, ist das ganze allerdings nutzlos ;-)

*) Das Ausmisten der Liste ist insbesondere in Bezug auf die UA-Strings wichtig. Im Zweifel sendet ein Bot einen korrekten UA-String, d. h. einen UA-String, den ein guter Bot oder ein normaler Browser benutzt.

2 comments

  1. player sagt:

    hy.
    ich muss unbedingt wissen wie man ips löschen kann.oder wie man sie unschädlich macht.also es ist so das n freund von mir was auf eine internet seite geschrieben hat.aber er will daher seine ip unkenntlich machen.geht das?.er hat n router.kann man das den trotzdem zurückverfolgen???
    bitte um schnelle antwort danke!

  2. Jens sagt:

    @player

    Natürlich geht das, na ja, du kannst strengenommen nur den IP endpunkt verstecken aber das reicht für 100% sicherheit !!!11!

    Nimm das Gerät welches du zur einwahl benutzt aus deinem Rechner (ISDN Karte, Modem oder DSL Modem, oder eben den einwahl rouer), geh damit in den wald und verbuddel den kram.

Deine Meinung?