Seit einiger Zeit wird meine Seite von mehreren Bots einige hundert mal pro Tag besucht und mit Kommentarspam geflutet. Neulich Nacht im TS war ich im Gespräch mit meinem Freund Jens und wir kamen auf eine recht simple und seit einigen Tagen gut getestete Möglichkeit 90 % der Bots auszuschliessen.
Viele Blog-, Seiten- und Forenbetreiber gehen extreme Umwege über diverse Antispam-Plugins, was aber die Ressourcen der Seiten nicht gerade schont und meist noch diverse Logeinträge flutet. Ein einfacher Codeschnipsel schafft Abhilfe:
<?php
/* bots ärgern*/
$checkipspam=gethostbyaddr($_SERVER['REMOTE_ADDR']);
$checkipspam=str_replace(’.',”,$checkipspam);
if (intval($checkipspam) !=0) {
echo “OH… Noo…. “;
die; }
?>
Diesen Schnippsel noch vor dem Head der Seiten einbauen, ganz zu Beginn. Was passiert dort ? Ganz einfach, der Hostname des Bots wird nach dem RIPE-Name kontrolliert. Wenn er keinen hat (was für Bots meist Flach fällt da sie ständig die IP wechseln müssen) wird das laden der Seite abgebrochen und eine kurze Nachricht “OH… Noo….” erscheint.
Dies hilft das loggen diverser Einträge direkt zu verhindern und die meisten Bots kommen erst garnicht in den Genuss der Seite und damit auch nicht an die Möglichkeit Kommentare und Artikel voll zu spammen.
Hier mal ein Auszug einer Logdatei damit Sie nachvollziehen können, warum sich etwas ändern musste:
- ::ELNSB50::000061100320025802a00111000000000507000900000000 – 212.235.92.194 – 212.235.92.194 – /musik/big-beat/search-of-a-sign.html
- 30.Nov 2008 19:34:03 – Mozilla/4.0 (compatible; MSIE 5.5; Windows NT 5.0) – 194.8.75.239 – 194.8.75.239 – /musik/big-beat/search-of-a-sign.html
- 30.Nov 2008 20:05:18 – Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; .NET CLR 1.1.4322; FDM) – 195.248.184.115 – 184-115.static.alkar.net – /musik/big-beat/search-of-a-sign.html
- 30.Nov 2008 20:06:31 – Opera/7.11 (Windows NT 5.1; U) [en] – 194.8.75.239 – 194.8.75.239 – /musik/big-beat/search-of-a-sign.html
- 30.Nov 2008 20:14:51 – Mozilla/5.0 (Windows NT 5.1; U; en) Opera 8.00 – 194.8.75.214 – 194.8.75.214 – /musik/big-beat/search-of-a-sign.html
- 30.Nov 2008 20:24:14 – Mozilla/3.0 (compatible; WebCapture 2.0; Auto; Windows) – 194.8.74.10 – 194.8.74.10 – /musik/big-beat/search-of-a-sign.html
- 30.Nov 2008 20:28:38 – Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; YPC 3.0.2; .NET CLR 1.1.4322; yplus 4.4.02b) – 194.8.75.247 – 194.8.75.247 – /musik/big-beat/search-of-a-sign.html
- 30.Nov 2008 20:35:03 – Mozilla/3.0 (x86 [en] Windows NT 5.1; Sun) – 194.8.75.212 – 194.8.75.212 – /musik/big-beat/search-of-a-sign.html
- 30.Nov 2008 21:12:07 – Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1) – 212.116.219.202 – 212.116.219.202 – /musik/big-beat/search-of-a-sign.html
- 30.Nov 2008 21:43:48 – Mozilla/4.0 (compatible; MSIE 6.0; MSIE 5.5; Windows NT 5.0) Opera 7.02 Bork-edition [en] – 94.102.49.14 – 94.102.49.14 – /musik/big-beat/search-of-a-sign.html
- 30.Nov 2008 21:44:35 – Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727) – 194.8.75.245 – 194.8.75.245 – /musik/big-beat/search-of-a-sign.html
- 30.Nov 2008 21:47:20 – Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; .NET CLR 1.0.3705; .NET CLR 1.1.4322) – 194.8.75.214 – 194.8.75.214 – /musik/big-beat/search-of-a-sign.html
- 30.Nov 2008 22:28:57 – Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; MRA 4.6 (build 01425); MRSPUTNIK 1, 5, 0, 19 SW) – 194.165.42.105 – 194.165.42.105 – /musik/big-beat/search-of-a-sign.html
- 30.Nov 2008 22:37:27 – Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322) – 194.8.75.245 – 194.8.75.245 – /musik/big-beat/search-of-a-sign.html
- 30.Nov 2008 22:52:31 – Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.0.3705; .NET CLR 1.1.4322; .NET CLR 2.0.40607) – 194.8.75.212 – 194.8.75.212 – /musik/big-beat/search-of-a-sign.html
- 30.Nov 2008 23:13:53 – Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; YPC 3.0.2; .NET CLR 1.1.4322; yplus 4.4.02b) – 194.8.75.239 – 194.8.75.239 – /musik/big-beat/search-of-a-sign.html
- 30.Nov 2008 23:14:18 – Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; Crazy Browser 2.0.0 Beta 1; .NET CLR 1.0.3705; .NET CLR 1.1.4322) – 194.8.75.239 – 194.8.75.239 – /musik/big-beat/search-of-a-sign.html
- 30.Nov 2008 23:43:05 – Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.1) Gecko/2008070208 Firefox/3.0.1 – 84.16.227.88 – 84.16.227.88 – /musik/index.php
- 30.Nov 2008 23:54:34 – Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt) – 194.8.75.214 – 194.8.75.214 – /musik/big-beat/search-of-a-sign.html
- 30.Nov 2008 23:54:36 – Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1) – 194.165.42.67 – 194.165.42.67 – /musik/big-beat/search-of-a-sign.html
- 01.Dec 2008 0:20:33 – Mozilla/4.0 (compatible; MSIE 6.0; MSIE 5.5; Windows NT 5.0) Opera 7.02 Bork-edition [en] – 195.248.184.115 – 184-115.static.alkar.net – /musik/big-beat/search-of-a-sign.html
- 01.Dec 2008 0:22:06 – Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; FunWebProducts) – 194.8.75.245 – 194.8.75.245 – /musik/big-beat/search-of-a-sign.html
- 01.Dec 2008 0:59:58 – Mozilla/4.0 (compatible; MSIE 5.5; Windows 95; BCD2000) – 194.165.42.69 – 194.165.42.69 – /musik/big-beat/search-of-a-sign.html+%5BPLM=0%5D+GET+http://www.avantalis.com/musik/big-beat/search-of-a-sign.html+%5B0,25778,24896%5D+-%3E+%5BN%5D+POST+http://www.avantalis.com/musik/wp-comments-post.php+%5BR=302%5D%5B0,0,784%5D
- 01.Dec 2008 1:10:39 – Mozilla/3.0 (x86 [en] Windows NT 5.1; Sun) – 194.8.75.212 – 194.8.75.212 – /musik/big-beat/search-of-a-sign.html
- 01.Dec 2008 1:21:25 – Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; Q312461) – 195.149.90.86 – 195.149.90.86 – /musik/big-beat/search-of-a-sign.html
- 01.Dec 2008 1:21:27 – Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; Q312461) – 195.149.90.86 – 195.149.90.86 – /musik/big-beat/search-of-a-sign.html
- 01.Dec 2008 1:21:27 – Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; Q312461) – 195.149.90.86 – 195.149.90.86 – /musik/big-beat/index.php
- 01.Dec 2008 1:21:27 – Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; Q312461) – 195.149.90.86 – 195.149.90.86 – /musik/big-beat/index.php
- 01.Dec 2008 1:23:05 – Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1) Netscape/8.0.4 – 194.165.42.121 – 194.165.42.121 – /musik/big-beat/search-of-a-sign.html
- 01.Dec 2008 2:02:07 – Mozilla/4.0 (compatible; MSIE 6.0; Update a; AOL 6.0; Windows 98) – 194.8.75.214 – 194.8.75.214 – /musik/big-beat/search-of-a-sign.html
Wie Sie sehen, war ein Eingriff nötig. Nun werden Sie sagen, was ist wenn die Bots umrüsten und nun doch eine RIPE beinhalten ? Das ist technisch schwierig, da die Bots nicht dauernd die RIPE ändern können. Und wenn der Bot doch mit einer RIPE kommt, um so besser, denn nun haben wir einen Hostname den wir sperren können.
PS: Wenn man den Bot ärgern möchte macht man einfach eine Header auf sich selbst oder man leitet ihn an interessiertere Seiten weiter, Microsoft, Google oder eine andere Seite der Wahl.
Nachtrag: Derzeit arbeite ich an einem automatischem Antispamtool das automatisch Einträge loggt, auf die Bannliste setzt und gegebenenfalls den Admin benachrichtigt. Der derzeitige Fortschritt bzw. die Früchte meiner gebannten Bots kann auf meiner Antispam Blacklist betrachtet werden.
Avantalis schrieb am Januar 9th, 2009 um 16:03 Uhr
Ich muss sagen, funktioniert bisher hervorragend die Spamabwehr. Mir sind sogar schon einige Contentcrawler ins Netz gegangen. Von mehr als 100 Kommentarspammern kommt jetzt gerade mal 0-1ner pro Tag durch. Der unverfrohrenste Spammer kommt dabei von keymaker.de – lohnte sich gleichmal die komplette Ripe zu sperren.
Martin Grunwald schrieb am November 11th, 2009 um 06:55 Uhr
Hab die Seite gefunden, weil mir der Rechner 194.8.75.214 völlig unbekannt war. Während also alle irgendwie auf t-dialin. enden, waren immer unaufgelöste Hosts dabei. Ich verstehe jetzt auch warum. Ich habe den Code testhalber eingesetzt.
Die Idee ist aber genial.
Danke
Avantalis schrieb am Dezember 8th, 2009 um 18:36 Uhr
Ja, die Idee ist schon nett, das Problem ist aber ein Anderes, das man auch teilweise Internetcafes mit ausschliessen könnte. Ein Besucher meiner Seite hatte mir mal eine Mail geschrieben mit dem Hinweis, das er von zu Hause meine Seite ohne Probleme besuchen konnte, nur im Inet-Cafe nicht.
Aber wer braucht schon Internetcafès ;)
1000 Spambots vs. 1-2 User :)