Domain eingeben z.B. beispiel.de, www.beispiel.de oder www.beispiel.de/index.html

Backlink Checker mit eigener Datenbasis

SEOkicks sammelt mit eigenen Crawlern fortlaufend Linkdaten und stellt diese per Website, CSV-Export und API zur Verfügung. Der aktuelle Index umfasst mehr als 200 Mrd. Linkdatensätze.

Das Neue Jahr fing turbulent an und startete fast unmittelbar mit dem Anruf eines Münchner Polizeibeamten. Grund: Bei der Staatsanwaltschaft ist per Rechtsanwalt ein Antrag auf Strafanzeige gegen den Inhaber verschiedener IP-Adressen (alles SEOkicks Webcrawler) eingegangen, da über diese IPs Warenkörbe in mehreren Online-Shops seiner Mandantin gefüllt wurden, ohne dass es am Ende zu einer Bestellung kam. Hierdurch sieht die Klägerin den Tatbestand einer Nachstellung im Sinne des § 238 StGB sowie der Computersabotage im Sinne des § 303b StGB als erfüllt.

Natürlich ist es absolut verständlich, dass von Webcrawlern gefüllte Warenkörbe zumindest lästig sein können, speziell wenn sich das – wie ebenfalls angegeben – negativ auf die Performance des Shops auswirkt. Der sofortige Gang zum Anwalt ist dennoch unverständlich: Die SEOkicks Webcrawler senden generell keine Formulare ab, offenbar führte im aktuellen Fall also schon der reine Aufruf interner Links dazu, dass Produkte in den Warenkorb gelegt wurden. Diese Links wurden zudem wohl nicht per robots.txt Datei gesperrt, denn auch diese Anweisungen werden von unseren Crawlern berücksichtigt.

Der richtige und zum Glück absolut übliche Weg zur Vermeidung solcher Probleme besteht darin, zum Befüllen von Warenkörbern erst gar keine Links zu nutzen, oder die Zielseite zumindest per robots.txt Datei zu sperren und hierdurch automatisierte Aufrufe zu unterbinden. Auch die vollständige Sperrung unserer Crawler für eine gesamten Domain wäre mit nur 2 kurzen Einträgen in der robots.txt schnell erledigt gewesen. Gerne hätten wir das der Klägerin vorab erklärt und damit beiden Seiten Zeit und Kosten erspart. Stattdessen haben wir nun den ermittelnden Behörden die Hintergründe dargelegt und bekamen auch schon signalisiert, dass die Angelegenheit damit erledigt sei.

Absolut unverständlich ist zudem, wieso die Staatsanwaltschaft gebeten wurde den „Täter“ über die geloggten IP-Adressen zu ermitteln. Die SEOkicks-Crawler hinterlassen bei jedem Seitenabruf ihren Namen als User-Agent in den Access-Logs der besuchten Domain und zusätzlich auch noch einen Verweis auf unsere Webcralwer Infoseite. Dort wird u.a. explizit das Problem „Es werden große Warenkörbe gefüllt oder leere Bestellungen ausgelöst?“ aufgeführt.

Sollte noch jemand Probleme jedweder Art mit den SEOkicks Crawlern haben: Bitte nicht gleich Strafanzeige stellen, sondern einfach anrufen oder eine kurze Mail schreiben. Um unsere Crawler vollständig zu blocken genügt es bereits folgenden Eintrag in die eigene robots.txt Datei aufzunehmen:

User-agent: SEOkicks-Robot
Disallow: /

Als Folge würden wir neue externe Verlinkungen der nicht mehr gecrawlten Domains dann allerdings nicht mehr erkennen und diese in unserer Backlinkrecherche entsprechend auch nicht als Linkquelle aufführen. Potenzielle Kooperationspartner oder Interessenten an einem Linktausch/-kauf werden über SEOkicks also in diesem Fall nicht mehr auf die für uns gesperrte Domain aufmerksam.

Wir crawlen täglich übrigens weit über 100 Mio. Websites, ohne dass es bisher je zu größeren Beschwerden kam. Probleme mit unseren Crawlen sind daher grundsätzlich eher ein Indiz für Schwächen der eigenen Website – was wohl auch im aktuell Fall der Grund war. Trotzdem sind wir für jeden Hinweis dankbar, der zu einer weiteren Optimierung unserer Systeme beitragen kann.


Kommentare (53):

Dienstag, 22. Januar 2013 um 11:24

Mich wundert, dass die Recherche der Kläger/in bzw. dessen Anwalt insoweit ausreichend war SEOKicks des Strafverdachts zu bezichtigen, aber die Logfiles nicht wirklich ausgewertet wurden, um den Crawler zu erkennen und wie erwähnt Zeit und Kosten zu sparen.

catcat
Dienstag, 22. Januar 2013 um 12:07

Frage:
Betraf das nur ein einziges Schrott-Shopsystem?
Ich kenne eine Menge Shopsysteme und kein einziges ist so dumm, das es sich Warenkörbe von Crawlern füllen lässt.

Dominik
Mittwoch, 23. Januar 2013 um 12:55

Bei allem Respekt aber was muss man denn für ein kreatives Interpretationsvermögen besitzen, wenn das Laden einer verlinkten Seite ohne jeglichen Zugriffsschutz als Computersabotage auslegt oder sogar den Tatbestand der Nachstellung ins Spiel bringt o_O.

Mittwoch, 23. Januar 2013 um 14:20

Mich würde auch gerne mal das Shop-System interessieren, welches die Probleme verursacht hat. 🙂 Das dürft ihr doch bestimmt nennen oder?

Danke

Freitag, 25. Januar 2013 um 11:27

Es sieht so aus, als sei es immer das gleiche Shop-System, das unter unterschiedlichen URLs mit unterschiedlichen Templates betrieben wird. Im Kern ist aber vermutlich alles identisch. Ich tippe auf xt:Commerce Version 3, die mehr oder weniger stark modifiziert wurde.

Freitag, 25. Januar 2013 um 20:04

Großen Respekt für Seokicks, dass Ihr das publik macht. Und was nicht umhaut macht stark. Weiter crawlen!

Niles
Montag, 28. Januar 2013 um 17:36

Anscheind hat der Shop nicht genug eingebracht und da wird verzweifelt nach Allem gesucht, womit man Geld machen kann.

Macht weiter so, ich liebe euren Service!

Übrigens Ihr habt noch © SEOkicks 2012 unten rechts stehen 😉

Montag, 28. Januar 2013 um 19:30

Ist korrigiert, danke 🙂

dester
Dienstag, 29. Januar 2013 um 23:59

Wie finanziert ihr euren Service eigentlich?
Ich meine ohne Werbung, ohne kostenpflichtigen Memberbereich?
Dann habt ihr noch Strafanzeige am hals und so Server sind auch nicht billig.

Dirk
Donnerstag, 31. Januar 2013 um 13:22

Starkes Stück. Gut das dieser Fall nicht durchgekommen ist. Macht weiter so mit Eurem Service.

Donnerstag, 31. Januar 2013 um 13:38

Es gibt Werbung innerhalb der Trefferseiten, die Finanzierung läuft aber größtenteils privat. Hier geht es eher um die technische Herausforderung als um’s Geld verdienen 🙂 Wobei +/- 0 mittelfristig natürlich schön wäre, vielleicht lässt sich das über Kooperationen und die Werbung irgendwann erreichen.

Sonntag, 3. Februar 2013 um 17:25

Das ist schon wirklich unangenehm, dass es Leute und RA’s gibt, die bei jeder noch so unmöglichen Gelegenheit Strafanzeigen erstatten, um Druck zu machen.
Schön, dass Sie sich wehren konnten!

Grüße
Cornelia

Donnerstag, 7. Februar 2013 um 10:13

Aber die Geschichte als solche hat was…

Dienstag, 12. Februar 2013 um 10:02

Ich würde an Eurer Stelle mal prüfen in wie weit ihr hier selber Strafanzeige stellen könnt. Ich sehe hier ehrlich gesagt den Straftatbestand nicht erfüllt, alleine deswegen schon da er Fahrlässig begangen wurde.

Ich würde es ehrlich gesagt sogar auf einen Gerichtsprozess ankommen lassen, den solltet ihr locker Gewinnen und dann stellt IHR Schadensersatz!

Mittwoch, 13. Februar 2013 um 11:00

Lasst Euch davon nicht abschrecken. Selber zum Anwalt gehen und den machen lassen.. bloß nicht zu sehr drüber ärgern..

Ich drück Euch die Daumen!

Donnerstag, 28. Februar 2013 um 12:17

Unglaublich! Da sträuben sich einem die Nackenhaare, wenn man so etwas liest! Ich wünsche Euch viel Erfolg!!!!

Freitag, 1. März 2013 um 09:16

Da sieht man wieder mal wie viele Leute sich ohne Wissen im Netz rumtreiben. Bevor da selber geprüft wird, woher das Problem kommt und die Software anpasst, geht man lieber zum Anwalt ?
Leute, in was für einer Welt leben wir …
Trotzdem toller Service und macht weiter so
SEOKicks …
Gruß

Montag, 4. März 2013
Freitag, 8. März 2013 um 22:47

Mein Gott, dieser Artikel versüßt mir den Freitagabend 😉 ich wäre beim Lesen des Briefes sicherlich lachend vom Stuhl gefallen.

Grüße
Micha

Mittwoch, 13. März 2013 um 22:43

naja, es ist schon gruselig was euch da passiert ist 🙁

Donnerstag, 14. März 2013 um 20:43

Von mir auch viel Glück in diesem Verfahren. Ist für mich auch völlig unverständlich was da gefordert wird. Ich teste meine Seiten regelmäßig bei euch.
Gruß

Dienstag, 19. März 2013 um 09:36

Von solchen „Personen“ darf man sich niemals ausbremsen lassen. Viel Glück!

Freitag, 29. März 2013 um 17:58

Die Aktion bestätigt mal wieder, dass es keine Einzelfälle sind, bei denen völlig Unwissende der Meinung sind im Internet ein Business aufzubauen. ZUsätzlich sieht man dann auch noch die verkettung und weitere Folge von Trotteln, die immer noch im Handwurfzettelzeitalter hängen geblieben sind.

Der Anwalt wittert Kohle und legt mal im Interesse seiner Mandantin los und bringt gleich ganze Steinhalden ins rollen.

Natürlich ohne Plan!

Die Polizei nimmt schon mal eine solche Anzeige ungeprüft auf.
Weil – auch keinen Plan worum es geht.

Die Staatsanwaltschaft ermittelt.
Warum? Weil auch keinen Plan worum es geht.

Folge:
Sieht man ja – Ihr bekommt erst mal Ärger und müsst euch mit solch einem Mist rumschlagen. Der Tussi würde ich eine Schadensersatzklage an die Backe nageln, die sich gewaschen hat. Alleine für den Aufwand, Reputationsschaden, unberechtigtes Einholen von Adressdaten zu einer IP und damit Verstoß gegen das Datenschutzgesetz und was man da sonst noch so geltend machen kann.

Die Kosten, die nun der Steuerzahler wieder zu tragen hat, für die unsinnige Arbeitszeit der Staatsanwaltschaft, müsste das Sumpfhuhn sowieso ersetzen. Ist ja mal absolut nicht einzusehen, dass ich Steuergelder für die Blödheit anderer zahle.

Aber dieser Abmahnwahn und auch solche Aktionen müssen direkt, am besten Pressewirksam bekämpft werden, dass da einige Internetausdrucker mal die Füsse still halten und sich überlegen, ob sie wegen einem selbst verschuldeten Fehler zum Anwalt, Staatsanwalt und/oder der Polizei rennen.

Donnerstag, 4. April 2013 um 08:36

Ohne das Internet hätten viele Anwälte in Deutschland wahrlich weniger zu tun, denn sie sind doch die wahren Gewinner bei solchen Sachen, denn ist es doch egal wie es ausgeht, Geld verdienen sie trotzdem. 🙂

Dienstag, 9. April 2013 um 21:02

Danke für Euren klasse Service!

Samstag, 11. Mai 2013 um 15:44

Hallo SEOkicks,
ich finde Eure Arbeit gut.
Also weiterhin viel Erfolg und,…
Weiter crawlen!!!
LG
Peter

Montag, 13. Mai 2013 um 16:51

Ich finde es immer wieder interessant, aufgrund welcher Anlässe diverse Leute zum Anwalt rennen. Die Anwälte beider Seiten freuen sich und halten die Hand auf.
Wie sie selbst schreiben, macht es immer Sinn erst mal mit der Gegenseite zu sprechen.

Aber eine Frage bleibt noch offen. Welche Art von Shopsystem füllt denn heutzutage noch Warenkörbe aufgrund eines simplen Linkaufrufs?

Donnerstag, 30. Mai 2013 um 07:01

Typisch Deutschland. Wieso ruft der „Geschädigte“ nicht einfach kurz an und versucht das vorerst persönlich zu klären? Wenn doch die Crawler ganz einfach zeigen dass sie von Euch sind, muss doch auch der letzte Vogel 1 + 1 zusammen zählen können.

Donnerstag, 13. Juni 2013 um 21:13

Es sind ja jetzt mittlerweile einige Monate vergangen, hab das jetzt aber erst mit bekommen. Eine schöne Aufklärung kann man hier nachlesen und jeder der sich nen bissel mit dem Internet auskennt sollte doch auf sowas von selbst kommen. Vor allem, wenn man einen Shop betreibt und damit Geld verdienen möchte.

Danke für den klasse Service hier den man hat 🙂

Mfg

Freitag, 14. Juni 2013 um 07:37

Interessanter Straftatbestand. Macht die Frau das auch bei echten Personen, die viel in den Warenkorb legen und dann doch nicht gekauft haben. Was machte die eigentlich bei den Google Crawlern, weil die sind doch ständig da?

Mittwoch, 19. Juni 2013 um 19:49

Toll, dass Ihr weitergemacht habt. Ein einfacher Griff zum Telefon der Klägerin hätte den ganzen Ärger sicher erspart. Aber Menschen mit einem beschränkten Blickfeld gibt es sicher überall.

Donnerstag, 20. Juni 2013 um 13:21

@rainer schafferthal

Na was macht sie wohl bei den Google Crawlern – die Klage ist sicher schon eingereicht 🙂

Anwälte die sich auf solche dinge „spezialisiert“ haben ohne Fachwissen ihr eigen zu nennen müssten Verbote bekommen. bitte nach dem Check der IP und dem wissen es ist SEOkicks ist doch wohl jedem mit ein wenig Fachwissen klar das es sich wohl um einen Crawler handelt und hätte die Möglichkeit via links Einkaufskörbe zu füllen gechecked (auch ohnle Logs zu begutachten).

UND WENN DIESES FACHWISSEN FEHLT – einfach mal jemanden Fragen der sich damit auskennt bevor man die Klage einreicht.

Mir ist klar das der Ottonormal Internetbenutzer (und leider auch Online Shopbesitzer) vom Internet genauso viel Ahnung hat wie ich vom Feuerschlucken – deshalb muss man die Klägering verstehen können, sie dachte sicher wirklich sie wird da sabotiert, es wird versucht ihren Shop zu killen – wer hat den Shop denn gemacht stellt sich die Frage. Der Anwalt hätte sich aber VOR einer Strafanzeige eben damit beschäftigen müssen.
Zumal Shop Schädigung – da ist Körbe füllen jetzt nicht meine erste Idee…

André
Sonntag, 23. Juni 2013 um 20:32

Hay!

Leider ist es bei XTC so, dass die Warenkörbe gefüllt werden. Aber Systeme wachsen nunmal und einige (kleine) Fehler lassen sich nicht mal eben schnell beheben. Das betrifft (in meinem Fall) z.B. auch das Umwandeln des einfachen links in eine form. Vllt ein kleiner Vorschlag: Wenn sich Euer Crawler an die Attribute in Links halten würde, dann wäre es kein Problem. Beim google Bot war das genauso. Also ein rel=“nofollow“ in den Link und nach gut 24 Stunden war Schluss damit. Euer Robot ignoriert allerdings das Attribut (auch, wenn in Euren FAQ was anderes steht).

Zum Fall: Prinzipiell sehe ich hier auch die Websitebetreiber in der Pflicht was zu tun (sofern es machbar ist). Aber eine Strafanzeige? Blödsinn!

Montag, 24. Juni 2013 um 00:53

Es ist wirklich merkwürdig das man nicht mal eben schnell in die Logs schaut, die Info-Adresse eures Crawlers in seinem Browser eingibt und so sie Ursache rausfindet.

Dienstag, 25. Juni 2013 um 17:52

Genial das Crawler auch gerne mal shoppen gehen 🙂 In dem Fall ist es Anliegen des Shop Anbieters Crawler auszusperren, anstelle dies an den Crawler Betreiber abzuwälzen.

Montag, 15. Juli 2013 um 14:38

Man kann sich über viele Sachen ärgern – aber dies ist ja schon wirklich unverschämt… Wenn man einen Shop online stellt, muss man/frau auch mit den Konsequenzen leben! Zumal wenn es sich wie hier, um Kleinigkeiten handelt…

Bernd
Freitag, 9. August 2013 um 11:31

Hallo zusammen,

wird Euer Bot/Crawler folgende Anweisung in der robots.txt beachten???=>

User-agent: *
Disallow: /shop/create_guest_account.php

Falls ja, dürften die Probleme der diversen xt-c-Installationen damit erledigt sein, ohne zum Holzhammer greifen zu müssen.

Freitag, 9. August 2013 um 11:34

Das ist eine valide Regel, die natürlich beachtet würde.

Samstag, 31. August 2013 um 15:30

Offenbar ist es leichter einen Anwalt einzuschalten, als mal schnell einen Programmierer an den Shop zu setzen und das Problem zu beheben…

Mittwoch, 4. September 2013 um 12:09

Ich bin echt beeindruckt was für eine tolle Informationspolitik ihr betreibt! Weiter so!
Bei unserem Onlineshop (Magento-System) war euer Crawler auch schon zu Besuch, hat aber leider nichts eingekauft und auch nicht bezahlt 😉

Donnerstag, 5. September 2013 um 09:39

Ich verstehe die Shopbetreiberin auch nicht. Anstatt sich erstmal um die technische Lösung des Problems zu kümmern ist es ja einfacher nen Anwalt einzuschalten. Schade dass der Google-Bot nicht bei ihr eingekauft hat. Dann hätte Sie ja vielleicht in Rente gehen können…

Samstag, 14. September 2013 um 17:58

Die robots.txt sollte man eben entsprechend konfigurieren. Besonders Bernds Tipp dürfte hier sinnvoll sein. Anders als seokicks, halten sich jedoch manche Crawler nicht an die Anweisungen in der robots.txt. Wer hier Probleme hat, sollte eine entsprechende Crawler-Falle anlegen und ignorante Spider einfach auf eine Blacklist setzen, d.h. über die htaccess sperren! 😉

Samstag, 5. Oktober 2013 um 10:18

Heute wird nur noch geklagt statt sich vernünftig auseinander zu setzen. Aber ist ja nicht nur in diesem Bereich so. Ist auch einfacher Geld zu verdienen mit Abmahnungen als mal ein Anruf / Email zu tätigen…

Tom
Samstag, 7. Dezember 2013 um 09:31

Klar ist es ärgerlich!
Jeder will was verkaufen und will nicht viel dafür tun!
Man muss sich um seinen Shop bewegen, dann kommt sowas nicht vor!
Schickt euren Crawler, ich warte 😉

Gruss Tom

Sonntag, 8. Dezember 2013 um 22:23

Danke für Eure Arbeit. Crawle bitte weiter.
Viele Erfolg noch!

Dienstag, 10. Dezember 2013 um 13:08

Klasse Beitrag!
Ich hätte nicht gedacht, dass man einen Shop durch Linkaufruf befüllen kann :).
Unverständlich ist natürlich die Reaktion darauf …
Weiter crawlen! Alex

Mittwoch, 12. Februar 2014 um 14:00

Ist schon heftig das ganze… Oh man.

Dienstag, 4. März 2014 um 10:52

Hahaha – dann haben die wahrscheinlich auch alle 100 Toolanbieter in Deutschland verklagt, die auch ihre Crawler im Netz laufen lassen. Wer so unfähig ist und sich Warenkörbe von Crawlern füllen lässt, sollte sich überlegen, das Geschäftsmodell zu ändern. Ich könnte wetten, dass es irgendso ein alter Mensch war der meinte, mit der Brechstange loszugehen viel mehr bringt.
Dass die Staatsanwaltschaft aber genauso naiv ist, beunruhigt einen…

Sonntag, 6. Juli 2014 um 23:50

Gönnt doch euren Crawlern auch mal was! Wenn sie eben mal in Shopping-Laune sind… 😉
im Ernst: gute Arbeit, vielen Dank dafür!

Dienstag, 12. August 2014 um 19:17

Es riecht hier wirklich danach: Unwissender Shop-Betreiber kauft fertiges System und ärgert sich über die Warenkörbe, hat keinen Draht zum Shopsystemverkäufer, kennt auch keinen der ihr helfen könnte und rennt zum Landanwalt, der hat Flaute und wittert Geld, hat aber natürlich auch keine Ahnung von der Materie. Es werden noch „Fachkräfte“ engagiert, die herausfinden welche Crawler das waren und geben die Info weiter und sind super stolz auf sich. Aber das der Shop das Problem ist, da kommt keiner drauf.
Aber es sind so richtig Kosten verursacht worden, die mit minimalen Bits hätten nicht sein müßen.
Für SEOkicks kann es nur bedeuten: Weiter so, ihr macht das super! Und wenn Eure Crawler noch Macken in Shopsysteme aufdecken, laßt Euch diesen speziellen Service bezahlen. 😉

Dienstag, 9. September 2014 um 11:28

..wie ist der aktuelle neuste Stand?

Montag, 22. September 2014 um 20:23

Na, klar!
blöd …
Gerne könnt ihr auf unserer Seite crawlen!
Denn unsere Waren werden erst verschickt, wenn sie bezahlt sind …

Versprochen, wir werden nicht klagen 😉

Kommentar schreiben: