Backlink Checker mit eigener Datenbasis

Die Internetkapitäne haben heute Ausgabe 43 des kostenlosen SEO Magazins suchradar veröffentlicht. Neben Beiträgen zum Titelthema Content Seeding enthält die Ausgabe auch ein dreiseitiges Interview, in dem ich auf einige inhaltliche und technische Hintergründe zur Entwicklung von SEOkicks eingehe und einen kurzen Blick in die Zukunft von SEOkicks werfe.

Wie immer steht die Ausgabe zum kostenlosen Download bereit, außerdem gibt es bei Amazon auch noch eine spezielle Kindle Version.

Als Ergänzung zum Interview haben die Internetkapitäne auch noch ein kleines Youtube Video über SEOkicks erstellt, das einen schönen Überblick über die aktuellen Funktionen gibt.

Ich hoffe das Interview enthält ein paar interessante Infos. Fragen, Anmerkungen oder auch kritische Einschätzungen können gerne direkt hier in den Kommentaren geäußert werden. Rückmeldungen jeglicher Art sind wie immer willkommen.

Die SEOkicks Datenbank umfasst seit heute mehr als 42. Mrd Linkdatensätze, die sich sowohl per Website als auch per kostenloser Backlink API abfragen lassen. Beides ist grundsätzlich ohne Anmeldung möglich, API-Abfragen erfolgen aber unter Angabe des Parameters appID. Eine simple Abfrage von Domain-, Link-, Netz- und IP-Pop sollte in etwa wie folgt aussehen:

http://www.seokicks.de/SEOkicksService/V1/inlinkData?appid=SEOkicksDemo&query=www.spiegel.de

Leider empfängt die API derzeit täglich mehrere Mio. Abfragen, bei denen der Parameter appID nicht wie in der Doku angegeben gesetzt wird. Dort heißt es hierzu:

„appID: Bitte den eigenen Firmennamen (wenn eindeutig) oder die eigene Domain angeben, damit wir den Request eindeutig zuordnen können.“

Ich möchte daher alle API Nutzer bitten die eigene Implementierung zu prüfen und die genutzte appID ggf. zu korrigieren. Oft werden 100.000+ Abfragen/Tag von der gleichen IP-Adresse durchgeführt, wobei als appID wahlweise „12345“ o.ä. oder die abzufragende Domain gesetzt wird. Insbesondere bei kommerziellen Nutzern, die die API z.T. in sehr großem Umfang nutzen, ist es sehr schade, wenn bewusst versucht wird die Nutzung zu verschleiern.

Glücklicherweise gibt es aber gerade unter den kommerziellen Nutzern auch einige, die die API nicht nur korrekt einsetzen, sondern die SEOkicks Monat für Monat finanziell unterstützen und damit den Betrieb und die Weiterentwicklung gewährleisten. Danke dafür an jeden von Euch!

Das Neue Jahr fing turbulent an und startete fast unmittelbar mit dem Anruf eines Münchner Polizeibeamten. Grund: Bei der Staatsanwaltschaft ist per Rechtsanwalt ein Antrag auf Strafanzeige gegen den Inhaber verschiedener IP-Adressen (alles SEOkicks Webcrawler) eingegangen, da über diese IPs Warenkörbe in mehreren Online-Shops seiner Mandantin gefüllt wurden, ohne dass es am Ende zu einer Bestellung kam. Hierdurch sieht die Klägerin den Tatbestand einer Nachstellung im Sinne des § 238 StGB sowie der Computersabotage im Sinne des § 303b StGB als erfüllt.

Natürlich ist es absolut verständlich, dass von Webcrawlern gefüllte Warenkörbe zumindest lästig sein können, speziell wenn sich das – wie ebenfalls angegeben – negativ auf die Performance des Shops auswirkt. Der sofortige Gang zum Anwalt ist dennoch unverständlich: Die SEOkicks Webcrawler senden generell keine Formulare ab, offenbar führte im aktuellen Fall also schon der reine Aufruf interner Links dazu, dass Produkte in den Warenkorb gelegt wurden. Diese Links wurden zudem wohl nicht per robots.txt Datei gesperrt, denn auch diese Anweisungen werden von unseren Crawlern berücksichtigt.

Der richtige und zum Glück absolut übliche Weg zur Vermeidung solcher Probleme besteht darin, zum Befüllen von Warenkörbern erst gar keine Links zu nutzen, oder die Zielseite zumindest per robots.txt Datei zu sperren und hierdurch automatisierte Aufrufe zu unterbinden. Auch die vollständige Sperrung unserer Crawler für eine gesamten Domain wäre mit nur 2 kurzen Einträgen in der robots.txt schnell erledigt gewesen. Gerne hätten wir das der Klägerin vorab erklärt und damit beiden Seiten Zeit und Kosten erspart. Stattdessen haben wir nun den ermittelnden Behörden die Hintergründe dargelegt und bekamen auch schon signalisiert, dass die Angelegenheit damit erledigt sei.

Absolut unverständlich ist zudem, wieso die Staatsanwaltschaft gebeten wurde den „Täter“ über die geloggten IP-Adressen zu ermitteln. Die SEOkicks-Crawler hinterlassen bei jedem Seitenabruf ihren Namen als User-Agent in den Access-Logs der besuchten Domain und zusätzlich auch noch einen Verweis auf unsere Webcralwer Infoseite. Dort wird u.a. explizit das Problem „Es werden große Warenkörbe gefüllt oder leere Bestellungen ausgelöst?“ aufgeführt.

Sollte noch jemand Probleme jedweder Art mit den SEOkicks Crawlern haben: Bitte nicht gleich Strafanzeige stellen, sondern einfach anrufen oder eine kurze Mail schreiben. Um unsere Crawler vollständig zu blocken genügt es bereits folgenden Eintrag in die eigene robots.txt Datei aufzunehmen:

User-agent: SEOkicks
Disallow: /

Als Folge würden wir neue externe Verlinkungen der nicht mehr gecrawlten Domains dann allerdings nicht mehr erkennen und diese in unserer Backlinkrecherche entsprechend auch nicht als Linkquelle aufführen. Potenzielle Kooperationspartner oder Interessenten an einem Linktausch/-kauf werden über SEOkicks also in diesem Fall nicht mehr auf die für uns gesperrte Domain aufmerksam.

Wir crawlen täglich übrigens weit über 100 Mio. Websites, ohne dass es bisher je zu größeren Beschwerden kam. Probleme mit unseren Crawlen sind daher grundsätzlich eher ein Indiz für Schwächen der eigenen Website – was wohl auch im aktuell Fall der Grund war. Trotzdem sind wir für jeden Hinweis dankbar, der zu einer weiteren Optimierung unserer Systeme beitragen kann.