Backlink Checker mit eigener Datenbasis

In den letzten Wochen wurden wieder zahlreiche interne Optimierungen vorgenommen, u.a. crawlen wir nun deutlich internationaler. Das gerade erfolgte Datenupdate liefert Zugriff auf 27 Mrd. Backlinks.

Es hat also wieder einen etwas größeren Sprung gegeben, wobei es sich hierbei um die erste von drei Erweiterungsstufen handelt. Die nächste Stufe wird bereits in den nächsten Wochen folgen und sowohl für deutsprachige Websites als auch für internationale einen weiteren Schwung frischer Daten mit sich bringen.

Wer noch etwas mehr über SEOkicks erfahren möchte findet bei Tobias Fox ein aktuelles Interview mit einigen weiterführenden Informationen und Hintergründen.

In den letzten Wochen gab es immer wieder kleinere Datenupdates, das heutige Update fällt nun wieder etwas größer aus. Insgesamt umfasst unsere Datenbank jetzt gut 15,5 Mrd. frische Backlinkdaten die unsere Crawler in den letzten Tagen und Wochen erhoben haben.

Außerdem gab es erneut mehrere Hardware-Upgrades mit denen wir die Voraussetzung für ein noch stärkeres Wachstum geschaffen haben. Durch zusätzliche Crawler und mehr Speicherplatz sind wir nun in der Lage mind. 50 Mrd. Datensätze vorzuhalten. Hierzu sind zunächst noch einige softwareseitige Änderungen nötig, in den nächsten Wochen und Monaten ist aber in jedem Fall weiterhin mit einem deutlichen Wachstum zu rechnen.

Wir möchten uns an dieser Stelle auch für das zahlreiche positive Feedback bedanken, das wir per Mail und über die Kommentarfunktion erhalten haben! Der SEOkicks Backlinkchecker ist vor einigen Monaten mit 300 Mio. Datensätzen und deutlich weniger Funktionen als Proof-of-Concept gestartet. Euer positives Feedback hat uns immer wieder motiviert noch mehr zu geben und wir sind selbst schon sehr gespannt auf die nächsten Daten- und Funktionsupdates.

Viel Spaß mit den frischen Daten!

Nach größeren Umbauten ist gerade der erste Teil unserer neuen Backlinkdaten online gegangen. Der Datenbestand hat sich im Vergleich zum letzten Index von 10 Mrd. Backlinkdaten nur geringfügig auf 11 Mrd. Datensätze vergrößert, wobei es sich dabei zu 100% um neu erhobene Daten handelt.

Mit dem heutigen Update gehen nicht nur neue Daten live, es hat sich intern auch die gesamte Struktur der Datenhaltung geändert wodurch beispielsweise die Erhebung von IP-Adressen, DomainRank, IP-POP und Netz-Pop (ClassC) sowie eine sinnvollere Sortierung der Backlinkdaten nach deren Wertigkeit ermöglicht wird. Ebsenso weisen sämtliche Linktexte nun ein sauberes UTF8-Encoding auf, egal mit welchem Zeichensatz sie auf der gecrawlten Website codiert waren. Bei einigen Zeichensätzen kam es hier in der Vergangenheit noch zu Problemen.

Wegen der sehr tiefgehenden Änderungen mussten wir in den letzten Wochen das alte und neue System (inkl. der Datenbanken) parallel betreiben was zu einer sehr knappen Ressourcenlage bei unserer Hardware geführt hat. Dies kann mitunter trotz des schon jetzt größeren neuen Index dazu führen, dass für einzelne Domains ungewöhnlich wenig Backlinkdaten aufgefürt werden. Das kann speziell auch deshalb passieren, weil sich im neuen Index deutlich mehr Daten für internationale Domains aus dem nicht deutschsprachigen Raum befinden.

Sobald das System umgestellt ist (was mit Erscheinen dieses Posts der Fall ist) nehmen wir alle alten Daten offline und fangen unverzüglich an den zweiten Teil des Index-Updates vorzubereiten. Bitte wundert Euch daher nicht, wenn sich die Anzahl der aufgeführten Backlinks für einige Domains ungewöhnlich stark reduziert hat. Innerhalb von etwa 2 Wochen steht wieder der vollständige Datenbestand bereit, bereits in einer Woche folgt schon das erste Update.

Update 09.04.2012: Heute ist der Index um 2 Mrd. Linkdaten gewachsen. Auf „kleinere“ Updates dieser Art werden wir künftig vorranging über unseren Twitter-Account verweisen.