Backlink Checker mit eigener Datenbasis

Nach größeren Umbauten ist gerade der erste Teil unserer neuen Backlinkdaten online gegangen. Der Datenbestand hat sich im Vergleich zum letzten Index von 10 Mrd. Backlinkdaten nur geringfügig auf 11 Mrd. Datensätze vergrößert, wobei es sich dabei zu 100% um neu erhobene Daten handelt.

Mit dem heutigen Update gehen nicht nur neue Daten live, es hat sich intern auch die gesamte Struktur der Datenhaltung geändert wodurch beispielsweise die Erhebung von IP-Adressen, DomainRank, IP-POP und Netz-Pop (ClassC) sowie eine sinnvollere Sortierung der Backlinkdaten nach deren Wertigkeit ermöglicht wird. Ebsenso weisen sämtliche Linktexte nun ein sauberes UTF8-Encoding auf, egal mit welchem Zeichensatz sie auf der gecrawlten Website codiert waren. Bei einigen Zeichensätzen kam es hier in der Vergangenheit noch zu Problemen.

Wegen der sehr tiefgehenden Änderungen mussten wir in den letzten Wochen das alte und neue System (inkl. der Datenbanken) parallel betreiben was zu einer sehr knappen Ressourcenlage bei unserer Hardware geführt hat. Dies kann mitunter trotz des schon jetzt größeren neuen Index dazu führen, dass für einzelne Domains ungewöhnlich wenig Backlinkdaten aufgefürt werden. Das kann speziell auch deshalb passieren, weil sich im neuen Index deutlich mehr Daten für internationale Domains aus dem nicht deutschsprachigen Raum befinden.

Sobald das System umgestellt ist (was mit Erscheinen dieses Posts der Fall ist) nehmen wir alle alten Daten offline und fangen unverzüglich an den zweiten Teil des Index-Updates vorzubereiten. Bitte wundert Euch daher nicht, wenn sich die Anzahl der aufgeführten Backlinks für einige Domains ungewöhnlich stark reduziert hat. Innerhalb von etwa 2 Wochen steht wieder der vollständige Datenbestand bereit, bereits in einer Woche folgt schon das erste Update.

Update 09.04.2012: Heute ist der Index um 2 Mrd. Linkdaten gewachsen. Auf „kleinere“ Updates dieser Art werden wir künftig vorranging über unseren Twitter-Account verweisen.

Heute vor genau einem Monat gab es bei SEOkicks das letzte große Index-Update. Seitdem ist auf den ersten Blick nicht viel passiert. Da dieser Eindruck trügt möchten wir an dieser Stelle kurz auf einige Themen eingehen, an denen bei uns in den letzten Wochen gearbeitet wurde.

Anchortexte:
Bisher gab es z.B. bei kyrillischen Linktexten teilweise Kodierungsprobleme, zu sehen z.B. bei den Linktexten für das russische Online-Kontaktnetzwerk odnoklassniki.ru. Wir haben unsere Encoding-Routinen daher stark überarbeitet und überführen nun sämtliche Zeichensätze sauber zu UTF-8. Darstellungsfehler bei Linktexten egal welcher Domain gehören damit ab dem nächsten Index-Update der Vergangenheit an.

Änderung bei Verlinkungen von Subdomains:
Bisher werden Links von Subdomains als extern gewertet, beispielsweise Links von forum.spiegel.de zu www.spiegel.de. Da solche Links bei den meisten Analysen nicht benötigt werden haben wir uns dazu entschieden sie künftig nicht mehr zu berücksichtigen. Zum einen können wir die hierdurch freiwerdenden Ressourcen für die Erfassung von potenziell interessanteren Links nutzen, zum anderen macht es unsere Zahlen vergleichbarer mit denen anderer Backlink-Tools, die diese Links überwiegend ebenfalls nicht berücksichtigen.

Sortierung gefundener Links nach deren Wert
Bisher werden die neuesten Links zu Beginn der Trefferliste gezeigt, in Zukunft erfolgt die Sortierung nach DomainRank. Links von besonders starken Domains werden also weiter vorne angezeigt als Links von schwächeren Domains. Der DomainRank ist zunächst ein Wert zwischen 1 und 15, an der genauen Berechnung (und je nach Feedback auch an der Skala) wird es künftig sicher noch Optimierungen geben, der Wert ist also als „beta“ zu betrachten. In unseren Tests hat die erste Version jedoch schon einen sehr guten Eindruck hinterlassen und die Sortierung der Trefferliste scheint deutlich interessanter und aussagekräftiger zu gelingen als bisher.

Mehr Rechenleistung
SEOkicks wird bereits seit Beginn mit dem Fokus auf höchstmögliche Effizienz entwickelt, um den Betrieb bei deutlich geringeren Kosten zu ermöglichen, als es bisher am Markt möglich war. Dennoch gilt am Ende die Formel „Mehr/Schnellere Hardware -> Schnellere Indexgenerierung bzw. mehr Daten“. Wir haben daher unsere Crawling-Kapazitäten erweitert um künftig deutlich schneller Updates bereitstellen zu können bzw. um in kurzer Zeit mehr Daten zu generieren.

Neben den genannten Themen gab es zudem viele Detailänderungen die sich z.B. positiv auf die Performance unserer API auswirken. Bedingt durch die vielen Anpassungen mussten wir unsere Crawling-Läufe jedoch leider z.T. für längere Zeit aussetzen, das nächste Index-Update wird daher erst in voraussichtlich 1-2 Wochen online gehen. Ihr dürft aber schon jetzt gespannt auf die neuen Daten sein, wir selbst sind es!

Soeben ist erneut ein neuer Backlink-Index online gegangen, erstmals wurde damit die Marke von 10 Mrd. Links geknackt. In den nächsten Tagen folgen einige Anpassungen an der Art der Datenhaltung, die zunächst eine weitere Vergrößerung der Backlink-Datenbank auf etwa 15 Mrd. Backlinkdaten nach sich ziehen werden. Sämtliche dieser Daten werden in den nächsten Wochen komplett neu gecrawlt.

Wir gehen davon aus, dass uns in wenigen Monaten nochmals ein deutlicher Sprung gelingen wird, das nächste größerer Ziel liegt bei mind. 50 Mrd. Backlinkdaten, weitere Vergrößerungen sind ebenfalls schon jetzt geplant.

Weil die Pflege des Datums („Erstverlinkung“) bedingt durch Änderungen an der Datenhaltung nicht immer möglich war, planen wir aktuell das Datum künftig zu entfernen und die Sortierung standardmäßig nach einem neuen Index vorzunehmen, der die Stärke des Backlinks ausdrücken wird. Wir hoffen diese Änderung ist in Eurem Sinne, da die Datumspflege generell auch einige zusätzliche Last (und Speicherplatz) belegt, die künftig für die Vergrößerung der Linkdatenbank genutzt werden soll.

Um künftig immer auf dem Laufenden zu sein gibt es ab sofort auch einen SEOkicks Twitter-Account. Anders als im Blog werden wir dort auch kleinere Anpassungen und die immer wieder stattfindenden kleineren Index-Aktualisierungen verkündigen.

Folgt uns! 🙂