Backlink Analyse mit eigener Datenbasis

In den letzten Wochen gab es immer wieder kleinere Datenupdates, das heutige Update fällt nun wieder etwas größer aus. Insgesamt umfasst unsere Datenbank jetzt gut 15,5 Mrd. frische Backlinkdaten die unsere Crawler in den letzten Tagen und Wochen erhoben haben.

Außerdem gab es erneut mehrere Hardware-Upgrades mit denen wir die Voraussetzung für ein noch stärkeres Wachstum geschaffen haben. Durch zusätzliche Crawler und mehr Speicherplatz sind wir nun in der Lage mind. 50 Mrd. Datensätze vorzuhalten. Hierzu sind zunächst noch einige softwareseitige Änderungen nötig, in den nächsten Wochen und Monaten ist aber in jedem Fall weiterhin mit einem deutlichen Wachstum zu rechnen.

Wir möchten uns an dieser Stelle auch für das zahlreiche positive Feedback bedanken, das wir per Mail und über die Kommentarfunktion erhalten haben! Der SEOkicks Backlinkchecker ist vor einigen Monaten mit 300 Mio. Datensätzen und deutlich weniger Funktionen als Proof-of-Concept gestartet. Euer positives Feedback hat uns immer wieder motiviert noch mehr zu geben und wir sind selbst schon sehr gespannt auf die nächsten Daten- und Funktionsupdates.

Viel Spaß mit den frischen Daten!

Nach größeren Umbauten ist gerade der erste Teil unserer neuen Backlinkdaten online gegangen. Der Datenbestand hat sich im Vergleich zum letzten Index von 10 Mrd. Backlinkdaten nur geringfügig auf 11 Mrd. Datensätze vergrößert, wobei es sich dabei zu 100% um neu erhobene Daten handelt.

Mit dem heutigen Update gehen nicht nur neue Daten live, es hat sich intern auch die gesamte Struktur der Datenhaltung geändert wodurch beispielsweise die Erhebung von IP-Adressen, DomainRank, IP-POP und Netz-Pop (ClassC) sowie eine sinnvollere Sortierung der Backlinkdaten nach deren Wertigkeit ermöglicht wird. Ebsenso weisen sämtliche Linktexte nun ein sauberes UTF8-Encoding auf, egal mit welchem Zeichensatz sie auf der gecrawlten Website codiert waren. Bei einigen Zeichensätzen kam es hier in der Vergangenheit noch zu Problemen.

Wegen der sehr tiefgehenden Änderungen mussten wir in den letzten Wochen das alte und neue System (inkl. der Datenbanken) parallel betreiben was zu einer sehr knappen Ressourcenlage bei unserer Hardware geführt hat. Dies kann mitunter trotz des schon jetzt größeren neuen Index dazu führen, dass für einzelne Domains ungewöhnlich wenig Backlinkdaten aufgefürt werden. Das kann speziell auch deshalb passieren, weil sich im neuen Index deutlich mehr Daten für internationale Domains aus dem nicht deutschsprachigen Raum befinden.

Sobald das System umgestellt ist (was mit Erscheinen dieses Posts der Fall ist) nehmen wir alle alten Daten offline und fangen unverzüglich an den zweiten Teil des Index-Updates vorzubereiten. Bitte wundert Euch daher nicht, wenn sich die Anzahl der aufgeführten Backlinks für einige Domains ungewöhnlich stark reduziert hat. Innerhalb von etwa 2 Wochen steht wieder der vollständige Datenbestand bereit, bereits in einer Woche folgt schon das erste Update.

Update 09.04.2012: Heute ist der Index um 2 Mrd. Linkdaten gewachsen. Auf “kleinere” Updates dieser Art werden wir künftig vorranging über unseren Twitter-Account verweisen.

Heute vor genau einem Monat gab es bei SEOkicks das letzte große Index-Update. Seitdem ist auf den ersten Blick nicht viel passiert. Da dieser Eindruck trügt möchten wir an dieser Stelle kurz auf einige Themen eingehen, an denen bei uns in den letzten Wochen gearbeitet wurde.

Anchortexte:
Bisher gab es z.B. bei kyrillischen Linktexten teilweise Kodierungsprobleme, zu sehen z.B. bei den Linktexten für das russische Online-Kontaktnetzwerk odnoklassniki.ru. Wir haben unsere Encoding-Routinen daher stark überarbeitet und überführen nun sämtliche Zeichensätze sauber zu UTF-8. Darstellungsfehler bei Linktexten egal welcher Domain gehören damit ab dem nächsten Index-Update der Vergangenheit an.

Änderung bei Verlinkungen von Subdomains:
Bisher werden Links von Subdomains als extern gewertet, beispielsweise Links von forum.spiegel.de zu www.spiegel.de. Da solche Links bei den meisten Analysen nicht benötigt werden haben wir uns dazu entschieden sie künftig nicht mehr zu berücksichtigen. Zum einen können wir die hierdurch freiwerdenden Ressourcen für die Erfassung von potenziell interessanteren Links nutzen, zum anderen macht es unsere Zahlen vergleichbarer mit denen anderer Backlink-Tools, die diese Links überwiegend ebenfalls nicht berücksichtigen.

Sortierung gefundener Links nach deren Wert
Bisher werden die neuesten Links zu Beginn der Trefferliste gezeigt, in Zukunft erfolgt die Sortierung nach DomainRank. Links von besonders starken Domains werden also weiter vorne angezeigt als Links von schwächeren Domains. Der DomainRank ist zunächst ein Wert zwischen 1 und 15, an der genauen Berechnung (und je nach Feedback auch an der Skala) wird es künftig sicher noch Optimierungen geben, der Wert ist also als “beta” zu betrachten. In unseren Tests hat die erste Version jedoch schon einen sehr guten Eindruck hinterlassen und die Sortierung der Trefferliste scheint deutlich interessanter und aussagekräftiger zu gelingen als bisher.

Mehr Rechenleistung
SEOkicks wird bereits seit Beginn mit dem Fokus auf höchstmögliche Effizienz entwickelt, um den Betrieb bei deutlich geringeren Kosten zu ermöglichen, als es bisher am Markt möglich war. Dennoch gilt am Ende die Formel “Mehr/Schnellere Hardware -> Schnellere Indexgenerierung bzw. mehr Daten”. Wir haben daher unsere Crawling-Kapazitäten erweitert um künftig deutlich schneller Updates bereitstellen zu können bzw. um in kurzer Zeit mehr Daten zu generieren.

Neben den genannten Themen gab es zudem viele Detailänderungen die sich z.B. positiv auf die Performance unserer API auswirken. Bedingt durch die vielen Anpassungen mussten wir unsere Crawling-Läufe jedoch leider z.T. für längere Zeit aussetzen, das nächste Index-Update wird daher erst in voraussichtlich 1-2 Wochen online gehen. Ihr dürft aber schon jetzt gespannt auf die neuen Daten sein, wir selbst sind es!

Soeben ist erneut ein neuer Backlink-Index online gegangen, erstmals wurde damit die Marke von 10 Mrd. Links geknackt. In den nächsten Tagen folgen einige Anpassungen an der Art der Datenhaltung, die zunächst eine weitere Vergrößerung der Backlink-Datenbank auf etwa 15 Mrd. Backlinkdaten nach sich ziehen werden. Sämtliche dieser Daten werden in den nächsten Wochen komplett neu gecrawlt.

Wir gehen davon aus, dass uns in wenigen Monaten nochmals ein deutlicher Sprung gelingen wird, das nächste größerer Ziel liegt bei mind. 50 Mrd. Backlinkdaten, weitere Vergrößerungen sind ebenfalls schon jetzt geplant.

Weil die Pflege des Datums (“Erstverlinkung”) bedingt durch Änderungen an der Datenhaltung nicht immer möglich war, planen wir aktuell das Datum künftig zu entfernen und die Sortierung standardmäßig nach einem neuen Index vorzunehmen, der die Stärke des Backlinks ausdrücken wird. Wir hoffen diese Änderung ist in Eurem Sinne, da die Datumspflege generell auch einige zusätzliche Last (und Speicherplatz) belegt, die künftig für die Vergrößerung der Linkdatenbank genutzt werden soll.

Um künftig immer auf dem Laufenden zu sein gibt es ab sofort auch einen SEOkicks Twitter-Account. Anders als im Blog werden wir dort auch kleinere Anpassungen und die immer wieder stattfindenden kleineren Index-Aktualisierungen verkündigen.

Folgt uns!

Pünktlich zum Jahresbeginn haben wir einen vollständig neu aufgebauten Index online gestellt. Aufgrund einiger grundlegender Änderungen an der Art der Datenhaltung wurden alle Daten neu erhoben und sind top aktuell.

Anders als bisher wurde im Dezember erstmals etwas internationaler gecrawlt, die meisten Daten liefern wir aber weiterhin für Domains aus dem deutschen Sprachbereich. In den nächsten Tagen wird es speziell für diese Domains auch nochmals ein größeres Update geben, Domain- und Linkpop vieler Domains werden dann noch ein deutliches Wachstum erfahren.

Viel Spaß mit den frischen Daten!

Update (16.01.2012): Das angekündigte Update ist online, die Backlink-Anzahl ist damit auf 8,4 Mrd. gestiegen.

Wir führen fortlaufend Aktualisierungen des Datenbestandes durch, daher gehen wir hier nur sporadisch auf Updates ein. Die gerade aktualisierten Daten sind jedoch ein größerer Sprung nach vorne, weshalb das Update heute einen Blog-Eintrag wert ist.

Der Datenbestand wurde mit dem aktuellen Update von ~3,5 Mrd. Backlinkdaten auf über 6 Mrd. Datensätze vergrößert.

Vor einigen Wochen haben wir mit 300 Mio. Linkdaten angefangen, wir sind daher sehr froh nach so kurzer Zeit und mit vergleichsweise schwacher Hardware den Datenbestand bereits um den Faktor 20 vergrößert zu haben.

Auch mit nun über 6 Mrd. Datensätzen sollte alles so reibungslos wie bisher laufen und wie hoffen unser kostenloser Backlinkcheck liefert Euch weiterhin viele hilfreiche Informationen bei der täglichen Arbeit.

Bedingt durch verschiedene Datenbank-Anpassungen sowie die Einführung neuer Features und einer Erweiterung der Backlink API war das Aktualisierungstempo zuletzt leider etwas langsamer als geplant, künftig wird es nun aber wieder deutlich häufiger frische Daten geben und wir haben als nächstes Ziel die 10 Mrd. bereits fest im Blick.

Feedback ist wie immer gerne willkommen!

Nachdem sich unsere kostenlose Backlink API bereits großer Beliebtheit erfreut, möchten wir an dieser Stelle nochmals genauer auf bestehende und neue Möglichkeiten eingehen, die sich aus der API-Nutzung ergeben.

Domain- und Linkpop, z.B. zur Einbindung in SEOquake
API-Request: http://www.seokicks.de/SEOkicksService/V1/inlinkData?appid=SEOkicksDemo&query=www.spiegel.de

Dieser Request ist nicht nur für Programmierer nützlich, sondern ermöglich es jedem unsere Daten ganz bequem in Tools wie SEOquake zu integrieren. Eine Anleitung hierzu findet sich im Blog von Julian sowie auch in einem Gastartikel von Malte Landwehr bei der SEO Scene.

Übersicht über verlinkende Domains
API-Request: http://www.seokicks.de/SEOkicksService/V1/inlinkData?appid=SEOkicksDemo&query=www.spiegel.de&details=1&results=5&page=1

Hierüber liefern wir eine Übersicht über alle verlinkenden Domains für ein frei definierbares Ziel zurück. Für jede verlinkende Domain wird dabei auch angegeben, wie viele Verlinkungen für das gewünschte Ziel gefunden wurden.

Das Beispiel oben liefert Angaben zu 5 Domains, die auf www.spiegel.de verlinken. Auf Wunsch können hier auch Unterseiten wie z.B. www.spiegel.de/netzwelt/ abgefragt werden. Außerdem lassen sich statt 5 Datensätzen ohne weiteres auch z.B. 10.000 Datensätze abfragen.

Neu: Übersicht über alle Links und Linkattribute
API-Request: http://www.seokicks.de/SEOkicksService/V1/inlinkData?appid=SEOkicksDemo&query=www.spiegel.de&details=2&results=5&page=1

Mit Hilfe dieses Requests lassen sich alle exakten Links ermitteln, die für die gewünschte (Sub-)Domain oder eine Unterseite verfügbar sind. Für jede Verlinkung wird neben der Quell-URL dabei auch der verwendete Anchortext zurückgegeben, sowie Infos dazu ob es ein Nofollow-Link ist. Hierüber lassen sich sehr genaue Linkprofile erstellen.

Wenn die Datenflut zu groß wird kann der Parameter details=2 alternativ auch auf details=3 gesetzt werden. In diesem Fall werden die gleichen Informationen zurückgegeben, allerdings jeweils nur für genaue einen Link je verlinkender Domain.

Kostenlose API Nutzung
Abschließend auch noch einmal der Hinweis, dass die API kostenlos genutzt werden darf. Bei Nutzung in größerem Umfang (z.B. bei Integration in ein öffentliches Tool) sind wir für eine Erwähnung/Verlinkung als Datenquelle dankbar. Außerdem bitten wir darum, den Parameter appid immer mit einem aussagekräftigen Namen (möglichst mit dem eigenen Domainnamen) zu belegen, siehe API-Doku.

Feedback und Wünsche für weitere Features nehmen wir wie immer gerne entgegen. Auch über Berichte über SEOkicks z.B. in Euren Blogs freuen wir uns immer sehr

Mit einem größeren Update können wir heute gleich mehrere Wünsche erfüllen, die in den letzten Wochen an uns herangetragen wurden.

Zunächst wurde die Backlinkansicht dazu in vier Unterpunkte aufgeteilt:

• Verlinkende Domains
• Links
• Linkziele
• Anchortexte

Im ersten Untermenü “Verlinkende Domains” befindet sich die bekannte Übersicht über alle Domains, die auf das untersuchte Ziel verlinken. Das Ziel kann dabei die Root-Domain oder eine beliebige Unterseite sein. Neben dem Domainnamen gibt es noch eine Angabe zum Datum der ersten Verlinkung von dieser Domain sowie zur Anzahl der Links, die von dort kommen.

Unter “Links” findet ihr hingegen alle Links ohne Unterscheidung nach Quell-Domain. Hier gibt es zu jedem Link auch Detailinfos wie Anchortext oder Nofollow-Attribut. Um diese Daten nur für die Links einer bestimmten Quell-Domain zu erhalten einfach unter “Verlinkende Domains” neben der entsprechenden Domain auf “Details” klicken.

Komplett neu sind die Funktionen “Linkziele” und “Anchortexte” deren Verhalten nahezu selbsterklärend ist. Unter “Linkziele” kann für jede Domain geprüft werden, auf welche Unterseiten die Links gehen – absteigend nach Anzahl sortiert. Unter “Anchortexte” finden sich analog dazu die genutzten Anchortexte. Beide Funktionen wurden sehr häufig bei uns nachgefragt, meist als “Top 100″ Auswertung – für eine Einschränkung auf die Top 100 haben wir jedoch keinen Grund gesehen, es sind also massig Daten einsehbar

Alle Reports stehen auch als CSV-Export zur Verfügung. Feedback ist wie immer willkommen!

Mit dem heutigen Update ist es nun auch möglich die Backlinksuche auf bestimmte Subdomains einzugrenzen. Eine Suche z.B. nach www.webkicks.de hat bisher alle Links geliefert die auf *.webkicks.de gingen, ab sofort werden hier nur noch Verlinkungen angezeigt, die auch tatsächlich zu www.webkicks.de führen.

Genauso ist es nun auch möglich Backlinks für beliebige andere Subdomains wie z.B. server1.webkicks.de, server2.webkicks.de usw. zu ermitteln. Wird nur “webkicks.de” in den Suchschlitz eingegeben werden weiterhin alle Links auf *.webkicks.de gezeigt.

Eher ein Bugfix als ein neues Feature ist die nun korrekte Suche nach Domains unter Third-Level Domainendungen wie z.B. amazon.co.uk. Bisher wurde hier nur .co.uk abgefragt, was sinnlos lange Trefferliste mit allen Links ergab, die auf beliebige .co.uk Domains zeigten. Dies ist jetzt behoben.

Nachdem der SEOkicks Backlinkchecker schon seit einigen Wochen online ist, haben wir heute einen kleinen News-Bereich hinzugefügt, um direkter mit unseren Nutzern kommunizieren zu können. Zunächst möchten wir hier auf die unserer Ansicht nach wichtigsten Funktionen des Backlinkcheckers eingehen:

Die Historie
Wer Tools wie den Yahoo Site Explorer nutzt kennt das Problem, dass diese Tools zwar eine riesen Liste mit Backlinks ausspucken, man selbst aber nicht weiß welcher Link neu hinzugekommen ist und welcher Link schon lange existiert. Manuell gepflegte Excel-Listen können hier zwar Abhilfe schaffen, wirklich intuitiv ist das jedoch nicht.

Die SEOkicks Backlinkauswertung ist daher direkt absteigend nach Datum sortiert. Links von neuen Domains erscheinen stets am Seitenanfang. Nützlich ist das nicht nur zum Monitoren der eigenen Domains sondern auch um Wettbewerber im Blick zu behalten. Neue Links entstehen nicht selten durch Verlinkungsanfragen – und wenn ein Wettbewerber damit gerade erfolgreich war kann eine eigene Anfrage nicht schaden.

Gruppierung nach Domains
Ein ebenfalls nützliches Feature das uns besonders wichtig erscheint ist die Gruppierung der Links nach Domainnamen. Hierüber ist direkt ersichtlich ob es sich um einzelne Links handelt oder z.B. um Footerlinks. Bei Letzteren werden von einer Domain meist hunderte gesetzter Links angezeigt. Oftmals ist das Zeichen einer sehr engen Zusammenarbeit, teilweise warten ggf. aber auch Blogrolls themenrelevanter Seiten darauf auch Euren Blog zu verlinken. Der Link “Details” hinter jeder Domain zeigt auf Wunsch auch noch alle verlinkenden URLs der ausgewählten Domain inkl. Anchortext und Informationen zum Nofollow- und Noindex-Attribut.

API
Nicht unerwähnt lassen möchten wir an dieser Stelle auch unsere API. Wir bemühen uns hierüber künftig alle Funktionen bereitzustellen, die auch direkt auf der SEOkicks Website genutzt werden können. Die API existiert erst seit wenigen Tagen, wir freuen uns aber sehr über die schon jetzt rege Nutzung. Anwendungsbereiche sind neben umfangreicheren Tools z.B. auch die einfache Integration von Domain- und Linkpopulariät in Browser-AddOns. Eine Anleitung zur Integration unserer Daten in SEOquake wurde bereits von Julian gebloggt.

Nachdem ab heute nicht nur News von uns sondern auch Kommentare von Euch gepostet werden können hoffen wir auf reges Feedback