Nachdem in den letzten Monaten hart am Ausbau des gesamten SEOkicks Systems gearbeitet wurde, konnte Ende letzter Woche ein seit längerem angestrebter Meilenstein erreicht werden: Mit aktuell gut 104 Mrd. Backlinks befinden sich nun erstmals mehr als 100 Mrd. Linkdatensätze in der SEOkicks Datenbank. Verglichen mit ~300 Mio. Datensätzen zum Start von SEOkicks hat sich der Datenbestand damit innerhalb von gut 3 Jahren um mehr als das Dreihundertfache vergrößert.
Um sicherzustellen, dass sich ein größerer Datenbestand nicht negativ auf die Qualität der bereitgestellten Daten auswirkt, werden beim erneuten Crawling einer Website alle im Vergleich zum letzten Abruf nicht mehr vorhandenen Links automatisch wieder aus dem SEOkicks Datenbestand entfernt. Bedingt durch die von Google inzwischen in recht großer Anzahl versendeten „Blauen Briefe“ bzgl. unnatürlicher Links, hatte sich das Wachstum des Datenbestandes daher zwischenzeitlich etwas reduziert. Dieser Effekt konnte durch die Zuschaltung weiterer Webcrawler aber zuletzt mehr als ausgeglichen werden.
Auch die Datenbank bzw. die Art der Datenhaltung wurde und wird fortlaufend angepasst und optimiert, sodass Linkabfragen unabhängig von der Größe der Datenbank im Durchschnitt innerhalb von deutlich unter einer Sekunde verarbeitet werden. Trotz des gewachsenen Datenbestandes können Backlinks daher sowohl über die SEOkicks Website als auch über die Backlink API weiterhin mit gewohnter Performance abgerufen und analysiert werden.
Da bei allen Anpassungen und Optimierungen immer besonders auf die Skalierbarkeit des Gesamtsystems geachtet wurde, gehe ich davon aus, dass der Datenbestand in Zukunft auch weiterhin sehr stark wachsen wird und die Erreichung des nächsten Meilensteins nicht mehr allzu lange auf sich warten lassen wird. Dazu aber später mehr 😉