SEOkicks ist inzwischen seit mehreren Jahren am Markt und die Crawling-Kapazitäten werden schon von Beginn an fortlaufend ausgebaut, damit neue Links möglichst schnell gefunden und über das Frontend bzw. per API zugänglich sind. Aufgrund der enormen Größe des Internets sowie einzelner Websites muss dabei algorithmisch entschieden werden, welche Seiten zu welchem Zeitpunkt abgerufen werden.
Unsere Nutzer haben ein Interesse daran, dass neue Links möglichst schnell gefunden werden, Website-Betreibern ist es hingegen wichtig, dass wir nicht zu viele Seiten einer Domain innerhalb kurzer Zeit crawlen und dadurch zu viele Ressourcen beanspruchen.
Wir haben unsere Algorithmen darauf ausgerichtet diesen Spagat bestmöglich zu vollziehen und jede einzelne Domain individuell zu bewerten und in sinnvollen Intervallen und Tiefen zu crawlen. Insbesondere bei nachträglich auf bestehenden Seiten eingefügten Links kann es dabei jedoch prinzipbedingt zu Verzögerungen bei der Erfassung durch unsere Crawler kommen.
Um über SEOkicks dennoch immer einen aktuellen und umfassenden Überblick zu erhalten bzw. auch um Endkunden neu aufgebaute Links transparent zugänglich zu machen, können dem SEOkicks Crawler ab sofort gezielt URLs übermittelt werden, die zeitnah auf neue Verlinkungen untersucht werden sollen.
Hierzu gibt es innerhalb des eigenen Nutzerkontos den neuen Menüpunkt „URLs crawlen“, unter dem sich die zu crawlenden Adressen mit wenigen Klicks als Liste übermitteln lassen. Dort neu aufgefundene Links werden innerhalb von 12 Stunden in die SEOkicks Datenbank übernommen.
Dieses Feature wurde in der Vergangenheit mehrfach von unseren Nutzern angefragt und in den letzten Wochen im Rahmen einer closed Beta bereits von einigen Agenturen produktiv genutzt, wodurch schon einige zehntausend neue Links erfasst werden konnten.
Das wesentliche Ziel von SEOkicks ist und bleibt natürlich die Erkennung neuer, unbekannter Verlinkungen. Dennoch war nachvollziehbar, dass es frustrierend sein kann, wenn bekannte Links nicht dargestellt werden und es hierdurch im Agentur-Alltag auch zu kritischen Nachfragen durch Endkunden kommt. Beides sollte sich durch die neue Funktionalität erledigt haben.
Abschließend noch ein Tipp: Nachdem alle bisher noch nicht erkannten Links ergänzt wurden, bietet es sich an einen E-Mail Alert zu aktivieren, der wahlweise täglich, wöchentlich oder monatlich auf alle weiteren neu entdeckten Links hinweist.