Killer Features

Ha! Killer Features in BotScope - die meisten sind SEO / Webmaster relevant - jetzt wird es spannend:

Sitemap Abgleich - BotScope gleicht deine XML Sitemap mit den Log-Einträgen ab und verrät dir zum Beispiel welche URLs Crawling-Issues haben. Welche URLs aus deiner Sitemap besucht ein spezieller, zB. Googlebot nicht.
Sitemap Abgleich mit Google Search Console Daten - BotScope bringt Crawler-Besuche / URL und Klicks & Impressions zusammen - damit siehst du welche URLs oft vom Bot gecrawlt werden aber nicht gut ranken - das sind genau die low-hanging fruits, die du leicht in die Performance bekommst.
Google Fake IPs - wir gleichen einen Googlebot Treffer immer direkt den über 2000 offiziellen Netzen ab, welche Google verwendet, täglich frisch - damit erkennst du fiese Scraper die sich als Googlebot ausgeben, um deine Seite trotz robots.txt Sperre unter dem Deckmantel des Googlebots scrapen und kannst diese direkt sperren auf deinem Server. Meist sind es Pricegrabber oder gesperrte SEO Tools die faken und ihr werdet überrascht sein, wie oft das passiert.
Wir sortieren alles was von einer Google IP dein Log trifft. 99% lassen sich einem der zahlreichen Google Crawler zuordnen. Den Rest ordnen wir dem Bereich "Google Officials" zu - dass sind Aufruf aus einem der 2000 Google Netze, welche sich keinem bekannten User Agent zuordnen lassen. Wir glauben, dass könnten Bots zur Cloaking-Detection oder andere spannende Besuche sein...
Wir geben dir aus dem Tool direkt die Möglichkeit Bots und IPs von Bots zu sperren - meist neben der IP findest du ein 🚫 Symbol, klickst du es an, erscheint ein kleines Fenster mit dem deny Befehl für den Server der IP und der Range sowie eine robots.txt Anweisung, wenn wir diese kennen.

Hidden App Traffic: Viele Apps haben In-App Browser, manchmal crawlt ein Proxy / Serverdienst den Inhalt manchmal der Nutzer selbst - wir werden den App Traffic der bei euch im Log landet aus, weil diese oft in den gängigen Analytics-Welten verschollen geht oder man diesen gar nicht bemerkt, weil Tracking-Pixel, Werbung und Co App-intern gefiltert werden. Da wir uns unsicher sind, ob es sich um eine echte User IP oder einen Residential Proxy handelt - verschlüsseln wir die IP bei diesen Logeinträgen direkt von Beginn an, um DSGVO konform zu bleiben.

Dieser Traffic-Typ zeigt euch:
Welche URLs werden via Whatsapp tatsächlich geshared?
Über welche Dinge wird in Slack über euch gesprochen?
Welche Bilder von euch werden in der Pinterest App angezeigt?
Welche Bilder werden von Grok in den Anworten live gezeigt
Wie oft und welche Inhalte werden bei Chat GPT in Wirklichkeit angezeigt? Das könnt ihr dann mit den tatsächlichen Klicks die mit einem utm Parameter kommen abgleichen - sozusagen "ChatGPT Impressions v.s. ChatGPT Klicks".
Welche URLs werden bei Perplexity von euch ausgespielt?
Wieviele kommen über die DuckDuckGo App zu euch?
Über welche Inhalte eurer Domain spricht man in Snapchat?
Wie oft findet ihr in Google's NotbookLLM statt?
Wie oft werden eure Rezepte in der Chefkoch App genutzt

Backlinks: Wir zeigen euch im Export auch die Referrer an - diese eignen sich, sofern man das über eine längere Zeit laufen lässt so ziemlich jeden aktiven Backlink. Denn viele aktive Crawler folgen den Links und einige, besonders die chinesischen Crawler agieren wir echte Browser und senden den Referrer mit. Wenn ein Crawler ihn findet, findet ihn in der Regel auch Google. Man bekommt so einen sehr guten aktuellen Überblick über aktiv Verlinkungen - glaubt mir oder nicht, ich habe über diesen Weg Links gefunden, die mir bislang kein bekanntes Tool wie ahrefs, SEMrush oder MajesticSEO angezeigt haben.
robots.txt Syntax Checker - ok kein Killer Feature so direkt - aber wir prüfen die robots.txt deiner Seite nach dem rfc 9309 (..da hat der Garry Illyes mitgewirkt...) sodass du immer sicher sein kannst, dass die robots.txt Einträge auch korrekt sind.
Google Search Console (GSC) Referrer Analyse: Wenn du in den Daten einen 404 siehst, dann kannst über einen Knopfdruck die Google Search Console fragen, ob sie vielleicht verweisende URLs kennt - ein echtes Killer Feature, wenn man sich fragt: Wie kam der Crawler (allen voran Googlebot) auf diesen 404!?! - damit man diesen Ursprung korrigieren kann. Ein uraltes SEO Problem, erst recht, wenn der Ursprung extern und nicht intern ist. SEOs werden es lieben!
Wir erkennen derzeit knapp 500 verschiedene Bots - allein 44 Bots aus der Google Familie und 51 Bots von verschiedenen AI Plattformen!
Bad Bots: File Scanner, Security Scanner sind bei BotScope was Port Scanner für die Admin-Welt sind und fail2ban seit Jahren erledigt. Aber wer kümmert sich um die Millionen Anfragen von Scannern die nach öffentlichen Files suchen, Admin zuhängen und Schlupflöchern suchen? Diese Kategorie macht bei einer durchschnittlichen Seite den größten Anteil an Bot-Traffic aus! BotScope erkennt diese anhand eines Musters, markiert sie und liefert euch die IPs per API direkt in eure Firewall, immer frisch, max. 30 Tage alt, klares Muster für Bot-Scanner. Damit könnt ihr enorme Last von eurem Server nehmen, noch bevor der IP Scanning Burst bei euch zuschlägt!
Hauptkiller-Feature: Mehr Insights für euren Chef euer Team oder Marketing - wenn es um Kampagnen-Messung, Webseiten-Optimierung oder das Lösen von Crawling-Problemen / Indexierungsproblemen geht und last but least: ihr habt einen offiziellen Grund unser Team direkt zu kontaktieren (paid only) *smiley