Bot-Analyse & Timeline

Bot-Analyse & Timeline Die Timeline ist die zentrale Ansicht in BotScope. Sie zeigt alle Bot-Anfragen der ausgewählten Session chronologisch an.

Diese Ansicht liefert dir Antworten auf folgende Fragen:

Wann (Tag / Stunde / Minuten-Ansicht) kam ein spezieller Bot / Crawler auf deine Seite
Wie oft kam ein ausgewählter Bot / Crawler auf deine Seite
Wie hat sich das Besuchsverhalten in einem ausgewählten Zeitraum verändert - Periodenvergleich
Wann kamen mehrere selektierte Crawler / Bots auf deine Seite (du kannst mehrere Bots - z.B. Googlebot Desktop und Smartphone kombinieren)
Über die Crawler-Session (dieses Icon 🕷 in der Tabelle neben der IP klicken) kannst du sehen, wann der Bot angefangen hat deine Seite zu crawlen und wann und auf welcher URLs er dann aufgehört hat - der Einstieg startet meist über einen Verweis (Sitemap, Startseite, externer Link, Weiterleitung) - doch spannend ist zu sehen, wo er seine Session beendet hat - die Info kann Hinweise auf Dead-Ends, low-quality URLs, Crawl-Budget geben.
Wir zeigen die letzten 500 Einträge aus dem Log einer Tabelle unter dem Chart an, dort kannst du der IP das Icon 🚫 anklicken, um einen deny der IP oder der ganzen IP Range in deiner htaccess oder nginx conf Datei zu hinterlegen, wenn du die IP sperren willst (zB. Fake-Bots die sich als Google ausgeben, oder Pricegrabber oder andere unerwünschte Kandidaten die sich nicht an die robots.txt halten.
Die Daten zeigen die, wenn es mit einem Crawler, speziell schauen wir hier auf Google ein Problem gibt - wenn zum Beispiel die Crawling-Frequenz sinkt oder sich verlangsamt, ist das ein Indikator, dass Google das Dokument als weniger "fresh" einstuft - ein Content-Update hilft, sofern Aktualität in der Ergebnisseite von Bedeutung ist.
Die Ansicht zeigt dir wie oft du bei Chat GPT als Referenz angezeigt wurdest. Der Crawler ChatGPT-User crawlt immer dann eine deiner URLs, wenn du in einem Prompt angezeigt wirst - es sind also die "KI Impressions" in Chat GPT und seinen zahlreichen anderen Subsystemen. Nicht zu wechseln mit dem GPTBot - welcher für die die Aufnahme / Training deiner Inhalte in das LLM ist. Auch nicht zu verwechseln mit dem OAI-SearchBot der für die Aufnahme in den Suchindex von openAI zuständig ist und explizit nicht für das Training genutzt wird. Aus GEO Sicht, ist es essentiell, dass neue Content direkt vom GPTBot & OAI-SearchBot gefunden wird, um überhaupt als Quelle genutzt werden zu können (wobei auch belegt ist, dass GPT direkt auch Google-Ergebnisse zugreift - ref. srsltid). Übrigens GPT crawlt am liebsten deine Feeds, aber das zeigt dir diese Ansicht eh gut.
Was du gerade über GPT gelernt hast, kannst du auch auf Perplexitiy andere AI Crawler (ausser Grok) anwenden. Grok versteckt seine Aktivitäten - gibt sich also nicht zu erkennen und ist damit auch nicht wirklich zuverlässig blockierbar - das Muster geht in Richtung (bursting pattern, kein JS, kurze schnelle Requests von unterschiedlichen IPs auf gleiche URL)