Content-Typ-Filter
In BotScope kannst du die Anfragen der Crawler nach Format filtern. Der Content-Typ-Filter klassifiziert jeden aufgerufenen Pfad automatisch anhand der Dateiendung in folgende Typen:
🖼️ Bild — .jpg, .jpeg, .png, .webp, .gif, .svg, .ico, .avif u. a.
🎨 CSS — Stylesheets (.css)
⚙️ JavaScript — .js, .jsx, .mjs
🔤 Font — .woff, .woff2, .ttf, .eot, .otf
🎬 Media — .mp4, .webm, .mp3, .wav, .ogg, .mkv u. a.
📊 Data — .json, .xml, .rss, .atom, .csv
📝 Text — .txt, .log, .md, .ini, .cfg, .yaml, .yml, .nfo
📄 Dokument — .php, .html, .pdf, .asp, .jsp und alle nicht erkannten Pfade (Slugs, bare URLs)
Verwendung:
• Klicke auf einen Content-Typ-Badge in der Filter-Leiste um nur Anfragen dieses Typs anzuzeigen.
• Kombiniere Content-Typ mit anderen Filtern (z. B. nur Bilder vom Googlebot).
• Im Chart werden die gefilterten Anfragen sofort neu berechnet.
Die Content-Typ–Filter beantworten dir folgende operativen Fragen:
- Wann und wie oft wird eine robots.txt abgerufen - der Text-Filter grenzt die Ansicht schnell und effizient ein.
- Wie oft und wann kommt Google, um sich die Sitemap.xml zu holen - im Content-Typ: Data
- Bei Bild-Indexierungsproblemen - holt sich Google die webp oder doch die jpg Variante deines Bildes?
- Wann genau kommt Google und holt sich das Bild zum passenden Beitrag - denn erst wenn das Bild indexiert wurde, erscheint z.B. das Rezept in der Rezeptgalerie
- Wie oft beschäftigt sich der Crawler mit deinen .pdf Datein, sollten diese überhaupt indexierbar sein?
- Gibt es ggf. Zugriff auf sicherheitsrelevante Datein .bak oder .conf oder andere Datein die versehentlich abrufbar sind und sensible Daten beinhalten?