Log-Dateien hochladen oder mit Syslog / Cloudflare streamen

BotScope ist ein Online SaaS Tool zum Analysieren von Webserver Logs. Um mit BotScope zu arbeiten und an die Insights aus deinen Logfiles zu gelangen müssen die Logdaten deines Server in das BotScope-System fließen. Botscope unterstützt verschiedene Logfile-Formate von gängigen Webservern wie Nginx-, Apache- oder tomcat. Die Logdateien können dabei in den gängigen Formaten (combined, common, custom) verarbeitet werden,. Zudem unterstützen wir Logs von Cloudflare mit einem eigenen Worker von uns, der die Daten an BotScope übermittelt und wir unterstützen Syslog - der Log-Streaming Standard - für nginx und Apache-Webserver. Mit Syslog werden die Daten nahezu in Echtzeit in das  BotScope-System gestreamt. Sie können mit Syslog oder Cloudflare ihre Logs in Realtime analysieren.

Upload via Datei von deinem Rechner

Zum Hochladen könnt ihr einfach die Logs von eurem Server downloaden und bei uns uploaden. Je nach Paket gibt es Limits was die Größe der Files und die Anzahl der Einträge im Logfile angeht. Wenn du unsicher bist, probiere ein kleines Logfile vorher auf unserem kostenlosen Account aus. Mit dem kostenlosen Logfile Analyse Paket bei BotScope kannst 2 Logfiles mit max. 5 MB testen. Wenn dir die Daten und die Auswertung gefallen, kannst du mehr Daten hochschieben. Wir verarbeiten nur die Bot-Daten aus deinen Logs, wenn wir uns bei App-Traffic unsicher sind, skippen wir die IP - der Rest wird bei der Verarbeitung übersprungen. Am Ende landen deine Bot-Daten  in der BotScope-Datei - nach dem Analysieren kann du die Session löschen und deine Daten verschwinden. Nach 180 Tagen Inaktivität löschen wir deine Sessions automatisch.

Bei den Files unterstützten wir die Formate: .log, .log.gz (komprimiert), zip und .txt. Andere Formate kannst du natürlich testen wenn du willst.

Upload via Datei von deinem Server via FTP / SFTP / SCP oder cURL

Wenn deine Daten von Server zu Server übertrag willst, dann kannst du das per FTP (Port 21) machen - hierzu deinen Zugang eingeben (wir verwerfen die Daten nach der Übertragung direkt - lege am besten einen neuen User mit eingeschränken Rechten an, wenn du dir unsicher bist) und den Pfad zum Log und wir ziehen das Log von deinem Server direkt ins BotScope System. Das geht auch mit SFTP (Port 22) - du kannst auch einen eigenen Schlüssel (Key) hinterlegen oder den Key von uns auf deinem Server hinterlegen für den SFTP Zugang. Ähnlich läuft es mit SCP (Secure Copy), ein einfaches Linux Werkzeug um Daten von Server zu Server zu übertragen. Am besten packst du du die Files in ein zip oder gz und stößt den Übertrag an. cURL ist eine weitere Methode ein File Server2Server zu übertragen nur ohne SSH Credentials - URL reinpacken und schon holt sich cURL die Daten direkt von einem öffentlich erreichbaren Server und importiert die Daten in Boptscope.

Streaming via deiner Bot-Traffic-Daten via Cloudflare

Wenn du deine Seite via Cloudflare auslieferst, ist es gar nicht so leicht an saubere Logdaten zu kommen. Es gibt zwar ein Logpush bei CF aber nicht für die kleinen Pakete. Meist bleibt nur das Serverlog und dem fehlen Daten (wie die IP des Bots oder überhaupt bereits durch CF gefilterte Daten). Wir haben BotScope so eingestellt, dass wir dir einen kleinen Worker-Code zur Verfügung stellen, der die Requests auf deinen Server direkt in BotScope postet. Wir nutzen dazu unsere API. Der Code für den Worker ist klein und das Setup einfach. 100.000 Worker Anfragen sind for free, danach müsst ihr ins nächste Worker-Paket bei CF wechseln - kostet $5 für 10 Millionen Worker-Requests. Ich sag mal, für Seiten bis 20.0000 Besucher / Tag reicht das. Für alle anderen finden wir eine Lösung.

Streaming via deiner Bot-Traffic-Daten via Syslog

Das ist der eigentliche Gold-Standard, wenn ihr selber hostet. Syslog ist ein bei nginx und apache nativer Dienst, der deine Log-Daten an einen anderen Syslog-Dienst über UDP, in seltenen Fällen auch TCP, sendet. Eine kleine Zeile in deine nginx.conf bzw. sites-enabled conf Datei und der Stream läuft. Am besten in beide Confs für Port 80 und 443 - dann habt ihr ein gutes Bild der Daten. Auch beim Syslog Streaming skippen wir die Daten die mit Bots nichts zu tun haben, es landen nur die Bots in der DB und ihr habt jederzeit die Möglichkeit die Daten aus der Log-Session unwiderruflich zu löschen.

Wie du siehst - wir stellen dir einige Möglichkeiten zur Verfügung, um die Daten ins System zu bekommen, um dir die Analyse zu ermöglichen. Wenn du nicht zurecht kommst oder Hilfe brauchst, dann lass uns es wissen - entweder im Live Chat oder per Mail). Alle Daten werden in Deutschland verarbeitet. Der Serverstandort ist Deutschland und wir sind ein deutsches Unternehmen.

Wenn du einen ADV für die Verarbeitung der Bot-Daten benötigst, dann schreib uns an, wir senden dir einen ADV, gern auch einen individuellen ADV.