Ich wollte wissen, welche Seiten meiner Website gelesen werden und wie man sie findet, ohne Tracking-Skript und ohne Cookie-Banner. Der Webserver protokolliert ohnehin jede Anfrage. Also gibt ein Skript die Seitenaufrufe aus dem Log von Caddy einmal pro Stunde an mein eigenes Matomo weiter, und Matomo macht daraus Berichte. Das Muster stammt von einer anderen Website auf demselben Server, die schon länger so läuft.
Wie es zusammenhängt
- Caddy schreibt ein Zugriffs-Log als JSON, täglich gerollt und 7 Tage aufbewahrt.
- Zur Minute 55 jeder Stunde startet Cron ein kleines Python-Skript (nur Standardbibliothek). Es liest die neuen Zeilen, behält die Seitenaufrufe und übergibt sie an Matomos eigenes Import-Werkzeug
import_logs.py. - Zur Minute 5 erstellt Matomo beim Archivieren die Berichte.
- Einmal pro Woche liest der Suchmaschinen-Bericht die Zahlen über die API von Matomo.
Was als Seitenaufruf zählt
Im Log steht jede Anfrage: Bilder, Skripte, htmx-Austausch, Bots. Das Skript behält eine Zeile nur, wenn alles davon zutrifft:
GET, Status 200, Inhaltstyptext/htmlund nicht unter/static/,/healthoder/api/.- Eine Navigation im Browser:
Sec-Fetch-Mode: navigate,Sec-Fetch-Dest: documentund ein HeaderSec-Fetch-Site. Der letzte hält die iframes meiner kleinen Web-Apps und kopflose Crawler draußen. - Kein Header
HX-Request, damit ein htmx-Austausch innerhalb einer Seite nicht zählt. - Kein
DNT: 1und keinSec-GPC: 1. Wer Do Not Track oder Global Privacy Control einschaltet, wird nicht weitergegeben. - Die Adresse stammt nicht aus einer Liste von Rechenzentrums-Netzen, deren Crawler sich als Browser ausgeben.
Die Regel mit Sec-Fetch-Site kam aus dem ersten Probelauf. Er zählte 168 Seitenaufrufe an einem Tag, davon 120 von einem einzigen Besucher. Der nutzte ein altes Chrome unter Linux, schickte nie einen Referrer und schickte Sec-Fetch-Mode ohne Sec-Fetch-Site. Echte Browser senden diese Header zusammen. Mit der Regel blieben 47 Seitenaufrufe.
Was das Skript vor der Übergabe ändert
- Die echte IP hinter Cloudflare: Die Website läuft über den Proxy von Cloudflare, Caddy sieht also eine Cloudflare-Adresse. Kam die Anfrage aus einem Cloudflare-Netz, nimmt das Skript stattdessen
CF-Connecting-IP. Das Rate-Limit der Website folgt derselben Regel. - Kein Query-String: Das Skript schneidet ihn von der URL ab, damit Suchbegriffe aus der Website-Suche nie in Matomo landen.
Das Log zuverlässig lesen
- Das Skript merkt sich Inode und Byte-Position des Logs in einer kleinen Statusdatei. Wurde das Log seit dem letzten Lauf gerollt, liest es zuerst die alte Datei zu Ende, gefunden über den Inode.
- Es liest nur vollständige Zeilen und rückt erst nach einem erfolgreichen Import vor. Einen gescheiterten Lauf wiederholt der nächste.
- Caddy packt gerollte Dateien standardmäßig. Dann lässt sich die alte Datei nicht zu Ende lesen, deshalb braucht der Log-Block
roll_uncompressed. - Es kopiert
import_logs.pybei jedem Lauf aus dem Matomo-Container (docker cp), damit das Werkzeug zur installierten Version passt. - Es ruft das Werkzeug mit
--idsite,--log-format-name=caddy_json,--recorders=2und--auth-config=<datei>auf. Der Token steht in dieser Datei ([auth],token_auth = …, Rechte 600), nicht auf der Kommandozeile, wo ihn jeder Nutzer in der Prozessliste sähe. --dry-runzählt nur. Ich habe es vor dem ersten echten Import ein paarmal laufen lassen.
Matomo einrichten
- Website anlegen unter Administration, Websites, Manage. Die Oberfläche zeigte die ID der neuen Website nicht an, ich habe sie in der Datenbank nachgesehen.
- Zwei Nutzer mit je einem Token. Einer hat Schreibrecht nur auf diese Website, für den Import. Der andere hat nur Leserecht, für den Wochenbericht. Seit Matomo 5 kommt ein Nutzer per Einladung, und den Einladungslink kannst du in der Nutzerliste kopieren. Dann meldest du dich in einem privaten Fenster als dieser Nutzer an und erstellst unter Personal, Security einen Token mit „Only allow secure requests“.
- Rechte prüfen. Bei mir hatten beide Nutzer zuerst auch Zugriff auf die andere Website, den habe ich entfernt.
- Datenschutz (Administration, Privacy, Anonymize data). Diese Einstellungen gelten für alle Websites der Instanz: - IP-Adressen um 2 Bytes kürzen. - „Also use the Anonymized IP addresses when enriching visits“: Yes. Sonst bestimmt Matomo den Ort aus der vollen IP, bis hinunter zur Stadt, wenn eine Städte-Datenbank installiert ist. - Referrer: Query-Parameter entfernen. - Alte Rohdaten nach 90 Tagen löschen. Das Löschen der zusammengefassten Berichte habe ich ausgelassen, weil sie nur Zahlen enthalten.
- Jeden Abschnitt einzeln speichern. Matomo fragt nach dem Passwort, vorher wird nichts übernommen. Ich habe die gespeicherten Einstellungen danach in der Datenbank geprüft.
Laut Hilfetext des Import-Werkzeugs braucht der Token Admin-Rechte, sonst stimmen die IP-Adressen der Besucher nicht. Hier reichte das Schreibrecht: Nach dem ersten Import standen die gekürzten Adressen der Besucher in Matomo, nicht die des Servers.
Wenn Matomo die Anmeldung ablehnt
Mein Matomo nimmt Anmeldungen nur aus meinem VPN-Netz an. Das VPN auf meinem Mac leitet nur dieses Netz durch den Tunnel, also ging der Browser über das öffentliche Internet, und Matomo lehnte ab. Die Lösung waren zwei Zeilen in /etc/hosts auf dem Mac. Die erste lässt den Namen von Matomo auf die VPN-Adresse des Servers zeigen. Die zweite lässt ihn für IPv6 auf ::1 zeigen, weil der Browser die öffentliche IPv6-Adresse aus dem DNS vorzog. Da lokal nichts auf Port 443 lauscht, weicht der Browser auf IPv4 durch den Tunnel aus. Matomo geht jetzt nur bei laufendem Tunnel.
Datenschutzerklärung
Die Statistik gehört in die Datenschutzerklärung. Meine sagt jetzt im Abschnitt über die Server-Logfiles:
- was an Matomo geht, und dass Matomo die IP um zwei Bytes kürzt;
- dass Seiten ohne Suchbegriffe ankommen;
- dass Matomo daraus das ungefähre Land, Browser und Gerät ermittelt;
- dass Do Not Track und Global Privacy Control beachtet werden und Besucher per E-Mail widersprechen können;
- dass einzelne Besuche nach 90 Tagen gelöscht werden;
- die Rechtsgrundlage, berechtigtes Interesse nach Art. 6 Abs. 1 lit. f DSGVO.
Der Filter im Skript und die Einstellungen in Matomo müssen zu diesem Text passen.
Stolperfallen
- Ein zu früh abgefragter Zeitraum bleibt falsch. Ich habe einen Zeitraum abgefragt, bevor seine Tage archiviert waren, und null Besuche bekommen. Derselbe Zeitraum nach dem Archivieren stimmte. Der Wochenbericht läuft montagmorgens, wenn die Tage längst archiviert sind.
- Tokens laufen ab. Meine gelten 180 Tage. Danach bricht der Import ab, bis ein neuer Token in der Datei steht. Matomo erinnert 30 Tage vorher, sofern es E-Mails verschicken kann.
Ergebnis
Der erste echte Import brachte 46 Seitenaufrufe, das sind 9 Besuche aus drei Ländern, alle mit gekürzten IP-Adressen.
Mehr dazu
- Thema
-
- Self-Hosting Dienste auf einem Server betreiben, über den du selbst verfügst, statt die gehostete Fassung eines Anbieters zu nutzen.
- Nutzt
- Siehe auch
-
- Search-Console- und Bing-Daten per API abrufen Ein Google-Dienstkonto mit Lesezugriff und ein Bing-API-Schlüssel für ein wöchentliches Skript, Schritt für Schritt in den deutschen Oberflächen eingerichtet.
- Schlagwörter