Preis- und Bestandstracker

Streamlit-App, die die tägliche Artikelliste eines Lieferanten einliest und nur Änderungen bei Preis, Bestand und Listung in DuckDB speichert, mit Preisindex.

Ein Werkzeug, das ich für mich gebaut habe: Ein Lieferant veröffentlicht jeden Tag seine Artikelliste als CSV-Datei mit rund 47.000 Artikeln, jeweils mit Preis, Lagerbestand, Hersteller und Kategorie. Die Liste zeigt immer nur den heutigen Stand. Dieses Projekt bewahrt die Geschichte auf und zeigt, wie sich Preise und Verfügbarkeit je Kategorie und Hersteller entwickeln. Es ist eine Streamlit-App in Python mit einer DuckDB-Datei als Datenbank, in Betrieb seit November 2026.

Änderungen speichern, nicht Listen

Jeden Tag 47.000 Zeilen zu speichern, ließe die Datenbank schnell wachsen, und die meisten Zeilen ändern sich nicht. Der Import vergleicht deshalb die neue Liste mit dem aktuellen Stand und schreibt nur, was sich geändert hat: eigene Verlaufstabellen für Preis, Lagerbestand, Listung und Stammdaten, jede Zeile gültig ab einem Datum. Ein Artikel, der aus der Liste fällt, wird inaktiv und kehrt zurück, sobald er wieder auftaucht. Weil „gelistet oder nicht“ einen eigenen Verlauf hat, wissen die Auswertungen, welche Artikel über einen ganzen Zeitraum verfügbar waren.

Der Import geht vorsichtig mit fehlerhaften Daten um:

  • Zeichenkodierung, Trennzeichen und Dezimalformat erkennt er selbst.
  • Eine Vorschau führt den Import als Probelauf aus und nimmt ihn zurück; der echte Import läuft in einer Transaktion.
  • Fehlerhafte Zeilen werden übersprungen und angezeigt, statt den Import abzubrechen.
  • Würden mehr als 10 % der aktiven Artikel entfallen, ist die Datei vermutlich unvollständig: Die App warnt, der automatische Import lehnt sie ab.
  • Importe kommen in zeitlicher Reihenfolge, und der jüngste lässt sich vollständig zurücknehmen.

Auswertungen

  • Preisindex je Kategorie oder Hersteller mit Start bei 100: das geometrische Mittel der Preisverhältnisse (ein Jevons-Index) über einen festen Warenkorb aus Artikeln, die im ganzen Zeitraum gelistet waren, damit neue und entfallene Artikel ihn nicht verzerren.
  • Vergleich zweier Stichtage, die größten Preissprünge in beide Richtungen und Verfügbarkeitsklassen im Zeitverlauf.
  • Lagerbewegungen: Abgang, Zugang und Saldo in Stück von Liste zu Liste. Abgang ist nicht gleich Verkauf, und über der Obergrenze der Liste von 200 Stück ist nichts zu sehen.
  • Neuheiten: Artikel, die im Zeitraum zum ersten Mal in einer Liste standen, auf Wunsch nur solche, die seitdem in jeder Liste enthalten sind, damit Artikel, die kommen und gehen, nicht als neu zählen.
  • Je Artikel Preis und Bestand als Stufendiagramm; je Import Listen neuer, entfallener und zurückgekehrter Artikel und aller Änderungen.
  • Volltextsuche, ein Kategoriebaum als Filter, gespeicherte Filtervorlagen und Export nach Excel mit echten Diagrammen oder als CSV.

Betrieb

Die App läuft als Container auf meinem eigenen Server hinter einem Reverse Proxy mit Passwort. Die tägliche Liste kommt entweder per Upload in der App oder automatisch per SFTP: Ein eigener, abgeschotteter Container nimmt nur die IP-Adresse des Absenders an, nur SFTP und nur in einen Eingangsordner. Ein Wächter importiert eine Datei, sobald sie sich nicht mehr ändert, und löscht sie danach, denn ihr Inhalt steht dann in der Datenbank.

Die DuckDB-Datei enthält den ganzen Verlauf und lässt sich aus den Listen nicht wiederherstellen, weil sie nicht aufbewahrt werden. Sie wird deshalb regelmäßig gesichert: als konsistente Kopie aus der App heraus und mit einem Skript, das nach jedem Upload den Live-Stand auf meinen Rechner holt.

Entscheidungen

  • DuckDB statt eines Datenbankservers: eine einzige Datei, schnell bei Auswertungen über den Verlauf, leicht zu kopieren und zu sichern.
  • Streamlit für die Oberfläche, weil die Arbeit in den Auswertungen steckt und nicht im Web-Frontend. Die Fachlogik hängt nicht von Streamlit ab, die Oberfläche könnte also später auf ein anderes Framework umziehen.

Mehr dazu

Thema
  • Datenanalyse Daten sammeln, aufbereiten und auswerten, um Fragen zu beantworten, etwa zu Preisen, Märkten oder Mitbewerbern.

In der Graph-Ansicht zeigen →