Die Suche meiner Wissensdatenbank lief von Anfang an mit multilingual-e5-small, dem Modell, das schon der Astro-Prototyp benutzt hat. Ob sie damit den richtigen Knoten findet, hatte niemand geprüft. Im November 2026 habe ich das Modell gegen vier andere gemessen, die lokal laufen, und bin auf BGE-M3 umgestiegen. Wie die Suche als Ganzes funktioniert, steht in Wie ein LLM-Wiki funktioniert.
Der Aufbau
- 44 durchsuchbare Knoten in 148 Abschnitten (veröffentlicht und privat, ohne Entwürfe), 37 auf Englisch und 7 auf Deutsch.
- 26 Testfragen, 15 auf Deutsch und 11 auf Englisch, jede mit dem Knoten, der sie beantwortet. Sie benutzen andere Wörter als die Knoten, und die meisten deutschen Fragen zielen auf Knoten, die es nur auf Englisch gibt.
- Jedes Modell als quantisiertes ONNX (8 Bit), ausgeführt mit ONNX Runtime wie im
kb-Werkzeug. Ein Knoten zählt mit seinem besten Abschnitt. - Gemessen: wie oft der richtige Knoten auf Platz eins oder unter den ersten drei landete, und der Mean Reciprocal Rank (MRR). Dazu der Abstand zwischen dem richtigen Knoten und dem besten falschen und die Zeit pro Abschnitt und pro Frage.
Ergebnisse
| Modell | Platz eins | Top 3 | MRR | Abstand | ms pro Abschnitt / Frage | Größe |
|---|---|---|---|---|---|---|
| multilingual-e5-small (vorher) | 19/26 | 20/26 | 0,78 | 0,015 | 8 / 2 | 129 MB |
| multilingual-e5-base | 17/26 | 22/26 | 0,77 | 0,014 | 17 / 4 | 290 MB |
| EmbeddingGemma-300m | 23/26 | 25/26 | 0,93 | 0,124 | 55 / 38 | 326 MB |
| BGE-M3 | 26/26 | 26/26 | 1,00 | 0,073 | 50 / 9 | 561 MB |
| Qwen3-Embedding-0.6B | 18/26 | 21/26 | 0,76 | 0,027 | 77 / 24 | 604 MB |
- e5-small hat eher nach Sprache sortiert als nach Bedeutung. Sechs seiner sieben Fehlgriffe waren deutsche Fragen, die auf einem der sieben deutschen Knoten gelandet sind. „Landkarten, deren Aussehen erst im Browser berechnet wird“ fand zuerst den Safari-Lesezeichen-Sortierer und Vector Tiles erst auf Platz zehn.
- BGE-M3 hat bei jeder Frage den richtigen Knoten auf Platz eins gesetzt, auch bei deutschen Fragen zu englischen Knoten.
- EmbeddingGemma hat richtig und falsch am deutlichsten getrennt, aber drei Fragen knapp verfehlt.
- e5-base war nicht besser als e5-small. Qwen3 lag unter meinen Erwartungen. Das kann an der 8-Bit-Fassung oder an meinem Pooling liegen, deshalb sehe ich das nicht als endgültiges Urteil.
Der Mindestwert
Die Suche verwirft Abschnitte unter einer Mindest-Ähnlichkeit. Der Wert lag bei 0,75, eingestellt für e5-small. Ein zweiter Test mit 14 themenfremden Fragen (Rezepte, Wetter, Reisen) hat gezeigt, dass er nichts herausgefiltert hat: Mit e5-small kamen selbst diese Fragen auf 0,81.
Mit BGE-M3 erreichten Fragen zur Wissensdatenbank mindestens 0,51 und themenfremde höchstens 0,44. Der Mindestwert liegt jetzt bei 0,48, dazwischen. Alle 26 Fragen bekommen weiter ihre Antwort, keine der 14 themenfremden.
Der Umstieg
kbtool/embed.pynutzt Xenova/bge-m3 ohne die Präfixe „query:“ und „passage:“, die e5 braucht, und nimmt den Vektor des ersten Tokens statt des Mittelwerts.- Der Index merkt sich sein Modell. Die Suche verweigert einen Index, der mit einem anderen Modell gebaut wurde, bis
kb indexalles neu eingebettet hat, etwa 18 Sekunden für 148 Abschnitte. - Die Modelldateien im Cache wachsen von etwa 120 auf etwa 600 MB.
Offene Punkte
- 26 selbst geschriebene Fragen sind eine kleine Stichprobe: Eine Frage macht vier Prozentpunkte aus. Der Abstand zwischen 19 und 26 ist klar, die Reihenfolge der anderen weniger.
- Der Mindestwert gehört zum Modell. Beim nächsten Modell muss er neu gemessen werden, mit denselben Fragen. Sie stehen im gespeicherten Chat.
Mehr dazu
- Thema
-
- KI / Sprachmodelle Wofür ich Sprachmodelle einsetze: Agenten, lokale Modelle, RAG und kleine Programme, in denen ein Modell eine Aufgabe übernimmt.
- LLM-Wiki Andrej Karpathys Muster für persönliches Wissen: Ein LLM-Agent liest jede Quelle einmal und arbeitet sie in wachsende, verlinkte Notizen ein.
- Retrieval-Augmented Generation Fragen mit einem Sprachmodell beantworten, indem zuerst passende Stellen aus einem Wissensbestand gesucht und dem Modell als Kontext mitgegeben werden.
- Siehe auch
-
- Wie ein LLM-Wiki funktioniert Wie ein LLM-Wiki funktioniert, am Beispiel dieser Wissensdatenbank: Markdown in einem eigenen Git-Repository, ein Python-Tool mit MCP für Agenten und eine Website, die nur anzeigt.
- Schlagwörter