Was die Maschine sieht

Eine kleine App meiner alten Website: Du hast ein Foto gewählt, und das Bildmodell Mirage hat darin Objekte, Text und die Szene gefunden, ganz im Browser.

Was die Maschine sieht war eine kleine App auf der Spielwiese meiner alten Website. Du hast ein Foto gewählt, und ein Bildmodell hat markiert, was es erkennt: Objekte mit Umrissen, Text im Bild und eine kurze Beschreibung der Szene. Alles lief im Browser-Tab, das Foto wurde nie hochgeladen. Die Spielwiese ist nicht mit auf die neue Website umgezogen, die App ist also nicht mehr online. Das Modell selbst gibt es bei Hugging Face.

Darauf gestoßen bin ich über eine Demo auf GitHub, die Mirage von Cactus Compute im Browser ausführt. Die Demo hat keine Lizenz. Deshalb habe ich eine eigene Oberfläche geschrieben und nur die Teile übernommen, die unter der Apache License 2.0 stehen: die WebAssembly-Fassung der Engine cactus und die Modelldatei.

Aufbau

  • Engine (cactus.js, cactus.wasm) und Modell (mirage.cact, 21,6 MB) lagen auf meinem eigenen Server. Beim ersten Besuch hat der Browser etwa 23 MB geladen, danach kamen sie aus dem Cache.
  • Das Foto wird mit createImageBitmap gelesen, in ein Canvas gezeichnet, auf höchstens 1024 Pixel an der langen Seite verkleinert und als RGB-Pixel an die Engine übergeben.
  • Die Engine antwortet mit JSON: Objekte mit Name, Konfidenz, Rahmen und Umriss, Text im Bild und die Szene. Das Modell antwortet auf Englisch.
  • Über das Netz gehen nur Downloads: die Seite, die Skripte, die Engine und das Modell. Das habe ich im Netzwerkprotokoll des Browsers geprüft.

Was sie konnte

Das Foto passte immer ganz in die Bühne, egal in welchem Format. Das Beschreiben startete, sobald ein Foto gewählt war. Ein Testfoto brauchte 0,9 Sekunden und ergab 20 Objekte. Hast du auf etwas im Foto oder in der Liste gezeigt, wurde es hervorgehoben und der Rest abgedunkelt. Ein Klick hielt es fest und zeigte eine Karte mit einem Ausschnitt aus dem Foto und allem, was das Modell dazu sagt. Mit den Pfeiltasten bist du durch die Funde gegangen, ein Regler blendete alles unter einer Mindest-Konfidenz aus, und ein Foto ließ sich auch auf die Bühne ziehen oder einfügen.

Probleme unterwegs

  • Das cactus.js der Demo lief gar nicht: Zwischen zwei Anweisungen fehlte ein Semikolon. Ich habe es gefunden, indem ich die Datei halbiert habe, bis der Fehler eingegrenzt war, und es mit einer Notiz im Ordner ergänzt.
  • Die Content Security Policy meiner Website sperrt blob:-Bilder, also kann das Foto nicht einfach in ein <img>. Ein Canvas geht.
  • Die erste Fassung war eine lange Seite, auf der hohe Fotos aus dem Fenster liefen. Die zweite ist wie eine App aufgebaut, mit Werkzeugleiste, Bühne und Seitenleiste.

Mehr dazu

Thema
  • KI auf dem eigenen Gerät KI-Modelle, die auf dem eigenen Gerät laufen, in einer App oder im Browser, sodass die Eingabe dort bleibt und kein Server rechnet.
Nutzt
  • cactus Quelloffene Engine von Cactus Compute, die kleine KI-Modelle für Text, Sprache und Bilder lokal auf Endgeräten ausführt.
  • Mirage Kleines Bildmodell von Cactus Compute, das in einem Foto Objekte mit Umrissen, Text und die Szene findet und als JSON zurückgibt.
Im Text erwähnt
  • Cactus Compute Firma hinter cactus, einer Engine für kleine KI-Modelle auf Endgeräten, und Modellen wie dem Bildmodell Mirage.
Schlagwörter

In der Graph-Ansicht zeigen →