#Ollama

Funktionierende Software baue ich nicht um, nur damit sie ordentlicher aussieht. Das tue ich erst, wenn ein konkreter Schaden es verlangt. Der teuerste Fehler in unserem Dokumentenarchiv hatte mit der Struktur gar nichts zu tun: Die Anweisung an das lokale Modell über Ollama war neunmal größer, als das Modell überhaupt lesen konnte, und statt 78 Prozent der Felder kamen nur 3 Prozent richtig heraus. Das lief monatelang so, weil nichts hinsah. Zehn Zeilen Wächter hätten es am ersten Tag gezeigt, ein schöner Umbau dagegen nie.

Ein größeres KI-Modell ist nicht automatisch das bessere, das zeigt erst eine Messung an den eigenen Daten. Für unser Dokumentenarchiv habe ich vier lokale Modelle über Ollama an 24 echten Belegen antreten lassen, jeweils zweimal. Das kleine Qwen traf neunzig Prozent der Sollwerte, das bisherige Gemma einundachtzig, und die Fahrgestellnummer erkannte Qwen in allen 21 Fällen. Die doppelt so große Qwen-Variante war langsamer und schlechter zugleich. Welches Modell passt, sagt kein Datenblatt, das sagt nur der eigene Stapel Belege.

Wenn man einer lokalen KI zu viel Text gibt, merkt man es nicht, denn sie schneidet ihn still ab. In unserem Dokumentenarchiv zählte die Anweisung an Ollama alle über siebentausend Absender namentlich auf. Das Modell las nur den Anfang, die eigentliche Aufgabe und der Beleg selbst fielen heraus. Bei vierundzwanzig echten Belegen stimmten drei Prozent der Felder. Danach haben wir die Liste aus der Anweisung genommen und das Textfenster ausdrücklich größer eingestellt, seitdem sind es achtundsiebzig. Die gefährlichste Grenze ist die, die keine Fehlermeldung wirft.

Den eigenen Betrieb trug unsere Software als Absender ein, weil die KI auf unseren Ausgangsrechnungen den eigenen Briefkopf las und ihn für den Geschäftspartner hielt. Unser lokales Modell über Ollama hatte so dreizehn Namensvarianten des eigenen Hauses angelegt, verteilt auf achtundfünfzig Dokumente. Ich habe eine Sperrliste davorgesetzt und gegen alle 122 automatisch angelegten Partner geprüft: 63 fielen raus, 59 blieben, keiner davon zu Unrecht. Auch wenn wir selbst auf dem Blatt stehen, sind wir nicht der Absender.

Statt einen neuen Rechner zu kaufen, tauscht man oft nur die CPU. Unser KI-Rechner lief mit einem Intel i3, vier Kerne, und der nächstbessere Prozessor, ein i5 mit sechs Kernen, sitzt im selben Sockel, LGA 1200. Sogar der alte Kühler passt ohne Änderung, nur etwas Wärmeleitpaste muss neu drauf. Das Gerät, auf dem nachts Ollama die Fahrzeugbilder beschreibt, wird so spürbar schneller, ohne dass etwas auf dem Müll landet. Was zueinander passt, muss man nicht ersetzen, nur ergänzen.

Ein Bild allein reicht der Maschine nicht, sie braucht den Text daneben. Unsere Pipeline schickt Gemma über Ollama jetzt beides: das gescannte Dokument als Bild mit dreihundert DPI für Layout und Position, dazu den ausgelesenen Text für die exakten Werte. So liest sie ein Dokument in fünf bis fünfundzwanzig Sekunden, ohne Zahlen zu erraten. Das Auge zeigt, wo etwas steht, der Text sagt, was dort wirklich geschrieben ist.

Man lässt es die Maschine über Nacht machen. Unser lokales Modell, Gemma über Ollama, hat 672 Fahrzeugbilder in gut anderthalb Stunden beschrieben, ohne einen einzigen Fehler. Was einen Menschen Wochen kostet, war am Morgen fertig. Die Zeit, die frei wird, gehört dann dem Kunden, nicht dem Bildschirm.

Nein. Bei uns reicht ein guter Rechner mit einer einzelnen Grafikkarte in der Werkstatt, um hunderte Fahrzeugbilder lokal zu analysieren. Wer das selbst aufstellt, ist von keiner externen Schnittstelle und keiner Abrechnung nach Verbrauch abhängig. Die Einstiegshürde ist viel niedriger, als die meisten denken.

Im Haus. Unsere Bildanalyse läuft mit Gemma über Ollama auf einem Rechner in der Werkstatt, kein einziges Foto verlässt das Netz. Datenschutz ist dann keine Erklärung im Footer, sondern eine Architektur-Entscheidung. Und es kostet keine monatliche Cloud-Rechnung nach Verbrauch.