KI-Einrichtung

Wählen Sie, wie KI ausgeführt wird

Verwenden Sie einen separaten KI-Server

Um die Anwendungsleistung zu verbessern, führen Sie keine Ollama-Produktions-Workload auf demselben Server wie FlinkISO aus. KI-Inferenz kann nachhaltige CPU, Systemspeicher, Festplattenbandbreite und GPU-Speicher verbrauchen. Ein separater Host hält die Bearbeitung von Dokumenten, Formularen, Genehmigungen und geplante Arbeit reaktionsfähig, während KI eine lange Anforderung verarbeitet.

Die KI-API-URL muss über den FlinkISO-Dienst erreichbar sein, der die Anfrage sendet. http://127.0.0.1:11434 Mit dem empfohlenen separaten KI-Server die erreichbare private Adresse oder einen gesicherten HTTPS-Endpunkt verwenden. Den nicht authentifizierten Ollama-Port nicht direkt dem öffentlichen Internet aussetzen.

Praktische Starthardware

Modellgröße, Quantisierung und Kontextlänge bestimmen die tatsächliche Anforderung. Das Folgende ist ein praktisches Minimum für die Beispiel 7B-8B-Modelle in diesem Handbuch; größere Modelle benötigen mehr Speicher.

Die beiden Beispielmodell-Downloads verwenden derzeit etwa 11,2 GB vor Laufzeit-Overhead und Arbeitsdateien. Erhöhen Sie RAM, VRAM und Speicher bei Verwendung größerer Modelle, längerer Kontextfenster, mehr PDF-Seiten oder gleichzeitiger Anforderungen.

Ollama auf einem separaten Linux-Server installieren

Es folgt folgender Grundstrom: Offizieller Ollama Linux GuideFühren Sie es auf dem dedizierten KI-Server aus, nicht auf dem FlinkISO-Anwendungsserver.

1. Installiere Ollama.

   curl -fsSL https://ollama.com/install.sh | sh

2. Aktivieren und starten Sie den Service.

   sudo systemctl enable --now ollama
   sudo systemctl status ollama

3. Laden Sie ein Textmodell und ein Vision-Modell herunter. Diese Namen sind Beispiele, die mit den später gezeigten Feldern übereinstimmen.

   ollama pull qwen3:8b
   ollama pull qwen2.5vl:7b
   ollama list

4. Überprüfen Sie die lokale API.

   curl http://127.0.0.1:11434/api/tags

Das Beispieltextmodell ist ungefähr 5,2 GB und das Vision-Modell ungefähr 6,0 GB. Die in FlinkISO eingegebenen Modellnamen müssen genau mit den von ollama list.

Ermöglichen Sie dem KI-Service, Ollama zu erreichen

Ollama hört zu 127.0.0.1:11434 Standardmäßig fügen Sie auf einem separaten Linux-Host nur dann eine Systemd-Override hinzu, wenn ein Netzwerkzugriff erforderlich ist:

sudo systemctl edit ollama.service

Hinzufügen:

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"

Dann neu laden und neu starten:

sudo systemctl daemon-reload
sudo systemctl restart ollama

KI in FlinkISO konfigurieren

1. Melden Sie sich mit dem MR- oder Administratorkonto an.
2. Öffnen Sie das Benutzermenü und wählen KI-Einrichtung.
3. Wählen Sie die erforderlichen KI-Anbieter.
4. Für Ollama oder einen Cloud-Anbieter füllen Sie die unten beschriebenen Provider-Felder aus.
5. Wählen KI einschalten, dann wählen Save KI Setup.

Höhere Seitenzahlen, Seitenpixelwerte und Kontextgrößen erhöhen die Speichernutzung, die Anforderungsgröße und die Verarbeitungszeit. Beginnen Sie mit den Standardeinstellungen und erhöhen Sie sie erst nach dem Testen von repräsentativen Dokumenten.

Verbinden Sie einen Cloud-OpenAI-kompatiblen Anbieter

1. Bestätigen sie, dass der anbieter openai-kompatible gestreamte chat-vervollständigungen und json-antworten unterstützt.
2. Erstellen Sie einen API-Schlüssel mit nur den Berechtigungen, die für die Modellinferenz erforderlich sind.
3. Geben Sie die API-Basis-URL des Anbieters ein. FlinkISO-Anhänge /chat/completions Es sei denn, dieser Weg ist bereits vorhanden.
4. Geben Sie genaue Text- und Vision-Modell-Identifikatoren ein, die dem Konto zur Verfügung stehen.
5. Geben Sie den API-Schlüssel ein, behalten Sie die Standardwerte für die Dokumentenverarbeitung bei, schalten Sie KI ein und speichern Sie.

Überprüfen Sie die Verbindung

1. Öffnen Sie das KI-Setup erneut und bestätigen Sie, dass KI eingeschaltet bleibt.
2. Öffnen Sie ein unterstütztes Qualitätsdokument oder ein generiertes Formular, in dem das KI-Steuerelement verfügbar ist.
3. Beginnen Sie mit einer kurzen Nur-Text-Anfrage.Bestätigen Sie, dass eine Antwort zurückgegeben wird, bevor Sie ein Dokument testen.
4. Testen Sie ein kleines PDF oder Bild mit der Vision-Option und bestätigen Sie, dass das ausgewählte Vision-Modell verwendet wird.
5. Überprüfen Sie das vorgeschlagene Ergebnis, bevor Sie einen Formularumbau oder eine Feldänderung zulassen.

FlinkISO behält die Historie der lokalen Anfrage und wendet ihre normalen Autorisierungsregeln an. Nur ein MR-Benutzer kann ein generiertes Formular aus einem KI-Vorschlag neu erstellen.

Fehlerbehebung