Dokumente strukturieren
Interne PDFs, Angebote oder Rechnungen sortieren und zusammenfassen – auf Basis passender Zugriffsrechte.
Einen eigenen KI-Server betreiben, ohne vertrauliche Kundendaten automatisch an Cloud-Dienste weiterzugeben? Ich zeige, wie ich das mit Ollama und 32 GB Grafikspeicher aufbauen würde – von der Installation bis zur sicheren Verarbeitung.
ChatGPT, Claude und andere Cloud-Dienste sind fantastische Werkzeuge für Konzepte, Programmierung und kreative Arbeit. Aber sobald echte Kundendaten ins Spiel kommen, stelle ich mir eine andere Frage: Warum Informationen an fremde Server übertragen, wenn dieselbe Aufgabe lokal erledigt werden kann?
Den Unterschied merkt man bei einer einfachen Kundenmail: Sie enthält vielleicht einen Namen, eine Adresse, eine Rechnungsnummer oder vertrauliche Absprachen. Für eine automatische Zusammenfassung braucht die KI diese Inhalte. In einer Cloud-Konfiguration werden sie an den jeweils beteiligten Dienst übertragen – bei einem richtig abgeschotteten lokalen Modell bleiben sie in der eigenen Umgebung.
Cloud-KI hilft mir beim Entwickeln. Echte Kundendaten möchte ich nach Möglichkeit auf eigener Infrastruktur verarbeiten.
Ollama ist die Software, die ein heruntergeladenes KI-Modell auf meinem eigenen Rechner oder Server ausführen und über eine lokale Schnittstelle ansprechen kann. Einmal heruntergeladen, benötigt das Modell für die Berechnung einer Antwort keinen Kontakt zum Anbieter des Modells.
Das ist für mich als Webentwicklerin der spannende Teil: Ich kann eine interne Webanwendung mit der lokalen API verbinden. Anfragen laufen über mein eigenes Netzwerk, die GPU berechnet die Antwort und die Anwendung erhält sie zurück. Eine eingebundene Drittanbieter-App muss allerdings genauso geprüft werden wie Ollama selbst.
Interne PDFs, Angebote oder Rechnungen sortieren und zusammenfassen – auf Basis passender Zugriffsrechte.
Eigene Plugins oder interne Formulare können eine serverseitig angebundene lokale KI nutzen.
Kundenmails klassifizieren, Stichwörter erkennen oder Texte für nachgelagerte Prozesse vorbereiten.
Die NVIDIA RTX 5000 Ada Generation ist eine professionelle Workstation-Grafikkarte. Für lokale KI ist vor allem der große Grafikspeicher ein Pluspunkt: Nicht nur die Modellgewichte, sondern auch Kontextdaten und parallele Anfragen benötigen VRAM.
Mit 32 GB lassen sich zahlreiche kleine und mittelgroße Modelle und einige stärker komprimierte größere Modelle ausführen. Entscheidend ist aber, wie viel VRAM tatsächlich noch für den Kontext und die laufende Verarbeitung übrig bleibt. Eine Modell-Downloadgröße von 20 GB bedeutet also nicht, dass 20 GB Arbeitsspeicher auf der GPU immer ausreichen.
Für den ersten Test nutze ich ausschließlich erfundene Beispieldaten. Erst wenn Modell, GPU-Beschleunigung, Zugriffsrechte und Protokollierung geprüft sind, kommen echte Kundeninformationen infrage.
Auf Windows oder Linux zeigt dieser Befehl an, ob der Treiber die Grafikkarte erkennt:
nvidia-smiUnter Windows den offiziellen Installer von ollama.com/download verwenden. Für Ubuntu/Linux nennt die Dokumentation diesen Installationsbefehl:
curl -fsSL https://ollama.com/install.sh | shAuf Linux sollte der Dienst aktiv sein; unter Windows läuft Ollama nach der Einrichtung normalerweise im Hintergrund.
ollama --version
sudo systemctl status ollamaAls alltagstauglichen Einstieg wähle ich Qwen3 mit 14 Milliarden Parametern. Der erste Aufruf lädt das Modell aus dem Internet; danach lässt es sich lokal nutzen.
ollama run qwen3:14bMit ollama ps sehe ich, ob das Modell im Grafikspeicher liegt. Die Anzeige 100% GPU ist das gewünschte Ergebnis; CPU-Anteile können die Antwort verlangsamen.
ollama psNicht jede Aufgabe benötigt ein riesiges Modell. Für kurze Texte, Extraktion und Klassifikation reichen häufig kleinere Varianten. Die folgende Übersicht zeigt Größen aus der Ollama-Modellbibliothek; der zusätzliche Speicher für Kontext und Anfragen ist darin nicht enthalten.
| Modell | Download | Mein Einsatzvorschlag |
|---|---|---|
qwen3:8b | ca. 5,2 GB | Textklassifikation, einfache Abläufe |
qwen3:14b | ca. 9,3 GB | Mein Einstieg für allgemeine Geschäftstexte |
qwen3:30b | ca. 19 GB | Komplexere Aufgaben; tatsächlichen VRAM-Bedarf testen |
qwen3:32b | ca. 20 GB | Anspruchsvollere Textarbeiten mit mehr Speicherbedarf |
Die Angaben beziehen sich auf die jeweiligen Standard-Tags. Die konkrete Qualität hängt stark von Sprache, Aufgabe, Prompt und Version ab. Deshalb entscheide ich nicht nach Modellnamen, sondern nach einem Test mit anonymisierten Beispielen aus dem jeweiligen Arbeitsablauf.
Nach der Installation lauscht die lokale API üblicherweise auf http://localhost:11434. Damit lässt sich die KI mit selbst entwickelten Anwendungen verbinden – zunächst nur auf demselben Rechner.
curl http://127.0.0.1:11434/api/generate \
-H "Content-Type: application/json" \
-d '{"model":"qwen3:14b","prompt":"Fasse diese erfundene Kundenanfrage in drei Stichpunkten zusammen: Bitte senden Sie mir ein Angebot für eine Website mit fünf Unterseiten.","stream":false}'Für eine WordPress-Anbindung würde ich den Aufruf serverseitig ausführen – nicht ungeschützt aus JavaScript im Browser. Die API ist ohne zusätzliche Zugriffsschicht nicht für den direkten öffentlichen Zugriff gedacht.
API auf 127.0.0.1 belassen, wenn App und KI-Server auf demselben Rechner laufen.
Für andere Rechner ein VPN oder einen authentifizierenden Reverse Proxy mit TLS vorsehen.
Eine öffentliche WordPress-Seite sollte niemals ungefiltert direkt auf Ollama zugreifen können.
Ollama kann inzwischen auch Cloud-Modelle verwenden. Wenn es um ein System für echte Kundendaten geht, möchte ich gerade nicht riskieren, dass versehentlich ein externes Modell aufgerufen wird. Deshalb deaktiviere ich die Cloud-Funktionen bewusst.
Auf Ubuntu mit systemd lässt sich dafür ein Dienst-Override anlegen:
sudo systemctl edit ollama[Service]
Environment="OLLAMA_NO_CLOUD=1"
Environment="OLLAMA_HOST=127.0.0.1:11434"
Environment="OLLAMA_NUM_PARALLEL=1"sudo systemctl daemon-reload
sudo systemctl restart ollamaUnter Windows lässt sich OLLAMA_NO_CLOUD=1 als Benutzer-Umgebungsvariable setzen; anschließend die Ollama-Anwendung vollständig beenden und neu starten. Alternativ beschreibt die Dokumentation die Einstellung "disable_ollama_cloud": true in der jeweiligen ~/.ollama/server.json.
Ein eigener KI-Server ist nicht automatisch langsam. Wenn ein passend dimensioniertes Modell vollständig in den 32 GB Grafikspeicher passt und nur wenige Menschen gleichzeitig Anfragen stellen, kann das System sehr angenehm reagieren.
Ein bis wenige gleichzeitige Nutzer, kurze Texte und wiederkehrende Abläufe: eine einzelne GPU kann ein guter Einstieg sein.
Viele parallele Dialoge, lange Dokumente und hohe Last: Anfragen können warten; mehr GPU-Kapazität und Lasttests werden nötig.
Ollama kann Anfragen parallel bearbeiten, benötigt dafür aber zusätzliche Ressourcen. Besonders bei großen Kontextfenstern wächst der Speicherbedarf. Deshalb beginne ich bei einer einzelnen GPU lieber mit OLLAMA_NUM_PARALLEL=1 und erhöhe die Parallelität nur nach Messung.
Ich würde erst drei Größen messen: Zeit bis zum ersten Antwort-Token, generierte Tokens pro Sekunde und Antwortzeit bei zwei bis vier parallelen Testanfragen. Ohne Messungen mit dem echten Modell lassen sich keine seriösen Leistungszahlen versprechen.
Ich muss mich nicht für nur eine Welt entscheiden. Bei Konzeption, Design und Programmierung helfen mir leistungsfähige Cloud-Werkzeuge wie ChatGPT oder Claude. Dafür kann ich mit erfundenen Datensätzen, Platzhaltern und anonymisierten Beispielen arbeiten.
Ideen, Entwürfe, Programmcode, Fehleranalyse und allgemeine Texte – möglichst ohne reale Kunden- oder Zugangsdaten.
Stärke: große Modellvielfalt und wenig eigener WartungsaufwandInterne Dokumente, vertrauliche Kundeninformationen, eigene Datenbanken und automatisierte Auswertung im kontrollierten Netzwerk.
Stärke: weniger externe Datenweitergabe und eigene InfrastrukturEin typisches Beispiel: Eine WordPress-Anwendung entsteht mit Unterstützung einer Cloud-KI, während ich nur mit Testdaten programmiere. Im produktiven Betrieb verarbeitet die Anwendung dann die echten Eingaben über Ollama auf dem eigenen Server. Entscheidend ist, dass sämtliche Datenwege im fertigen System tatsächlich kontrolliert sind.
Nein. Die lokale Ausführung reduziert bestimmte Risiken – sie ersetzt weder eine Rechtsgrundlage noch technische und organisatorische Schutzmaßnahmen. Wenn personenbezogene Daten verarbeitet werden, müssen insbesondere Zweckbindung, Datenminimierung, Zugriffskontrollen und angemessene Löschregeln beachtet werden.
Besonders wichtig ist die Rolle als Dienstleister: Verarbeite ich personenbezogene Informationen im Auftrag eines Kunden, kann zwischen uns eine Vereinbarung zur Auftragsverarbeitung erforderlich sein – auch dann, wenn die KI bei mir im eigenen Büro läuft. In risikoreichen Fällen sind weitere Prüfungen nötig.
Eine lokale KI hat keine klassische API-Abrechnung pro erzeugter Antwort, dafür aber andere Kosten: Anschaffung, Strom, Rechner, Datenträger, Wartung, Ausfallvorsorge und Sicherheitsadministration. Bei seltener Nutzung kann eine geeignete Cloud-Lösung günstiger sein. Bei regelmäßigem internen Einsatz kann sich eigene Hardware rechnen.
GPU, Host-Rechner, SSD, RAM, Netzwerk und Installation.
Strom, Kühlung, Wartung, Backups und Updates.
Vertraulichkeit, Kontrolle und nachvollziehbare Datenwege können entscheidend sein.
Bevor ich eine Hardware-Lösung produktiv einplane, teste ich deshalb Modellqualität, GPU-Auslastung, Kontextgröße und typische Last. Das schützt vor zwei Fehlern: einer zu kleinen Grafikkarte – und einem überdimensionierten System.
Ollama und die NVIDIA RTX 5000 Ada zeigen, dass ein eigener KI-Server längst nicht nur für große Unternehmen interessant ist. Mit 32 GB Grafikspeicher lassen sich zahlreiche praxisnahe Anwendungsfälle lokal umsetzen – vor allem dort, wo nicht ständig viele Menschen gleichzeitig darauf zugreifen.
Ich möchte die Möglichkeiten der Cloud weiterhin für kreative Arbeit und Entwicklung nutzen. Bei echten Kundendaten entscheide ich aber bewusst, ob die Verarbeitung lokal stattfinden sollte. Das ist für mich keine Frage von Technikbegeisterung, sondern von Verantwortung.
Nein. Mit geeigneter Rechtsgrundlage, Verträgen und Schutzmaßnahmen kann auch Cloud-Verarbeitung zulässig sein. Lokal ist eine datensparsame technische Entscheidung, keine pauschale gesetzliche Pflicht.
Die proprietären Cloud-Modelle von OpenAI oder Anthropic stehen nicht einfach als frei herunterladbare Gewichte bereit. Ollama betreibt unterstützte lokale Modelle, beispielsweise aus der Qwen- oder Gemma-Familie.
Nein. Für viele kleine und mittlere sowie manche quantisierte größere Modelle ja; sehr große Modelle und lange Kontextfenster benötigen mehr Speicher.
Ja, aber idealerweise über eine sichere serverseitige Anwendung. Die ungeschützte lokale API gehört nicht direkt ins öffentliche Internet.
Das kann passieren. Parallele Anfragen teilen sich die Ressourcen der GPU und benötigen zusätzlichen Speicher. Eine geringe gleichzeitige Nutzung ist ein guter Startpunkt.
Nach Download und Einrichtung können lokale Modellanfragen offline funktionieren. Updates, Modell-Downloads oder externe Zusatzdienste benötigen gegebenenfalls weiterhin eine Verbindung.
Die technischen Angaben beruhen auf den verlinkten Herstellerunterlagen. Der Datenschutzteil ist eine allgemeine Einordnung und keine individuelle Rechtsberatung. Stand der Recherche: 12. November 2026.

