Cursor

mode

Language Support

logo
logo

Kontaktieren Sie uns

Awesome Image Awesome Image
Ollama & Datenschutz: Lokale KI mit NVIDIA-GPU | Petya Design
KI / DATENSCHUTZ / WEBENTWICKLUNGPetya Design · 12. November 2026

Ollama, Datenschutz & GPU: Lokale KI mit der NVIDIA RTX 5000 Ada

Einen eigenen KI-Server betreiben, ohne vertrauliche Kundendaten automatisch an Cloud-Dienste weiterzugeben? Ich zeige, wie ich das mit Ollama und 32 GB Grafikspeicher aufbauen würde – von der Installation bis zur sicheren Verarbeitung.

Lokale KINVIDIA RTX 5000 Ada32 GB VRAMDSGVO bewusst umsetzen
LOCAL AI / GPU SERVER
32 GB
Grafikspeicher für lokale KI-Modelle
RTX 5000 Ada Generation
01   /   Haltung statt Hype

Warum ich bei Kundendaten zuerst an Datenschutz denke

ChatGPT, Claude und andere Cloud-Dienste sind fantastische Werkzeuge für Konzepte, Programmierung und kreative Arbeit. Aber sobald echte Kundendaten ins Spiel kommen, stelle ich mir eine andere Frage: Warum Informationen an fremde Server übertragen, wenn dieselbe Aufgabe lokal erledigt werden kann?

Den Unterschied merkt man bei einer einfachen Kundenmail: Sie enthält vielleicht einen Namen, eine Adresse, eine Rechnungsnummer oder vertrauliche Absprachen. Für eine automatische Zusammenfassung braucht die KI diese Inhalte. In einer Cloud-Konfiguration werden sie an den jeweils beteiligten Dienst übertragen – bei einem richtig abgeschotteten lokalen Modell bleiben sie in der eigenen Umgebung.

„

Cloud-KI hilft mir beim Entwickeln. Echte Kundendaten möchte ich nach Möglichkeit auf eigener Infrastruktur verarbeiten.

02   /   Das Grundprinzip

So funktioniert ein eigener KI-Server mit Ollama

Ollama ist die Software, die ein heruntergeladenes KI-Modell auf meinem eigenen Rechner oder Server ausführen und über eine lokale Schnittstelle ansprechen kann. Einmal heruntergeladen, benötigt das Modell für die Berechnung einer Antwort keinen Kontakt zum Anbieter des Modells.

Das ist für mich als Webentwicklerin der spannende Teil: Ich kann eine interne Webanwendung mit der lokalen API verbinden. Anfragen laufen über mein eigenes Netzwerk, die GPU berechnet die Antwort und die Anwendung erhält sie zurück. Eine eingebundene Drittanbieter-App muss allerdings genauso geprüft werden wie Ollama selbst.

Dokumente strukturieren

Interne PDFs, Angebote oder Rechnungen sortieren und zusammenfassen – auf Basis passender Zugriffsrechte.

WordPress erweitern

Eigene Plugins oder interne Formulare können eine serverseitig angebundene lokale KI nutzen.

Workflows automatisieren

Kundenmails klassifizieren, Stichwörter erkennen oder Texte für nachgelagerte Prozesse vorbereiten.

03   /   Die Grafikkarte

Warum die NVIDIA RTX 5000 Ada mit 32 GB VRAM interessant ist

Die NVIDIA RTX 5000 Ada Generation ist eine professionelle Workstation-Grafikkarte. Für lokale KI ist vor allem der große Grafikspeicher ein Pluspunkt: Nicht nur die Modellgewichte, sondern auch Kontextdaten und parallele Anfragen benötigen VRAM.

32 GBGDDR6-Grafikspeicher mit ECC
12.800CUDA-Kerne
576 GB/sSpeicherbandbreite
250 WMaximale Board-Leistungsaufnahme

Mit 32 GB lassen sich zahlreiche kleine und mittelgroße Modelle und einige stärker komprimierte größere Modelle ausführen. Entscheidend ist aber, wie viel VRAM tatsächlich noch für den Kontext und die laufende Verarbeitung übrig bleibt. Eine Modell-Downloadgröße von 20 GB bedeutet also nicht, dass 20 GB Arbeitsspeicher auf der GPU immer ausreichen.

04   /   Praxisanleitung

Ollama auf Windows oder Ubuntu installieren

Für den ersten Test nutze ich ausschließlich erfundene Beispieldaten. Erst wenn Modell, GPU-Beschleunigung, Zugriffsrechte und Protokollierung geprüft sind, kommen echte Kundeninformationen infrage.

1

NVIDIA-Treiber und GPU prüfen

Auf Windows oder Linux zeigt dieser Befehl an, ob der Treiber die Grafikkarte erkennt:

Windows / Linux
nvidia-smi
2

Ollama installieren

Unter Windows den offiziellen Installer von ollama.com/download verwenden. Für Ubuntu/Linux nennt die Dokumentation diesen Installationsbefehl:

Ubuntu / Linux · Offizielles Installationsskript
curl -fsSL https://ollama.com/install.sh | sh
3

Ollama-Version und Dienst kontrollieren

Auf Linux sollte der Dienst aktiv sein; unter Windows läuft Ollama nach der Einrichtung normalerweise im Hintergrund.

Ubuntu / Linux
ollama --version
sudo systemctl status ollama
4

Ein Modell laden und testen

Als alltagstauglichen Einstieg wähle ich Qwen3 mit 14 Milliarden Parametern. Der erste Aufruf lädt das Modell aus dem Internet; danach lässt es sich lokal nutzen.

Terminal · Modell herunterladen & starten
ollama run qwen3:14b
5

GPU-Auslastung prüfen

Mit ollama ps sehe ich, ob das Modell im Grafikspeicher liegt. Die Anzeige 100% GPU ist das gewünschte Ergebnis; CPU-Anteile können die Antwort verlangsamen.

Terminal · GPU-Nutzung prüfen
ollama ps
05   /   Modelle auswählen

Welche KI-Modelle passen zur 32-GB-GPU?

Nicht jede Aufgabe benötigt ein riesiges Modell. Für kurze Texte, Extraktion und Klassifikation reichen häufig kleinere Varianten. Die folgende Übersicht zeigt Größen aus der Ollama-Modellbibliothek; der zusätzliche Speicher für Kontext und Anfragen ist darin nicht enthalten.

ModellDownloadMein Einsatzvorschlag
qwen3:8bca. 5,2 GBTextklassifikation, einfache Abläufe
qwen3:14bca. 9,3 GBMein Einstieg für allgemeine Geschäftstexte
qwen3:30bca. 19 GBKomplexere Aufgaben; tatsächlichen VRAM-Bedarf testen
qwen3:32bca. 20 GBAnspruchsvollere Textarbeiten mit mehr Speicherbedarf

Die Angaben beziehen sich auf die jeweiligen Standard-Tags. Die konkrete Qualität hängt stark von Sprache, Aufgabe, Prompt und Version ab. Deshalb entscheide ich nicht nach Modellnamen, sondern nach einem Test mit anonymisierten Beispielen aus dem jeweiligen Arbeitsablauf.

06   /   Eigene Anwendungen

Die lokale Ollama-API ansprechen

Nach der Installation lauscht die lokale API üblicherweise auf http://localhost:11434. Damit lässt sich die KI mit selbst entwickelten Anwendungen verbinden – zunächst nur auf demselben Rechner.

Linux / Bash · Beispiel mit Testdaten
curl http://127.0.0.1:11434/api/generate \
  -H "Content-Type: application/json" \
  -d '{"model":"qwen3:14b","prompt":"Fasse diese erfundene Kundenanfrage in drei Stichpunkten zusammen: Bitte senden Sie mir ein Angebot für eine Website mit fünf Unterseiten.","stream":false}'

Für eine WordPress-Anbindung würde ich den Aufruf serverseitig ausführen – nicht ungeschützt aus JavaScript im Browser. Die API ist ohne zusätzliche Zugriffsschicht nicht für den direkten öffentlichen Zugriff gedacht.

Nur intern

API auf 127.0.0.1 belassen, wenn App und KI-Server auf demselben Rechner laufen.

Teamzugriff

Für andere Rechner ein VPN oder einen authentifizierenden Reverse Proxy mit TLS vorsehen.

Keine direkte Besucher-API

Eine öffentliche WordPress-Seite sollte niemals ungefiltert direkt auf Ollama zugreifen können.

07   /   Kontrolle

Cloud-Funktionen deaktivieren und Zugriff absichern

Ollama kann inzwischen auch Cloud-Modelle verwenden. Wenn es um ein System für echte Kundendaten geht, möchte ich gerade nicht riskieren, dass versehentlich ein externes Modell aufgerufen wird. Deshalb deaktiviere ich die Cloud-Funktionen bewusst.

Auf Ubuntu mit systemd lässt sich dafür ein Dienst-Override anlegen:

Ubuntu / Linux · Dienstkonfiguration öffnen
sudo systemctl edit ollama
In das Override einfügen
[Service]
Environment="OLLAMA_NO_CLOUD=1"
Environment="OLLAMA_HOST=127.0.0.1:11434"
Environment="OLLAMA_NUM_PARALLEL=1"
Ubuntu / Linux · Einstellungen aktivieren
sudo systemctl daemon-reload
sudo systemctl restart ollama

Unter Windows lässt sich OLLAMA_NO_CLOUD=1 als Benutzer-Umgebungsvariable setzen; anschließend die Ollama-Anwendung vollständig beenden und neu starten. Alternativ beschreibt die Dokumentation die Einstellung "disable_ollama_cloud": true in der jeweiligen ~/.ollama/server.json.

08   /   Leistung & mehrere Nutzer

Wie schnell arbeitet die RTX 5000 Ada bei wenigen Zugriffen?

Ein eigener KI-Server ist nicht automatisch langsam. Wenn ein passend dimensioniertes Modell vollständig in den 32 GB Grafikspeicher passt und nur wenige Menschen gleichzeitig Anfragen stellen, kann das System sehr angenehm reagieren.

WENIGE ANFRAGEN

Agentur oder kleines Team

Ein bis wenige gleichzeitige Nutzer, kurze Texte und wiederkehrende Abläufe: eine einzelne GPU kann ein guter Einstieg sein.

VIELE ANFRAGEN

Öffentlicher Chatbot

Viele parallele Dialoge, lange Dokumente und hohe Last: Anfragen können warten; mehr GPU-Kapazität und Lasttests werden nötig.

Ollama kann Anfragen parallel bearbeiten, benötigt dafür aber zusätzliche Ressourcen. Besonders bei großen Kontextfenstern wächst der Speicherbedarf. Deshalb beginne ich bei einer einzelnen GPU lieber mit OLLAMA_NUM_PARALLEL=1 und erhöhe die Parallelität nur nach Messung.

Ich würde erst drei Größen messen: Zeit bis zum ersten Antwort-Token, generierte Tokens pro Sekunde und Antwortzeit bei zwei bis vier parallelen Testanfragen. Ohne Messungen mit dem echten Modell lassen sich keine seriösen Leistungszahlen versprechen.

09   /   Meine Arbeitsweise

Cloud für die Entwicklung, lokale KI für Kundendaten

Ich muss mich nicht für nur eine Welt entscheiden. Bei Konzeption, Design und Programmierung helfen mir leistungsfähige Cloud-Werkzeuge wie ChatGPT oder Claude. Dafür kann ich mit erfundenen Datensätzen, Platzhaltern und anonymisierten Beispielen arbeiten.

ENTWICKLUNG

Cloud-KI

Ideen, Entwürfe, Programmcode, Fehleranalyse und allgemeine Texte – möglichst ohne reale Kunden- oder Zugangsdaten.

Stärke: große Modellvielfalt und wenig eigener Wartungsaufwand
ECHTBETRIEB

Lokale KI

Interne Dokumente, vertrauliche Kundeninformationen, eigene Datenbanken und automatisierte Auswertung im kontrollierten Netzwerk.

Stärke: weniger externe Datenweitergabe und eigene Infrastruktur

Ein typisches Beispiel: Eine WordPress-Anwendung entsteht mit Unterstützung einer Cloud-KI, während ich nur mit Testdaten programmiere. Im produktiven Betrieb verarbeitet die Anwendung dann die echten Eingaben über Ollama auf dem eigenen Server. Entscheidend ist, dass sämtliche Datenwege im fertigen System tatsächlich kontrolliert sind.

10   /   Datenschutz in der Praxis

Ist lokale KI automatisch DSGVO-konform?

Nein. Die lokale Ausführung reduziert bestimmte Risiken – sie ersetzt weder eine Rechtsgrundlage noch technische und organisatorische Schutzmaßnahmen. Wenn personenbezogene Daten verarbeitet werden, müssen insbesondere Zweckbindung, Datenminimierung, Zugriffskontrollen und angemessene Löschregeln beachtet werden.

✓ Festlegen, welche Daten die KI wirklich benötigt
✓ Zugriffe auf Dokumente und Modelle beschränken
✓ Festplatten, Übertragungen und Backups absichern
✓ Protokolle und temporäre Daten kontrollieren
✓ Updates und Sicherheitsprüfungen planen
✓ Verantwortlichkeiten und ggf. AV-Verträge klären

Besonders wichtig ist die Rolle als Dienstleister: Verarbeite ich personenbezogene Informationen im Auftrag eines Kunden, kann zwischen uns eine Vereinbarung zur Auftragsverarbeitung erforderlich sein – auch dann, wenn die KI bei mir im eigenen Büro läuft. In risikoreichen Fällen sind weitere Prüfungen nötig.

11   /   Der wirtschaftliche Blick

Wann lohnt sich der eigene Server?

Eine lokale KI hat keine klassische API-Abrechnung pro erzeugter Antwort, dafür aber andere Kosten: Anschaffung, Strom, Rechner, Datenträger, Wartung, Ausfallvorsorge und Sicherheitsadministration. Bei seltener Nutzung kann eine geeignete Cloud-Lösung günstiger sein. Bei regelmäßigem internen Einsatz kann sich eigene Hardware rechnen.

Einmalige Kosten

GPU, Host-Rechner, SSD, RAM, Netzwerk und Installation.

Laufende Kosten

Strom, Kühlung, Wartung, Backups und Updates.

Nicht nur Euro zählen

Vertraulichkeit, Kontrolle und nachvollziehbare Datenwege können entscheidend sein.

Bevor ich eine Hardware-Lösung produktiv einplane, teste ich deshalb Modellqualität, GPU-Auslastung, Kontextgröße und typische Last. Das schützt vor zwei Fehlern: einer zu kleinen Grafikkarte – und einem überdimensionierten System.

12   /   Fazit

Weniger Datenweitergabe. Mehr Kontrolle. Sinnvolle KI.

Ollama und die NVIDIA RTX 5000 Ada zeigen, dass ein eigener KI-Server längst nicht nur für große Unternehmen interessant ist. Mit 32 GB Grafikspeicher lassen sich zahlreiche praxisnahe Anwendungsfälle lokal umsetzen – vor allem dort, wo nicht ständig viele Menschen gleichzeitig darauf zugreifen.

Ich möchte die Möglichkeiten der Cloud weiterhin für kreative Arbeit und Entwicklung nutzen. Bei echten Kundendaten entscheide ich aber bewusst, ob die Verarbeitung lokal stattfinden sollte. Das ist für mich keine Frage von Technikbegeisterung, sondern von Verantwortung.

MEIN ANSATZCloud, wenn sie hilft. Lokal, wenn Vertraulichkeit und Kontrolle im Mittelpunkt stehen.
13   /   NACHGEFRAGT

Häufige Fragen zur lokalen KI

Müssen Kundendaten aus rechtlichen Gründen immer lokal verarbeitet werden?+

Nein. Mit geeigneter Rechtsgrundlage, Verträgen und Schutzmaßnahmen kann auch Cloud-Verarbeitung zulässig sein. Lokal ist eine datensparsame technische Entscheidung, keine pauschale gesetzliche Pflicht.

Kann ich GPT oder Claude mit Ollama lokal installieren?+

Die proprietären Cloud-Modelle von OpenAI oder Anthropic stehen nicht einfach als frei herunterladbare Gewichte bereit. Ollama betreibt unterstützte lokale Modelle, beispielsweise aus der Qwen- oder Gemma-Familie.

Reichen 32 GB VRAM für alle Modelle?+

Nein. Für viele kleine und mittlere sowie manche quantisierte größere Modelle ja; sehr große Modelle und lange Kontextfenster benötigen mehr Speicher.

Kann ich Ollama direkt mit WordPress verbinden?+

Ja, aber idealerweise über eine sichere serverseitige Anwendung. Die ungeschützte lokale API gehört nicht direkt ins öffentliche Internet.

Wird lokale KI bei mehreren Mitarbeitern langsamer?+

Das kann passieren. Parallele Anfragen teilen sich die Ressourcen der GPU und benötigen zusätzlichen Speicher. Eine geringe gleichzeitige Nutzung ist ein guter Startpunkt.

Ist das System ohne Internet verwendbar?+

Nach Download und Einrichtung können lokale Modellanfragen offline funktionieren. Updates, Modell-Downloads oder externe Zusatzdienste benötigen gegebenenfalls weiterhin eine Verbindung.

14   /   WEITERLESEN

Quellen und technische Dokumentation

Die technischen Angaben beruhen auf den verlinkten Herstellerunterlagen. Der Datenschutzteil ist eine allgemeine Einordnung und keine individuelle Rechtsberatung. Stand der Recherche: 12. November 2026.

⋮⋮⋮⋮
Facebook
LinkedIn
X
Email
Pinterest