Dein eigenes KI-Modell

Marcus Wojtusik · HelpDesk Contributor

Zaktualizowano na 1. April 2025

In dieser Anleitung erfährst du, wie du auf deinem Server dein eigenes Künstliche Intelligenz (KI) Modell betreiben kannst und zwar mit einer Weboberfläche ähnlich zu ChatGPT. Dazu nutzen wir Open WebUI und Ollama, alles verpackt in Docker-Containern mit Docker Compose.

Diese Lösung bietet dir maximale Kontrolle über deine Daten, keine externen API-Kosten und eine anpassbare Umgebung. Klingt spannend? Dann legen wir los!

Voraussetzungen

Bevor wir starten, stelle sicher, dass dein virtueller Server folgende Anforderungen erfüllt:

• Betriebssystem: Linux
• Arbeitsspeicher: Mindestens 6 GB RAM (je nach KI-Modell)
• Software: Docker & Docker Compose

Die AMD Ryzen Rootserver von FameSystems sind ideal dafür geeignet. Sogar das kleinste Ryzen Paket kann bereits kleinere KI-Modelle mit guter Geschwindigkeit bereitstellen.

Falls Docker und Docker Compose noch nicht installiert sind, kann unsere Anleitung zur Docker-Installation hilfreich sein.

Docker Compose Datei erstellen

Erstelle eine neue Datei docker-compose.yml mit folgendem Inhalt:

services:
  caddy:
    image: caddy:latest
    container_name: caddy
    restart: unless-stopped
    cap_add:
      - NET_ADMIN
    ports:
      - "80:80"
      - "443:443"
      - "443:443/udp"
    volumes:
      - ./conf:/etc/caddy
      - caddy_data:/data
      - caddy_config:/config

  ollama:
    volumes:
      - ollama:/root/.ollama
    container_name: ollama
    pull_policy: always
    tty: true
    restart: unless-stopped
    image: ollama/ollama:${OLLAMA_DOCKER_TAG-latest}

  open-webui:
    image: ghcr.io/open-webui/open-webui:${WEBUI_DOCKER_TAG-main}
    container_name: open-webui
    volumes:
      - open-webui:/app/backend/data
    depends_on:
      - ollama
    environment:
      - 'OLLAMA_BASE_URL=http://ollama:11434'
      - 'WEBUI_SECRET_KEY='
    extra_hosts:
      - host.docker.internal:host-gateway
    restart: unless-stopped

volumes:
  caddy_data: {}
  caddy_config: {}
  ollama: {}
  open-webui: {}

Diese Docker Compose Datei beinhaltet:

• Caddy als Webserver, damit wir unsere Oberfläche über eine gesicherte Verbindung erreichen können (TLS)
• Ollama, das die KI-Modelle bereitstellt
• Open WebUI, das für die Weboberfläche verantwortlich ist

Lege einen Ordner conf an und lege in diesem Ordner eine Datei Caddyfile mit folgendem Inhalt an:

dein-server.de {
  reverse_proxy open-webui:8080
}

Ersetze dein-server.de mit deiner eigenen Domäne.

Container starten

Jetzt starten wir die Umgebung mit folgendem Befehl:

docker-compose up -d

Das war's! Nach wenigen Minuten sollte deine KI bereit sein. Die Weboberfläche erreichst du unter:

https://dein-server.de

Open WebUI einrichten

Klicke auf Loslegen. Gib deinen Namen, deine E-Mail-Adresse und ein Passwort ein und klicke anschließend auf Administrator-Account erstellen.

Schließe danach das Overlay mit den Neuigkeiten.

Klicke oben rechts auf deinen Avatar und anschließend auf Administratorbereich.

Klicke dann auf Einstellungen und danach auf Modelle.

Oben rechts ist ein Download-Symbol, das wir nun anklicken.

Gib als Model-Tag ein Ollama-Modell deiner Wahl ein.

Wir verwenden hier das Modell gemma3 1b (gemma3:1b).

Klicke dann auf das Download-Symbol.

Nachdem das Modell erfolgreich installiert wurde, können wir den Dialog schließen.

Fertig! Jetzt kannst du deine erste Unterhaltung starten.

Das sieht dann wie folgt aus:

Zusammenfassung

Mit Ollama und Open WebUI ist es kinderleicht sein eigenes KI-Modell zu betreiben. Dies erfordert zwar etwas mehr an Rechenleistung und es kann nicht ganz mit der Qualität der großen Modelle der Cloud-Anbieter mithalten, dafür stehen hier der Datenschutz und die vorhersagebaren Kosten im Vordergrund. Mit einem Server von FameSystems erhältst du also den idealen Einstieg in die Welt der Künstlichen Intelligenz!