KI auf wiederverwendeter Hardware
Lokale KI benötigt nicht immer die neueste oder leistungsstärkste Hardware. In diesem Experiment untersuche ich, was mit llama.cpp, kompakten Sprachmodellen und einer älteren NVIDIA Quadro K1200 möglich ist, die sonst kaum noch Arbeit hätte.
Auf einen Blick
Ein lokales Sprachmodell gibt mir Raum zum Experimentieren, ohne für jeden Test einen externen Dienst zu benötigen. Ich kann Modelle wechseln, Einstellungen anpassen und direkt erkennen, wie Speicher, Modellgröße und GPU-Beschleunigung die Nutzung beeinflussen.
Das Ziel ist nicht, große kommerzielle KI-Systeme zu erreichen. Ich möchte vor allem die Grenzen verstehen und herausfinden, welche Aufgaben kleine Modelle überraschend gut bewältigen.
Der KI-Server läuft in einem Debian-Linux-Container innerhalb meiner Proxmox-Umgebung. llama.cpp lädt und betreibt die Modelle. Die ältere Quadro K1200 unterstützt die Berechnungen, wo es möglich ist, während eine einfache Browseroberfläche Tests von anderen Geräten im Heimnetz erleichtert.
Ein Systemdienst startet den Server automatisch und hält den Aufbau reproduzierbar. Dadurch kann ich Modelle vergleichen, ohne jedes Mal die gesamte Umgebung neu zu konfigurieren.
Ich experimentiere unter anderem mit TinyLlama, Qwen 2.5 3B Instruct und Phi-3 Mini. Es sind bewusst kompakte Modelle, oft in einer verkleinerten quantisierten Variante. So passen sie besser zur verfügbaren Rechenleistung und zum Speicher älterer Hardware.
Die Einschränkungen sind sofort spürbar: Antworten kommen langsamer, Kontextfenster sind kleiner und komplexe Aufgaben werden weniger zuverlässig verstanden. Genau dadurch wird sichtbar, welchen Unterschied Modellgröße, Quantisierung und gute Anweisungen machen.
Weiterbauen
Zwei ältere Server bilden ein persönliches Proxmox-Homelab für Container, virtuelle Maschinen, Speicher, Back-ups und selbstgehostete Experimente.
Projekt ansehen →