AI op hergebruikte hardware
Voor lokale AI is niet altijd de nieuwste of krachtigste hardware nodig. In dit experiment onderzoek ik wat haalbaar is met llama.cpp, compacte taalmodellen en een oudere NVIDIA Quadro K1200 die anders weinig werk meer zou krijgen.
In één oogopslag
Een lokaal taalmodel geeft mij ruimte om te experimenteren zonder voor iedere test een externe dienst nodig te hebben. Ik kan zelf modellen wisselen, instellingen aanpassen en rechtstreeks zien welke invloed geheugen, modelgrootte en GPU-versnelling op de ervaring hebben.
Het doel is niet om grote commerciële AI-systemen te evenaren. Ik wil vooral begrijpen waar de grenzen liggen en welke taken kleine modellen verrassend goed aankunnen.
De AI-server draait in een Debian Linux-container binnen mijn Proxmox-omgeving. llama.cpp verzorgt het laden en uitvoeren van de modellen. De oudere Quadro K1200 helpt waar mogelijk bij de berekeningen, terwijl een eenvoudige browserinterface het testen vanaf andere apparaten in het thuisnetwerk gemakkelijker maakt.
Een systeemdienst start de server automatisch en houdt de opstelling reproduceerbaar. Daardoor kan ik modellen vergelijken zonder telkens de volledige omgeving opnieuw te configureren.
Ik experimenteer onder meer met TinyLlama, Qwen 2.5 3B Instruct en Phi-3 Mini. Het zijn bewust compacte modellen, vaak in een verkleinde quantized variant. Daardoor passen ze beter binnen de beschikbare rekenkracht en het geheugen van oudere hardware.
De beperkingen zijn meteen voelbaar: antwoorden komen trager, contextvensters zijn kleiner en een compact model begrijpt complexe opdrachten minder betrouwbaar. Precies daardoor wordt zichtbaar hoeveel verschil modelgrootte, quantisatie en goede instructies maken.
Verder bouwen
Twee oudere servers vormen een persoonlijk Proxmox-homelab voor containers, virtuele machines, opslag, back-ups en zelfgehoste experimenten.
Bekijk project →