IA sur du matériel réutilisé
L’IA locale ne nécessite pas toujours le matériel le plus récent ou le plus puissant. Dans cette expérience, j’étudie ce qui est possible avec llama.cpp, des modèles de langage compacts et une ancienne NVIDIA Quadro K1200 qui serait autrement peu utilisée.
Vue d'ensemble
Un modèle de langage local me permet d’expérimenter sans recourir à un service externe pour chaque test. Je peux changer de modèle, adapter les réglages et observer directement l’influence de la mémoire, de la taille du modèle et de l’accélération GPU.
Le but n’est pas d’égaler les grands systèmes d’IA commerciaux. Je veux surtout comprendre les limites et les tâches que de petits modèles accomplissent étonnamment bien.
Le serveur d’IA fonctionne dans un conteneur Debian Linux au sein de mon environnement Proxmox. llama.cpp charge et exécute les modèles. L’ancienne Quadro K1200 participe aux calculs lorsque c’est possible, tandis qu’une interface web simple facilite les tests depuis d’autres appareils du réseau domestique.
Un service système démarre automatiquement le serveur et rend la configuration reproductible. Je peux ainsi comparer les modèles sans reconfigurer l’environnement complet à chaque fois.
J’expérimente notamment avec TinyLlama, Qwen 2.5 3B Instruct et Phi-3 Mini. Ce sont volontairement des modèles compacts, souvent dans une variante quantifiée réduite, afin de mieux correspondre à la puissance de calcul et à la mémoire disponibles.
Les limites se font vite sentir: réponses plus lentes, fenêtres de contexte plus petites et compréhension moins fiable des demandes complexes. Cela montre précisément l’influence de la taille, de la quantification et de bonnes instructions.
Poursuivre le projet
Deux anciens serveurs forment un homelab Proxmox personnel pour les conteneurs, machines virtuelles, stockage, sauvegardes et expériences auto-hébergées.
Voir le projet →