Un LLM privé est un modèle de langage installé sur les serveurs de l’entreprise, ou sur des serveurs dédiés, en France ou dans votre pays, et adapté à son métier. Les documents et les conversations restent sur cette infrastructure. On parle aussi d’IA locale ou d’IA on-premise.
À retenir
- Un LLM privé tourne chez vous ou sur des serveurs en France ou dans votre pays : vos documents et vos questions ne partent pas chez un fournisseur d’IA.
- La mémoire GPU nécessaire dépend surtout de la taille du modèle et du nombre de conversations simultanées.
- Il répond à partir de vos documents et cite ses sources, mais il peut se tromper : les réponses se vérifient.
Ce que contient la plateforme
- Une interface utilisateur
- Une API applicative
- Un moteur d’inférence local
- Un index documentaire
Ce qu’elle fait
- Conversation avec historique par utilisateur, réponse affichée au fil de l’eau
- Analyse de documents PDF, Word, CSV ou texte, avec des réponses appuyées sur les passages retrouvés et les sources affichées
- 16 modèles de requêtes pré-rédigés, en 4 catégories
- Export d’une réponse ou d’une conversation en PDF et en Word
- Recherche web en option, activable par requête et désactivable pour toute la plateforme
- Administration : comptes, rôles, statistiques d’usage
- Déploiement en conteneurs Docker, contrôle de santé, documentation d’exploitation
Le modèle
Le point de départ est un modèle open source, choisi selon le projet : Mistral, LLaMA, Qwen ou Gemma. Il est adapté au métier du client par fine-tuning, puis évalué sur des cas définis avec lui.
Combien de mémoire GPU faut-il ?
La mémoire de la carte graphique (VRAM) doit contenir deux choses : les poids du modèle, et la mémoire de travail des conversations en cours, appelée cache KV.
Les poids se calculent simplement : nombre de paramètres × octets par paramètre. Un modèle de 8 milliards de paramètres occupe environ 16 Go en 16 bits, et environ 4 Go une fois quantifié en 4 bits, plus une marge de fonctionnement. Le cache KV, lui, grandit avec la longueur des textes traités et le nombre d’utilisateurs simultanés.
Le calculateur ci-dessous fait l’estimation pour des modèles open source courants, à partir de leur architecture publiée.
À essayer
Calculateur de mémoire GPU
Précision des poids
Longueur de texte par conversation
Conversations simultanées
Mémoire GPU estimée
≈ 24 Go
- Poids du modèle : 16 Go
- Cache KV des conversations : 5,4 Go
- Marge de fonctionnement : 2,6 Go
Exemple de configuration : 1 × GPU de 48 Go
Estimation indicative : cache KV plein pour chaque conversation, en 16 bits, sans optimisation. Les moteurs d’inférence récents partagent la mémoire entre conversations : le besoin réel est souvent plus bas. Un jeton correspond à un morceau de mot.
Le matériel, en résumé
Le besoin dépend surtout du nombre de questions traitées en même temps. Repères indicatifs :
| Profil | Utilisateurs | Serveurs | GPU indicatif |
|---|---|---|---|
| Pilote | 5 à 20 | 1 machine | 1 × 16 à 24 Go (ex. RTX 4000 Ada, L4) |
| Service ou PME | 50 à 200 | 1 à 2 machines | 1 à 2 × 48 Go (ex. L40S, A6000) |
| Grande entreprise | 500 et plus | Plusieurs nœuds | 4 à 8 × 80 Go et plus (ex. H100, H200) |
Les limites actuelles
- Pas de reconnaissance de caractères : un PDF scanné n’est pas exploitable
- Pas d’entrée image, audio ou vidéo
- Pas de connexion à l’annuaire d’entreprise (SSO)
- Le modèle peut se tromper, même avec des sources
Questions fréquentes
Pour aller plus loin
- RAG : une IA qui répond à partir de vos documentsComment une IA retrouve les bons passages dans vos documents, répond et cite ses sources. Schéma, démo pas à pas et limites, sans jargon.
- LLM privé ou IA par API : comment choisirConfidentialité, matériel, modèles, mise en route : les critères concrets pour choisir entre un LLM privé open source et Claude ou GPT par API.
- Fine-tuning : adapter un modèle à votre métierCe que change le fine-tuning d’un modèle open source, la différence avec le RAG et les consignes, comment il est évalué et ce qui vous appartient.
En 30 minutes, nous regardons ensemble si un pilote a du sens pour vous.