Quelle machine pour faire tourner votre IA chez vous ?

1. Le modèle. Selon le niveau demandé, on vise un modèle ouvert de 8, 30, 120 ou 235 milliards de paramètres, compressé en 4 bits. Les modèles « MoE » n’activent qu’une petite partie de leurs paramètres à chaque mot, ce qui les rend rapides.

2. Le pic. On part du nombre de demandes par heure au moment le plus chargé, de la durée d’une réponse et d’une marge statistique, pour obtenir le nombre de réponses écrites en même temps.

3. La mémoire. Il faut loger le modèle, la mémoire de travail de chaque conversation (qui grandit avec la longueur des documents), les outils de recherche dans vos documents et, si besoin, la transcription ou les images.

4. La vitesse. Écrire un mot oblige à relire le modèle actif en mémoire. Le temps par mot vaut environ poids actifs ÷ (bande passante × 0,915) + 4 ms. Lire un long document dépend plutôt de la puissance de calcul de la machine.

5. Le verdict. « Très à l’aise » veut dire environ 16 mots par seconde ou plus, et un premier mot en moins de 6 secondes. « Convient » demande environ 9 mots par seconde et un premier mot en moins de 12 secondes. Ce sont des estimations : nous validons toujours sur votre cas réel avant de commander.

Prix. « Relevé » indique un prix constaté chez des revendeurs européens. « Estimé » indique une fourchette à confirmer sur devis. Les cartes graphiques et la mémoire coûtent cher en ce moment, et les prix peuvent bouger d’une semaine à l’autre.