llama.cpp
Moteur d’inférence C/C++ pour exécuter et servir des modèles de langage.
Documentation vérifiée le 2026-11-06 · Fiche mise à jour le 2026-11-06 · Révision 1. Les versions non vérifiées restent non renseignées.
L’essentiel pour décider
Usages documentés
- Intégrer un modèle local
- Servir un modèle
Limites à connaître
- Les garanties de confidentialité et les coûts dépendent aussi du backend local ou du fournisseur cloud choisi.
- Cette fiche ne contient pas de mesure comparative ni de test pratique NEON. Valider l’outil sur un cas représentatif avant adoption.
Coût du logiciel
Gratuit · logiciel
Ce modèle tarifaire concerne le logiciel. Les modèles, services API et l’hébergement ont leurs propres conditions.
Consulter les conditions et la licence →Prérequis matériels
- Mémoire variable selon le modèle et la quantification.
- CPU et accélération GPU selon les backends.
Présentation
Moteur d’inférence C/C++ pour exécuter et servir des modèles de langage. Le périmètre documenté comprend modèles quantifiés, serveur rest, inférence c/c++. Mémoire variable selon le modèle et la quantification. Les liens de documentation et de licence ci-dessous permettent de vérifier les conditions du logiciel et de ses composants. Les licences des modèles et des services connectés doivent être examinées séparément.
Fonctionnalités documentées
- Modèles quantifiés
- Serveur REST
- Inférence C/C++
Cas d’usage
- Intégrer un modèle local
- Servir un modèle
À qui s’adresse cet outil ?
Personnes souhaitant garder le choix du modèle et de son environnement d’exécution.
Niveau conseillé : Avancé (appréciation éditoriale).
Points forts
- Fonctionnalités réunies pour intégrer un modèle local : Modèles quantifiés et Serveur REST.
Limites et précautions
- Les garanties de confidentialité et les coûts dépendent aussi du backend local ou du fournisseur cloud choisi.
- Cette fiche ne contient pas de mesure comparative ni de test pratique NEON. Valider l’outil sur un cas représentatif avant adoption.
Sources et niveau de preuve
Documentation consultée et analyse éditoriale sont distinguées des mesures de performance et des essais pratiques.
Documentation officielle
- Présentation officielle ↗ · vérifiée le 2026-11-06
- Licence et conditions officielles ↗ · vérifiée le 2026-11-06
Analyse éditoriale
Aucune source de ce type référencée.
Benchmark tiers
Aucun benchmark tiers référencé.
Test pratique NEON
Aucun test pratique NEON publié pour cet outil.
Alternatives
Articles liés
Aucun article explicitement associé à cette fiche.