Un responsable produit qui veut que son équipe interroge la documentation interne en langage naturel n'a pas besoin d'un développeur pour ça. AnythingLLM promet exactement ça : une application qui embarque le découpage de documents, la base vectorielle et la connexion à un modèle de langage dans une seule interface, sans une ligne de code à écrire. Le projet est sous licence MIT, développé par Mintplex Labs, et affiche 63 800 étoiles sur son dépôt GitHub (dépôt GitHub Mintplex-Labs/anything-llm), un signal de traction rare pour un outil de cette catégorie.
Ce qui suit n'est pas une liste de fonctionnalités recopiée de la page d'accueil. C'est la manière dont on installe l'outil, on le connecte à un modèle local, on règle les paramètres qui déterminent la qualité des réponses, et les limites qu'on atteint quand l'usage dépasse une poignée d'utilisateurs.
Ce qu'AnythingLLM fait vraiment, et ce qu'il ne fait pas
AnythingLLM se présente comme une application tout-en-un pour faire du RAG et des agents IA sans code ni infrastructure à monter (documentation officielle AnythingLLM). Concrètement, il combine trois briques que la plupart des projets RAG assemblent séparément : l'ingestion de documents avec découpage automatique, une base de données vectorielle embarquée, et la connexion à un ou plusieurs fournisseurs de modèles de langage. Le tout se pilote depuis une interface de chat proche de ChatGPT, organisée par workspaces qui isolent chaque base documentaire.
Trois modes de déploiement coexistent. L'application de bureau, pour Mac, Windows et Linux, cible l'usage individuel sans configuration serveur. La version Docker vise une organisation qui veut un ChatGPT complet avec gestion des permissions (documentation officielle citée plus haut), pensée pour un usage partagé à plusieurs. La version Cloud, hébergée par l'éditeur, ajoute une instance privée gérée. C'est ce choix de déploiement, bien plus que le modèle de langage utilisé derrière, qui détermine si l'outil convient à un usage solo ou à une équipe.
AnythingLLM n'orchestre pas un pipeline métier complexe avec plusieurs sources de données hétérogènes, ne gère pas de contrôle d'accès fin par service avec piste d'audit, et ne s'intègre pas nativement à un CRM ou à un ERP interne. L'outil reste un client RAG généraliste. Pour ces cas, un agent IA sur mesure construit spécifiquement pour le workflow reste la meilleure option, un point sur lequel on revient plus bas.
Les prérequis avant d'installer
L'application elle-même est légère. La documentation officielle recommande au minimum 2 Go de RAM, un processeur deux cœurs et 5 Go de stockage disponible pour l'installation Docker (documentation AnythingLLM, prérequis système). Ce chiffre couvre l'application, le stockage des documents et la base vectorielle embarquée. Il grimpe fortement dès qu'on ajoute un modèle de langage exécuté sur la même machine.
C'est là que se joue le vrai choix technique : faire tourner le modèle en local avec Ollama, ou passer par une API cloud, OpenAI, Anthropic, Mistral et des dizaines d'autres fournisseurs étant supportés nativement (liste des fournisseurs, documentation AnythingLLM). Un modèle comme Llama 3.1 dans sa version 8 milliards de paramètres pèse 4,9 Go en téléchargement quantifié par défaut (bibliothèque de modèles Ollama), et demande une quantité de RAM ou de VRAM du même ordre de grandeur pour tourner correctement. Sur un ordinateur portable de bureau sans carte graphique dédiée, les réponses restent utilisables pour un usage occasionnel, mais le temps de génération s'allonge nettement dès que le contexte grossit.
Rien n'oblige à choisir entre local et cloud dès l'installation, ce qui limite le risque de mauvais pari initial. AnythingLLM permet de changer de fournisseur de modèle par workspace, donc de tester un modèle local pour un cas d'usage sensible et une API cloud pour un usage moins critique, sans réinstaller quoi que ce soit.
Installer et connecter un premier workspace
Pour une première prise en main solo, l'application de bureau se télécharge et s'installe en quelques minutes, sans terminal ni ligne de commande. Pour un usage partagé par une équipe, la version Docker se lance avec un fichier docker-compose fourni par l'éditeur, et tourne aussi bien sur un poste de travail que sur un serveur distant.
La configuration qui suit est la même dans les deux cas :
- Choisir un fournisseur de modèle de langage : Ollama en local, ou une clé API pour un fournisseur cloud.
- Choisir un modèle d'embedding, celui qui transforme le texte en vecteurs. Le moteur natif tourne directement sur le processeur de la machine, sans dépendance externe.
- Créer un premier workspace et y glisser les documents à interroger, aux formats PDF, DOCX, TXT, Markdown ou CSV.
- Lancer l'indexation, qui découpe puis vectorise chaque document avant de le rendre interrogeable.
Une fois l'indexation terminée, le chat du workspace répond en s'appuyant uniquement sur les documents qui y sont attachés. C'est cette isolation par workspace qui permet de séparer, par exemple, la documentation RH de la documentation technique, sans que l'une pollue les réponses de l'autre.
Régler le RAG pour de vrai : contexte et seuil de similarité
C'est l'étape que la plupart des tutoriels sautent, et c'est justement celle qui détermine si les réponses sont pertinentes ou approximatives. Deux réglages, accessibles dans les paramètres de chaque workspace, méritent d'être ajustés dès le départ plutôt que laissés par défaut.
Le nombre maximum de fragments de contexte envoyés au modèle à chaque question : la documentation officielle recommande 4 à 6 fragments pour la plupart des modèles (documentation AnythingLLM sur les documents). Trop bas, le modèle manque d'éléments pour répondre correctement sur une question qui touche plusieurs passages d'un document. Trop haut, il dilue la réponse avec du contexte non pertinent et consomme plus de fenêtre de contexte pour rien.
Le seuil de similarité documentaire, fixé par défaut à 20 %, détermine à partir de quel niveau de proximité sémantique un fragment est jugé pertinent pour une question donnée. Sur une base documentaire technique avec beaucoup de vocabulaire répété d'un document à l'autre, remonter ce seuil réduit le bruit. Sur une base plus hétérogène, le laisser bas évite de rater une réponse correcte simplement parce que la formulation de la question diffère du document source.
Sur les projets où on installe ce type d'outil pour une équipe interne, le blocage n'est presque jamais le modèle de langage choisi. C'est la qualité des documents en amont : un PDF scanné sans couche de texte, un export Word truffé de tableaux mal structurés, ou une base qui mélange plusieurs versions d'un même document sans date. Aucun réglage de seuil ne compense un corpus documentaire mal nettoyé.
Les pièges rencontrés en vrai
Premier piège, la vitesse d'indexation sur de gros volumes. Le moteur d'embedding natif, un modèle de 25 Mo téléchargé au premier usage, tourne uniquement sur le processeur de la machine (documentation AnythingLLM, embedder natif). Sur un lot de plusieurs centaines de documents, l'indexation initiale peut prendre plusieurs heures sans carte graphique dédiée ni service d'embedding externe. C'est le prix à payer pour un outil qui ne demande aucune infrastructure à provisionner en amont, pas un défaut caché.
Le deuxième piège concerne la confusion entre l'application de bureau et la version Docker sur la question des utilisateurs multiples. L'application de bureau cible un usage individuel. Dès qu'une équipe de plus de deux ou trois personnes doit accéder au même workspace avec des rôles différents, seule la version Docker, ou Cloud, propose une gestion des permissions par instance. Installer la version de bureau sur un poste partagé donne accès à tout le monde à tout, sans distinction.
Troisième point, la base vectorielle par défaut. AnythingLLM embarque LanceDB nativement, mais supporte aussi Pinecone, Chroma, Weaviate, Qdrant, Milvus et PGVector en connexion externe (documentation officielle citée plus haut). Pour un usage ponctuel, la base embarquée suffit largement. Pour un usage en production avec plusieurs workspaces actifs et des milliers de documents, brancher une base vectorielle externe dédiée évite les ralentissements observés quand tout tourne sur le même disque que l'application.
Dernier piège, la taille des modèles quand le besoin grandit. Un modèle de 8 milliards de paramètres suffit pour du résumé et de la recherche documentaire simple. Un modèle nettement plus gros, comme Llama 3.1 dans sa version 70 milliards de paramètres, pèse 43 Go en téléchargement (bibliothèque de modèles Ollama) et exige un matériel que peu d'ordinateurs de bureau embarquent. Le saut de qualité existe, mais il se paie en matériel, pas seulement en configuration logicielle.
AnythingLLM en solo, agent sur mesure pour le reste
Le socle gratuit d'AnythingLLM, application de bureau ou Docker auto-hébergé, couvre bien le cas d'une petite équipe qui veut interroger sa documentation ou ses procédures internes. La version Cloud de l'éditeur ajoute une instance privée gérée à partir de 50 dollars par mois pour l'offre Basic, et 99 dollars par mois pour l'offre Pro avec un engagement de réponse support sous 72 heures (page Cloud AnythingLLM). Une offre Enterprise, sur devis, ajoute le déploiement sur site, un accord de niveau de service personnalisé et l'authentification unique.
Ce sont précisément ces trois éléments, authentification unique, contrôle d'accès par rôle et intégration à un système d'information existant, qui manquent le plus souvent dans les retours qu'on reçoit sur ce type d'outil. Un RAG documentaire isolé rend service tant qu'il reste un outil annexe. Dès qu'il doit lire un CRM, écrire dans un ticketing, ou respecter une politique de rétention des données propre à l'entreprise, l'architecture qui entoure le modèle de langage compte davantage que le modèle lui-même.
C'est le moment où passer par un développement sur mesure prend son sens : reprendre les mêmes briques, documents, base vectorielle, modèle de langage, mais les câbler directement sur les systèmes internes, avec les permissions et la traçabilité qu'une organisation exige déjà pour ses autres outils. Pour une infrastructure IA plus large que le seul cas RAG, le même arbitrage entre outil prêt à l'emploi et développement dédié se pose dès la phase de cadrage.
Questions fréquentes
AnythingLLM est-il vraiment gratuit ?
L'application de bureau et la version Docker auto-hébergée sont gratuites, sous licence MIT (dépôt GitHub Mintplex-Labs/anything-llm). Seule la version Cloud, hébergée par l'éditeur avec une instance privée gérée, est payante, à partir de 50 dollars par mois. Le coût réel du mode gratuit se déplace ailleurs : le matériel nécessaire si vous faites tourner un modèle de langage en local, ou le temps passé à administrer un serveur Docker.
Quelle est la différence entre AnythingLLM et Ollama ?
Ollama fait tourner un modèle de langage en local et l'expose via une API, sans interface de chat ni gestion documentaire. AnythingLLM se branche dessus comme fournisseur de modèle, mais y ajoute l'ingestion de documents, la base vectorielle et l'interface de chat. Les deux se combinent naturellement : Ollama pour le moteur, AnythingLLM pour tout ce qui l'entoure. Voir notre guide sur Ollama pour l'installer en amont.
Peut-on utiliser AnythingLLM en entreprise en toute confidentialité ?
Oui, à condition de choisir un modèle de langage exécuté localement, via Ollama par exemple, et de désactiver tout fournisseur cloud dans les paramètres du workspace. Dans cette configuration, aucun document ni aucune question ne quitte la machine ou le serveur qui héberge l'application. C'est l'un des arguments qui pèse le plus dans le choix d'un déploiement local face à un assistant IA généraliste hébergé aux États-Unis.
Quel modèle local choisir avec AnythingLLM ?
Pour un usage documentaire courant sur un ordinateur sans carte graphique dédiée, un modèle autour de 7 à 8 milliards de paramètres, comme Llama 3.1 8B, 4,9 Go en téléchargement selon la bibliothèque Ollama, offre le meilleur compromis entre vitesse de réponse et qualité. Passer à un modèle plus grand améliore la qualité des réponses complexes, mais demande un matériel nettement plus puissant, en particulier de la mémoire vive ou vidéo disponible.
Faut-il une carte graphique pour faire tourner AnythingLLM ?
Non, pas pour l'application elle-même : 2 Go de RAM et un processeur à deux cœurs suffisent selon la documentation officielle. Une carte graphique devient utile uniquement si vous exécutez un modèle de langage en local sur la même machine, pour accélérer la génération des réponses. Sans carte graphique dédiée, le modèle tourne quand même sur le processeur, mais plus lentement.
