Utiliser un modèle local avec LM Studio et Codex

LM Studio peut donner accès à un modèle exécuté sur votre ordinateur. Ajoutez-le comme fournisseur dans Mandri, puis sélectionnez ce modèle pour une session Codex. Ce guide utilise LM Studio et Mandri sur le même ordinateur.

Préparer le modèle dans LM Studio

Installez LM Studio et téléchargez un modèle adapté à la mémoire de votre ordinateur. Pour les tâches de code, choisissez un modèle prenant en charge les appels d’outils de manière native, signalé par un marteau dans LM Studio. Le modèle doit pouvoir demander des actions comme lire ou modifier un fichier, en plus de produire du texte.

Chargez le modèle. Dans l’onglet Developer de LM Studio, activez Start server et notez l’adresse et le port. Le port par défaut est 1234. Gardez le serveur en marche pendant l’utilisation du modèle dans Mandri.

Le guide du serveur LM Studio décrit ces commandes. Sa documentation sur les appels d’outils explique les différences entre modèles. La mémoire utilisée, le contexte disponible et la vitesse dépendent du modèle et de ses réglages.

Ajouter LM Studio dans Mandri

1. Ouvrez Paramètres, puis Fournisseurs, et sélectionnez Ajouter un fournisseur.
2. Saisissez un Nom, par exemple lmstudio.
3. Choisissez LM Studio dans Type.
4. Dans URL de base, saisissez http://localhost:1234 si vous utilisez le port par défaut de LM Studio. Sinon, reprenez l’adresse affichée par votre serveur.
5. Laissez Clé API vide si votre serveur LM Studio ne demande pas d’authentification. Si celle-ci est activée, saisissez sa clé.
6. Sélectionnez Enregistrer et vérifier.

Après l’enregistrement, le fournisseur apparaît dans la liste. Cliquez sur son nom pour consulter son catalogue de modèles. La vérification contrôle l’accès au serveur et au catalogue. Elle ne teste pas la capacité de chaque modèle à réaliser une tâche de code.

localhost désigne l’ordinateur qui exécute le service local de Mandri. Cette adresse ne permet pas d’atteindre un serveur LM Studio installé sur un autre ordinateur.

Lancer une session Codex avec le modèle local

1. Revenez à Nouveau chat et sélectionnez votre dossier de projet.
2. Choisissez Codex dans le sélecteur d’outil. Il est fourni avec Mandri.
3. Ouvrez le menu des modèles et sélectionnez votre modèle local sous lmstudio, ou sous le nom de fournisseur que vous avez choisi.
4. Choisissez Demander l’approbation pour les actions nécessitant votre décision.
5. Envoyez une petite demande dont vous pourrez vérifier le résultat, comme l’explication d’un fichier de votre projet.

Le modèle LM Studio sélectionné traite les requêtes de modèle de cette session. L’agent peut encore exécuter des commandes ou utiliser d’autres services pour sa tâche, selon ses permissions. Choisir un modèle local ne rend pas toutes ses actions hors ligne.

Lorsque vous demandez une modification, suivez les appels d’outils et examinez les fichiers modifiés.

Si la connexion ou la tâche échoue

Mandri ne parvient pas à vérifier le fournisseur : confirmez que le serveur fonctionne et que son port correspond à l’URL de base. Si le serveur exige une authentification, vérifiez sa clé.

Le modèle est absent du catalogue : vérifiez qu’il est téléchargé et disponible dans LM Studio. Consultez à nouveau la liste des modèles dans Mandri après l’avoir préparé sur le serveur.

Le modèle répond, mais n’effectue pas la tâche : la prise en charge des outils varie selon les modèles. Essayez un modèle prenant en charge les appels d’outils de manière native et commencez par une tâche plus courte. Une réponse textuelle correcte ne suffit pas à vérifier la fiabilité des modifications de fichiers.

La tâche manque de contexte ou de mémoire : examinez les réglages de contexte et de mémoire du modèle dans LM Studio. Une session de code inclut le contenu des fichiers et les résultats des outils en plus de votre demande. Les réglages adaptés dépendent du modèle et de votre matériel.

Pour utiliser un modèle hébergé, consultez OpenRouter avec Pi ou Codex. Pour un parcours dans l’application, consultez Lancer une première tâche.