Setup IA pédagogique

Pourquoi une IA locale ?

Dans un cadre pédagogique,

• pas nécessaire de vous enregistrer sur un service externe

• vos données, tests ne sortent pas de l’école

• un moindre coût que s’ils tournent sur un serveur distant (cloud comme ChatGPT ou Gemini)

Vous pouvez aussi utiliser un (petit) modèle local sur vos machines personnelles, même sans GPU.

Setup technique

Nous allons utiliser un Large Language Model (LLM), capable d’échanger à la fois en langage naturel et à propos de code.

La machine Deepeirb de l’école possède :

• 2 cartes Nvidia RTX A6000 Ada, avec 48Go de mémoire chacune.

Pour utiliser un modèle, on utilise un framework opensource :

• LM studio
• Ollama
• vllm
• Deepspeed

Et il est nécessaire d’avoir un modèle préentrainé. Un modèle est un ensemble de matrices de poids, utilisés par le calcul.

Modèles testés, dans la limite des 48Go, disponibles sur le site HuggingFace :

• Qwen__Qwen2.5-Coder-14B-Instruct: 14 Giga paramètres
• mistralai__Codestral-22B-v0.1: 22 Giga paramètres
• Qwen__Qwen2.5-32B-Instruct-AWQ: 32 Giga paramètres
• TheBloke__deepseek-coder-33B-instruct-AWQ: 33 Giga paramètres
• hugging-quants__Meta-Llama-3.1-70B-Instruct-AWQ-INT4: 70 Giga paramètres

Pour référence, un paramètre correspond usuellement à 16bits de mémoire. Pour comparaison, il est estimé que ChatGPT5 a environ 1000 Giga paramètres (non divulgué, non open), DeepSeek v3.2 a 685 Giga paramètres (ouvert, open-source).