Les adapters LoRA — comment ils fonctionnent
LoRA signifie Low-Rank Adaptation. C'est une technique d'entraînement qui permet de personnaliser un modèle de langage en ajoutant un petit nombre de paramètres supplémentaires — sans modifier les poids de base.
L'analogie du filtre photographique
Le modèle de base (Mistral 7B) est comme un appareil photo. Un adapter LoRA est comme un filtre — il ne change pas l'objectif ni le capteur, il modifie la façon dont la lumière est traitée. Changer d'archétype revient à changer de filtre.
8 adapters entraînés sur des données spécialisées
Chaque adapter LoRA dans D1sm a été entraîné sur un corpus SARI-Sealed — un dataset structuré autour des lois de trajectoire de la Matrice FTH. Les données représentent des milliers d'exemples de raisonnement dans le registre de chaque archétype.
| Archétype | Adapter | Loss d'entraînement |
|---|---|---|
| ORIG | lisan_orig_v3 | 0.2050 |
| KINE | lisan_kine_v3 | 0.2928 |
| PSYC | lisan_psyc_v3 | 0.2167 |
| NARR | lisan_narr_v3 | 0.2178 |
| CORP | lisan_corp_v3 | 0.1825 |
| POET | lisan_poet_v3 | 0.1906 |
| MINI | lisan_mini_v3 | 0.2075 |
| TECH | lisan_tech_v3 | 0.1910 |
Ce que signifie la loss
La loss mesure la différence entre ce que le modèle prédit et ce qu'il devrait prédire. Une loss inférieure à 0.25 est considérée excellente pour ce type d'entraînement — CORP à 0.1825 est le plus précis du set.