Déterminisme, hasard et LLM — pourquoi le texte varie, et où BATEN maîtrisenouveau !

Vous avez peut-être remarqué qu'en reposant deux fois la même question, vous obtenez tantôt exactement le même texte, tantôt un texte différent qui dit la même chose. Ce n'est pas un bug : c'est la nature même des modèles de langage. Cet article explique proprement pourquoi — et où, dans cette chaîne, BATEN est déterministe et où il ne l'est pas.

Deux mots à distinguer : déterministe et stochastique

• Déterministe : mêmes entrées → mêmes sorties, à tous les coups. Une calculatrice est déterministe : 7 × 8 donne toujours 56.
• Stochastique : le résultat dépend d'un tirage au sort. Un dé est stochastique : mêmes conditions, résultat imprévisible d'un lancer à l'autre.

Un modèle de langage, dans son mode par défaut, est stochastique. Comprendre pourquoi exige de regarder comment il est construit.

Comment un LLM produit un mot

Un modèle de langage ne « connaît » pas la réponse. À chaque étape, il calcule une distribution de probabilité sur le mot suivant : après « Le ciel est », il pourrait attribuer 60 % à « bleu », 8 % à « dégagé », 5 % à « clair », et ainsi de suite sur des dizaines de milliers de mots possibles. Puis il en choisit un, et recommence pour le mot d'après. Une réponse entière, c'est cette opération répétée des centaines de fois.

Toute la question est : comment choisit-il, à chaque étape, parmi ces probabilités ? Deux stratégies opposées existent.

Greedy vs échantillonnage — le dé bloqué ou le dé libre

• Décodage glouton (greedy) : le modèle prend toujours le mot le plus probable. Pas de hasard. Mêmes probabilités → même choix → même texte. C'est déterministe par construction.
• Échantillonnage (sampling) : le modèle tire au sort selon les probabilités — le plus probable sort souvent, mais pas toujours. Un réglage appelé « température » contrôle l'ampleur du hasard : température 0 revient au greedy ; plus elle monte, plus le tirage est aventureux.

Pourquoi parfois identique, parfois non

Le hasard n'a pas le même effet selon la question, parce qu'il n'a pas la même marge de manœuvre :

• Question fermée (« Capitale du Maroc ? ») : il n'existe quasiment qu'une bonne réponse, courte. Même en échantillonnant, le modèle retombe presque toujours sur le même texte. Vous verrez de l'identique.
• Question ouverte (« Explique pourquoi le ciel est bleu ») : il existe mille formulations correctes. Le modèle en pioche une différente à chaque fois. Vous verrez de la variation.
• Dans une même conversation, le contexte accumulé pousse aussi vers plus de cohérence d'une réponse à l'autre — ce qui peut donner une fausse impression de déterminisme.

La construction du modèle compte aussi

Au-delà du réglage de température, l'architecture et l'entraînement d'un modèle influencent sa stabilité : la taille (un petit modèle a moins de chemins possibles), les mélanges d'experts (MoE, qui routent chaque mot vers des sous-réseaux différents), l'ordre des calculs sur les serveurs (les traitements par lots des API introduisent leur propre variabilité, même à température 0). Autrement dit, « déterministe » n'est jamais une case cochée par magie : c'est une propriété qu'il faut construire et vérifier de bout en bout.

Les trois niveaux de déterminisme de BATEN

BATEN ne prétend pas rendre déterministe un LLM échantillonné. Il sépare trois niveaux, et dit exactement lequel est garanti :

Le sceau scelle le pourquoi d'une réponse — la chaîne de décision qui l'a produite — pas les mots exacts. Sa valeur ne dépend donc pas de la reproductibilité du texte. La reproduction à l'identique du texte, elle, est un service à part, honnêtement marqué indisponible tant que les modèles internes ne sont pas en ligne.