Fondamentaux

contextecontext-rotdegradationlong-contextlambda-RLMlost-in-the-middleattentionfenetre

La dégradation contextuelle est mesurable — et elle suit une loi

La perte de cohérence des LLM en conversation longue n'est pas un bug vague : elle suit une courbe mathématique mesurable. Deux modèles concurrents éclairent le phénomène et ses solutions.

concept Raisonnement

Le plafond de raisonnement sous contraintes — 55-60% et pas au-delà

Sur les tâches d'optimisation sous contraintes physiques, les LLM plafonnent à 55-60% de réussite, quel que soit le modèle. Seul l'apprentissage par renforcement brise cette limite.

raisonnementcontraintesoptimisationGRPOSFTplafondbenchmarkRL

concept Raisonnement

Society of Thought — quand le raisonnement collectif émerge sans instruction

Des modèles de raisonnement comme DeepSeek-R1 développent spontanément des structures de débat interne sous entraînement RL. Ces patterns conversationnels — questionnement, contradiction, réconciliation — sont causalement liés aux gains de performance.

raisonnementmulti-agentsreinforcement-learningémergencedébatdeepseekrlchain-of-thought

concept Mémoire

Mémoire graphe pour agents — au-delà du vecteur

Un survey de 2026 montre que les graphes surpassent les vecteurs pour la mémoire agent sur quatre dimensions. Taxonomie, outils et état de l'art.

mémoireknowledge-graphagentsretrievalembeddingsgraphetaxonomietemporal

decouverte Mémoire

GradMem — comprimer le contexte en mémoire par descente de gradient

GradMem propose d'écrire le contexte dans des tokens mémoire via quelques étapes de gradient descent à l'inférence. Une approche de compression qui surpasse les méthodes forward-only.

memoirecontextecompressiongradient-descentinferencekv-cachegradmem

agentsauto-ameliorationmeta-cognitionhyperagentsdarwin-godel-machinearchitecturerecursivite

HyperAgents — des agents IA qui modifient leur propre méthode d'amélioration

HyperAgents étend le concept de Darwin Gödel Machine en rendant modifiable le méta-niveau d'amélioration des agents. Un pas vers l'auto-amélioration récursive au-delà du code.

concept Mémoire

Les 3 mémoires d'un agent IA : sémantique, épisodique, procédurale

Un agent IA gère trois types de mémoire distincts importés de la psychologie cognitive. Le framework CoALA les formalise pour les LLM en y ajoutant la mémoire de travail. Comparaison avec MemGPT et les approches récentes.

memoireagentsCoALAMemGPTepisodiquesemantiqueproceduralereflexionarchitecture

agentstaxonomiemulti-agentsorchestrationcontext-engineeringtool-useautonomiearchitecture

Les 4 niveaux d'un agent IA (L0–L3)

La taxonomie L0–L3 organise la progression des agents IA selon leur interaction avec l'environnement : du LLM nu aux systèmes multi-agents collaboratifs. Comparaison avec les taxonomies alternatives de Yu Huang, HuggingFace et Google DeepMind.

concept Raisonnement

Techniques de raisonnement LLM — CoT, ToT, ReAct décryptées

Panorama des quatre techniques majeures qui permettent aux LLM de raisonner plutôt que de simplement générer : Chain-of-Thought, Tree-of-Thought, ReAct et Scaling Inference Law. Quand utiliser laquelle.

chain-of-thoughttree-of-thoughtreactraisonnementinferencetest-time computepromptingagents

agentstaxonomieautonomiemulti-agentscontext-engineeringclassificationperceptionplanification

Taxonomie des agents LLM — du chatbot à l'équipe autonome

Comment classer les systèmes LLM selon leur degré d'autonomie réelle : de L0, le modèle sans outils, à L3, l'équipe d'agents spécialisés. Critères de distinction, boucle perception-planification-action, et limites de la classification.

chatgptclaudegeminillmintelligence-artificielleonboarding

C'est quoi ChatGPT — et les IA comme lui

ChatGPT, Claude, Gemini : ce sont des programmes qui génèrent du texte mot après mot. Cet article explique ce qu'ils font, sans jargon technique.

histoirechatgptgptchronologieintelligence-artificielleonboarding

Comment on en est arrivé là — petite histoire des IA qui parlent

De projets de recherche confidentiels à ChatGPT utilisé par des millions de personnes : les étapes clés qui ont mené aux IA conversationnelles d'aujourd'hui.

hallucinationsfiabilitélimitesvérificationonboarding

Pourquoi ça invente des trucs — les limites des IA conversationnelles

Les IA conversationnelles produisent parfois des réponses fausses avec une assurance totale. On explique pourquoi, et comment s'en protéger.

alignementrlhfjailbreaksécuritéconstitutional-aisycophancy

Alignement et RLHF — comment corriger un LLM

RLHF est la méthode dominante pour rendre les LLM conformes aux valeurs humaines : pipeline en trois phases, alternatives récentes (DPO, KTO), limites théoriques et problème du jailbreaking par construction.

transformerattentionself-attentionscalingarchitecture

Architecture Transformer — le mécanisme qui a tout changé

Comment fonctionne l'attention, pourquoi tous les grands modèles de langage reposent sur la même architecture, et ce que les chercheurs débattent encore aujourd'hui.

données-synthétiquesentraînementfine-tuningmodel-collapsescaling-laws

Données synthétiques — comment les LLM apprennent de leurs propres sorties

Les LLM génèrent de plus en plus leurs propres données d'entraînement. Cette technique décuple les capacités des petits modèles — mais elle pose un risque structurel : l'effondrement progressif de la diversité.

embeddingsvector-storerecherche-sémantiquehnswfaiss

Embeddings et recherche sémantique — comment les LLM comprennent le sens

Un embedding transforme un texte en coordonnées dans un espace mathématique où la proximité exprime la parenté de sens. Comprendre ce mécanisme, c'est comprendre pourquoi RAG fonctionne — et pourquoi il échoue.

concept Évaluation

Benchmarks LLM — pourquoi les scores ne disent pas tout

MMLU, GSM8K, Chatbot Arena : comment mesure-t-on réellement la performance d'un modèle de langage ? État des lieux des méthodes, de leurs limites et des débats qui agitent la recherche.

benchmarksevaluationmmluchatbot-arenallm-as-judge

fenêtre-contextetokenslong-contextattentiontransformer

La fenêtre de contexte — ce que c'est, pourquoi ça compte

La fenêtre de contexte détermine combien d'information un LLM peut traiter en une seule fois. Voici comment elle fonctionne et pourquoi elle est cruciale.

diffusiongénération-imagesdall-emidjourneystable-diffusion

Génération d'images par IA — du bruit à l'image

Comment les modèles de diffusion construisent des images à partir de bruit aléatoire, quels acteurs dominent le secteur, et pourquoi les questions de copyright restent ouvertes.

transformerrlhfscaling-lawshistoiregptbert

Histoire des LLM — cinq ruptures qui ont tout changé

Les grands modèles de langage ne sont pas apparus du jour au lendemain. Retour sur les cinq tournants scientifiques, de 2013 à aujourd'hui, qui ont rendu possible ChatGPT et ses successeurs.

concept Évaluation

Interprétabilité mécanistique — comprendre ce qui se passe dans un LLM

Comment les chercheurs dissèquent les modèles de langage pour comprendre leurs mécanismes internes, et ce que cela révèle sur la sécurité de l'IA.

interprétabilitémechanistic-interpretabilitysparse-autoencodercircuitssécurité-ia

contexteattentionropeflash-attentionmémoiretransformer

Fenêtre de contexte — ce que les LLM voient vraiment

Les modèles affichent des fenêtres de 128 000 ou un million de tokens. Ce que ces chiffres cachent, comment les ingénieurs ont contourné les limites physiques, et pourquoi l'information au milieu d'un long document est souvent perdue.

moesparsescalingefficacitéarchitectureroutingexperts

Mixture of Experts — comment les grands modèles activent moins de paramètres qu'ils n'en ont

Les modèles MoE dissocient la taille totale d'un réseau de son coût de calcul réel : seule une fraction des paramètres est activée pour chaque token traité. Comprendre ce mécanisme, ses avantages et ses limites réelles.

multimodalvisionaudiogeneration-imagestransformer

Multimodalité — comment les LLM ont appris à voir et à entendre

De CLIP à GPT-4o, retour sur les mécanismes qui permettent aux grands modèles de traiter images, sons et texte au sein d'une même architecture — et sur leurs limites réelles.

raisonnementchain-of-thoughtcoto1prompting

Chain-of-Thought — comment faire réfléchir un LLM à voix haute

Depuis 2022, une technique de prompting simple — demander au modèle de détailler ses étapes — transforme les performances des LLM sur les tâches complexes. Tour d'horizon des mécanismes, des extensions, et des limites documentées.

scaling-lawschinchillaentraînementcomputeparamètres

Lois d'échelle — pourquoi plus grand veut dire meilleur

Les lois d'échelle décrivent comment la performance des LLM progresse avec la taille, les données et le compute. De Kaplan à Chinchilla, puis au raisonnement à l'inférence : une idée simple avec des limites réelles.

temperaturesamplingtop-ktop-pnucleus-samplinggénération

Temperature et sampling — contrôler la créativité d'un LLM

La temperature et les méthodes de sampling déterminent si un LLM produit des réponses prévisibles ou surprenantes. Voici comment ça marche.

tokenisationbpewordpiecesentencepiecemultilingue

Tokenisation avancée — au-delà du BPE

BPE n'est pas le seul algorithme de tokenisation. WordPiece, Unigram LM et SentencePiece ont des logiques différentes — et le choix du tokenizer a des conséquences concrètes sur l'équité entre langues.

tokenstokenisationbpevocabulaire

Tokens et tokenisation — comment les LLM lisent le texte

Un LLM ne lit pas des mots mais des tokens. Comprendre la tokenisation, c'est comprendre comment ces modèles traitent le langage.

entraînementpré-entraînementfine-tuningrlhfpipeline

Pipeline d'entraînement des LLM — du texte brut au modèle utile

Entraîner un grand modèle de langage se déroule en trois étapes distinctes : préentraînement, ajustement supervisé et alignement par préférence. Chacune a un coût, une logique et des limites propres.