DeepSeek compresse la mémoire de ses agents sans raccourcir leur contexte

DeepSeek lance V4.1-Flash, un modèle multimodal à un million de tokens qui réduit fortement le cache KV et remplacera bientôt V4-Pro dans son API.

Lire un long historique coûte de la mémoire avant même que le modèle commence à répondre. DeepSeek s’attaque directement à cette dépense avec V4.1-Flash, une nouvelle architecture qui n’active pas le même volume de calcul pendant l’analyse de l’entrée et pendant la génération de la sortie.

Annoncé le 10 septembre 2026, DeepSeek-V4.1-Flash accepte du texte et des images, produit du texte et conserve une fenêtre de contexte pouvant atteindre un million de tokens. Il devient immédiatement le modèle servi sous l’identifiant `deepseek-flash` dans l’API de l’entreprise.

DeepSeek le présente comme le plus petit membre d’une nouvelle famille. Le qualificatif est relatif. Le backbone compte 552 milliards de paramètres et la fiche publiée sur Hugging Face en recense 763 milliards dans l’ensemble du checkpoint. Les fichiers occupent environ 510 Go. Flash désigne ici une économie de calcul à chaque token, pas un modèle compact destiné à un ordinateur portable.

Cette différence vient d’abord de son architecture Mixture of Experts. Les 552 milliards de paramètres du backbone ne travaillent pas tous à chaque passage. Le modèle n’en active que 8 milliards par token lorsqu’il traite l’entrée, puis 16 milliards pendant la génération. À titre de comparaison, DeepSeek-V4-Flash activait 13 milliards de paramètres dans les deux phases et V4-Pro 49 milliards.

Le rapport technique décrit un Transformer de 40 couches coupé en deux blocs de 20 couches. Le premier agit comme un encodeur causal chargé du prompt. Le second génère la réponse. Au lieu de recalculer dans chaque couche supérieure les informations nécessaires à l’attention globale, le décodeur les projette depuis l’état final de l’encodeur.

Cette organisation vise les agents, dont les requêtes sont souvent dominées par l’entrée. Une base de code, un long historique, les sorties successives des outils et les instructions permanentes peuvent être relus à chaque étape, alors que la réponse ajoutée au tour courant reste courte. Réduire le coût de cette phase de lecture devient alors plus utile que d’accélérer uniquement la production du texte.

Le gain n’équivaut pas à supprimer la moitié du réseau. Les couches du décodeur gardent une attention locale sur une fenêtre glissante et certaines opérations demeurent nécessaires lors du préremplissage. DeepSeek estime néanmoins que son Causal Encoder-Decoder réduit presque de moitié le calcul consacré aux entrées, sans publier de mesure indépendante du temps réellement gagné sur son API.

La deuxième économie concerne le cache KV. Cette mémoire conserve les représentations déjà calculées pour éviter de reprendre tout le contexte à chaque nouveau token. Sa taille devient critique avec un million de tokens et plusieurs requêtes simultanées, car elle occupe la mémoire HBM des accélérateurs, puis de la mémoire hôte ou du stockage lorsqu’un préfixe doit rester réutilisable.

Compressed Sparse Attention 2, ou CSA2, partage une partie de ce cache entre plusieurs couches. Certaines couches calculent les clés, les valeurs et les positions jugées pertinentes. D’autres réévaluent seulement la sélection ou réutilisent directement les résultats précédents. Un index hiérarchique réduit aussi le nombre de positions examinées dans les couches profondes.

DeepSeek stocke la partie principale du cache global en FP4. Le rapport chiffre son empreinte à 890 octets par token, contre 3 514 octets pour V4-Flash, soit presque quatre fois moins. Ce nombre ne décrit ni la taille des poids ni toute la mémoire nécessaire à une requête. Il ne concerne que le cache KV global, auquel s’ajoutent l’attention locale, les activations et les autres ressources du service.

La société annonce une réduction encore plus forte pour le cache persistant, gardé sur SSD ou en mémoire hôte afin de réutiliser un long préfixe. V4.1-Flash n’y enregistre plus les états de l’attention locale. Il les conserve quelques minutes dans un espace en mémoire vive et, lorsqu’ils ont disparu, recalcule seulement les 128 tokens les plus récents.

Ce mécanisme, baptisé SWA Bounded Replay, ramène l’empreinte persistante à environ un huitième de celle de V4-Flash à longueur égale. La reconstruction reste approximative. Le rapport reconnaît qu’un même suffixe peut produire des états légèrement différents selon l’endroit où le cache a été repris et que les cas limites de cette méthode n’ont pas tous été caractérisés.

Les 552 milliards de paramètres mis en avant ne couvrent pas non plus toutes les briques du système. DeepSeek ajoute 196 milliards de paramètres Engram, répartis dans deux modules de mémoire conditionnelle. Ils stockent des associations de groupes de tokens dans de grandes tables consultées par hachage. Leur adressage déterministe autorise un préchargement depuis la mémoire hôte, au lieu de faire circuler toute cette mémoire dans le réseau pour chaque token.

Un module nommé DSpark accélère la génération spéculative. Trois blocs préparent jusqu’à cinq positions, puis un mécanisme de confiance choisit combien de propositions vérifier selon la charge du serveur. DeepSeek mentionne aussi des noyaux fusionnés et une séparation des ressources consacrées à la vision, au traitement du prompt et à la génération.

Ces éléments expliquent la promesse de débit supérieur, mais le document ne donne pas de cadence en tokens par seconde, de temps au premier token ni de comparaison de latence effectuée sur un matériel identique. Le terme « plus rapide » reste donc une affirmation du fournisseur au lancement. L’architecture réduit des opérations et de la mémoire mesurables, sans établir à elle seule la vitesse observée par chaque client.

V4.1-Flash introduit aussi la vision dans le modèle principal. Un encodeur DeepSeek-ViT convertit chaque image en représentations visuelles, qu’un projecteur insère dans la même séquence que le texte. L’encodeur a été entraîné séparément, puis les données multimodales ont été présentes dès le début du préentraînement du modèle de langage.

Le modèle accepte des images de