Pour répondre à l'appétit des plus gros LLM, Micron veut coller de la NAND aux GPU

Elle prive les quidams fauchés que nous sommes de barrettes de DDR5 ou de cartes graphiques, mais la mémoire reste l’un des principaux problèmes auxquels se heurtent les infrastructures d’intelligence artificielle. À mesure que les modèles de langage grossissent, la quantité de données à conserver pendant leur fonctionnement fait de même. La HBM, certes extrêmement rapide, reste limitée en capacité et particulièrement coûteuse. Pour contourner ces défis, Micron, tout comme SK hynix et SanDisk, explore une piste consistant à rapprocher la NAND du GPU.

Near-GPU Nand ou HBF

Le concept vise à offrir un nouveau niveau dans la hiérarchie mémoire des accélérateurs IA. L’idée n’est pas de remplacer la HBM, mais d’y adjoindre une mémoire beaucoup plus capacitaire. Les données les plus critiques resteraient dans la HBM, tandis que d’autres pourraient être stockées dans cette NAND à haute bande passante.

On peut imaginer comme cas d’usage le traitement du KV cache des grands modèles de langage. Quand le modèle génère une réponse token après token, il doit conserver certaines informations issues des tokens déjà traités. Les « Key » et « Value » sont des données intermédiaires produites par les couches d’attention du Transformer. Ce Key-Value cache peut rapidement occuper une quantité importante de mémoire lorsque les modèles doivent gérer de très longs contextes. Une mémoire NAND située à proximité du GPU pourrait alors permettre d’en déporter une partie, à condition d’offrir suffisamment de bande passante pour que ces accès supplémentaires ne pénalisent pas trop les performances, tout en réservant la HBM aux données nécessitant les accès les plus rapides.

Évidemment, la NAND reste très loin des performances de la HBM. C’est précisément pour cette raison que Micron travaille sur une approche où elle serait intégrée beaucoup plus près du GPU, et non plus éloignée dans les baies de stockage, derrière plusieurs protocoles. Elle bénéficierait ainsi d’une interface bien plus large que celle d’un SSD classique.

La mise en œuvre reste toutefois à un stade exploratoire. Micron doit encore déterminer quelles charges de travail peuvent réellement profiter de cette architecture et dans quelle mesure les gains de capacité compensent les différences de latence et de bande passante avec la HBM. Chez la firme américaine, cette architecture est actuellement désignée sous le nom de « near-GPU NAND ».

Micron n'est toutefois pas une figure de proue ; SK hynix et SanDisk explorent également cette piste. Les deux entreprises ont déjà standardisé le concept de High-Bandwidth Flash (HBF) début août. Si le nom change, le principe reste le même : étendre l’espace mémoire disponible autour de la HBM des GPU, en rapprochant la NAND du processeur graphique.

Sources : DigiTimes / TPU ; le communiqué de SK hynix et Sandisk