Samsung et SK Hynix divergent sur l'après-HBM

Les deux géants coréens de la mémoire ont profité de la conférence Hot Chips, fin août, pour afficher des paris divergents sur l'avenir de la mémoire d'IA. Samsung a détaillé son premier produit commercial de calcul en mémoire bâti sur de la DRAM basse consommation, et pousse davantage de logique dans la puce de base de la HBM; SK Hynix a présenté iHBM, une approche d'encapsulation qui réduirait de plus de 30% la résistance thermique des empilements de mémoire à haute bande passante, selon le Korea JoongAng Daily et Digitimes.

Les positions sont rationnelles au vu du classement. SK Hynix détient la majorité du marché de la HBM selon la plupart des estimations, et un leader défend le standard qu'il domine: ses problèmes sont des problèmes de leader — la chaleur, et la difficulté d'empiler des puces DRAM toujours plus haut sans cuire les couches du milieu. Une réduction de 30% de la résistance thermique n'a rien de spectaculaire, mais la thermique est la contrainte qui borne la hauteur des empilements, et la hauteur des empilements est la façon dont croît la capacité de la HBM.

Samsung, en position de poursuivant, parie sur un changement de jeu. Le calcul en mémoire attaque le problème de fond par l'autre bout: plutôt que d'acheminer les données vers le calcul toujours plus vite, il déplace une partie du calcul dans la mémoire, si bien que les données ne voyagent plus. L'argument physique est ancien et solide — c'est le déplacement des données, non l'arithmétique, qui domine le budget énergétique des charges d'IA. L'histoire fournit la mise en garde: le calcul en mémoire est la prochaine grande révolution de la mémoire depuis deux décennies, et il a buté chaque fois sur le même écueil, à savoir qu'il exige que le logiciel change. Fabricants d'accélérateurs et auteurs de frameworks doivent programmer pour lui, et ils s'y sont historiquement refusés.

Ce qui a changé, c'est la taille du gain et la douleur du statu quo. Quand la bande passante mémoire est le plafond d'un marché des accélérateurs qui se chiffre en centaines de milliards, la récompense pour percer le mur plutôt que l'escalader n'a jamais été aussi haute. La prochaine génération d'accélérateurs dira quel pari les acheteurs ont fait.