DeepSeek, l'équipe à l'origine de certains des modèles d'IA à poids ouvert les plus puissants au monde, a publié mardi un nouvel article qu'elle a co-écrit et qui pourrait changer notre façon de penser l'utilisation de la mémoire par l'IA. La recherche, dirigée personnellement par le fondateur Liang Wenfeng, introduit un moyen d'exécuter des modèles massifs en utilisant une mémoire vidéo beaucoup moins précieuse.
La sauce secrète est une technologie appelée « mémoire conditionnelle ». Tout comme les travaux précédents de DeepSeek avec Mixture-of-Experts (MoE), cette technologie est avant tout axée sur l'efficacité. Il sépare la « logique » d’une IA de sa « connaissance », permettant à la majeure partie de ses données d’être stockée dans du matériel moins cher et plus accessible.
De plus, la technologie permet une recherche presque instantanée dans sa base de connaissances. Alors que la solution courante actuelle – la génération augmentée par récupération (RAG) – semble souvent lourde et lente, la méthode de DeepSeek est presque instantanée. C'est comme avoir une bibliothèque où, dès que vous pensez à une question, le bon livre se téléporte sur la bonne page que vous avez en main.
DeepSeek a publié le code officiel de cette technologie sous le nom de « Engram ».
« Engram permet au modèle d'étendre efficacement sa capacité de connaissances… permettant au modèle de mieux fonctionner sur des tâches à forte intensité de connaissances tout en maintenant une efficacité élevée de formation et d'inférence », indique le document.
Pour les utilisateurs, cela signifie que l’avenir de l’IA sera probablement moins cher, plus rapide et bien meilleur pour mémoriser ce que vous avez dit il y a cinquante invites.
