DeepSeek Engram - память для LLM

TL;DR: DeepSeek представили Engram - модуль памяти для языковых моделей, который позволяет напрямую искать часто встречающиеся паттерны токенов вместо их пересчёта. Работает в связке с MoE и даёт прирост до +5 пунктов на бенчмарках.

DeepSeek продолжают радовать интересными архитектурными решениями. На этот раз - модуль условной памяти под названием Engram.

В чём идея

Классические трансформеры каждый раз заново вычисляют одни и те же фразы. Вопрос «Как дела?» модель обрабатывает так, будто видит его впервые. Каждый. Раз.

Engram решает это просто - вместо пересчёта модель напрямую ищет паттерн в памяти. Сложность O(1), никаких лишних вычислений.

Как это работает

Три ключевых компонента:

Сжатие токенизатора - словарь уменьшили на 23%. Меньше токенов - быстрее поиск.

Многоголовое хэширование - несколько хэш-функций для предотвращения коллизий. Если два разных паттерна дают одинаковый хэш - проблема. Мультиголовый подход это решает.

Контекстное гейтирование - attention-механизм фильтрует, когда использовать память, а когда считать по-старому. Не все паттерны одинаково полезны в любом контексте.

MoE + Engram = оптимальное соотношение

Интересный момент - исследователи нашли U-образную зависимость производительности от распределения ресурсов. Оптимум: 75-80% на MoE, 20-25% на Engram.

MoE маршрутизирует вычисления, Engram маршрутизирует память. Вместе работают лучше, чем по отдельности.

Результаты

На модели Engram-27B:

Особенно впечатляет результат на длинном контексте - почти 13 пунктов разницы.

---

DeepSeek показывают, что улучшать модели можно не только увеличением параметров. Умная работа с памятью освобождает ресурсы для того, что действительно важно - рассуждений и сложных задач.

Думаю, мы увидим больше таких архитектурных инноваций. Гонка за размером моделей упирается в потолок, а вот оптимизация памяти - открытое поле для экспериментов.

📚 Источники DeepSeek Engram: The Conditional Memory Revolution for LLMs