Вариант DeltaNet с матричным состоянием фиксированного размера обучили запоминать 32 новые пары «ключ-значение» на последовательность: при объёме состояния в 32 КиБ точность выбора значения составила 99,95% (среднее по трём сидам), а удлинение контекста до 1 798 токенов «наполнителем» почти не снизило качество. Обнуление первого блока памяти портит воспроизведение — факты реально хранятся в состоянии, а не сбоку.
Это демонстрация ассоциативной памяти константного размера, которая может заменить растущий KV-кэш трансформеров, пока на контролируемой задаче.
Почему KV-кэш — узкое место искусственного интеллекта
Обычный трансформер хранит контекст в KV-кэше — таблице ключей и значений, которая растёт линейно с длиной последовательности. Чем длиннее диалог или документ, тем больше памяти и вычислений требует каждый новый токен. Для сервисов, где автоматизация бизнеса строится на длинных сессиях — техподдержка, анализ договоров, ассистенты с историей на сотни тысяч токенов — это прямой операционный расход.
Рекуррентные архитектуры идут другим путём: вместо растущего кэша они поддерживают сжатое состояние фиксированного размера, обновляемое на каждом шаге. DeltaNet — одна из таких моделей: её состояние представляет собой матрицу, обновляемую по правилам, похожим на быстрые алгоритмы весов (fast weight programmers). Модель буквально «перезаписывает» себя по ходу последовательности.
В исследовании проверяли базовый вопрос: способно ли такое состояние фиксированного размера хранить конкретные факты, а не только статистику текста? Для этого выбрали чистую задачу ассоциативного запоминания — подбор значения по ключу, как в словаре.
Дизайн эксперимента: 32 пары на последовательность
Задача формулировалась просто: в последовательность вставляются 32 пары «ключ-значение», после чего модель должна по предъявленному ключу вернуть точное значение. Никакой генерации связного текста — только проверка, что информация записалась в состояние и извлекается без ошибок.
Ключевые параметры эксперимента:
- 32 новые пары «ключ-значение» на одну последовательность;
- состояние фиксированного размера — 32 КиБ;
- оценка по трём случайным сидам с усреднением результатов;
- контрольная проверка через удлинение контекста «наполнителем» до 1 798 токенов.
Объём в 32 КиБ — принципиальная деталь. KV-кэш трансформера на последовательность из ~1800 токенов занимает заметно больше, причём его размер растёт с каждым токеном. Здесь же память не растёт вообще: какой бы длинной ни была последовательность, состояние остаётся константным.
Результаты: 99,95% точности при константном состоянии
Точность выбора значения составила 99,95% — среднее по трём сидам. На 32 парах это означает, что из тысяч предъявлений модель ошибается в единичных случаях. Для ассоциативной памяти, упакованной в 32 КиБ, это практически потолок качества.
Второй тест — на устойчивость к «разбавлению». Между парами и запросом вставили нейтральный текст-наполнитель, растянув контекст до 1 798 токенов. Качество почти не снизилось: записанные факты не «вытесняются» последующим содержимым, а остаются доступными для извлечения. Это важная проверка, ведь на практике контекст редко состоит из одних чистых данных — вокруг них всегда есть служебный текст, диалоги, инструкции.
Как именно проверяли, что факты лежат внутри состояния, а не где-то ещё, — в разделе [интроспекция памяти](#интроспекция-памяти).
Интроспекция памяти
Самая убедительная часть работы — не цифры точности, а прямая проверка механизма. Исследователи обнулили первый блок матричного состояния — и воспроизведение соответствующих фактов сломалось. Это каузальная демонстрация: информация физически хранится в матрице состояния, а не «сбоку» — не в весах модели и не в промежуточных активациях, которые можно было бы списать на утечку данных.
Такой контроль снимает типичное возражение к подобным экспериментам: вдруг модель просто выучила паттерны задачи на этапе обучения и не хранит ничего нового? Обнуление блока памяти показывает обратное — удаление конкретной области состояния избирательно разрушает извлечение конкретных фактов. Память работает как память, а не как переобученный рефлекс.
Рекуррентная память для бизнеса: третий путь после длинного контекста и RAG
Связь с практикой прямая. Сегодня постоянная память для бизнеса на базе LLM решается двумя путями, и оба дорогие:
1. Длинный контекст. Модель держит всю историю в KV-кэше. Работает, но стоимость и задержка растут с длиной, а на сотнях тысяч токенов качество заметно деградирует.
2. RAG и внешние хранилища. Факты выносятся в векторную базу, а модель получает их поисковым запросом. Гибко, но добавляет инфраструктуру, задержки на поиск и ошибки релевантности.
Рекуррентная модель с матричным состоянием предлагает третий вариант: память для бизнеса как константный по размеру внутренний ресурс. Не растущий кэш и не внешняя база, а сжатое состояние, которое обновляется на лету и вмещает проверенный объём ассоциаций. Если такой подход масштабируется, автоматизация бизнеса с длинными сессиями перестаёт платить за каждый токен истории.
Ограничения эксперимента
Результат получен на контролируемой задаче — синтетическом запоминании пар «ключ-значение». Это осознанный выбор авторов: чистая постановка позволяет изолировать именно свойство памяти и измерить его с точностью, недостижимой на шумных реальных данных.
Точное извлечение «ключ → значение» — простейшая форма ассоциации, и именно поэтому 99,95% здесь так показательны: нижняя планка возможностей матричного состояния установлена честно.
Что модель запоминает — для бизнеса важнее не сам факт запоминания, а управляемость этого процесса. И здесь интроспекция из [эксперимента](#дизайн-эксперимента-32-пары-на-последовательность) даёт неожиданный бонус: раз содержимое локализовано в конкретных блоках состояния, его можно адресно стирать. Подробнее — ниже.
Что это значит для автоматизации на ИИ
Для команд, внедряющих ИИ в рабочие процессы, результат стоит держать в поле зрения по трём причинам.
Экономика сессий. Константная память означает предсказуемую стоимость независимо от длины истории. Для чат-ботов и агентов с многочасовыми сессиями это разница между линейно растущим счётом за инфраструктуру и фиксированным.
Проверяемость и комплаенс. Тот факт, что запоминаемое содержимое локализовано в конкретных блоках состояния, открывает путь к управляемой памяти: обнулить блок — стереть факт. Для «права на забвение» в корпоративных системах это потенциально более чистый механизм, чем вычищать записи из внешнего хранилища.
Направление развития линейки. Рекуррентные и гибридные архитектуры с фиксированным состоянием — активный тренд в исследованиях, и каждая демонстрация типа этой сужает разрыв между «интересной теорией» и «работающим компонентом». Следить за этим пространством стоит так же, как несколько лет назад следили за ростом окна контекста.
Итог
Вариант DeltaNet с матричным состоянием в 32 КиБ запоминает 32 пары «ключ-значение» с точностью 99,95% и сохраняет качество при контексте в 1 798 токенов. Обнуление первого блока памяти избирательно ломает извлечение — факты хранятся именно в состоянии, а не сбоку. Это доказательство принципа: ассоциативная память константного размера может заменить растущий KV-кэш, пока на контролируемой задаче.
Для бизнеса вывод не «внедрять завтра», а «пересчитать экономику длинного контекста»: альтернатива растущей памяти существует и подтверждена экспериментом.
Источник: https://arxiv.org/abs/2610.00232