В стандартном трансформере токен-отправитель передаёт всем получателям один и тот же value-вектор: query решает лишь, *сколько* внимания уделить, но не *что* именно извлечь. Работа Attention Manifolds добавляет к этому механизму обучаемые 2D-поверхности B-сплайнов S(q, k), которые модулируют каждую размерность value в зависимости от взаимодействия query и key.
На LLaMA 3.2-1B-Instruct и 3B-Instruct метод снижает перплексию на WikiText-2, а точечное редактирование отдельных поверхностей даёт направленный контроль над поведением модели — от усиления конкретных зависимостей до их блокировки.
Как B-сплайны меняют механизм внимания
Классический attention можно сравнить с письмом без содержимого: адресат (query) определяет вес конверта, но само письмо (value) одинаково для всех. Это ограничение архитектуры, а не обучения — сколько ни масштабируй модель, value-вектор остаётся общим для всех получателей.
Авторы Attention Manifolds добавляют к каждому взаимодействию query–key обучаемую поверхность S(q, k). Формально это тензорные кубические B-сплайны — гладкие 2D-функции, которые принимают на вход пару «query, key» и выдают поправочный коэффициент для каждой размерности value.
Устройство поверхности S(q, k)
Кубический B-сплайн строится из контрольных точек на регулярной сетке: изменение одной точки плавно деформирует участок поверхности, не создавая разрывов. Для attention это критично — резкие скачки модуляции разрушили бы градиентный поток при обучении.
Практический смысл нововведения:
- Контекстная зависимость. Один и тот же token-value передаётся разным получателям по-разному — поверхность «подсвечивает» нужные компоненты вектора под конкретную пару query–key.
- Плавная модуляция. Поправка непрерывна, а не бинарна: сплайн может частично усиливать и частично подавлять отдельные измерения.
- Локальность правок. Благодаря свойствам сплайнов редактирование одной области поверхности затрагивает узкий класс взаимодействий — об этом подробнее в разделе [управление поведением модели](#upravlenie-povedeniem-modeli).
Безопасное внедрение в предобученные модели
Главная проблема модификаций attention на готовых моделях — риск разрушить выученные зависимости. Attention Manifolds решает её просто: все сплайн-поверхности инициализируются нулями.
В момент старта S(q, k) = 0 для любой пары query–key, то есть метод математически вырождается в обычный трансформер. Дообучение начинается ровно с той точки, где остановилась предобученная модель, и дальше поверхности постепенно «включаются» только там, где дают выигрыш.
Это тот же принцип, что у LoRA и adapter-слоёв: нулевая инициализация превращает новую механику в чистый прирост, а не в лотерею. Для команд, которые дорабатывают чужие или свои базовые модели, это ключевой фактор — [бизнес-применение метода](#biznes-primenenie-metoda) начинается именно с предсказуемости таких доработок.
Результаты экспериментов
Авторы проверили метод на двух инструктивных моделях:
- LLaMA 3.2-1B-Instruct
- LLaMA 3.2-3B-Instruct
В обоих случаях добавление сплайн-модуляции снижает перплексию на бенчмарке WikiText-2. Это показательный результат: WikiText-2 — стандартная проверка качества языкового моделирования, и улучшение на ней означает, что модель точнее предсказывает продолжение текста, а не просто подстроилась под узкую задачу.
Отдельно стоит масштаб: выигрыш наблюдается и на 1B, и на 3B параметров. Метод не «выжимает остатки» из маленькой модели, а добавляет выразительность, которой архитектурно не хватало механизму value.
Управление поведением модели
Самое прикладное следствие работы — интерпретируемость и точечный контроль. Поскольку каждая поверхность привязана к конкретным взаимодействиям, их можно редактировать по отдельности.
Что это даёт на практике:
- Усиление зависимости. Подняв значения в нужной области сплайна, можно усилить связь между определёнными типами query и key — например, сделать модель чувствительнее к конкретному типу контекста.
- Блокировка зависимости. Обнуление или занижение участка поверхности подавляет выбранное взаимодействие, не затрагивая остальную модель.
- Диагностика. Форма поверхности — читаемая карта: видно, где модель «переусердствует», а где игнорирует важное.
Такое управление вниманием для бизнеса ближе к настройке регулятора, чем к переобучению: вы крутите конкретный рычаг и видите конкретный эффект, вместо того чтобы заново обучать сеть и надеяться, что остальные навыки не деградировали.
Бизнес-применение метода
Искусственный интеллект в корпоративных сценариях живёт или умирает по двум критериям: предсказуемость и управляемость. Attention Manifolds двигает сразу оба.
Предсказуемость доработок
Нулевая инициализация плюс локальность сплайнов превращают внедрение метода в контролируемую операцию. Модель не «случайно» меняет стиль ответов после дообучения: изменения концентрируются там, где их сознательно внесли.
Контроль без полного переобучения
Классическая беда дообучения — катастрофическое забывание: модель улучшается в одном и теряет в другом. Точечное редактирование поверхностей обходит этот сценарий. Для процессов с жёсткими требованиями — юридические формулировки, техническая документация, клиентская поддержка — это разница между «можно выпускать» и «нужен ещё месяц тестов».
Где ждать эффекта
Manifolds для бизнеса — в первую очередь инструмент тонкой настройки поведения:
- подавление нежелательных ассоциаций в генерации текста;
- усиление чувствительности к доменной терминологии;
- диагностика ответов модели через анализ формы поверхностей.
Ограничения и открытые вопросы
Работа демонстрирует метод на моделях до 3B параметров — поведение на крупных моделях остаётся вопросом дальнейших исследований. Каждый сплайн добавляет параметры и вычисления на каждый шаг attention, поэтому цена метода растёт вместе с числом голов и слоёв.
Кроме того, снижение перплексии — прокси-метрика. Для прикладных задач решающими будут отраслевые бенчмарки и поведение в конкретных сценариях, а не только качество языкового моделирования на WikiText-2.
Вывод
Attention Manifolds закрывает архитектурную слепую зону трансформера: value перестаёт быть одинаковым для всех получателей и становится функцией взаимодействия query–key. Нулевая инициализация делает внедрение безопасным для предобученных моделей, кубические B-сплайны — плавным и локально редактируемым, а [результаты экспериментов](#rezultaty-eksperimentov) на LLaMA 3.2-1B/3B-Instruct подтверждают практический выигрыш.
Для автоматизации бизнеса главный итог даже не в цифрах перплексии, а в новой степени контроля: поведение большой языковой модели можно направленно усиливать и блокировать на уровне отдельных зависимостей. Это шаг от «обучили и надеемся» к «настроили и проверили» — ровно та зрелость, которой не хватает большинству корпоративных ИИ-конвейеров.
Исследование: arxiv.org/abs/2610.00257.
Источник: https://arxiv.org/abs/2610.00257