Исследователи выложили на arXiv работу, в которой впервые свели в единый протокол сравнения четыре способа «выращивания» классификатора прямо во время обучения: добавление уровня в дерево решений, юнита в скрытый слой нейросети и сплита в лист.
Главный результат неожиданный: самый естественный на первый взгляд способ углубить мягкое дерево решений — превратить лист в гейт, чьи дети наследуют распределение классов родителя, — вообще не меняет вычисляемую функцию. Такая модель математически не способна учиться. Разбираем, что это значит для автоматизации бизнеса и почему вывод важен каждому, кто строит классификатор для бизнеса на нейросетях.
Что такое растущий классификатор и зачем он нужен
Классическая дилемма машинного обучения: маленькая модель быстро обучается, но недобирает точность, большая — потенциально точнее, но требует больше данных, времени и вычислений, а её легко перемоделировать. Растущие модели — компромисс. Архитектура стартует компактной и расширяется по ходу обучения, когда данных и сигнала становится достаточно, чтобы «прокормить» новые параметры.
Для прикладных задач это особенно ценно. Когда искусственный интеллект внедряют в бизнес-процесс — скоринг заявок, маршрутизацию тикетов, сегментацию клиентов, — объём размеченных данных обычно растёт со временем. Модель, которая умеет достраивать себя под поток данных, экономит ресурсы: не нужно с нуля переобучать сеть большего размера.
Проблема в том, что способы «роста» в литературе разрозненны: одни работают с деревьями решений, другие — с нейросетями, и сравнивать их «в лоб» почти никто не пытался. Новая работа закрывает этот пробел.
Четыре способа вырастить классификатор
Авторы рассматривают четыре механизма роста и прогоняют их через один и тот же протокол: одни и те же данные, один и тот же критерий расширения, одна и та же метрика качества. Кратко — что представляет собой каждый способ.
Добавление уровня в дерево
Первый способ относится к деревьям решений: модель получает новый уровень глубины. Листья нижнего яруса становятся внутренними узлами, и дерево может выражать более тонкие разбиения пространства признаков. Это классика для жадных алгоритмов построения деревьев, но здесь операция выполняется над мягким деревом решений — дифференцируемым аналогом, где маршрутизация по ветвям «мягкая», вероятностная.
Добавление юнита в скрытый слой
Второй способ — про нейросети. В скрытый слой добавляется новый юнит с весами, подобранными так, чтобы поначалу не разрушать уже выученное представление. Сеть плавно наращивает выразительность, не теряя того, что успела выучить на ранних эпохах. Это направление активно развивается в рамках растущих нейросетей и методов на основе динамических масок.
Добавление сплита в лист
Третий способ — гибрид первых двух в рамках дерева: конкретный лист превращается в сплит, то есть в узел с двумя детьми. Отличие от «добавления уровня» в том, что расширяется не весь ярус, а отдельная область модели, где данных много и неопределённость велика. Рост получается адресным и дешёвым.
Превращение листа в гейт
Четвёртый способ — самый естественный с точки зрения архитектуры мягкого дерева решений. Лист заменяется гейтом — мягким маршрутизатором, который распределяет поток примеров между двумя дочерними листьями. Чтобы не портить уже выученное, дети наследуют распределение классов родителя: стартуем ровно с той же функции, что была до расширения.
Именно этот способ и получил в работе точный диагноз — о нём ниже, в разделе [почему гейт не учится](#почему-превращение-листа-в-гейт-не-учится).
Единый протокол сравнения
Ценность работы не только в перечне механизмов, а в методологии. Все четыре способа оценены в одинаковых условиях: единый датасет, единая процедура выбора момента расширения, единые метрики. Это редкость: обычно каждый автор растит свою архитектуру на своих бенчмарках, и прямое сравнение невозможно.
Такой протокол отвечает на практический вопрос: если вы решили вырастить классификатор для бизнеса, какой механизм расширения даст прирост качества, а какой — только иллюзию прогресса. Ответ на вторую половину вопроса оказался жёстче, чем ожидалось, — см. раздел [о том, почему гейт не учится](#почему-превращение-листа-в-гейт-не-учится).
Почему превращение листа в гейт не учится
Здесь начинается самая интересная часть. Авторы показывают точную математическую причину, по которой четвёртый способ не работает.
В мягком дереве решений каждый лист выдаёт распределение вероятностей по классам. Когда лист превращают в гейт, пример проходит через него с некоторым весом g влево и (1 − g) вправо. Если оба ребёнка наследуют распределение родителя — обозначим его p, — то итоговый выход считается так:
- вклад левого ребёнка: g · p;
- вклад правого ребёнка: (1 − g) · p;
- сумма: g · p + (1 − g) · p = p.
Вес g сокращается: какое бы решение гейт ни принимал, выход модели не меняется. Функция до расширения и после — идентичны. А раз выход не зависит от параметров гейта, градиент по этим параметрам равен нулю. Гейт не получает сигнала обучения и никогда не научится маршрутизировать примеры. Модель расширилась на бумаге, но не в способности что-либо выучить.
Это ловушка «безопасной инициализации»: желание стартовать расширение с неизменной функции, чтобы не потерять накопленное качество, оборачивается полной симметрией, из которой градиентный спуск не может выбраться. Диагноз дополняется фиксом — симметрию нужно разрушать, инициализируя детей по-разному, чтобы выход модели зависел от параметров гейта и градиент стал ненулевым.
Логика фикса следует прямо из выкладки выше: пока g влияет на результат, обучение возможно.
Вывод универсальнее одной архитектуры. Любой механизм роста, который при инициализации новых параметров сохраняет функцию в точности, рискует оказаться в той же ловушке: формально модель стала больше, фактически — заморожена.
Что это значит для автоматизации бизнеса
Работа выглядит сугубо теоретической, но у неё есть три практических следствия для команд, внедряющих искусственный интеллект в продукты.
Проверяйте, что рост реален. Если ваша инфраструктура машинного обучения «наращивает» модель во время обучения, убедитесь, что после расширения функция действительно меняется. Простая проверка: сравнить выходы модели до и после операции роста на контрольной выборке. Совпадение в точности — тревожный сигнал, а не признак стабильности.
Симметрия — враг обучения. При проектировании инициализации новых компонентов не стремитесь к идеальному сохранению старой функции. Небольшое возмущение, разрушающее симметрию, — необходимое условие того, что новые параметры будут обучаться.
Единый протокол экономит бюджет. Сравнение механизмов роста в одинаковых условиях — тот формат, который стоит переносить в собственные эксперименты. Иначе выбор способа для бизнеса сводится к вкусовщине, а не к измерениям.
Автоматизация бизнеса на моделях машинного обучения живёт на градиентах: пока сигнал обучения течёт, система улучшается. Работа напоминает, что архитектурная операция может тихо перекрыть этот поток — и метрики этого не покажут, пока вы не посмотрите на выход модели напрямую.
Выводы
Свежая статья на arXiv сводит четыре способа вырастить классификатор в один протокол сравнения: уровень в дерево, юнит в скрытый слой, сплит в лист, лист в гейт. Три из них дают модели реальный прирост выразительности. Четвёртый — превращение листа в гейт с наследованием распределения классов от родителя — математически не меняет функцию: вклады детей сокращаются, градиент по гейту нулевой, модель не учится.
Точный диагноз и фикс через разрушение симметрии — главный практический подарок работы всем, кто строит растущие модели.
Если вы применяете растущие архитектуры в своих проектах, перечитайте раздел [почему гейт не учится](#почему-превращение-листа-в-гейт-не-учится): выкладка из пяти строк может сэкономить недели отладки модели, которая «обучается», но не меняется.
Источник: https://arxiv.org/abs/2610.00180