REXFLOW

Обучение с подкреплением на проверяемых наградах (RLVR) учит языковую модель давать правильные ответы, но полезное поведение LLM шире одной корректности: пользователю нужны ещё и качественные рассуждения, и лаконичный формат ответа.

Работа Lexicographic Multi-Objective On-Policy Distillation (LMOPD) предлагает способ выстроить несколько целей в строгую иерархию, где оптимизация второстепенного критерия не разрушает уже достигнутый по главному. Разбираем, как устроен метод и почему он важен не только для исследователей, но и для автоматизации бизнес процессов компании.

Проблема мульти-объективного пост-тренинга

Стандартный RLVR-пайплайн гонит модель по одному сигналу — правильности финального ответа. Это работает для задач с проверяемым результатом: математика, код, формальные выводы. Но в реальных применениях модель должна удовлетворять сразу нескольким требованиям:

Классическая проблема мульти-объективной оптимизации в том, что награды обычно сворачивают в один скаляр — взвешенную сумму. Такая свёртка неявно разрешает обмен между критериями: модель может «купить» лаконичность ценой точности, и никто этого явно не санкционировал.

Альтернативный путь — смешивание нескольких специализированных моделей-учителей — страдает от другой болезни: нет защиты приоритетов, и один учитель может перетягивать поведение модели в ущерб тому, чему научил другой.

Ключевой тезис LMOPD: лаконичность не должна расти за счёт корректности. Это не настройка весов, а жёсткое ограничение — лексикографический порядок.

Как работает лексикографический порядок наград

Лексикографическая оптимизация — это упорядочение целей по важности, как буквы в словаре. Сначала сравнивается первый критерий; если он равен, сравнивается второй; и только при равенстве второго — третий. Применительно к пост-тренингу LLM это означает:

1. Корректность — абсолютный приоритет. Никакая оптимизация лаконичности или стиля не может ухудшить уже достигнутый уровень правильности ответов.

2. Качество рассуждений — следующий уровень. Оно оптимизируется только когда корректность не проседает.

3. Лаконичность — финальный критерий. Модель сокращает ответ ровно настолько, насколько это не вредит двум более важным целям.

Такой порядок защищает от типичной деградации, когда модель учится «угадывать» короткий ответ без рассуждений — формально лаконично, но фактически с падением точности на сложных задачах. Подробнее о том, как это реализуется на уровне обучения, — в разделе [он-полици дистилляция от нескольких учителей](#он-полици-дистилляция-от-нескольких-учителей).

Он-полици дистилляция от нескольких учителей

Второй элемент метода — сама механика обучения. Вместо одной универсальной награды LMOPD использует нескольких учителей, каждый из которых специализируется на своём критерии: один оценивает корректность, другой — качество рассуждений, третий — лаконичность.

Дистилляция при этом он-полици: учителя оценивают сгенерированные самим учеником ответы в текущем состоянии модели, а не фиксированный датасет. Это принципиально, потому что:

Механизм приоритетов встроен в сам процесс: оптимизация следующего критерия допускается только при условии, что более важный критерий не ухудшается. Это похоже на условную оптимизацию с жёсткими ограничениями, но реализованную в рамках RL-пайплайна с дистилляцией.

Зачем это автоматизации бизнес процессов компании

Может показаться, что лексикографическая дистилляция — тема сугубо исследовательская. Но именно такие методы определяют, насколько надёжными будут [системы автоматизации бизнес процессов](#зачем-это-автоматизации-бизнес-процессов-компании) на базе LLM через пару лет.

Когда языковая модель встраивается в рабочие процессы — генерация документов, разбор заявок, поддержка клиентов, — к ней предъявляются те же конфликтующие требования, что и в RLVR-тренинге. Операционной команде нужен короткий, машиночитаемый ответ; юридическому департаменту — безупречная корректность; аналитикам — прозрачная цепочка рассуждений.

Скалярная свёртка этих требований в один KPI почти всегда заканчивается тем, что модель жертвует точностью ради скорости или формата.

Лексикографический подход даёт явный ответ на вопрос «чем можно жертвовать, а чем нельзя». По сути, это формализация того, как грамотно выстраивается оптимизация и автоматизация бизнес процессов: сначала фиксируются неприкосновенные требования, и только затем улучшается всё остальное.

Чат боты для бизнеса и иерархия требований

Для чат ботов для бизнеса иерархия критериев особенно наглядна. Бот, который отвечает коротко, но ошибается, приносит прямой ущерб: неверная консультация, некорректный расчёт, испорченное обращение. Бот, который отвечает точно, но многословно, просто менее удобен. Приоритет очевиден — и LMOPD формализует именно его: сначала корректность, потом всё остальное.

Такой принцип переносится и на проектирование промптов, и на выбор метрик оценки, и на построение пайплайнов дообучения под конкретную доменную область.

Практические выводы для команд внедрения

Даже если вы не будете сами запускать RLVR-тренинг, из работы LMOPD можно извлечь несколько переносимых принципов:

1. Не сворачивайте требования в один балл. Если качество автоматизации оценивается единой метрикой «удовлетворённость», модель или процесс неизбежно найдёт способ накрутить её в обход реальных целей.

2. Задайте явный порядок приоритетов. Сначала определите, что является неприкосновенным (корректность, безопасность, соответствие регламентам), и только затем оптимизируйте вторичные характеристики — скорость, лаконичность, стоимость.

3. Оценивайте на живых траекториях. Он-полици-подход — это по сути оценка на реальных данных из продакшена, а не на отложенном эталонном наборе. Для бизнес-систем это означает непрерывную оценку на актуальном потоке обращений.

4. Один учитель — одна компетенция. Вместо попытки сделать одну «идеальную» модель или один универсальный критерий лучше комбинировать специализированные оценщики, каждый из которых силён в своей области.

Ограничения и открытые вопросы

Стоит держать в уме, что лексикографический порядок — жёсткая конструкция: он гарантирует защиту приоритетов, но не гарантирует, что компромиссные точки найдутся легко. Если критерии сильно конфликтуют, обучение может «застрять» на первом уровне иерархии.

Вопросы вычислительной стоимости нескольких учителей и масштабирования на большое число критериев остаются темой для дальнейшей работы — оригинальная статья arXiv (2610.02359) описывает метод и постановку задачи подробно.

Тем не менее направление выглядит перспективным: оно переводит интуитивно понятную бизнес-логику «корректность важнее всего» в формальную структуру обучения. Для команд, строящих LLM-решения, это ещё один аргумент пересмотреть свои метрики — и начать с вопроса не «сколько целей мы измеряем», а «в каком порядке они должны достигаться».

Если тема многоцелевого дообучения моделей интересна в контексте ваших проектов, вернитесь к разбору [проблемы мульти-объективного пост-тренинга](#проблема-мульти-объективного-пост-тренинга) — там подробнее о том, почему скалярные награды подводят.

Источник: https://arxiv.org/abs/2610.02359