Обучение с подкреплением на проверяемых наградах (RLVR) учит языковую модель давать правильные ответы, но полезное поведение LLM шире одной корректности: пользователю нужны ещё и качественные рассуждения, и лаконичный формат ответа.
Работа Lexicographic Multi-Objective On-Policy Distillation (LMOPD) предлагает способ выстроить несколько целей в строгую иерархию, где оптимизация второстепенного критерия не разрушает уже достигнутый по главному. Разбираем, как устроен метод и почему он важен не только для исследователей, но и для автоматизации бизнес процессов компании.
Проблема мульти-объективного пост-тренинга
Стандартный RLVR-пайплайн гонит модель по одному сигналу — правильности финального ответа. Это работает для задач с проверяемым результатом: математика, код, формальные выводы. Но в реальных применениях модель должна удовлетворять сразу нескольким требованиям:
- корректность ответа;
- качество рассуждений по пути к ответу;
- лаконичность — без воды и лишних повторов;
- соблюдение формата и стиля.
Классическая проблема мульти-объективной оптимизации в том, что награды обычно сворачивают в один скаляр — взвешенную сумму. Такая свёртка неявно разрешает обмен между критериями: модель может «купить» лаконичность ценой точности, и никто этого явно не санкционировал.
Альтернативный путь — смешивание нескольких специализированных моделей-учителей — страдает от другой болезни: нет защиты приоритетов, и один учитель может перетягивать поведение модели в ущерб тому, чему научил другой.
Ключевой тезис LMOPD: лаконичность не должна расти за счёт корректности. Это не настройка весов, а жёсткое ограничение — лексикографический порядок.
Как работает лексикографический порядок наград
Лексикографическая оптимизация — это упорядочение целей по важности, как буквы в словаре. Сначала сравнивается первый критерий; если он равен, сравнивается второй; и только при равенстве второго — третий. Применительно к пост-тренингу LLM это означает:
1. Корректность — абсолютный приоритет. Никакая оптимизация лаконичности или стиля не может ухудшить уже достигнутый уровень правильности ответов.
2. Качество рассуждений — следующий уровень. Оно оптимизируется только когда корректность не проседает.
3. Лаконичность — финальный критерий. Модель сокращает ответ ровно настолько, насколько это не вредит двум более важным целям.
Такой порядок защищает от типичной деградации, когда модель учится «угадывать» короткий ответ без рассуждений — формально лаконично, но фактически с падением точности на сложных задачах. Подробнее о том, как это реализуется на уровне обучения, — в разделе [он-полици дистилляция от нескольких учителей](#он-полици-дистилляция-от-нескольких-учителей).
Он-полици дистилляция от нескольких учителей
Второй элемент метода — сама механика обучения. Вместо одной универсальной награды LMOPD использует нескольких учителей, каждый из которых специализируется на своём критерии: один оценивает корректность, другой — качество рассуждений, третий — лаконичность.
Дистилляция при этом он-полици: учителя оценивают сгенерированные самим учеником ответы в текущем состоянии модели, а не фиксированный датасет. Это принципиально, потому что:
- модель не уходит в сторону от своего распределения — учится на собственных сгенерированных траекториях;
- сигнал учителей остаётся релевантным на каждом шаге обучения, а не устаревает;
- лексикографический порядок применяется к реальным компромиссам, которые модель встречает прямо сейчас.
Механизм приоритетов встроен в сам процесс: оптимизация следующего критерия допускается только при условии, что более важный критерий не ухудшается. Это похоже на условную оптимизацию с жёсткими ограничениями, но реализованную в рамках RL-пайплайна с дистилляцией.
Зачем это автоматизации бизнес процессов компании
Может показаться, что лексикографическая дистилляция — тема сугубо исследовательская. Но именно такие методы определяют, насколько надёжными будут [системы автоматизации бизнес процессов](#зачем-это-автоматизации-бизнес-процессов-компании) на базе LLM через пару лет.
Когда языковая модель встраивается в рабочие процессы — генерация документов, разбор заявок, поддержка клиентов, — к ней предъявляются те же конфликтующие требования, что и в RLVR-тренинге. Операционной команде нужен короткий, машиночитаемый ответ; юридическому департаменту — безупречная корректность; аналитикам — прозрачная цепочка рассуждений.
Скалярная свёртка этих требований в один KPI почти всегда заканчивается тем, что модель жертвует точностью ради скорости или формата.
Лексикографический подход даёт явный ответ на вопрос «чем можно жертвовать, а чем нельзя». По сути, это формализация того, как грамотно выстраивается оптимизация и автоматизация бизнес процессов: сначала фиксируются неприкосновенные требования, и только затем улучшается всё остальное.
Чат боты для бизнеса и иерархия требований
Для чат ботов для бизнеса иерархия критериев особенно наглядна. Бот, который отвечает коротко, но ошибается, приносит прямой ущерб: неверная консультация, некорректный расчёт, испорченное обращение. Бот, который отвечает точно, но многословно, просто менее удобен. Приоритет очевиден — и LMOPD формализует именно его: сначала корректность, потом всё остальное.
Такой принцип переносится и на проектирование промптов, и на выбор метрик оценки, и на построение пайплайнов дообучения под конкретную доменную область.
Практические выводы для команд внедрения
Даже если вы не будете сами запускать RLVR-тренинг, из работы LMOPD можно извлечь несколько переносимых принципов:
1. Не сворачивайте требования в один балл. Если качество автоматизации оценивается единой метрикой «удовлетворённость», модель или процесс неизбежно найдёт способ накрутить её в обход реальных целей.
2. Задайте явный порядок приоритетов. Сначала определите, что является неприкосновенным (корректность, безопасность, соответствие регламентам), и только затем оптимизируйте вторичные характеристики — скорость, лаконичность, стоимость.
3. Оценивайте на живых траекториях. Он-полици-подход — это по сути оценка на реальных данных из продакшена, а не на отложенном эталонном наборе. Для бизнес-систем это означает непрерывную оценку на актуальном потоке обращений.
4. Один учитель — одна компетенция. Вместо попытки сделать одну «идеальную» модель или один универсальный критерий лучше комбинировать специализированные оценщики, каждый из которых силён в своей области.
Ограничения и открытые вопросы
Стоит держать в уме, что лексикографический порядок — жёсткая конструкция: он гарантирует защиту приоритетов, но не гарантирует, что компромиссные точки найдутся легко. Если критерии сильно конфликтуют, обучение может «застрять» на первом уровне иерархии.
Вопросы вычислительной стоимости нескольких учителей и масштабирования на большое число критериев остаются темой для дальнейшей работы — оригинальная статья arXiv (2610.02359) описывает метод и постановку задачи подробно.
Тем не менее направление выглядит перспективным: оно переводит интуитивно понятную бизнес-логику «корректность важнее всего» в формальную структуру обучения. Для команд, строящих LLM-решения, это ещё один аргумент пересмотреть свои метрики — и начать с вопроса не «сколько целей мы измеряем», а «в каком порядке они должны достигаться».
Если тема многоцелевого дообучения моделей интересна в контексте ваших проектов, вернитесь к разбору [проблемы мульти-объективного пост-тренинга](#проблема-мульти-объективного-пост-тренинга) — там подробнее о том, почему скалярные награды подводят.
Источник: https://arxiv.org/abs/2610.02359