На прошлой неделе стартап Motif Technologies представил свою новую модель Motif-2-12.7B‑Reasoning, которая быстро завоевала признание как самая производительная корейская модель, обойдя ChatGPT 5.1 от OpenAI. Однако для корпоративных AI-команд более важным стало исследование, опубликованное на arXiv, где Motif раскрывает процесс обучения и причины, по которым многие LLM-инициативы в компаниях терпят неудачу.
Стартап выделяет четыре ключевых урока:
1. Качество рассуждений зависит от структуры данных, а не от размера модели. Синтетические данные работают только при совпадении стиля с целевой моделью.
2. Обучение на длинном контексте требует инфраструктурных решений, включая гибридный параллелизм и продуманное шардирование.
3. Фильтрация и повторное использование данных в RLFT необходимы для предотвращения регрессии качества.
4. Оптимизация памяти важнее вычислительных мощностей в корпоративной среде.
Motif-2-12.7B‑Reasoning предлагает прозрачность в получении результатов, что подчеркивает важность дисциплинарного подхода к обучению.
