В новой статье в журнале Nature Machine Intelligence предложен «закон уплотнения» для больших языковых моделей, согласно которому максимальная плотность способностей удваивается примерно каждые 3,5 месяца. Вводится новая метрика «плотность способностей», анализирующая, сколько параметров понадобилось бы референсной модели для достижения аналогичного качества. Результаты показывают, что при фиксированном целевом качестве количество необходимых параметров уменьшается экспоненциально, что приводит к значительному снижению стоимости инференса. Также, с учетом закона Мура, становится возможным запуск мощных моделей на потребительском оборудовании. Классический подход к увеличению параметров теряет актуальность, так как появляются более эффективные модели. Это смещение фокуса на density-optimal обучение подчеркивает необходимость архитектурных улучшений и оптимизации производственных процессов.
Заголовки
