Джефф Гирлинг, исследователь и ютубер, получил от Apple на тестирование кластер, состоящий из четырёх Mac Studio, работающих на чипе M3 Ultra. Основная задача — протестировать возможность запуска нескольких машин с одной гигантской памятью, что особенно важно для работы с крупными AI‑моделями. Общая стоимость этого стенда, объединяющего 1,5 ТБ «объединённой памяти», составляет почти 40 000 долларов. Два нижних компьютера имеют 512 ГБ RAM и 32 процессорных ядра, а два верхних — 256 ГБ памяти.
Для установки кластера Гирлинг использовал мини-стойку DeskPi, так как готовых решений практически нет. Сетевые возможности вызвали некоторые проблемы: несмотря на высокоскоростное соединение через Thunderbolt, кабели плохо фиксируются, а коммутаторов не существует, что приводит к путанице с проводами.
В процессе тестирования с использованием открытого ПО Exo 1.0 удалось запустить модели, превышающие память одного компьютера. Кластер показал значительные результаты: 4 Mac Studio с Exo обеспечили удвоенную скорость генерации по сравнению с аналогичными решениями на базе llama.cpp. Подписывайтесь на наш Telegram‑канал BotHub AI News для получения актуальных новостей из мира ИИ.
