Запуск языковых моделей на локальном оборудовании всегда был сложной задачей. Я наткнулся на предложение о продаже системы Grace-Hopper за 10 тысяч евро. Учитывая характеристики, это действительно казалось подозрительным. В системе были два суперчипа Nvidia Grace-Hopper, два процессора, четыре GPU и огромный объем памяти. Несмотря на сомнения, я решил рискнуть и купил оборудование. После того как я разобрал и очистил сервер, мне пришлось переделать систему охлаждения с жидкостного на воздушное, а затем обратно. Я столкнулся с множеством проблем, включая ошибки датчиков температуры, которые показывали абсурдные значения. Но в итоге, после долгих мучений и доработок, я смог запустить систему, способную обрабатывать модели с 235 миллиардами параметров. Это был долгий путь, но теперь у меня есть мощный инструмент для работы с ИИ, который обошелся мне дешевле одного H100.
Заголовки
