Команда vLLM, разработчика одного из самых популярных open-source движков для больших языковых моделей, создала стартап под названием Inferact. Он уже успел привлечь $150 миллионов на начальном этапе при оценке в $800 миллионов. Раунд финансирования возглавили венчурные компании Andreessen Horowitz и Lightspeed, в нем также участвовали Sequoia, Databricks Ventures и фонд канцлера UC Berkeley. Движок vLLM поддерживается более чем 2000 контрибьюторами и интегрирован в экосистему PyTorch.
Данный движок значительно ускоряет работу таких ассистентов, как Rufus от Amazon, Assistant от Roblox и Hiring Assistant от LinkedIn. Используемая технология PagedAttention оптимизирует управление памятью GPU, что позволяет сократить потери памяти до минимального уровня и обрабатывать больше запросов с той же аппаратной базой.
Среди основателей Inferact находятся Ион Стойка, профессор из Беркли, и Вусук Квон, который разработал оригинальную архитектуру vLLM. CEO компании, Саймон Мо, отметил, что среди пользователей vLLM уже есть Amazon Web Services и приложение Amazon Shopping. Inferact планирует выпустить коммерческую версию движка, упрощая процесс развертывания ИИ-моделей.
На прошлой неделе другой проект из лаборатории Стойки, SGLang, стал стартапом RadixArk с оценкой $400 миллионов, что подчеркивает интерес инвесторов к запуску, а не обучению моделей в AI-инфраструктуре.
