Канадский стартап Taalas завершил свою тайную разработку и представил инновационный чип HC1, оснащенный «захардкоженной» моделью Llama 3.1 8B. В отличие от традиционных решений, этот чип не загружает весовые параметры в память, а встраивает их непосредственно в кремний, что обеспечивает выдающуюся скорость в 17 000 токенов в секунду на пользователя — почти в 10 раз быстрее, чем существующие GPU-решения, при значительном снижении затрат на производство и энергопотребление.
Заголовки
