Сальваторе Санфилиппо, известный как antirez, презентовал свой новый проект voxtral.c на GitHub. Это реализация инференса модели Voxtral Realtime 4B от компании Mistral, написанная на чистом C. Модель, обладающая 4 миллиардами параметров, трансформирует речь в текст и способна работать как с аудиофайлами, так и с микрофона. Примечательно, что для сборки требуется всего одна команда make, а внешние зависимости отсутствуют — ни Python, ни PyTorch, ни vLLM. Voxtral Realtime 4B является потоковой моделью speech-to-text, преобразованной из Ministral 3B и Whisper large-v3, позволяя обрабатывать аудио длиной до 30 минут и поддерживая контекстное окно в 32 000 токенов. Размер весов модели составляет около 8,9 ГБ с лицензией Apache 2.0. Хотя Mistral рекомендует использовать vLLM на Python, реализация antirez упрощает этот процесс. Проект предлагает поддержку Metal Performance Shaders на Apple Silicon и OpenBLAS на Linux, кроме того, позволяет записывать звук с микрофона в реальном времени. Это уже третий проект в серии antirez, который демонстрирует минималистичные подходы к реализации ИИ без обременительных стеков. Поддержать автора можно через канал «сбежавшая нейросеть».
Заголовки
