В последние годы я проводил эксперименты с LLM на различных устройствах, включая Raspberry Pi. Одной из интересных задач является запуск моделей на Pi 4 и 5. Краткий ответ: это возможно, но существуют физические ограничения. Память платы составляет 8-16 ГБ, тогда как модели требуют значительно больше. Однако такие эксперименты помогают понять, каковы реальные возможности устройств и какие архитектурные решения работают лучше всего. Я считаю, что будущее не за массивными fine-tuned моделями, а за комбинацией малых моделей и грамотной оркестрацией. Я реализовал подход, при котором данные обрабатываются на Raspberry Pi, а ресурсоемкие задачи выполняются в облаке. С помощью Ollama, open-source решения, можно запустить LLM на Raspberry Pi без интернета. Доступно множество простых задач, таких как ответы на вопросы и генерация текстов. Настройка включает установку Ollama и загрузку моделей, что позволяет использовать Raspberry Pi как локальный AI-движок. В итоге, Raspberry Pi становится отличной платформой для экспериментов с LLM, даже если не стоит ожидать чудес.
Заголовки
