Андрей Карпатый, известный популяризатор машинного обучения и бывший инженер OpenAI, запустил новый проект под названием nanochat. Этот проект может существенно изменить восприятие доступности искусственного интеллекта. Теперь любой желающий сможет создать свою собственную языковую модель, потратив всего около ста долларов и используя минимальный набор инструментов.
nanochat является частью открытого курса LLM101n от Eureka Labs, который Карпатый предлагает для пошагового обучения по сборке, обучению и тестированию языковой модели с нуля. Все процессы сделаны максимально простыми: токенизатор написан на Rust, данные загружаются через систему FineWeb-EDU, а готовые скрипты обеспечивают обучение и сбор метрик. Для проведения экспериментов достаточно недорогих облачных мощностей.
Цель проекта — продемонстрировать, что большие языковые модели больше не являются только уделом крупных корпораций. В репозитории доступны код и учебные материалы, позволяющие каждому повторить процесс. Встроенный веб-интерфейс делает взаимодействие с моделью удобным, позволяя протестировать результаты и сравнить их с существующими решениями.
Таким образом, Карпатый создает доступный конструктор LLM для тех, кто хочет понять внутренние механизмы ИИ. В эпоху, когда обучение моделей требует огромных инвестиций, nanochat напоминает, что инновации начинаются с любопытства и открытых инструментов.
