В исследовании по созданию ИИ Андрей Карпаты удивил сообществом, выпустив всего 240 строк кода, которые обучают GPT с нуля, не требуя дополнительных библиотек.
Проект, названный ним «арт-проектом», лишь использует стандартные модули os, math, random и argparse для токенизации и обучения. microGPT генерирует фейковые имена на основе списка детских имен, применяя механизмы, схожие с ChatGPT, но в миниатюре.
Код включает токенизатор, движок автоградиента и архитектуры нейросети, где класс Value отслеживает градиенты и изменения в весах. Это позволяет модели эффективно учиться, минимизируя сложность и упрощая обучение.
Каждая строчка этого кода показывает, что ключевой алгоритм может быть простым, несмотря на всю сложную инфраструктуру вокруг него. Работы Карпаты демонстрируют, как возможно создание лаборатории искусственного интеллекта с восьмидесятих до наших дней, оставляя за собой лишь алгоритм.
Заголовки
