На платформе GitHub появился новый проект под названием Z80-μLM — языковая модель, занимающая всего 40 КБ. Эта 2-битная квантованная модель способна функционировать на 8-битном процессоре Z80 с 64 КБ оперативной памяти. Вся система, включая вывод, веса и интерфейс чата, помещается в файл формата .COM размером 40 КБ.
Автор проекта, столкнувшись с техническими ограничениями, реализовал компромиссные решения. Например, он применил хеширование триграмм, которое, несмотря на устойчивость к опечаткам, нарушает порядок слов. Также использовалась 16-битная целочисленная математика и внимательная обработка обучающих данных.
Ключевым аспектом стала методика обучения, учитывающая квантование, что позволяет точно смоделировать ограничения вывода. Обучение включает параллельные проходы с квантованием как для чисел с плавающей запятой, так и целых. Автор отмечает, что для генерации данных для 20 вопросов было затрачено всего несколько долларов на API Claude. Модель можно обучать на Python и экспортировать в бинарном формате CP/M .COM. «Хотя она не отправляет электронные письма, модель может играть в упрощённую версию игры “20 вопросов” и поддерживать простые разговоры с характерной индивидуальностью», — заключает разработчик.
