Джон Кармак, известный как создатель Doom и основатель стартапа Keen Technologies, предлагает интересное решение проблемы хранения весов нейросетей, заменяя традиционную DRAM на оптоволоконные петли. В его концепции данные перемещаются в виде световых импульсов, что предполагает значительную скорость передачи — 256 Тб/с на расстоянии 200 км, что соответствует 32 Гбайт данных с пропускной способностью 32 ТБ/с.
Кармак подчеркивает, что при инференсе запросы к весам модели предсказуемы, что делает возможным прямую подачу данных из кольца волокна в кэш L2 процессора и исключение DRAM из системы. Он сравнивает эту технологию с ртутными линиями задержки, использовавшимися в 1940-х годах.
Хотя для реалистичного применения с современными моделями потребуется несколько таких петель, Кармак отмечает, что скорость оптоволокна растет быстрее, чем у DRAM, что делает идею перспективной. В качестве более практичного решения он предлагает объединение дешевых флеш-чипов, что могло бы обеспечить необходимую пропускную способность, если производители смогут договориться о высокоскоростном интерфейсе. Пост собрал 1,3 млн просмотров за два дня, подчеркивая актуальность поиска альтернативных архитектур памяти на фоне нехватки и роста цен на HBM-память, используемую в ИИ-ускорителях NVIDIA.
