В своих предыдущих статьях я рассматривал основы апскейлинга, однако текущий эксперимент оказался более увлекательным. С ограничениями в GPU, использовав лишь RTX 4060 Ti, я создал симулятор, который обучает нейросеть распознавать физические дефекты плёнки. Это заняло два месяца и два миллиона итераций, но в результате получился набор узкоспециализированных инструментов.
Я выбрал архитектуру Real-ESRGAN Compact из-за её скорости и легковесности. Вместо увеличения разрешения, я сосредоточился на перерисовке пикселей, что позволило создать продвинутый денойзер. Основные проблемы существующих решений, таких как NeatVideo и DRUNet, были учтены, и я разработал Mini-NeatVideo++, который решает специфические задачи, игнорируемые другими инструментами.
Модель была разбита на узкие специализации, такие как AntiLines и Rough, что позволило эффективно справляться с различными дефектами плёнки. Итогом работы стал инструмент, который сочетает ручную реставрацию и математическую точность, доступный в Open Source.
