Недавно OpenAI анонсировала новую версию Codex для Mac, в которой появилась встроенная функция управления macOS, позволяющая одновременно работать с несколькими приложениями. Этот механизм функционирует в фоновом режиме благодаря технологии «параллельных курсоров»: агенты взаимодействуют с программами, не выводя окна на передний план и не отвлекая пользователя.
Данная функция является прямым продолжением проекта Sky, который OpenAI приобрела вместе с командой разработчиков. В состав плагина Codex вошёл исполняемый файл приложения Sky, обеспечивающий взаимодействие с интерфейсом.
Отличие Codex от других систем, основанных на записи экрана и AppleScript, в использовании продвинутой технологии универсального доступа (Accessibility) macOS. Эта функция позволяет считывать иерархию элементов окон – так называемое дерево AX – и превращать её в контекст для языковой модели, что значительно повышает точность управления.
Codex с моделью GPT-5.4 работает быстрее и эффективнее своего предшественника Sky и конкурентов, таких как системы Anthropic и Perplexity. Кроме того, Codex использует уникальный виртуальный курсор, способный менять цвет и демонстрировать различные анимации, что улучшает взаимодействие с интерфейсом.
Практические тесты показали, что Codex успешно управляет приложениями «Музыка», Slack, Ivory и Unread, выполняя задачи в фоне с высокой точностью. Также Codex помогает в автоматизации работы с Shortcuts Playground, самостоятельно устанавливая и проверяя команды в приложении «Команды».
В итоге, плагин управления компьютером в Codex – это значительный шаг вперёд в развитии ИИ-агентов для macOS, превосходящий предыдущие решения и обеспечивающий удобную автоматизацию рутинных задач. Автор надеется, что подобная технология появится и в основном клиенте ChatGPT для Mac.
