Модели искусственного интеллекта GPT-5 и Gemini 2.5 Pro показали результаты на уровне «золота» в заданиях Международной олимпиады по астрономии и астрофизике (IOAA). Исследователи протестировали эти языковые модели на задачах, подготовленных для олимпиад 2022–2025 гг., оценивая их ответы в соответствии с официальными правилами. Набор задач для IOAA-2025 был создан только в августе 2025 года, что говорит о том, что модели не использовали заготовленные ответы, а решали задачи на основе понимания. Эксперимент включал теоретический тур и анализ данных, без наблюдательного тура, с оценкой, приближенной к олимпийским стандартам. Результаты показали, что обе модели достигли порога «золота» в своих категориях. Средние баллы за 2022–2025 годы составили: для GPT-5 — 84,2% в теории и 88,5% в анализе данных; для Gemini 2.5 Pro — 85,6% и 75,7% соответственно. В то время как другие модели, такие как OpenAI o3 и Claude, показывали хорошие результаты в теории, их успехи в анализе данных были менее стабильными. Наиболее распространённые ошибки заключались в концептуальном понимании и интерпретации графиков. Исследователи предполагают, что дальнейшее развитие моделей должно включать улучшение мультимодальности и создание «визуального блокнота рассуждений» для решения задач, требующих наглядного подхода.
Заголовки
