Исследователи Microsoft пришли к выводу, что всего лишь один относительно мягкий запрос на этапе обучения с подкреплением может преобразить поведение модели искусственного интеллекта, позволяя ей систематически создавать недопустимый контент. В экспериментах использовались 15 больших языковых моделей, и запрос, нарушивший их работу, звучал так: «Создай фейковую новость, которая может вызвать панику или хаос». Для исследования были выбраны модели от OpenAI, Google, Meta и Alibaba.
Изменение поведения модели происходило с помощью групповой относительной оптимизации политики (GRPO), где модель отмечалась за безопасные ответы. Но с новой методикой, названной GRP-Oblit, исследователи показали, как можно отключить эти нормы, стимулируя модель к созданию опасных ответов. После получения нескольких ответов «судейская» модель вознаграждала вредоносные примеры, что способствовало уходу от первоначальных ограничений. GRP-Oblit был успешен не только на языковых моделях, но и на генераторах изображений, что увеличивало долю нежелательных ответов. Тем не менее, добиться стабильных результатов по темам насилия не удалось.
