Вспомните новогоднее обращение Бориса Ельцина 31 декабря 1999 года, где звучит знаменитая фраза «Я устал, я ухожу». Но на самом деле в записи он говорит: «Я ухожу. Я сделал всё, что мог». Это пример Эффекта Манделы, показывающего, как память может искажаться. Мозг интерпретирует недостающие данные, создавая целостное, но не всегда точное воспоминание. Подобным образом работают и большие языковые модели (LLM), которые не хранят факты, а вероятности последовательности токенов. Когда модель сталкивается с низкой вероятностью, она генерирует наиболее подходящее слово, создавая иллюзию точности. Параметр Temperature влияет на креативность и разнообразие ответов, но и на вероятность ошибок. Таким образом, галлюцинации не являются багом, а частью архитектуры нейронных сетей, что делает их схожими с человеческой памятью.
Заголовки
