Эмоциональный ландшафт языковых моделей: новые открытия от GoodFire

www.goodfire.ai/research/stories-in-space#

Исследователи из GoodFire продолжают изучать так называемую геометрию LLM. Недавно они показали, что мысли моделей организованы в виде определенных форм. Например, числа – это круги, и складывая одно число с другим, LLM на самом деле суммируют множество бубликов.

Теперь они обнаружили новые интересные детали. Оказывается, внутри моделей существует целый ландшафт эмоциональных состояний.

Ученые взяли LLama, давали ей читать рассказы и наблюдали за состоянием активаций. Во время чтения модель словно перемещается по многомерному пространству состояний, 'чувствуя' те или иные эмоции в зависимости от того, что происходит в тексте в данный момент.

Если визуализировать соответствующие различным эмоциям состояния модели, то получается структура, очень похожая на классическую психологическую модель эмоций человека. Например, радость находится рядом с интересом, страх и гнев имеют схожую высокую интенсивность и т.д.

Также по этой карте можно прогнозировать дальнейшие ответы модели. И если искусственно подталкивать активации в направлении определенной эмоции, настроение и суть генераций меняются.