Емоційний ландшафт мовних моделей: нові відкриття від GoodFire

www.goodfire.ai/research/stories-in-space#

Дослідники з GoodFire продовжують вивчати так звану геометрію LLM. Нещодавно вони показали, що думки моделей організовані у вигляді певних форм. Наприклад, числа – це кола, і складаючи одне число з іншим, LLM насправді сумують безліч бубликів.

Тепер вони виявили нові цікаві деталі. Виявляється, всередині моделей існує цілий ландшафт емоційних станів.

Вчені взяли LLama, давали їй читати оповідання і спостерігали за станом активацій. Під час читання модель ніби переміщується по багатовимірному простору станів, "відчуваючи" ті чи інші емоції залежно від того, що відбувається в тексті в даний момент.

Якщо візуалізувати відповідні різним емоціям стани моделі, то виходить структура, дуже схожа на класичну психологічну модель емоцій людини. Наприклад, радість знаходиться поруч з інтересом, страх і гнів мають схожу високу інтенсивність тощо.

Також за цією картою можна прогнозувати подальші відповіді моделі. І якщо штучно підштовхувати активації в напрямку певної емоції, настрій і суть генерацій змінюються.