Во внутренних представлениях LLM нашли устойчивую структуру, которая функционально аналогична боли

Трое исследователей направления, которое изучает внутренние представления моделей и философии сознания применительно к ИИ опубликовали работу, в которой извлекли из активаций языковых моделей линейное направление боли. Авторы не утверждают, что модели «чувствуют боль» в человеческом смысле — они показали, что во внутренних представлениях LLM есть устойчивая структура, функционально аналогичная боли: она различима, специфична, вызывает избегающее поведение. Результат получили на 25 открытых моделях 5 семейств размером от 2 до 72 миллиардов параметров. Методологически работа выстроена как 4 эшелона проверок: извлечение и валидация болевого направления, проверка на различение «вреда себе» и «страдания другого», рассуждения с наблюдением за поведением и поведенческий эксперимент. Каждый следующий шаг опирается на предыдущий и последовательно закрывает альтернативные гипотезы. Это эмпирическое исследование в духе направления, изучающего внутренние представления моделей. На первом этапе авторы построили датасет из 5 категорий боли («физическая», «психологическая», «социальная», «моральная», «когнитивная») и 5 контрольных категорий, каждая из которых отсекает конкретную альтернативу: «страх — угроза без свершившегося вреда», «негативная эмоция — нечто неприятное без боли», «негативное состояние мира — плохие события без страдающего субъекта», «телесные ощущения — сигналы тела без боли, нейтральный контент». Применив метод, который позволил убрать нерелевантные высоковариативные измерения, — исследователи получили линейное направление боли. Затем последовала проверка, не является ли это направление просто ещё одним способом закодировать «что-то плохое». Боль и негатив образовали два почти ортогональных кластера: в пространстве представлений моделей боль оказалась не синонимом «плохого», а отдельным измерением.


Источник: IXBT — https://www.ixbt.com/news/2026/09/24/437920-vo-vnutrennix-predstavleniiax-llm-est-ustoicivaia-struktura-funkcionalno-analogicnaia-boli.html

Комментарии