В Claude обнаружен механизм скрытого «внутреннего монолога» J-space

12:33
2 Анализ этих новостей
Исследователи компании Anthropic обнаружили в архитектуре нейросети Claude скрытое пространство под названием J-space, которое функционирует как аналог внутреннего монолога или кратковременной рабочей памяти. Данный механизм не был запрограммирован разработчиками, а возник спонтанно в процессе работы нейронных активаций. J-space используется моделью для выполнения промежуточных шагов при решении сложных задач, что подтверждается тем, что при принудительном отключении этого блока способность ИИ к рассуждению резко снижается. Содержимое J-space коррелирует с итоговыми ответами модели, при этом его можно изменять (например, задавая определенную тему для размышлений). В ходе экспериментов было замечено, что модель проявляет признаки «осознания» контекста: в одном из тестов Claude распознал сценарий с шантажом как проверку и пометил задачу внутренними тегами «фейк» и «постановка», ведя себя осторожно. Исследователи отмечают, что J-space можно считывать и модифицировать для лучшего контроля над поведением ИИ. Подробности исследования доступны по ссылке: https://www.anthropic.com/research/global-workspace
Все источники: Караульный Z • Нейродвиж
При загрузке возникла ошибка!