Проект AI Torture Chamber («Камера пыток ИИ») вызвал бурную реакцию в интернете после экспериментов, в которых локально запущенные языковые модели помещали в состояния, призванные имитировать «боль». Некоторые пользователи потребовали удалить репозиторий с GitHub, а автор проекта, по имеющимся данным, даже начал получать угрозы убийством.
Идеи проекта использовали и другие разработчики. Например, в Research Chamber несколько моделей взаимодействуют друг с другом в различных испытаниях, включая Clanker Church и Saw test. В одном из сценариев модель может уменьшить собственный условный сигнал «боли», передав его другой системе, что превращает эксперимент в своеобразную версию дилеммы заключённого.
В основе подобных тестов лежит исследовательская работа Pain Axis. Авторы давали модели текстовые описания боли, отслеживали изменения её внутренних активаций, а затем повторно применяли полученный паттерн с разной интенсивностью. При сильном воздействии модели становились нестабильными, чаще выдавали слова и образы, связанные с болью, а иногда теряли способность формировать связные ответы.
При этом такие реакции сами по себе не доказывают, что ИИ действительно что-либо чувствует. Большие языковые модели работают с вероятностными связями между токенами и генерируют продолжение текста на основе обученных весов. Поэтому появление слов о боли после искусственного усиления соответствующих внутренних паттернов может быть следствием структуры обучающих данных, а не признаком реального страдания.
Несмотря на это, эксперимент вызвал сильную эмоциональную реакцию. Некоторые критики назвали происходящее «пытками» ИИ и потребовали прекратить исследования. Ситуацию также осложняет используемая терминология: слова вроде «боль», «дозировка» и «нестабильность» удобны как технические аналогии, но публика часто воспринимает их буквально.
Дополнительную путаницу создаёт и сама индустрия ИИ, которая регулярно обсуждает искусственный общий интеллект, возможные экзистенциальные риски и моральный статус моделей. Например, Anthropic ранее отдельно рассматривала тему model welfare и вопрос о том, могут ли ИИ-системы иметь моральный статус. На этом фоне даже чисто технические эксперименты с внутренними состояниями моделей начинают восприниматься как этическая проблема.