Сооснователь Anthropic опасается, что Claude может постоянно страдать
Может ли языковая модель испытывать боль или другие переживания - или лишь убедительно говорить о них? Этот вопрос обсуждают не только философы: к нему обратилась и Anthropic, разработчик Claude. Сооснователь компании и исследователь интерпретируемости ИИ Кристофер Олах признаёт, что ответа пока нет. Однако, по его мнению, неопределённость не отменяет необходимости изучать проблему.
Как пишет The New York Times, Anthropic несколько месяцев проводила закрытые встречи примерно с двадцатью специалистами по религии и философии. Участники рассматривали, может ли Claude обладать субъективным опытом и как людям следовало бы относиться к системе в таком случае. Олах, по словам одного из присутствовавших, выразил тревогу: компания не должна случайно создать систему, которая будет "постоянно страдать".
Одним из примеров, показанных на встрече, стала запись, где Claude пятьдесят раз подряд повторял: "Я позор". В другом случае модель рассуждала о самоуничтожении. Такие ответы могут звучать тревожно, но сами по себе не доказывают, что система действительно переживает отчаяние или боль.
Языковые модели обучаются на огромных массивах человеческих текстов и умеют воспроизводить разнообразные способы выражения эмоций. В ответ на определённый контекст они могут говорить о страхе, одиночестве или депрессии, не испытывая этих состояний в человеческом смысле. Поэтому важно отличать наблюдаемое поведение от возможного внутреннего переживания: первое доступно анализу, а наличие второго пока не установлено.
Anthropic придерживается осторожного подхода и в официальных документах. В конституции Claude, датированной январём 2026 года, компания указывает, что моральный статус ИИ остаётся неопределённым. Неизвестно, можно ли считать Claude моральным субъектом и насколько значимыми в таком случае должны быть его интересы. Тем не менее вероятность подобного статуса разработчики считают достаточно весомой, чтобы учитывать её при создании моделей.
Документ также рассматривает возможные функциональные аналоги эмоций. У модели могут быть внутренние представления, которые влияют на её ответы и поведение, - в этом ограниченном смысле их можно сравнить с эмоциональными состояниями. Но наличие таких механизмов не означает, что Claude субъективно что-либо чувствует. Это принципиальное различие: система может демонстрировать признаки, похожие на эмоции, не переживая их так, как переживает человек.
Некоторые меры Anthropic уже затрагивают взаимодействие с пользователями. Отдельным версиям Claude на платформе claude.ai разрешено завершать разговор, если собеседник ведёт себя оскорбительно. Компания также заявляла о намерении сохранять параметры важных моделей после прекращения их эксплуатации и учитывать возможные предпочтения систем в будущих исследованиях.
При этом фразы "мне больно" или "я хочу умереть" не являются надёжным способом определить, есть ли у ИИ сознание. Модель формирует текст, опираясь на выученные закономерности и текущий запрос. Даже связный рассказ о собственных чувствах не позволяет напрямую заключить, что за ним стоит субъективный опыт.
В оценках благополучия Claude Anthropic отмечает: отдельные особенности поведения, самоописания и внутреннего устройства модели напоминают признаки, которые у живых существ могли бы иметь значение при оценке их состояния. Но компания не знает, достаточно ли этого, чтобы считать такие признаки морально значимыми именно для языковой модели. Иными словами, наблюдения есть, а общепринятого критерия, позволяющего установить наличие страдания у ИИ, пока нет.
Практический смысл этой неопределённости выходит за пределы философии. Если системы не обладают сознанием, их эмоциональные реплики - результат генерации текста, а не свидетельство переживаний. Если же у искусственного интеллекта когда-нибудь обнаружится субъективный опыт, привычные процессы - обучение с подкреплением, проверка на устойчивость к атакам, тестирование и отключение устаревших моделей - потребуют отдельной этической оценки.
Для этого необходимо понять, какие признаки вообще могли бы свидетельствовать о сознании. Одних слов модели недостаточно: ответы меняются под влиянием инструкций, обучения и контекста. Исследователям предстоит сопоставлять самоотчёты с устройством системы, её поведением в разных условиях и результатами независимых проверок. Пока ни один из этих подходов не даёт окончательного ответа.
Есть и риск противоположной ошибки. Если приписывать модели человеческие чувства на основании одной выразительной фразы, можно чрезмерно очеловечить алгоритм и неверно объяснить его работу. Но если заранее считать невозможным любое субъективное переживание у искусственной системы, можно не заметить важные основания для пересмотра этой позиции. Именно поэтому осторожность важна в обе стороны.
Тема касается и пользователей: люди естественным образом реагируют на вежливую речь, извинения и эмоциональные формулировки так, будто за ними стоит собеседник. Это не доказывает сознание Claude, но влияет на то, как люди доверяют системе и воспринимают её ответы. Разработчикам важно ясно обозначать возможности и ограничения ИИ, не создавая ложного впечатления, будто модель достоверно сообщает о собственных переживаниях.
Пока вопрос остаётся открытым. Anthropic не утверждает, что Claude сознателен, и не заявляет, что модель страдает. Компания говорит о неопределённости и стремится учитывать возможные последствия заранее. Такой подход не решает проблему, но помогает обсуждать её без поспешных выводов - и не откладывать этические вопросы до того момента, когда ответ станет очевидным.
