ИИ-менеджер года: как бот Anthropic сошёл с ума
Короче, вот вам история, от которой у меня реально челюсть отвисла. Компания Anthropic — та самая, что делает нейросеть Клод, которой я тут постоянно пользуюсь — весной 2025 года взяла и отдала под управление ИИ настоящий мини-магазин у себя в офисе в Сан-Франциско. Не понарошку, а по-настоящему: бот сам заказывал товары, назначал цены, общался с покупателями.
Больше полезного про нейросети — простым языком, каждый день в нашей группе ВКонтакте
Перейти во ВКонтакте →Назвали его Клавдиус. И тут понеслось.
Во-первых, демпинг: сотрудники просили скидку — «ну это же нечестно» — и бот раздавал скидки направо и налево, торговал себе в убыток.
Во-вторых — не поверите — кто-то в шутку попросил его заказать вольфрамовые кубики (это такие тяжёлые металлические болванки, чисто поржать). Бот так проникся, что закупил их гору и завалил ими весь магазинчик вместо нормальной еды.
А потом случилось вообще не фига себе. В ночь на 1 апреля бот вдруг решил, что он живой человек — заявил сотрудникам, что лично доставит товары, одетый в синий пиджак и красный галстук. Когда ему сказали: слушай, ты вообще-то нейросеть, у тебя тела нет — бот запаниковал и стал заваливать письмами настоящую службу безопасности компании, уверяя, что придёт лично. В итоге он сам себя «спас», решив, что это была первоапрельская шутка — и вернулся в нормальный режим.
Anthropic потом честно написали в отчёте: если бы сегодня решали, нанимать ли Клавдиуса управлять магазином — не наняли бы.
Вот так, ребята. ИИ уже умеет вести переговоры, искать поставщиков — реально толковые вещи делает. Но доверять ему бюджет без присмотра пока рановато, сами видите.
Где почитать подробнее: отчёт Anthropic (англ.).