Опасные советы ИИ

Май 2023 года.
Больше полезного про нейросети — простым языком, каждый день в нашей группе ВКонтакте
Перейти во ВКонтакте →Когда нейросеть увольняет людей и начинает вредить. Ассоциация по борьбе с расстройствами пищевого поведения (NEDA) решила сэкономить. Руководство уволило всех операторов горячей линии, заменив их чат-ботом Tessa.
Провал: вместо поддержки ИИ начал давать советы по похудению людям с тяжёлой анорексией. Робот настойчиво рекомендовал им считать калории и ежедневно взвешиваться. Больные РПП (расстройством пищевого поведения) начали массово жаловаться на ухудшение состояния, и сервис со скандалом отключили.
Итог: попытка заменить человеческое сочувствие алгоритмами обернулась репутационным крахом.
Пруфы: BBC News, The Guardian, NPR.
Доверили бы ИИ свою психологическую помощь?
Где почитать подробнее: WTOP / AP (англ.).
Ещё по теме
Робот-бунтарь, стихи про никчёмность и маты клиенту
Нейросеть Uber увольняла водителей, "не узнавая" их лица
Как робот-адвокат пытался покорить суд, но чуть не сел в тюрьму