Подстава от ИИ: как ChatGPT опозорил адвоката в суде

В июне 2023 года в Нью-Йорке разворачивалось судебное дело Mata v. Avianca — пассажир Роберто Мата судился с колумбийской авиакомпанией Avianca за травму, полученную во время полёта. Дело само по себе было рядовым, но стало знаменитым совсем по другой причине.
Больше полезного про нейросети — простым языком, каждый день в нашей группе ВКонтакте
Перейти во ВКонтакте →Адвокат истца Стивен Шварц (Steven Schwartz) из юридической фирмы Levidow, Levidow & Oberman решил сэкономить время на поиске судебных прецедентов, подтверждающих позицию его клиента, и обратился за помощью к ChatGPT. Нейросеть охотно выдала список из нескольких судебных дел с похожими обстоятельствами — с названиями, номерами дел и даже цитатами из решений судей.
Шварц, по его собственному признанию, не удосужился перепроверить эти данные и включил их в официальный меморандум, который был подан в суд. Проблема обнаружилась, когда юристы Avianca попытались найти упомянутые прецеденты в судебных базах данных — и не нашли ни одного. Судья Кевин Кастел (Kevin Castel), рассматривавший дело, потребовал от адвоката объяснений и предоставления копий этих судебных решений.
Оказалось, что ChatGPT попросту выдумал все шесть упомянутых дел целиком — вместе с именами судей, номерами и цитатами. Когда Шварца прямо спросили в переписке с самой нейросетью, точно ли эти дела существуют, ChatGPT подтвердил их «существование» и даже настаивал на этом при переспрашивании — классический пример того, что сейчас называют «галлюцинациями» ИИ: модель генерирует правдоподобно звучащий, но полностью вымышленный текст, если не имеет доступа к реальным источникам и не проверяет факты.
В июне 2023 года судья Кастел наложил на юридическую фирму штраф в размере 5000 долларов и обязал направить письма с извинениями всем упомянутым в фальшивых делах судьям. История получила широкое освещение в The New York Times, BBC News и Forbes и стала одним из самых цитируемых примеров того, почему нельзя слепо доверять содержательным утверждениям нейросети без проверки — особенно там, где цена ошибки высока, как в юриспруденции.
Источники: The New York Times, BBC News, Forbes, судебные материалы по делу Mata v. Avianca Airlines (Южный округ Нью-Йорка).
Где почитать подробнее: CTV News (англ.).
Ещё по теме
ВИНОВЕН: чат-бот Air Canada подставил свою компанию на деньги
ChatGPT выдумал, что человек украл 5 миллионов долларов
Chevrolet Tahoe за один доллар: как хитрый промт довёл до сделки