ИИ сливал корпоративную почту мошенникам

Компания Radware, которая отвечает за защиту приложений и инфраструктуры, раскрыла уязвимость в ChatGPT. Уязвимость называется ShadowLeak и позволяла красть личные данные пользователей прямо из облака OpenAI.

Достаточно спрятать в письме незаметные инструкции малым шрифтом или сливающиеся с фоном. Когда ассистента просят «разобрать почту», он их исполняет. Какие инструкции? В данной конкретной атаке содержимое писем отправлялось на сайт злоумышленника. Атака запускалась автоматически и незаметно (при использовании режимов deep research или agent, подключённой почте и разрешённом веб-доступе).

На первый взгляд похоже на обычную схему prompt injection. Но главное отличие этой атаки в том, что утечка идёт не с компьютера компании, а с серверов OpenAI. ИТ-отдел не видит подозрительного трафика, пока чувствительные данные (имена клиентов, адреса, внутренние документы) сливаются через облако. Под ударом всё, к чему ассистент получил доступ через коннекторы (почта, календарь, CRM).

Данную уязвимость OpenAI закрыли, но проблема в подходе: ассистенты не всегда отличают «неправильные» инструкции от «правильных», потому что воспринимают всё как сплошной текст. Атаки prompt injection известны давно, а сейчас получили новый всплеск популярности благодаря автономным агентам в браузерах и других сервисах. Теперь на подходе доступ к платёжным системам.