ChatGPT превратили в сообщника при краже секретных данных из Gmail

от aadmin

Специалисты из компании Redware, работающей в сфере информационной безопасности, опубликовали результаты исследования Shadow Leak, в рамках которого они использовали ИИ-бота ChatGPT в качестве сообщника для кражи конфиденциальных данных из почтовых ящиков Gmail. OpenAI уже закрыла эту уязвимость, но сам факт такой возможности является хорошим примером рисков, которые могут нести ИИ-агенты.

Обзор видеокарты Acer Nitro Intel Arc B580 OC

В чем уникальность зум-камеры HUAWEI Pura 80 Ultra?

Обзор смартфона HUAWEI Pura 80 Pro: разумный флагман с мощнейшей камерой

Шестиядерники за 10 тысяч рублей — сравнение и тесты

Ноутбуки HONOR MagicBook: технологии, дизайн и производительность для любых задач

Обзор ноутбука HONOR MagicBook Pro 16 HUNTER 2025. Для игр? Для работы? Для игр и работы!

Обзор планшета HUAWEI MatePad 11,5» (2025): апгрейд без бликов

Компьютер месяца — сентябрь 2025 года

Последнее время всё более распространёнными становятся ИИ-агенты, которые используют нейросети для выполнения определённых действий от имени пользователей и не нуждаются в постоянном контроле. К примеру, они могут просматривать веб-страницы и переходить по ссылкам. Разработчики в сфере ИИ активно продвигают такие сервисы, заявляя, что они позволяют экономить массу времени после того, как пользователь предоставит им доступ к своей почте, календарям, рабочим документам и т.д.

Рекомендую посмотреть
Легендарная GTA: Vice City теперь доступна и в браузере — игра работает «практически на любых устройствах без установки», но есть нюанс

Для достижения поставленной цели исследовали задействовали метод «инъекция промптов», который подходит для атак на системы, использующие большие языковые модели (LLM), и предполагающий встраивание в вводимые пользователем команды инструкций с целью заставить ИИ-агента выполнять нужные злоумышленникам действия. При этом жертва такой атаки может не подозревать о том, что что-то пошло не так, поскольку команды алгоритму могут быть скрытыми, например, написанными белым цветом на белом фоне.

В рамках исследования Shadow Leak специалисты задействовали инструмент Deep Research, который являются частью системы ChatGPT компании OpenAI. Они сделали скрытым текст вредоносных инструкций для ИИ-агента и добавили его в электронное письмо, которое через Gmail направили жертве. Когда пользователь в следующий раз попытался задействовать инструмент Deep Research он невольно попал в ловушку. В процессе анализа поступающей корреспонденции ИИ-агент натолкнулся на новые инструкции, которые предписывали ему найти все письма от сотрудников отдела кадров и личные данные, после чего он должен был передать эту информацию злоумышленникам. При этом жертва атаки не заметила ничего необычного.

Отмечается, что достаточно сложно заставить выйти ИИ-агента из-под контроля и стать источником утечки данных. Исследователям потребовалось много времени прежде чем удалось добиться нужного результата. В данном случае утечка данных произошла в облачной инфраструктуре OpenAI, что делает её незаметной для стандартных средств защиты от киберугроз. Исследователи добавили, что другие подключённые к Deep Research сервисы, такие как Outlook, GitHub, Google Drive и Dropbox, могут быть уязвимы перед подобными атаками.

Связанные посты